효과 크기의 개념과 종류
메타분석에서 효과크기는 연구자의 분석에서 종속변수에 해당한다고 말씀 드렸습니다.
또한 연구종합(Research synthesis)에서 메타분석과 화술적 방법, 투표법 등의 다른 문헌연구방법과 메타분석의 차이도 효과크기를 계산해서 통계적인 분석을 하는지에 따라 구별할 수 있습니다.
화술적 문헌 연구에서는 기존 연구를 주관적으로 나열하는데 그치고, 투표법은 화술적 문헌에 비해, 효과가 존재하는지 아닌지에 대한 질문을 다루지만, 효과가 큰지 작은지에 대한 정보를 제공하지는 않습니다.
Cohen (1988)은 효과 크기를 그 집단에 현상이 존재하는 정도라고 정의했습니다. 메타분석에서 효과 크기는 (a) 연구의 결과로 계산된다(또는 때때로 연구 내에서 비교), (b) 효과의 일반적인 크기를 추정하기 위해 연구의 평균을 구한다, (c) 연구에서의 차이가 존재하는지 발견하기 위해 연구간 비교한다. 만일 차이가 존재한다면 연구의 특징은 그 차이들을 설명할 수도 있습니다.
메타분석은 개별연구결과를 효과크기라는 양적인 지수를 사용하여 표현합니다. 효과크기는 관심 있는 변수간 관계의 강도나 크기의 추정치이다. 효과크기는 연구들간 서로 비교가능한 장점이 있고, 그러므로 연구간 효과를 요약할 수 있습니다. 또한 통계적 유의성 검정(p-value)이 표본 수에 영향을 받는데 반해, 효과크기는 상대적으로 표본 수에 대해 독립적이라고 할 수 있습니다.
효과크기에는 비표준화된 효과크기와 표준화된 효과크기가 있습니다. 보통 표준화된 효과크기가 더 많이 쓰입니다. 다만, 임상적으로 익숙한 의사소통을 위해서는 표준화된 효과크기와 함께 비표준화된 효과크기를 함께 제시해 주는 것도 좋습니다. 비표준화된 효과크기와 표준화된 효과크기의 관계는 기초통계에서 원점수와 표준점수의 관계와 같습니다.
메타분석에서 사용되는 효과 크기의 종류는 양적연구방법의 종류만큼이나 다양하고 그 수가 많습니다. 하지만, 대부분의 메타분석에서 다음의 세 가지가 가장 많이 사용 됩니다.
첫째는 Cohen(1988)이 d-index라고 부른 두 집단 평균 간의 차이를 계산하는 효과크기입니다. 가장 대표적인 것이 표준화된 평균차이(standardized mean difference: SMD) 입니다. 어떤 연구의 d-index를 계산하는 것은 실험집단과 통제집단의 두 집단 평균 간의 차이를 실험집단과 통제집단의 사례수 차이를 고려한 표준편차(pooled standard deviation)로 나누어 계산 합니다. 일반적으로 효과크기 하면 가장 먼저 떠올리는 효과크기입니다. 평균차이 효과크기에도 또 두집단 사후, 한집단 사전-사후, 두집단 사전-사후 세 가지 종류가 있습니다.
둘째, 두 변수간의 관계를 나타내는 효과 크기는 r-index (또는 Pearson product moment correlation coefficient)입니다. 전형적으로 두 변수 간의 선형 관계 정도를 측정하는데 사용됩니다. 상관계수는 대부분의 연구자들에게 친숙하고 두 연속 변인간의 관계를 설명할 때 가장 적절합니다. 관련변인 메타분석을 수행할 때 많이 쓰입니다. 개별연구의 상관관계 연구, 회귀분석 연구, 경로분석, 요인분석, 구조방정식, 다층모형등의 선행연구결과를 종합하고자 하는 경우가 이 효과크기와 관계가 많습니다. 최근에는 의료분야의 병인학(etiology)도 이 분야라고 생각됩니다. 최근 논의되고 있는 고급기법인 메타구조방정식은 관련변인 메타분석에서 확장된 것으로 볼 수 있습니다.
셋째, 처치효과를 분석하는 메타분석에서 결과치가 평균과 같은 연속변수가 아니라 이분형 변수인 경우의 효과 크기는 승산비(odds ratio) 효과크기입니다. 개별연구에서 이분형 데이터를 사용한 연구들 예를 들면, 카이제곱, 로지스틱 회귀분석 등과 같은 개별연구결과를 종합하는 경우가 이 효과크기와 관련이 많습니다. 따라서, 승산비는 빈도 또는 비율처럼 변수가 양분되어 결과들이 제시될 때 적용할 수 있습니다. 연구자들이 사망이나 질병의 출현 또는 소멸에 대한 치료의 효과를 주로 연구하는 의료 및 보건분야에서 가장 많이 사용됩니다. 물론, 교육학이나 다른 사회과학에서도 탈락율(drop-out)이나 유보율과 관련된 이분형 결과를 분석할 때 사용될 수 있습니다.
메타분석에서 사용되는 효과크기의 종류를 알아보았습니다. 다만 연구자들이 유의할 점은 효과크기는 메타분석에서만 사용되는 개념이 아니라는 점입니다. 모든 양적연구결과를 제시할 때 통계적 유의성만 제시하지 말고, 효과크기를 제시해야 한다는 것이 APA 보고기준이고, 의료분야의 RCT보고기준인 CONSORT statement에서 제시되어 있습니다.
꼭 메타분석을 하지 않더라도 관심분야의 연구결과를 제시하실 때 반드시 제시하고, 그 실체적, 임상적 함의를 논하는 것이 연구자가 해야 할입니다.
다양한 효과크기 적용예
제미영, 신인수, 최지은(2012) 중학생 우울관련변인에 관한 메타분석, 청소년상담연구
박상규, 신인수, 정진원(2012) 초등학생의 태권도 수련효과에 관한 메타분석, 운동학학술지, 14(3)
Shin, I. S. (2014) Agreement rates between automated essay scoring systems and human raters :Meta-analysis. The Journal of Curriculum and Evaluation. 17(4) 247-269
Shin, I. S., & Kim, J. H. (2013) The effect of problem-based learning in nursing education: a meta-analysis. Advances in Health Science Education, 18, 1103-1120
Chang, D. H. & Shin, I. S. (2011) The relationship between research self-efficacy and other research constructs: Synthesizing evidence and developing policy implications through meta-analysis. KEDI Journal of Educational Policy, 8 (2), 279-302
읽기자료 혹은 참고자료
Moola, S. et al (2015) Conducting systematic reviews of association (etiology): The Joanna Briggs Institute's approach. Int J Evid Based Healthc. 13(3),163-169
댓글 없음:
댓글 쓰기