메타분석(meta-analysis)의 개념

메타분석의 개념

 

교육학을 비롯한 사회과학 및 의료분야 등 거의 모든 분야에서 연구의 양이 엄청난 속도로 증가하고 있다. 경험과학적 자료를 중심으로 분석하는 양적연구 분야에서는 특정 연구주제, 연구질문에 관련된 연구가 해마다 누적되고, 이 개별연구들은 각각 독특한 피험자, 연구설계를 가지고 접근하고 있다. 황정규(1988)는 개별연구들은 연구결과의 제시 방식도 독특한데, 이렇게 상이한 연구들을 하나의 일관된 체계적 틀 속에서 통합하여 분석해 볼수 있는 경험적 방법으로 메타분석을 설명하였다. 역사적으로 볼 때, Glass(1976)가 메타분석을 제안한 이후, 지식이 폭발적으로 증가함에 따라 메타분석이나 체계적 문헌 분석이 더 중요한 연구방법으로 자리매김하고 있다. 다양한 개별 연구들로부터의 양적 결과들을 통계적으로 종합하는 일련의 절차인 메타분석의 발전으로 기존의 연구결과를 종합하는 방법인 화술적 방법(narrative review)에 비해 엄격성, 체계성, 투명성이 크게 향상되었다 (Hunt, 1997). 또한 보건·의료분야의 연구결과들을 종합하려는 국제적 네트워크인 Cochrane Collaboration이 1990년대에 만들어졌고, 교육·사회복지·형사정책 분야의 국제적 네트워크인 Campbell Collaboration이 2000년대에 형성되어 메타분석 및 체계적 문헌분석을 통해 증거에 기반한 의사결정(evidence-based decision making)에 대한 인식이 확산되고 있음을 알 수 있다. 또한 방법론적으로는 최근 사회과학분야에서 많이 쓰이는 구조방정식과 메타분석이 결합된 메타구조방정식(meta-analytic structural equation modeling), 직접효과 뿐만 아니라 간접효과비교를 포함하는 네트워크 메타분석, 검사도구들의 정확도를 비교하는 진단검사 정확도 메타분석등이 최근 활발하게 논의되고 있다.

 

이장에서는 메타분석과 다른 문헌연구방법과의 차별성을 살펴보고자 한다. 황정규(1998)는 경험과학적 자료를 분석하는 수준을 제1차 분석(primary analysis), 제2차분석(secondary analysis), 메타분석(meta-analysis)의 세 가지 수준으로 개념화시키면서, 제1차 분석은 연구에서 얻은 원자료(original data)를 직접 분석하는 것을 말하고, 제2차 분석은 제1차 분석 자료를 재분석하는 경우로서, 제1차분석의 연구문제에 대해 보다 나은 통계적 방법을 사용하거나 새로운 연구 질문에 대답을 구하려는 목적으로 행해지며, 메타분석은 개별적 연구·결과들을 통계적으로 분석하는 이론 및 방법이라고 할 수 있다고 하였다.

연구결과를 종합하기 위한 여러 가지 통계적 접근 방식 중에서 가장 단순한 방법이 “투표식(vote counting)" 방법이라고 할 수 있다(이종승, 1983). 이 방법은 대안적인 절차로서 연구자는 개별연구결과들을 통계적 유의성에 기초해서 세 가지 카테고리 중의 하나로 분류할 수 있다. 첫째, 통계적으로 유의하면서 긍정적인 효과가 있다는 유목, 둘째, 통계적으로 유의하면서 부정적인 효과가 있다는 유목, 셋째, 통계적으로 유의하지 않다는 유목이라고 할 수 있고, 이 세 가지 유목중 개별연구들이 가장 많이 속하는 유목이 그 결과를 종합하는 것으로 보고하는 것이다. 투표법은 직관적인 매력이 많이 사용해 왔다. 이 투표법은 모든 연구를 사용하는 장점이 있으나 표본 크기의 차이를 고려하지 못한다는 단점이 있다. 즉, 10명의 참가자가 있는 연구와 10,000명의 참가자가 있는 연구와 동등하게 다뤄진다. 이것은 큰 표본이 질문에 더 정확한 대답을 제공할 것이라는 사실에 배치되는 문제이다. 그러므로 더 큰 표본으로부터 얻은 결과에 더 많은 가중치가 주어져야 한다.

 

화술적 문헌 연구에서는 기존 연구를 주관적으로 나열하는데 그치고, 투표식 방법은 화술적 문헌에 비해, 효과가 존재하는지 아닌지에 대한 질문을 다루지만, 효과가 큰지 작은지에 대한 정보를 제공하지는 않는다. 메타분석과 다른방법의 가장 큰 차이는 효과크기를 계산하고 종합하는지 여부라고 할 수도 있다.

Cohen (1988)은 효과 크기를 그 집단에 현상이 존재하는 정도라고 정의했다. 메타분석에서 효과 크기는 (a) 연구의 결과로 계산된다(또는 때때로 연구 내에서 비교), (b) 효과의 일반적인 크기를 추정하기 위해 연구를 평균을 구한다, (c) 연구에서의 차이가 존재하는지 발견하기 위해 연구간 비교한다. 만일 차이가 존재한다면 연구의 특징은 그 차이들을 설명할 수도 있다.

메타분석은 개별연구결과를 효과크기라는 양적인 지수를 사용하여 표현한다. 효과크기는 관심 있는 변수간 관계의 강도나 크기의 추정치이다. 효과크기는 연구들간 서로 비교가능한 장점이 있고, 그러므로 연구간 효과를 요약할 수 있다. 또한 p-value로 표현되는 통계적 유의성이 표본수에 종속적인데 비해 효과크기는 표본수에 대해 독립적이다.

효과 크기는 양적연구방법의 수만큼 많은 종류가 있지만, 대부분의 메타분석에서 다음의 세 가지 효과크기가 가장 많이 사용 된다. 첫 번째로 Cohen(1988)이 d-index라고 부른 두 집단 평균 간의 차이를 계산하는 효과크기로서 가장 대표적인 것이 표준화된 평균차이(the standardized mean difference)이다. 어떤 연구의 d-index를 계산하는 것은 실험집단과 통제집단의 합쳐진 표준편차(pooled standard deviation)로 두 집단 평균 간의 차이를 나누는 것이다. 두 번째, 또 다른 효과 크기는 r-index (또는 Pearson product moment correlation coefficient) 이다. 전형적으로 두 변수 간의 관계 정도를 측정하는데 사용된다. 상관계수는 대부분의 연구자들에게 친숙하고 두 연속 변인간의 관계를 설명할 때 가장 적절하다. 세 번째 효과 크기는 승산비(odds ratio) 이다. 승산비는 빈도 또는 비율처럼 변수가 양분되어 결과들이 제시될 때 적용할 수 있다. 이 승산비 효과크기는 연구자들이 사망이나 질병의 출현 또는 소멸에 대한 치료의 효과를 주로 연구하는 의료 및 보건분야에서 가장 많이 사용된다. 교육문제에서도 중도탈락율(drop-out)이나 합격-불합격 여부등이 연구관심사일 때 주로 사용될 수 있다.

기존의 개별연구들을 종합하려는 시도는 1900년대 초부터 시작되었으며, 이러한 메타분석의 절차는 기본적으로는 개별연구 절차와 맥을 같이 한다. Taveggia(1974)는 또한 문헌종합을 위한 여섯 가지 단계를 제시하였다. 즉, 연구 찾기(selecting research), 자료추출(retrieving), 목록화와 코딩화(indexing and coding studies), 연구결과의 특성분석(analyzing the comparabilities of findings), 연구결과의 축적(accumulating comparable findings), 도출결과의 분포 분석(analyzing the resulting distributions), 결과의 보고(reporting the results) 등이 그것이다. Cooper와 Rosenthal(1980)은 또한 연구결과를 요약하는 전통적인 방법과 통계적인 방법을 비교하였고, 이러한 노력들은 후에 Cooper (1982, 1989, 1998)에 의해 정리되어 오늘날 메타분석을 위한 표준안으로 인정받고 있는 ‘메타분석의 5단계’와 개념적으로 거의 일치한다. 최근 Cooper (2010)는 메타분석의 단계를 7단계로 수정 보완하였으나, 여기서는 기존의 5단계를 중심으로 메타분석의 절차를 고찰해 보고자 한다.

 

 

 

 

“메타분석 개념” 관련 읽기 자료

 

1. 장덕호, 신인수 (2011) 교육학 연구방법으로서 메타분석(Meta-analysis)의 발전과정 고찰. 교육과정평가연구, 14(3), 309-332

2. In-Soo Shin (2017) Recent research trends in meta-analysis. Asian Nuring Research. 11, 79-83.