효과크기 종합: 가중치 부여와 동질성 검정

효과크기 종합: 가중치 부여와 동질성 검정

 

지금까지 메타분석에서 연구문제 설정, 문헌 탐색, 데이터 평가(코딩), 그리고 데이터분석에서 효과크기의 개념과 종류에 대해서 살펴보았습니다. 오늘은 개별연구로부터 추출 및 계산된 효과크기를 종합하는 문제를 정리해 보겠습니다. 크게 개별연구들로부터 추출된 효과크기들에 대해 가중치를 부여하는 문제와 서로 다른 연구들로부터 추출된 효과크기들의 동질성 검정에 대해서 이야기 해 보겠습니다.

 

메타분석에서 효과크기를 종합하기 위해서는 먼저 개별연구들로 부터 효과 크기를 계산하는 것과 그 개별효과크기 들의 분산을 추정하는 것입니다. 메타분석은 raw data를 분석하는 것이 아니라서 이미 알려진 분산(known variance)을 쓴다는 점이 다른 양적연구와의 차이점입니다. 앞에서 말씀 드린 많이 쓰는 효과크기들에 대해 수리적으로 정의된 분산공식을 통해 계산된 분산을 사용합니다.

 

메타분석에서 효과크기를 종합할 때는 먼저, 이 계산된 분산의 역수로 가중치를 부여합니다. 보통, 효과크기의 분산은 표본수가 클수록 작습니다. 따라서 표본수가 클수록 분산은 작아지고, 가중치는 커지는 관계가 생깁니다. 메타분석의 효과크기 종합에서 가중치를 부여하는 이유는 더 큰 표본에 기초한 효과 크기에 더 큰 비중을 두고 더 큰 표본은 더 정확한 집단 추정치를 제공한다고 보기 때문입니다.

 

가중치가 부여된 효과크기들을 종합하기전에 각 효과크기들에 대해 동질성 검정을 통해 분석모형을 선택 합니다. 동질성 분석은 메타분석에서 개별연구간 효과크기가 동질한지 혹은 이질한지를 알려 줍니다.

 

동질성 검정은 효과크기의 관찰된 변량과 표집오차만에 의해 기대되는 변량과의 차이를 비교함으로써 검정 합니다. 그 변량이 커서, 효과크기들이 이질적인 것으로 판단되면 분석모형을 랜덤효과 모형으로 선택하고, 효과의 차이를 유발하는 조절변인을 탐색해 볼 수 있습니다. 동질성 검정결과 이질하지 않다면, 조절변인을 탐색하지 말아야 하는가? 에 대해서는 논란이 있습니다. 많은 통계학자들은 동질성 검정이 통계적으로 유의하지 않다면 거기서 분석을 멈춰야 한다고 하는 반면에, 다른 통계학자들은 메타분석 연구자들은 타당한 이론적·실천적 이유가 있다면 조절변인을 찾을 수 있다고 제안하고 있습니다. 어떤 분석을 어떤 목적으로 수행할지 여부에 대한 판단은 전공지식을 바탕으로 한 연구문제의 특성에 대한 안목에 먼저 기초해야 합니다. 그 다음이 통계적인 분석 절차에 대한 지식을 바탕으로 연구문제의 특성을 바탕으로 가정등에 대한 판단을 해야 합니다. 이 부분이 연구자의 전문성이 가장 필요한 부분이며, 서로 다른 전문성을 가진 연구자들의 협업이나 논의가 필요한 분야 같습니다.

 

앞에서 설명한 효과크기 개념부터 개별연구들로부터 계산된 효과크기 종합하기 까지의 과정을 정리해 보면 다음과 같습니다.

메타분석은 각 연구의 결과를 양적인 효과크기 지수에 의해 표현합니다. 효과크기는 관심변인의 관계에 대한 강도나 크기를 말하는데, 이 효과크기를 통해 서로 다른 연구들의 결과를 비교할 수 있고, 연구간 결과를 메타분석을 통해 요약할 수 있게 됩니다. 또한 효과크기는 통계적 유의성 검정과 달리 상대적으로 표본수에 독립적입니다. 개별연구의 효과크기와 분산을 계산한 후, 메타분석에서는 개별연구 효과크기에 대해 표본수에 따른 가중치를 부여한 후 전체효과크기를 종합합니다.

 

전체효과크기를 계산하기 전에, 각 개별연구가 동일 모집단에서 추출된 것인지 여부를 판단하는 동질성 검정을 한 후 분석모형을 선택합니다. 개별연구들이 동일모집단에서 추출된 것이라고 판단되고, 동질성 검정결과가 통계적으로 유의하지 않으면, 고정효과모형을 통해 전체효과크기를 추정하고, 개별연구들이 서로 다른 모집단에서 시행되었다고 판단되고, 동질성 검정결과가 통계적으로 유의하면, 랜덤효과모형을 통해 전체효과크기를 추정합니다. 여기서 주의할 점은 분석모형 선택을 동질성 검정에 따라서만 판단하지 말고, 연구자가 개별연구들의 특성을 반영해서 판단하는 것이 좋습니다.

 

이 경우 서로 이질적인 경우 조절변인을 탐색하는데 앞에서 언급한 것처럼 분산분석과 유사한 하위집단 분석을 실시하기도 하고, 회귀분석과 유사한 메타회귀분석을 실시하기도 합니다. 메타분석에서 분석결과에 대한 해석이 중요한데, 그 이유는 개별연구에서는 유의수준에 대한 해석을 위주로 하지만, 통계적 유의성은 실제적 유의성과 다르고 표본수에 영향을 받으므로 실제적 효과가 있어도 통계적으로 유의하지 않을 수 있고, 실제적으로 효과가 없거나 작아도 통계적으로 유의할 수 있습니다.

 

효과크기에 대한 일반적인 해석기준으로는 Cohen(1988)의 기준을 주로 사용합니다. 상관계수(r) 0.1과 평균차 효과크기(d) 0.2는 작은 크기의 효과, 상관계수 0.3과 평균차 효과크기 0.5는 중간크기의 효과, 상관계수 0.5와 평균차 효과크기 0.8은 큰 효과로 판단합니다. 그러나 이 기준은 어디까지나 일반적이고 개괄적인 것으로 연구자는 연구영역과 주제에 따라 효과크기에 대한 해석시, 연구 맥락과 연구특성을 고려하여야 합니다.

 

결과해석에 포함되어야 할 사항으로는 첫째, 메타분석에 포함된 개별연구의 수와 편의의 위험이 포함된 제시된 증거의 질에 대한 평가가 필요합니다. 둘째, 효과크기 수준이 아니라 연구 수준의 효과에 대한 정확도에 대한 평가를 제시해야 합니다. 셋째, 메타분석에 포함된 개별연구들이 동일 모집단에서 추출된 것인지에 대한 판단을 위해 연구간 효과들의 동질성 검정을 실시해야 합니다. 넷째, 개별효과크기들을 종합한 효과크기를 계산하면서, 추정치(point estimate)에 대한 크기와 방향, 신뢰구간, 통계적 및 실체적 유의성, 잠재적 편의 위험에 대해 해석 및 논의해야 합니다. 다섯째, 조절변인분석 실시 및 해석을 실시합니다.

 

이 다음에는 분석모형의 선택에 대해 조금 더 자세히 알아보고, 하위집단 분석, 메타회귀분석에 대해서 정리해 보도록 하겠습니다.

 

가중치 부여 및 동질성 검정 참고문헌 및 기본서

1. Cooper, & Hedges, 1994

2. Hedges와 Olkin, 1985

3. Lipsey와 Wilson, 2001

4. Cooper, 2016

5. Borenstein 등 (2009) Introduction to meta-analysis.