메타분석(meta-analysis)에서 데이터 평가 (코딩)

데이터 평가 단계

 

관심주제에 대해 연구문제를 설정한 후, 데이터 수집하는 단계까지 앞에서 소개하였습니다.

오늘은 세 번째 단계인 메타분석에서의 데이터 평가 단계를 간략히 정리해 보겠습니다.

 

저는 데이터 평가 단계를 조사연구에서 데이터 수집하는 단계와 유사하다고 생각합니다. 다시 말하면 연구자가 이 단계에서는 전문가들이 연구한 연구물의 전문 정보에서 자기 연구목적에 필요한 정보를 추출하는 과정이라고 생각합니다. 데이터 생성 단계입니다.

 

문헌이 수집된 후에, 연구자들은 개별 연구들이 연구에 필요한 정보가 있는지에 대해 먼저 판단을 합니다. 수집된 개별 연구가 메타분석의 분석대상이 될 수 있는지에 대한 판단을 해야 합니다. 분석대상 논문으로 포함할지의 여부는 연구자의 연구주제와 관련되고 필요한 정보를 포함하고 있는지에 의해 결정됩니다. 이때, 필요한 정보가 있어서 분석대상 논문으로 판단되면, 훈련된 연구자가 개별 연구물로부터 메타분석을 위한 정보를 뽑아내기 위해 표준화된 코딩 절차를 사용합니다.

 

데이터 평가단계에서 논의해야 할 주요 이슈는 첫째, 연구 포함 기준을 어떻게 설정하고, 포함여부를 결정할 것인가? 둘째, 코팅 프로토콜 개발 및 코딩자 훈련 실시 문제 및 코딩자간 신뢰도를 어떻게 확보하고 평가할 것인가? 에 대한 논의가 필요합니다.

 

첫째, 연구포함 기준: 수많은 연구들 중에서 어떤 연구를 메타분석에 포함할 지에 대한 선별 기준을 만드는 일이 필요한데, 먼저 몇 개의 표본 연구를 검사해서 기준을 다듬는 것도 필요합니다. 타당한 포함기준을 만들고 개별연구 포함여부를 적절하게 평가하기 위해서는 두 명이상의 연구자가 판단하고 코딩하는 것을 일반적으로 추천합니다.

 

둘째, 코딩 프로토콜 개발: 코딩 프로토콜의 주요 목적은 메타분석 연구가 어떤 연구인지 기술하고, 포함되지 않을 연구와의 구별이 필요하고, 효과크기 같은 연구결과를 추출하기 위해 필요하다. 코딩지(coding form)와 코딩매뉴얼이 모두 필요하고 중요합니다. 코딩해야 할 정보에는 연구 세팅, 연구 맥락(study context), 저자, 출판날짜, 출판 형태 등이 필요합니다. 연구방법과 관련해서는 표본 할당 및 조건 설정방법, 표본 탈락(dropouts), 사전검사 여부, 표본에 대한 blinding 여부, 집단 간 차이를 위한 통제하기위한 통계적 절차, 결측치 처리 방법 등에 대한 코딩이 필요합니다.

 

데이터 평가단계를 다시 정리해서 말씀드리면, 연구특징(study characteristics)과 효과크기(effect size)에 대한 정보를 수집하는 것이라고 할 수 있습니다. 연구특징은 메타분석에서 독립변수와 유사한 역할을 합니다. 효과크기는 메타분석에서 종속변수의 역할을 한다고 볼 수 있습니다.

 

데이터 평가단계는 연구문제 설정단계에서 PICO (Population, Intervention, Comparison, Outcome)과 아주 밀접한 관계가 있습니다. 즉 연구문제에서 설정한 모집단, 처치나 프로그램의 유형이나 특징, 비교 집단이나 비교 처치의 특징이나 유형, 분석하고자 하는 결과의 종류나 유형에 대한 정보를 코딩하는 것입니다. 또한 데이터 평가 단계에서는 분석하고자 하는 효과크기와 분석방법에 대한 이해와 선택과 밀접한 관계가 있습니다.

 

또한 데이터 평가 단계에서는 연구특징과 효과크기를 코딩해서 데이터를 생성하는 것외에 개별연구의 질에 대한 판단 및 평가도 중요한 요소라고 할 수 있습니다. 개별연구의 질평가와 관련된 논의는 독립된 주제로 정리하도록 하겠습니다.

 

앞으로 연구의 질에 대한 평가, 효과크기의 종류와 계산, 분석방법의 종류와 선택, Sub-group analysis와 meta-regression, 출판편의, 결과보고 등에 대한 논의가 한편의 메타분석을 이해하고 적용하는데 필요한 아주 기본적인 논의 주제입니다.

 

이외에 서로 다양한 결과치, 다양한 독립집단, 여러 시점의 측정치들에 대한 문제, 메타분석에서의 검정력, 이분형 데이터의 분산 계산 문제, 서로 다른 연구설계를 포함하는 문제, 서로 다른 효과크기를 종합하는 문제, 메타분석에 대한 비판, 메타분석에 대한 오해와 이해, 최근 연구동향 등에 대해서도 시간나는대로 차례로 정리해 보겠습니다.

읽기 자료 추천 및 적용예

 

기본서

1) Cooper, H. (2015) Research synthesis and meta-analysis: A step by step approach. SAGE Publications.

2) Lipsey, M. W., & Wilson, D. B. (2001) Practical meta-analysis. Sage Publications

3) Higgins, J., & Green, S. (Eds) (2009) Cochrane handbook for systematic review of interventions. John Wiley & Sons, Ltd.