메타분석(meta-analysis)에서 연구문제 설정

연구문제 설정

 

 

연구문제 형성(problem formulation) 단계에서는, 다양한 방법과 처치, 표본, 결과 측정치를 사용한 연구의 결과를 종합하는데 따른 개념적인 문제들이 제기된다. 어떤 연구들이 포함되어야 하며, 어떤 결과를 종합해야 하는가? 등의 질문에 대해 답하기 위해서는 어떻게 연구문제를 정의해야 하는 지에서 시작된다. 먼저 연구문제를 구체적이고 폭이 좁게 정의하면 구체적인 처치나 중재의 효과를 분석하는데 유용하지만 연구문제를 종합적으로 분석하기 어렵다. 넓고 일반적으로 연구문제를 정의하면, 새로운 지식을 생성하는데 유용하지만, 데이터를 수집하고 관리하는데 어려움이 많다. 먼저 어떤 종류의 연구문제가 메타분석에서 다루어질 수 있는가? 첫째, 처치나 중재의 효과에 대한 질문이 가능하다. 어떤 중재나 처치가 어떤 집단에 효과적인가? 혹은 처치의 종류나 형태에 따른 차이는 무엇인가? 둘째, 변수간의 관계에 관한 질문이 가능하다. 특정 모집단에 대한 변수 X1과 X2의 관계의 크기와 방향은 무엇인가? 서로 다른 모집단별로 변수간 관계의 차이는 없는가? 셋째, 진단적 혹은 예측적 질문이 가능하다. 어떤 시험유형이 학생의 합격을 더 잘 예측하는가? 모집단의 연령대 혹은 초·중·고 학교 급별 차이에 따라 학생의 성적을 예측하는 시험의 유형이 다른가? 어떤 유형의 약품이나 수술이 환자의 생사에 영향을 주는가 등의 질문이 가능하다. 이 세가지 질문 유형은 앞에서 설명한 효과크기의 세가지 종류와 밀접한 관련이 있다.

 

연구자들은 (a) 관심 변인들을 개념적·조작적으로 정의하고 (b) 관련변인의 관계를 분명히 진술해야 한다. 개념 정의를 통해 독립변수와 종속변수들의 특징을 이해하고, 관련 있는 사건과 무관한 사건을 구별한다. 메타분석의 결과 분석에 있어서 차이를 가져오는 첫 번째 이슈는 이 문제형성단계의 개념 정의에서 발생할 수 있다. 추상적인 개념 정의는 연구주제나 관심 있는 문제의 폭에서 다를 수 있다. 개념을 구체적인 사건에 관련시키기 위해 메타분석에서는 관심 변인들을 조작적으로 정의되어야 한다. 조작적 정의는 관심주제에의 변인을 측정할 수 있는 수준으로 정의하는 것을 말한다. 예를 들면 학생의 사회경제적 지위를 측정한다면, 사회경제적 지위라는 개념을 그 학생의 아빠의 학력을 측정변수로 정하는 경우도 일종의 조작적 정의라고 볼 수 있다. 문제형성 단계에 있어서 각각의 차이는 종합적인 결론의 신뢰성과 타당성에 잠재적인 위협을 가져온다. 첫째로, 매우 협소한 개념화에 초점을 맞춘 연구자들은 결과가 얼마나 많은 다른 내용에 적용되고 일반화하기 어렵다. 그러므로 폭넓은 개념적 정의를 하는 연구자들은 협소한 정의를 사용하는 사람들보다 잠재적으로 더 타당한 결론에 도달할 수 있다. 그러나 폭넓은 연구 문제 정의는 연구 결과를 도출하기 위해 관리하고 처리해야 할 과정이 지나치게 복잡할 수 있다. 문제형성 단계에서는 향후 문헌 탐색 후 문헌을 평가하는 단계에서 어떤 연구들을 포함하고 포함하지 않을 지에 대해 PICOS(Population, Interventions, Comparison group, Outcome, Study design)체제에 대한 기준을 개념적으로 마련해야 한다(Cooper, Hedges, & Valentine, 2008). 연구자는 연구문제 설정 단계에서 PICOS에 따라 어떤 모집단, 어떤 처치, 어떤 비교집단, 어떤 결과들에 대해 어떤 연구설계를 사용한 연구를 분석대상으로 할지 정해야 한다. PICOS를 설정하는데서 연구의 선행연구와의 차별성, 독자성 및 연구의 의미를 도출할 수 있다.

 

 

 

기본적인 세가지 유형의 연구 문제 적용예:

- 평균차이 메타분석, 관련변인 메타분석, 승산비 메타분석

 

1) 장봉석, 신인수(2011) 중·고등학생에 대한 자기조절학습 프로그램 효과의 메타분석. 교육과정평가연구 2011 14(3), 187-210

2) Jang, DH. Shin, IS(2011) The relationship between research self-efficacy and other research constructs: Synthesizing evidence and developing policy implications through meta-analysis. KJEP 8(2), 279-301.

3) Kim, JS., Kim BW, & Shin, IS (2014) Efficacy and safety of endoscopic submucosal dissection for superficial squamous esophageal neoplasia: A meta-analysis. Dig Dis Sci, 59(8), 1862-1869.

 

기본서

 

1) Cooper, H. (2015) Research synthesis and meta-analysis: A step by step approach. SAGE Publications