문헌 탐색 단계
메타분석의 개념과 가장 중요하다고 할 수 있는 연구문제 설정에 대해서 알아보았습니다. 오늘은 자료수집단계에 대해서 알아보겠습니다. 연구자가 문헌 탐색(Literature search)단계에서 내리는 결정은 궁극적으로 메타분석 결론의 기초를 형성하게 될 데이터의 폭과 깊이 등과 관련됩니다.
연구문제에서 정의된 독립변수와 종속변수들, 그리고 관련변인 메타분석에서는 보고자 하는 중심변수(outcome variable)와 관련된 연구들을 빠짐없이 찾고, 분석에 포함시키는 일이 가장 중요합니다.
빠짐없이 문헌 탐색을 위해서는 다음과 같은 다양한 시도가 필요 합니다. 첫째, 구체적이고 세심한 탐색노력이 필요하다. 탐색과정을 PRISMA 순서도로 제시해 주면 독자가 그 흐름을 따라가는데 도움이 됩니다. 둘째, 탐색 문헌정보 전문가(도서관 사서, 탐색 전문가)의 자문을 구하면 좋습니다. 셋째, 다양한 전자데이터베이스에 대한 검색어 탐색을 시도한다. 의료분야에서는 mesh term등의 검색식을 좀 더 많이 활용하고 있습니다. 보통 복수의 데이터베이스를 찾으라고 코크란이나 캠벨 등의 인터네셔널 네트워크 등 전문가 그룹에서 제언하고 있습니다. 넷째, ‘grey literature'를 탐색하기 위해 다양한 원천(website, special registers, reference lists, listserves, personal contacts)을 탐색한다. 출판된 연구만을 포함하지 말고, 출판되지 않은 연구를 포함하기 위해서입니다. publication status는 포함기준이 되어서는 안 됩니다. 다섯째, 연구주제와 관련된 저널에 대한 탐색(Hand-searching)을 한다. 너무 electronic data base에만 의존하지 말라는 권고입니다. 여섯째, 적어도 2명이상의 연구자가 잠재적으로 관련 있는 연구들에 대한 판단을 행하는 게 좋습니다. 탐색과정에서 제외된 연구는 연구결과의 타당성에 영향을 줄 수 있으므로 가능하면 복수의 연구자가 독립적으로 탐색하고 서로 빠진 것이 없는지 확인한다면 더 타당한 연구결과를 도출할 수 있을 것 같습니다. 그리고 이러한 탐색절차를 문서화 하는 것이 매우 중요한 절차라고 할 수 있다. 문서화를 통해 어떤 단계를 거쳐 어떤 문헌들을 찾았으며, 후속 연구자가 반복(replication)할 수 있기 때문이다. 앞에서 말한 PRISMA 순서도도 이러한 탐색절차 문서화 혹은 시각화의 한 방법이라고 할 수 있습니다.
메타분석 결론에서 차이를 가져오는 문헌탐색단계는 연구자들이 찾으려고 시도한 학술지 네트워크, 데이터베이스, 리스트서브, 개인 통신과 같이 연구들을 검색하는데 사용하는 자료의 차이에 의해 발생할 수 있다. 다양한 자료 원천과 다양한 자료 찾기 방법을 동원해서 모두 다 찾는 것이 중요합니다. 최근에는 구글이나 web of science의 관련 연구 찾기 기능이나 그 연구를 citation한 연구들의 목록을 제공하므로 그러한 기능을 이용해 선행 메타분석을 update하자는 논의도 있습니다.
메타분석을 행하는데 있어서 연구자들은 서로 얼마나 철저한 문헌 연구가 필요한지, 특히 미간행 연구의 포함이 필요한지에 대해 견해가 다르고 논란이 있을 수 있습니다.
관련문헌을 찾는데 있어 편의를 유발할 수 있어 다음과 같은 주의할 점이 있습니다.
첫째, 출판 편의(publication bias): 출판된 연구물이 통계적으로 출판되지 않은 연구물 보다 더 많이 유의하다는 것은 잘 알려진 사실입니다. 그러므로 전자적 데이터베이스 탐색에만 의존하지 말고, 출판되지 않은 연구물을 포함하려는 노력을 기울여야 합니다. 둘째, 영어 편의(English language bias): 영어로 출판된 학술지는 다른 언어로 출판된 학술지보다 더 큰 효과를 가지는 경향이 있으므로 영어로 출판된 학술지에만 의존하지 말아야 합니다. 그 밖에 연구 분야별로 사용하는 용어가 일관되지 않고, 사용하는 방법론에 대한 명칭(labeling)또한 일관되지 않으므로 문헌 탐색시 유의해야 합니다.
이러한 노력을 통해 찾은 논문들 중에서 다음에 소개될 효과크기를 계산하고 분석을 하게 됩니다. 찾는 과정을 투명하고 구체적으로 다음 연구자들이 보고 따라 할 수 있을 정도로 자세하게 기술한 후 분석대상 논문들에 대한 정보를 표로 제시해 주는 게 일반적인 메타분석의 보고 기준입니다.
이 단계에서 여러 가지 질문들을 하는 대학원생들이나 연구자들이 많습니다. 중요한 점은 이 단계는 데이터 생성 과정이라는 점입니다. 물론 연구문제와 관련성이 가장 많고, 자기가 연구문제에 대해 논증하기 위해 어떻게 분석할 것인지와 관련되는 문제입니다. 이 단계와 효과크기 코딩 및 계산, 분석방법이 밀접하게 관련 있는 이유이기도 합니다.
다음에서는 차례로 코딩하는 문제, 분석문제, 결과제시 하는 단계를 차례로 소개해 보겠습니다.
Jong-Myon Bae, Eun Hee Kim (2016) Citation Discovery Tools for Conducting Adaptive Meta-analyses to Update Systematic Reviews. J Prev Med Public Health 49:129-133
https://www.students4bestevidence.net/systematic-literature-search/
댓글 없음:
댓글 쓰기