본 글은 Kitchenham(2004)의 “Procedures for Performing Systematic Reviews”를 요약한다 (논문 링크). 이 논문은 소프트웨어 공학 분야에서 체계적으로 문헌 검토를 수행하는 절차를 제시한다. 논문 쓰기 기초 관련 글 타래는 다음 링크를 살펴보면 된다.
■ 논문 작성 단계와 문헌 검토의 역할
논문 작성은 일반적으로 1) 주제 선택 2) 문헌 검토 3) 연구 방법 결정 4) 데이터 수집 5) 분석 6) 결과 도출 7) 결과 발표의 단계를 따른다. “Social Science Research: Principles, Methods, and Practices”에 따르면 문헌 검토는 연구 주제와 관련된 이전 연구나 문헌들을 조사하고, 이를 종합하여 연구 주제와 관련된 문제와 이슈를 식별하는 과정이다. 논문의 주제를 선택했다면(즉, 연구 목적과 가설을 수립했다면), 문헌 검토를 통해 연구 주제와 관련된 선행 연구와 문헌을 검토하여 내가 설정한 연구 주제와 가설을 보완해나가야 한다.
문헌 검토의 과정은 다음과 같다.
- 연구 주제의 범위와 목적을 명확히 이해한다.
- 검색 전략을 수립하고, 검색어를 선택한다.
- 검색 엔진을 사용하여 이전 연구와 문헌을 검색한다.
- 검색 결과를 평가하고, 연구 주제와 관련 있는 문헌을 선택한다.
- 선택된 문헌을 분석하고, 이전 연구에서 발견된 결과와 결론을 비교한다.
- 분석 결과를 종합하여 문헌 검토 보고서를 작성한다.
문헌 검토는 연구의 핵심 요소 중 하나로, 연구 주제와 관련된 선행 연구와 문헌을 적극적으로 조사하여, 연구의 가설과 연구 방법을 결정하는 데 중요한 역할을 한다. 이를 통해, 이전 연구에서 발견된 결론을 검토하고, 연구 주제와 관련된 더 깊은 이해를 얻을 수 있다.
■ 체계적인 문헌 검토(Systematic review)란?
논문에서 말하는 체계적인 검토는 종합적 문헌 검토를 말한다. 이는 특정 주제에 대한 연구 문헌을 체계적으로 식별, 선정, 분석, 요약, 평가하는 과정을 말한다. 이를 통해, 연구 문헌에서 얻은 정보를 종합하고, 이를 토대로 새로운 인사이트를 도출하거나, 연구 주제나 가설에 대한 검증을 수행할 수 있다.
체계적인 문헌 검토의 특징은 다음과 같다.
- 명확한 연구 프로토콜: 연구를 수행하는 과정, 즉, 연구 문헌의 선정 기준, 검색 전략, 분석 방법, 결과 요약 및 평가 방법 등을 명확하게 기술한 프로토콜을 가져야 한다.
- 체계적인 검색 전략: 특정 주제에 대한 연구 문헌을 체계적이고 철저하게 검색해야 한다. 이를 통해, 연구 문헌을 가능한 모두 수집하고, 선별적으로 분석할 수 있다.
- 반복 가능성과 일관성: 다른 연구자나 리뷰어가 동일한 프로토콜과 검색 전략을 사용하여 연구 문헌을 재검토할 수 있도록 설계되어야 한다. 이를 통해, 연구 결과의 일관성과 반복 가능성을 보장한다.
- 종합적 분석과 결과 요약: 선택된 연구 문헌을 종합적으로 분석하고, 결과를 요약하여 제시해야 한다. 이를 통해, 연구 문헌에서 얻은 정보를 쉽게 이해하고 활용할 수 있다.
■ 1단계: 프로토콜 개발하기(Develop a protocol)
체계적 문헌 검토를 수행하기 전에 체계적인 검색 전략과 분석 방법을 포함한 연구 계획서를 작성해야 한다. 논문에서 말하는 프로토콜은 이를 위한 일련의 절차와 규칙 등을 상세히 기술하는 프레임워크이며 연구의 투명성과 타당성을 보장한다. 프로토콜은 다음의 내용을 담는다.
- 연구 목적 및 연구 질문: 체계적인 문헌 검토의 목적과 연구 질문을 명확하게 기술한다.
ex) 정보 시스템 분야에서의 공개 소프트웨어의 비즈니스 모델과 수익 모델의 종류와 효과에 대한 문헌 검토 - 검색 전략: 검색어, 검색 데이터베이스, 검색 기간, 검색 필터 등 검색 전략을 기술한다.
ex) oogle Scholar, IEEE Xplore Digital Library, ACM Digital Library와 같은 학술 데이터베이스에서 2010년부터 2022년까지의 논문을 검색하는 것으로 함. 검색어로는 “open source software business models”와 “open source software revenue models” 등이 포함됨 - 문헌 선정 기준: 선정 기준을 명확히 설정하여, 문헌 선정에 대한 주관성을 배제하고 투명한 선정 과정을 보장한다.
ex) 소프트웨어 제품이 비즈니스 모델과 수익 모델의 종류에 따라 분류되며, 이를 기준으로 선정함 - 데이터 추출 방법: 선정된 문헌에서 추출할 데이터와 방법을 명시한다.
ex) 각 선정된 문헌에서 해당 비즈니스 모델과 수익 모델의 종류, 특징, 장단점, 적용 가능성 등의 정보를 추출함 - 품질 평가 기준: 선정된 문헌들의 품질 평가를 위한 기준을 설정한다.
ex) 선정된 문헌의 출처, 연구 방법, 데이터 분석 방법 등의 품질 평가를 실시함 - 분석 방법: 선정된 문헌을 분석할 방법을 명시한다.
ex) 추출한 정보들을 종합하여 공개소프트웨어의 비즈니스 모델과 수익 모델에 대한 종류와 효과를 분석함
■ 2단계: 연구 주제에 대한 질문을 정의하기(Define the research question)
다음으로 문헌 검토의 목적과 방향을 결정하기 위해 연구 주제에 대한 질문을 정의해야 한다. 이 단계는 연구의 목적과 범위를 정의하고, 연구 주제와 관련된 중요한 요인들을 파악한다. 이러한 요인은 실무자와 연구진 모두에게 의미 있어야 한다.
- 기술적 요인 평가:
연구 주제와 관련된 기술이 어떻게 사용되고 있는지, 이를 통해 어떤 장단점이 있는지, 어떤 문제점이 있는지 등을 파악한다.
예를 들어, 소프트웨어 개발 프로젝트에 관련된 연구를 수행한다면, 연구 주제와 관련된 기술로는 애자일 방법론, DevOps 도구, 클라우드 컴퓨팅 등이 있을 수 있다. 이러한 기술들이 개발 프로젝트의 효율성, 생산성, 품질 등에 어떤 영향을 미치는지를 평가한다. - 프로젝트 개발 주기 평가:
연구 주제와 관련된 프로젝트가 어떤 주기로 개발되고 있는지, 이러한 주기가 프로젝트의 성공과 어떤 관련이 있는지 등을 파악한다.
예를 들어, 소프트웨어 개발 프로젝트의 경우, 프로젝트 개발 주기는 일반적으로 워터폴 방식과 애자일 방식으로 나뉘어 진다. 워터폴 방식은 순차적인 접근 방식으로, 각 단계를 완료한 후에 다음 단계로 이동하는 방식이다. 반면에 애자일 방식은 반복적이고 점진적인 방식으로, 짧은 주기로 반복적인 개발을 수행하는 방식이다.
이러한 프로젝트 개발 주기가 프로젝트의 효율성, 생산성, 품질 등에 어떤 영향을 미치는지를 평가하여 프로젝트 개발 주기를 최적화하거나 적절한 방식으로 선택함으로써 프로젝트의 성공을 증가시킬 수 있다. - 비용과 위험 요인 평가:
비용 요인은 연구를 수행하기 위해 필요한 자원(인력, 장비, 소프트웨어 등)의 비용을 고려하는 것을 말하며, 위험 요인은 연구를 수행하는 과정에서 발생할 수 있는 위험을 고려하는 것을 말한다.
비용 요인과 위험 요인을 평가하여 연구를 수행할 때 필요한 자원을 적절하게 계획하고, 연구를 수행하는 과정에서 발생할 수 있는 위험을 최소화할 수 있다. 또한 이러한 요소를 고려하여 연구의 실용성과 유의성을 평가하고, 연구 결과의 신뢰성을 높일 수 있다.
예를 들어, “소프트웨어 개발 프로젝트에서 테스트 자동화의 비용과 위험 요소”라는 연구 주제를 고려해보면, 비용 요인으로는 테스트 자동화를 위해 필요한 소프트웨어 도구의 비용, 자동화를 수행하는 데 필요한 인력 비용 등이 있을 수 있다. 위험 요인으로는 테스트 자동화를 도입하는 과정에서 발생할 수 있는 잠재적인 위험들(예를 들어, 기존 테스트 방법과의 호환성 문제, 자동화된 테스트 케이스 작성 오류 등)을 고려해야 한다.
■ 3단계: 관련 문헌에 대한 포함/제외 기준 지정하기(Specify inclusion/exclusion criteria)
포함/제외 기준은 연구 대상을 선정하기 위해 사용되는 기준으로 연구의 목적과 질문, 대상 독자 등에 따라 다양하게 설정될 수 있다. 일반적으로 연구 주제와 관련된 문헌에 대해서는 포함 기준에 해당하는 기준을 설정하며, 반대로 연구 주제와 크게 관련이 없거나 연구의 목적에 부합하지 않는 문헌에 대해서는 제외 기준을 설정한다.
예를 들어, 시스템 개발 프로세스를 연구하는 경우, “소프트웨어 공학”이나 “시스템 개발” 등과 관련된 주제를 다루는 논문을 포함 기준에 설정할 수 있다. 반면에, “컴퓨터 하드웨어”나 “네트워크 보안” 등과 크게 관련이 없는 논문은 제외 기준에 해당될 수 있다.
그러나 단일 연구자가 포함/제외 기준을 설정할 경우, 주관적인 판단이 개입될 수 있고 시간과 노력이 많이 들고, 수작업으로 모든 단계를 처리할 경우, 실수로 누락된 논문이나 오류가 발생할 수 있다. 따라서 팀 단위로 작업을 분담하고 작업의 일관성을 유지하는 것이 좋다.
예를 들어, 연구자 팀이 독립적으로 포함/제외 기준을 적용하고 선택된 연구들로부터 데이터를 추출하도록 할 수 있다. 또한, 연구자 팀은 포함/제외 기준 및 데이터 추출 양식의 사용에 대해 교육을 받아 리뷰어 간의 일관성을 보장하도록 해야 한다. 리뷰 과정은 일관되게 기준을 적용하고 리뷰어 간의 의견 차이나 불일치가 토론을 통해 해결되거나 필요한 경우 제3 리뷰어에게 상담을 요청함으로써 해결되도록 모니터링되어야 한다.
결정 과정을 기록하고, 연구 포함/제외에 대한 이유를 문서화하여 검토 과정이 투명하게 유지되도록 하는 것도 중요하다. 마지막으로, 검토에 포함된 연구들로부터 데이터를 추출하는 방법을 명확하게 기술하여 결과가 다른 사람들에 의해 복제 가능하도록 보고해야 한다.
■ 4단계: 검색 전략 정의하기(Define the search strategy)
이 단계는 연구 질문에 관련된 문헌을 찾기 위한 검색 전략을 개발한다. 검색 전략을 개발하는 데에는 다음과 같은 절차가 있다.
- 검색어 및 검색 조건 정의:
연구 주제와 관련된 검색어를 선정하고, 어떤 조건에서 검색할 것인지(예: 기간, 언어, 출판 유형 등)를 정한ㄴ다다. - 검색어 조합 및 검색식 작성:
검색어를 조합하여 적절한 검색식을 작성합니다. 여기서 검색식은 검색 시스템에서 사용되는 검색어의 조합을 말한다. - 검색어 유효성 검증:
작성한 검색식이 적절한지 확인하기 위해, 검색어의 유효성을 검증한다. 이는 시범 검색을 통해 검증할 수 있다. - 검색어 및 검색 전략 문서화:
개발한 검색어와 검색 전략을 문서화한다. 이는 검색에 대한 투명성과 검색 과정의 재현성을 높일 수 있다.
이러한 검색 전략을 개발하는 과정에서는, 검색어와 검색 조건을 정하는 것 뿐만 아니라, 검색어의 동의어나 유의어 등 다양한 검색어를 포함하여 검색 효율성을 높이기 위해 노력해야 한다. 또한, 검색 전략을 문서화하여 다른 연구자나 피어 리뷰어가 검색 과정을 검증할 수 있도록 하는 것이 중요하다.
■ 5단계: 추출할 데이터를 정의하기(Defien the data to be extracted from each primary study)
이 단계에서는 포함된 논문들로부터 추출할 데이터를 정의하고, 각 논문의 품질 정보를 수집한다. 일반적으로 이 단계에서 추출되는 데이터에는 다음과 같은 것들이 있습니다:
- 연구 디자인:
연구가 어떤 디자인으로 진행되었는지, 예를 들어 사례 연구, 실험 연구 등이 있다. - 표본:
연구의 대상이 누구였는지, 어떤 샘플링 방법을 사용했는지 등에 대한 정보다. - 결과:
연구에서 도출된 결과물과 해당 결과의 통계적 유의성 등에 대한 정보다 - 측정도구:
연구에서 사용된 측정 도구와 해당 도구의 신뢰성과 타당성 등에 대한 정보다. - 품질 정보:
연구의 품질에 대한 정보를 수집한다. 이를 위해 일반적으로 품질 척도를 사용하는데 품질 척도에는 JADAD, Cochrane risk of bias tool 등이 있다.
이 단계에서 수집된 데이터는 분석을 위해 사용된다. 이를 통해 연구 결과의 유효성과 타당성을 검토하고, 추후의 메타분석 및 체계적인 문헌 검토를 위한 기반 자료로 사용된다.
■ 6단계: 포함 논문과 제외 논문을 업데이트하기(Maintain lists of icluded and excluded study)
모든 검색 결과를 스크리닝하여, 포함되거나 제외되는 논문들을 식별한다. 포함/제외 기준에 따라, 각 논문이 포함되었는지 또는 제외되었는지 여부를 명확히 결정한다. 포함된 논문들과 제외된 논문들의 목록을 별도로 작성하고, 이를 업데이트한다. 이후, 논문들을 읽어보고 데이터를 추출하는 과정에서는 포함된 논문들만을 대상으로 작업을 수행한다.
이 과정을 통해 연구자는 체계적인 문헌 검토의 결과물을 체계적으로 관리하고, 검색과 선정 과정에서의 판단을 추적하며 검증할 수 있다. 또한, 포함/제외 기준에 따라 논문을 선정하는 과정에서 투명성을 유지하면서, 논문 검색 및 선정 과정에서의 잠재적인 편향을 방지할 수 있다.
■ 7단계: 데이터 합성 가이드라인 사용하기(Use the data synthesis guidelines)
데이터 합성(Data synthesis)은 체계적인 문헌 검토에서 수집한 다수의 연구 결과를 종합하여 새로운 결과를 도출하는 과정을 말한다. 이 과정에서는 다양한 방법을 사용할 수 있다. 예를 들어, 질적 연구의 경우에는 연구 결과들을 주제와 관련된 카테고리로 분류하고, 유사한 결과들을 그룹으로 묶어 종합하는 방법을 사용할 수 있다. 반면에 양적 연구에서는 통계학적 기법을 사용하여 결과를 종합한다.
메타분석(Meta-analysis)은 데이터 합성 중의 하나의 방법으로, 동일한 주제에 대한 다수의 연구 결과를 통계학적으로 통합하여 분석하는 방법이다. 메타분석에서는 주로 표준화된 효과크기(standardized effect size)를 계산하여 다양한 연구 결과들을 통합한다. 이를 통해 연구 결과들의 강도(intensity)와 유의성(significance)를 파악하고, 연구 결과들 간의 차이와 다양성 등을 분석할 수 있다.
■ 8단계: 보고서 가이드라인 사용하기(Use the report guidelines)
보고서 가이드라인은 해당 연구분야에서 인정받고 표준화된 보고서 작성 방식을 제공한다. 따라서 보고서 가이드라인은 각 연구분야마다 다르다. 보고서 가이드라인을 통해 보고서의 일관성과 품질을 향상시키고, 보고서의 비교와 검토가 용이해진다.
예를 들어 의학 분야에서는 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)가 보고서 가이드라인으로 많이 사용된다. 정보 시스템 분야에서는 ACM(Association for Computing Machinery) 또는 IEEE(Institute of Electrical and Electronics Engineers)의 학술지 논문 작성 가이드라인을 따르곤 한다.
문헌 검토의 가이드라인은 일반적으로 다음과 같다. title-authorship-executive summary-background-review question-review methods-included & excluded studies-results-discussion-conclusion-acknowledgement-conflict of interest-references and appendices로 이뤄진다.
참고 문헌
- Procedures for Performing Systematic Reviews (Kitchenham 2004)
- Social Science Research: Principles, Methods, and Practices (Bhattacherjee 2012)