7장 타당도의 문제

상담연구방법론, by Heppner, P. P., Wampold, B. E., Owen, J., Thopso, M. N.

Author

Sungkyun Cho

Published

February 27, 2023

앞서 내적, 외적 타당도의 균형 대해 논의

연구 설계의 타당도를 평가하는 4가지 추론에 대해 자세히 다룸 (7장 번역 주의!)

타당도의 위협에 대해 검토할 때 염두할 사항들

  • 일반적으로 타당도의 대한 논의는 오랜 동안 과학철학자들에 의해 다루어지면서 수정, 보완되어 진화해 온 것으로 연구의 내재적인 속성으로 완전히 고정되거나 확립된 것은 아님.

    • 올바른 추론을 방해하는 위협들을 이해하여 올바른 결론의 확률을 높힐 수 있음을 인식하는 것이 중요!

  • 어떠한 연구도 결론에 대한 타당성을 위협하는 요소들을 완전히 제거할 수는 없음.

    • 후속 연구들은 앞서 연구에서 있었던 타당도 위협을 제거하도록 설계되어야 함.
    • 그러한 연구들이 축적되면서 그 분야의 대한 논지가 강화됨.
    • 예. 흡연과 건강에 대한 인과관계

  • 특정 연구에서 위협에 대한 판별과 그에 따른 결론에 대한 함의

    • 위협이 존재한다고 해서 결론이 틀렸다고 단정할 수는 없음.
      • 예. 무릎 부상으로 인한 육상선수의 우울증 감소에 대한 치료법: 어깨 부상을 가진 환자에게도 적용가능?
    • 위협도 존재하며, 올바른 결론도 내리기 어려움
      • 예. 자발적 참여자(volunteer)들에게 시행된 치료가 비자발적 참여자(non-volunteer)(통제군)와 비교해 나은 결과가 나왔을 때
        • 타당한 위협이 존재: non-random assignment
        • 대안 가설 존재: 자발적 참여자들의 열의가 치료의 효과로 나타날 수 있음
    • 반대로,
      • 예, 자발적 참여자와 비자발적 참여자 간의 차이가 없었을 때,
        • 타당한 위협이 존재하나
        • 치료 효과가 없다는 결론을 어느 정도 내릴 수 있음: 자발적 참여자에게도 효과가 나타나지 않았음

  • 여러 가지 타당도 간의 trade-offs

    • 한 가지 타당도가 높으면 다른 타당도가 낮아질 수 있음.
    • 예. 내적 타당도를 높이기 위해 엄밀히 실험 통제(내적 타당도)를 할수록 일반화(외적 타당도)하기 어려움.

  • 연구의 수행자나 소비자 모두에게 타당도는 중요

    • 연구자들은 연구 설계에서 타당도에 대한 위협요인을 최소화하고,
    • 연구의 소비자들도 독립적으로 타당도 위협을 면밀히 조사해야 함; 예) D.A.R.E. (약물 오남용 저항 교육) 개입의 효과성?
Note

예시 연구

사회 불안에 대한 인지치료의 효과가 제한적이라고 의심: 행동으로까지 확장되지 않음
실제 행동연습(in vivo behavioral exercises)을 치료에 포함시키면 효과가 더 커질 것이라는 가설을 검증하기 위해 연구를 수행

  • 점진적 상황에 노출: 1) 낯선 사람에게 먼저 미소를 짓고, 2) 짧은 대화, 3) 사교적 만남을 추진
  • 사회 불안에 대한 측정: 실험 협조자가 낯선 사람 역할을 하며, 참여자들과 대화를 나눈 후 그들이 경험한 불안 수준을 ABC 불안 검사에서 보고한 값으로 측정
  • 무선 할당: 1) 인치 치료만 2) 인치 치료 + 실제 행동연습
  • 참여자 모집: 사회 불안을 다루는 프로그램에 대한 광고에 응답하고, 연구자에 의해 사회적 불안이 있다고 측정된 40명을 무작위로 선발
  • 결과: 실제 행동연습을 포함한 인지치료에서 ABC 불안 검사에서 (통계적으로 유의한) 더 낮은 점수를 보였음.