구성 타당도 (7장)

상담연구방법론, by Heppner, P. P., Wampold, B. E., Owen, J., Thopso, M. N.

Author

Sungkyun Cho

Published

February 27, 2023

연구자가 측정하고자 하는 구성개념(construct)을 변수들이 얼마나 잘 반영하는지를 말함.
구성타당도는 척도 개발에 있어서 중요한 문제 (10장)

원래 의도한 구성개념과 구별하기 힘든 또 다른 구성 개념이 혼재되어 있어 모호한 경우, confound(교란)가 존재한다고 말함.

Note

예시 연구
남성 내담자의 경우 여성 상담자를 더 선호한다는 가설에 대한 연구에서,

  • 무선 할당된 그룹 A: 여성 상담자의 이름과 사진이 있는 글을 읽고,
  • 무선 할당된 그룹 B: 남성 상담자의 이름과 사진이 있는 글을 읽은 후
  • 자신의 문제를 해결하기 위해 주어진 상담자를 만나고자 하는 의향이 얼마나 있는지 측정
  • 실제, 여성 상담자를 더 선호하는 것으로 나타남

이 경우, 성별이라는 변수는 적어도 두 개의 구성개념들이 간섭되어 있음.

연구의 관심 차원에서만 조작되어야 하고, 그 외의 차원에서는 모두 같아야 함.
즉, 측정하고자 의도한 것만 측정되어야 함.

앞서 “죽음에 대한 생각”이 심리적 변화를 일으킨다는 가설을 검증할 때, 다른 부정적 감정들이 함께 일어났다면, 죽음에 대한 생각이 심리적 변화를 일으킨 것인지, 다른 부정적 감정들이 심리적 변화를 일으킨 것인지 구분할 수 없음.

구성 타당도는 크게 2가지 측면으로 볼 수 있음

구성 타당도의 대한 위협들

명료하지 못한 불충분한 설명

구성개념에 대한 중요한 요소들을 깊이 분석한 후 연구 시행

  • 예를 들어, “배우자 학대”와 같이 이름만으로는 무엇을 의미하는지 부족
  • 이는 신체적/언어적 공격, 어떤 신체적 행위, 해를 입히려는 의도를 가진 신체적 행위 등을 의미할 수 있음.

또한, 구성개념을 구체화 할 때

  • 연구자의 임의적인 판단에 의존하지 않고,
  • 기존의 이론에 부합하도록 구성
  • 선행연구들과 일관성을 유지하여 그 주제에 대한 연구들이 축적될 수 있도록

구성개념 교란 (confounding)

예시 연구에서처럼, 성별과 개인적 매력도가 서로 결합되어 있어, 연구자가 정의하는 구성개념을 조작하기 어렵게 만듦.
즉, 한 측면을 조작하려면 다른 측면도 같이 바뀌어 버림.

단일 조작 편향

독립변수의 경우, 단일한 자극/조작으로 측정된다면 구성개념을 온전히 반영하지 못할 수 있음.

  • 여성 상담자 조건에서 하나의 여성 이름과 사진만을 제시하는 경우
  • 이보다는 몇 가지 다른 이름, 사진, 설명 등이 제시되는 것이 바람직

종속변수의 경우, 단일 측정도구보다는 여러 가지의 측정도구/척도를 사용하여 (잠재변수와 같은) 복합적으로 구성개념의 여러 측면이 잘 반영하도록 하는 것이 바람직

단일 방법 편향

측정의 방식을 달리하여 편향을 줄이는 것이 바람직

  • 예를 들어, 자기 보고식 측정(self-report)의 경우 사회적으로 바람직한 방향으로 응답하려는 경향이 있음
  • 이 경우, 실제 측정된 값에는 그런 편향이 녹아있어 변수들 간에 (실제 존재하지 않는) 관계가 나타날 수 있음.
  • 이를 방지하기 위해, 예를 들어, 우울을 평가할 때 자기 보고식 측정, 치료자의 보고, 제3자의 관찰 보고 등이 함께 사용되는 것이 효과적
  • 독립 변수의 조작도 마찬가지로, 예를 들어 여성 상담자에 대해, 글과 사진이 아닌 비디오테이프를 보여주는 것은 다른 결과를 얻을 수도 있음.

구성개념의 수준에 따른 구성개념 교란

“상담자의 경험”이라는 변수와 같이 연속적인 변수의 경우, 그 경험의 수준이 특정 범위로 제한되면 일종의 과소대표성이 일어나 구성개념 교란이 발생할 수 있음.

  • 예를 들어, 경험의 수준을 지나치게 하단(초보 상담자)이나 상단(경험 받은 박사급 상담자)에서 조작하면, 경험이 상담의 결과에 영향을 미치지 않는다고 나타날 수 있음.
  • 또한, 다른 수준의 경험을 가진 상담자에 따라, 다른 결과가 도출될 수도 있음.

처치에 민감한 요인구조

동일한 측정도구를 쓰더라도,

  • 처치의 전후로 다르게 반응할 수 있음
  • 심지어, 척도의 요인구조가 변할 수도 있음
    • 예를 들어, 우울증을 재는 척도에서, 치료받기 전에는 그들에게 척도의 항목들에 덜 민감하게 반응하여 1차원적인 요인으로 작동
    • 치료받은 후, 특히 심리에 대한 교육이 포함된 치료를 한 후에는 척도의 항목들에 대한 이해도와 민감도가 높아져 다차원적인 요인으로 나타날 수 있음.
    • 이 경우, 특정 하위 요인들에서만 효과나 나타나서 총점을 사용하는 연구에서 효과를 놓칠 수 있음.

반응적인 자기 보고 변화

실험조건에 배정 전후에 나타나는 자기 보고의 반응성

  • 임상실험에서 치료에 참여할 수 있는 자격을 얻길 희망하는 참여자들은, 자기의 증상을 과대하게 자기보고 할 수 있고, 이는 처지가 시작되면 바로 사라질 것임.
  • 통제집단의 대기자에 배정된 참여자들은 연구자들이 자신들을 악화되도록 방치하지 않기를 기대하며, 증상을 과대하게 보고 할 수 있음.
  • 이 두 가지 경우들의 경우, 처치 후 변화가 크게 측정되어 처치의 효과가 과대평가될 수 있음; 즉, 반응적 자기 보고로 인한 것으로 볼 수 있음.

사후 검사에서도 (과거 경험으로 인한) 반응성이 나타날 수 있음.

  • 예를 들어, 부적응적 인지에 관한 문항의 우울 검사에서,
  • “인지행동” 치료를 받은 내담자는 그러한 문항에 호의적으로 반응할 수 있음.
  • 반면, “정신 역동치료”나 “경험적 치료”를 받은 내담자는 그런 반응성이 나타나지 않을 수 있음.
  • 객관적인 평가자에 의해 실시되는 도구나 비반응적 검사 도구를 사용해서 해결

실험 상황에 대한 반응

실험 상황에 놓인 참여자들이 처치 조건에 대해 반응하는 것 (호손 효과, Hawthorne effect)

  • 연구 주제를 추측하거나, 연구자의 의도를 파악하려는 경향이 있음.
  • 이에 따라 연구 결과대로 혹은 그 반대로 반응하려함.
  • 다양한 방식으로 이루어져 탐지하기 매우 어려움!

예를 들어, 앞서 여성 상담자를 선호하는지에 대한 검증에서

  • 상담자의 성별에 대한 선호에 관한 연구라고 추측하여,
  • 본인들이 개방적이거나 성차별주의자가 아님을 보이려고 할 수 있음.

한편, 처지 집단에 배정되었다는 사실에서 그 효과성을 기대하여, 플라시보 효과와 같은 반응성이 나타날 수 있음.

이를 방지하기 위해

  • 처치 자체를 눈치채지 못하도록 실제 약과 플라시보를 제공
  • 연구 윤리에 부응하기 위해 연구 목적을 설명해야 해서 어려우나
    • 연구의 목적을 모호하게 만들거나,
    • 처치에 따른 효과의 차이가 있을 것이라는 기대를 모호하게 만들어야 함.

실험자의 기대

실험자는 객관성을 유지하려고 하지만, 실험자의 기대는 연구 결과에 영향을 미칠 수 있음.

  • 그런 실험자의 열망은 미묘하게 참여자들에게 전달될 수 있음.
  • 특히, 실험자가 상담자의 역할까지 하는 경우, 내담자에서 처치의 효과가 나오도록 은근히 도울 수 있음.

23장에서 자세히 다룸

신기성(novelty) 방해 효과

참여자들은 새로운 처치에 대해 인지함으로써 그들은 높은 기대와 짜릿함을 느낄 수 있음.

  • 예를 들어, 1980년대 SSRI 계열의 항우울/항불안제가 소개되었을 때, 기적의 치료제로 환영받았고, 이는 당시 임상 실험에 등록한 참여자들은 다르게 반응하였음.
  • 이러한 신기성에 대한 반응은 처치의 효과를 강화시킬 수도 저해할 수도 있음.

처치의 보상적 동등화

상담연구에서 통제집단의 대기자들이 처치를 받지 못한 것에 불만인 참여들이나 관계자들이 보상을 하려는 경향이 존재.

  • 예를 들어, 대기자들이 다른 곳에서 도움을 받고자 함; 성직자나 다른 상담 서비스 등
  • 초등학교의 경우, 관리자들이 소풍이나 영화 등과 같은 보상을 제공하려 함.

보상 경쟁

통제집단의 참여자들이 처치집단의 참여자들을 능가하려고 노력하는 현상

  • 예를 들어, 정신건강 센터에 있는 상담자들을 상대로 “refresher” 코스(진단, 평가, 서비스 제공)를 처지하는 경우,
  • 상담자들은 이 코스가 자신들을 교정하려하거나 무시하는 것으로 간주하고,
  • 처지를 받지 않는 통제집단의 상담자들은 코스가 원래 필요없음을 증명하기 위해 추가적인 노력을 기울일 수 있음.

분개함으로 인한 사기저하

보상 경쟁과 반대 개념
상대적으로 불리한 처지/통제집단에 배정되었다고 인지한 참여자들의 사기가 저하되는 현상

  • 예를 들어, 우울 연구의 참여자들은 통제집단에 배정될 수 있음을 알았지만, 실제 배정되면 더 우울함을 느낄 수 있음.
  • 이는 자신에게 유리한 일일 수도 있는 사건들에 대해 통제할 수 없음을 느끼는 것으로부터 비롯될 수 있음.
  • 이로 인해 사후 검사에서 통제 집단의 우울이 증가한다면, 처치 집단과의 차이는 이 사기저하로 인한 것일 수 있음.

처치 내용의 확산

한 집단에 전달된 처치가 다른 집단으로 흘러갈 수 있는 현상

  • 특히, 처지가 정보의 제공이나 큰 관심을 받는 경우
  • 예를 들어, 성적 학대에 대한 교육프로그램의 경우 다른 집단의 학생들과 이에 대해 논의할 수 있음.