내적 타당도 (7장)

상담연구방법론, by Heppner, P. P., Wampold, B. E., Owen, J., Thopso, M. N.

Author

Sungkyun Cho

Published

February 27, 2023

변수들 간의 인과관계의 유효성

다음 3가지 설계를 기반으로 설명

설계 1: 단일집단 사전사후 설계 (one-shot pretest-posttest design)

\(Ob_{1a} \rightarrowtail T_X \rightarrowtail Ob_{2a}\)

설계 2: 비동등 집단 사후 검사 설계 (nonequivalent group posttest-only design)

\(\begin{cases} A: T_X \rightarrowtail Ob_{2a} \\ B: ~~~~~ \rightarrowtail Ob_{2ctrl} \end{cases}\)

설계 3: 무선 할당 사후 검사 설계 (radomized posttest-only design)

무선화 \(\begin{cases} A: T_X \rightarrowtail Ob_{2a} \\ B: ~~~~~ \rightarrowtail Ob_{2ctrl} \end{cases}\)

Ob: 관찰, Tx: 처치, a:개입 집단, ctrl: 통제집단

Note

예시 연구

5학년을 대상으로 성적 학대라는 주제의 심리교육 개입의 효과를 검증

  • 사전 검사: 성적 학대에 대한 지식을 묻는 30문항 검사
  • 개입: 인형극, 놀이, 토론, 워크북으로 구성된 1학기 프로그램
  • 사후 검사: 동일한 문항 검사

사후 검사가 사전 검사보다 높다면 이는 심리교육의 효과인가?

  • 한 학기 동안 부모, 친구, 미디어를 통해 성적 학대에 대해 배웠을 수도 있음.
  • 한 학기 동안 질문지에 익숙해져 사후 검사에서 높은 점수를 얻었을 수도 있음.
  • 한 학기 동안 읽기 능력이 향상되어 사후 검사에서 높은 점수를 얻었을 수도 있음.
  • …

인과 관계에 대한 추론을 위협하는 요소들

애매모호한 시간의 선행

  • 독립변수를 조작하지 않은 연구의 경우;
    • 예. 상담자의 공감과 내담자의 치료 이득 간에 긍정적인 관계
      • 상담자의 공감이 내담자의 치료 이득을 증가시킨다고 말할 수 있을까?
      • 내담자의 치료 이득이 상담자의 공감을 증가시킨다고 말할 수 있을까?
  • 가설의 원인이 효과에 시간적으로 선행하지만, 측정에서 선행하지 않는 경우;
    • 예. 가정환경이 완벽주의의 발전을 야기했다는 가설에 대해서
      • 가정환경에 대해서는 소위 회상적으로(retrospectively) 측정되었음.
      • 이는 측정된 것(회상된 가정환경)이 완벽주의의 발현에 선행되었다고 말하기 모호함.

선발(selection)

무선 할당과 같은 방식으로 설계되지 않았을 때,
처지가 실행되지 전, 다른 집단에 배정된 참여자들이 서로 다른 특성을 가지고 있는 경우

  • 설계 2에서 처럼 A, B집단은 처지 이전에 다른 특성을 보유했을 수 있음.
  • 처치에 의한 효과인지 A집단의 특성에 기인한 효과인지 구분하기 어려움.

이력(우연한 사건의 영향, history)

처치가 실행되는 도중에 일어날 수 있는 사건들

  • 설계 1에서, 심리교육 프로그램이 진행되는 동안, 학생들이 성적 학대에 관한 TV 스폐셜을 시청했을 수 있음.
  • 설계 2에서, A반의 학생들이 숙제가 늘었다든지 하는 이유로 늦게까지 자지 않아 TV 스폐셜을 더 쉽게 시청했을 수 있음.
  • 설계 3에서는 무선 할당이 되었으므로 이력의 영향을 더 줄일 수 있음.

이력의 위협을 줄이는 방식

  • 설계 3에서도 효과는 두 집단에서 동시에 측정되어야 함: 한 집단의 관찰을 늦추면 그 사이 중요한 사건이 발생할 수 있음.
  • 처치 기간이 짧을 수록 이력의 위협이 줄어듬.
  • 처치 기간 중 참여자들을 격리; 비실용적…

성숙 (maturation)

사전 검사와 사후 검사 사이에 일어나는 자연스러운 발달상의 변화

  • 설계 1에서, 1년 단위의 체력을 증진시키는 프로그램을 진행한다면…
  • 설계 3에서처럼 무선 할당함으로써 통제할 수 있음.

회귀 (regression)

사전 검사에서 극단값(매우 높거나 매우 높은)을 얻은 참여자들이 사후 검사에서 평균으로 회귀하는 현상

  • 연구 참여자들을 선발할 때, 선발 기준이 높은 경우; 우울 수준이 높은 참여자
    • 사후 검사에서 자연스럽게 우울 수준이 낮아지는 경향이 있음; 처치의 효과가 아님!
  • 설계 3에 사전 검사를 포함한다면, 무선 할당함으로써 두 집단에서 모두 회귀하는 경향이 유사할 것이므로 통제할 수 있음.

탈락 (attrition)

연구 중에 참여자들이 연구에서 탈락하는 경우; 심각한 문제이며 20장에서 다룸.

  • 소위 체계적인 탈락(systematic attrition)이 발생하지 않는다면 문제가 되지 않을 수 있음.
  • 설계 1에서 우울이 심한 참여자들이 더 많이 탈락한다면, 사후 검사에서 우울 수준은 전반적으로 낮아보일 수 있음.
  • 설계 3에서 두 집단에 심리교육을 한 예에서, 한 집단에서만 5명의 학생이 전학을 갔다면,
    • 그 5명이 그 집단의 대표성을 띈 학생들이었다면, 크게 문제되지 않을 수 있음.
  • 설계 3의 사회불안에 대한 “인지 치료 only” vs. “인지치료 + 행동치료” 연구에서,
    • 행동치료까지 포함된 처치 집단의 참여자들의 탈락이 높을 수 있음; “실제 행동연습”이 불안을 유발
    • 이 탈락자들은 불안 수준이 매우 높은 경우일 가능성이 높음; 즉, 대표성을 띈 참여자들이 아님.
    • 이 때, “인지치료 + 행동치료” 집단의 불안 수준이 감소한 것처럼 보일 수 있음; 처치의 효과가 아님!
    • 가능하면, 사전 검사 점수를 확보.

검사 (testing)

반복되는 검사에서 참여자들이 검사에 익숙해지거나 여러 이유로 검사 점수가 변화되는 현상

  • 검사가 한 차례만 실시되는 설계 2, 3에서는 문제되지 않음

도구화 (instrumentation)

연구 중 측정 장치나 절차가 변화되는 경우

  • 객관적인 검사(test)와 같은 경우 덜 문제됨.
  • 하지만, 관찰, 인터뷰, 기계 장치 등을 통해 측정하는 경우 문제될 수 있음.
    • 평정자들의 의한 관찰에 대한 평가치; 연구 과정에서 변화될 수 있음.
    • 지필 검사 조차 그 변화가 영향을 줄 수 있음
    • 특히, 주관적으로 채점을 하는 방식의 경우

추가적(additive) 혹은 상호작용(interactive)적 효과

설계 2에서 성적 학대에 대한 심리교육 프로그램의 효과를 검증할 때, A반과 B반의 참여자들이 무선 할당되지 않았지만,

  • 두 반의 학생들의 특성이 대략적으로 유사하다고 가정하면 (예. 지능, 사전 지식, 동기, 사회경제적 지위 등)
  • 선발(selection)이나 이력(history)의 위협은 크게 문제되지 않을 수 있음.
  • 하지만, 선발과 이력의 효과가 함께 작용하여 위협이 될 수 있음.
    • A반 학생에게 숙제가 많이 주어져, 밤늦게까지 숙제를 하느라 TV 프로그램을 더 쉽게 시청했을 수 있음.
    • A반이라는 선발(selection)과 TV 프로그램의 대한 노출의 이력(history)이 A반에게만 작용하게 됨으로써 위협으로 작동되었음.