신뢰성과 타당성

제 6 장 신뢰성과 타당성

제 1 절 : 서  론

어떠한 현상을 설명하거나 가설을 검증하기 위하여 개념을 측정하여 사용하게 된다. 이러한 개념을 측정할 때 이 측정 결과가 정확하고 믿을 만한 것인가를 알아보아야 한다. 즉 신뢰성과 타당성을 알아보아야 한다.

 

제 2 절 : 오차

측정하고자 하는 사회현상과 측정의 숫자체계가 직접적으로 연결 가능한 경우라면 측정상의 오차는 거의 발생하지 않을 것이다. 그리고 측정하고자 하는 속성을 정확히 반영할 수 있는 측정도구가 있다면, 측정은 정확하고도 쉽게 이루어질 수 있을 것이다. 그러나 사회과학에서 흔히 사용되는 변수의 속성을 측정하는 경우는 측정하고자 하는 속성의 규명도 어려울 뿐만 아니라 측정도구가 완벽하게 개발되기가 어렵기 때문에 측정상의 오차가 거의 모든 경우에 발생하게 된다. 측정시 발생하는 오차의 원천들은 다음의 몇 가지를 들 수 있다.

    첫째 : 측정시점에 따라 측정대상자의 상태가 변화하여 측정의 결과를 왜곡시키는 것으로, 측정대상자의 기분, 피로도 건강상태 등이 측정에 영향을 미칠 수 있을 것이다.

둘째 : 측정이 이루어지는 환경적 요인의 변화에 영향을 받는 것.(예 : 시끄러운 환경에서의 시험)

셋째 : 측정방법 자체가 가지고 있는 문제로서, 자료수집 방법이나 설문지의 내용 등 측정도구가 불완전하여 조사자의 의도가 명확히 전달되지 않고 측정대상자마다 다르게 해석을 하여 결과가 왜곡되는 경우가 있을 수 있다.

넷째 : 측정도구와 측정대상자들의 상호작용으로서, 측정도구에 대한 익숙 정도, 반응형태 등이 여기에 해당된다.

다섯째 : 측정자와 측정대상자간의 상호작용으로 측정하는 사람의 신분, 태도 등에 따라 측정대상자가 영향을 받는다.

이상의 원천으로부터 발생하는 오차는 체계적 오차(systematic error)와 비체계적 오차(random error)로 나누어 지는데, 체계적 오차란 측정대상에 대하여 어떠한 영향이 체계적으로 미침으로써 그 오차가 항상 일정한 방향으로 일어나, 측정결과가 모두 높아지거나 또는 모두 낮아지는 경향을 보이는 것이다. 반면 비체계적 오차는 측정자의 피로, 기억 또는 감정의 변동 등과 같이 측정대상, 측정과정, 측정수단, 측정자 등에 일관성 없이 영향을 미침으로써 발생하는 오차를 말한다. [그림 6-1] 참조

①              의 경우는 측정값들이 참값으로부터 일정한 방향으로 치우쳐 있어 체계적 오차가 크며, 측정값들의 분산이 커서 비체계적 오차도 큰 경우이다. 따라서 타당성과 신뢰성이 모두 낮다.

②              의 경우는 측정값들의 분산은 매우 적으나 측정값들이 참값으로부터 일정한 방향으로 여전히 치우쳐 있어서 비체계적인 오차는 작지만 체계적 오차가 큰 상태이다. 따라서 신뢰성은 높으나 타당성은 낮다.

③              의 경우는 측정값들이 참값을 중심으로 분포되어 있어서 참값을 측정하고 있으나 측정값들의 분산이 매우 커 체계적 오차는 작으나 비체계적 오차가 크다. 따라서 타당성은 높으나 신뢰성은 낮다.

④              의 경우는 측정값들이 참값의 주변에 밀집되어 있고 분산도 적어서 타당성과 신뢰성이 모두 높은 측정이 이루어진 상태이다. 따라서 측정상의 오차가 가장 적은 상태이므로 가장 이상적인 측정이 이루어진 경우이다. 신뢰성과 타당성의 관계는 다음과 같다. 첫째, 신뢰도가 높다고 해서 반드시 타당성이 높다는 것을 의미하지는 않는다. 둘째, 신뢰성이 없으면, 타당성을 말할 수가 없다.

 

제 3 절 : 신뢰성

1. 신뢰성의 개념 : 신뢰성(Reliability)이란 유사한 측정도구 혹은 동일한 측정도구를 사용하여 동일한 개념을 반복 측정했을 때 일관성 있는 결과를 얻는 것을 말한다. 즉 신뢰성은 안정성, 일관성, 예측가능성, 정확성, 의존가능성 등으로 표현될 수 있는 개념이다. 신뢰성의 의의는 어떤 조사결과에 대해서 이 조사결과가 부정확한 측정자료에서 우연히 발견된 것이 아니라는 결과에 대한 확신을 줄 수 있으나 연구 결과와 그 해석을 위한 필요조건일 뿐 충분조건은 아니다.

2. 신뢰성의 측정방법

(1) 재검사법 : 동일한 상황에서 동일한 측정도구를 사용하여 동일한 대상을 일정한 간격을 두고 두 번 측정하여 그 결과를 비교하는 것이다. 이때 두 측정값의 상관관계를 계산하여 도출된 상관계수(correlation coefficient)로 신뢰성의 정도를 추정할 수 있다. 즉 상관관계가 높다는 것은 신뢰도가 높다는 것을 의미하고, 상관계수가 낮다는 것은 신뢰도가 낮다는 것을 의미한다.

(2) 복수양식법 : 복수양식법(parallel-forms technique)은 대등한 두 가지 형태의 측정도구를 이용하여 동일한 측정대상을 동시에 측정한 뒤, 두 측정값의 상관관계를 분석하여 신뢰도를 측정하는 방법이다. 이 측정방법은 동일한 현상을 측정하는 데 사용될 유사한 측정도구를 개발하는 것이 어렵고, 개발해도 대등한지 여부를 평가할 객관적 방법이 없다는 단점 때문에 잘 사용되지 않는다.

(3) 반분법 : 반분법(split-half-method)은 측정도구를 임의로 반으로 나누어 독립된 두 개의 척도를 사용함으로써 신뢰도를 추정하는 방법이다. 다시 말해서 조사 항목의 반을 가지고 조사 결과를 획득한 다음, 항목의 다른 반쪽을 동일한 대상에 적용하여 얻은 결과와 비교하는 방법이다.

(4) 내적 일관성 : 내적 일관성은 동일한 개념을 측정하기 위해 여러 개의 항목을 이용할 경우 Cronbach’s alpha 계수를 이용하여 신뢰도를 저해하는 항목을 측정도구에서 제외시킴으로써 각 항목들의 내적 일관성을 높이는 방법이다.

3. 신뢰성을 높이는 방법

신뢰성은 비체계적 오차의 관련된 것이므로 최대한 비체계적 오차가 발생할 가능성을 줄이는 것이 신뢰도를 높이는 방법이 될 것이다. 비체계적 오차는 측정도구, 측정대상, 측정상황 3가지 측면에서 모두 발생할 수 있으므로 이러한 오차가 발생하지 않도록 예방하는 것이 가장 중요하다. 사회과학에서 신뢰도를 향상시키는 방안을 정리하면 다음과 같다.

①      측정항목의 모호성을 제거한다.(설문지의 모호한 문구 제거)

②      측정항목의 수를 늘린다.(항목의 수를 늘리면 신뢰도는 높아지게 된다.)

③      중요한 질문의 경우 동일하거나 유사한 질문을 2회 이상 하는 방법이다.(두 가지 동일한 질문에 대한 응답을 조사하여 응답의 신뢰도를 간단히 알아볼 수 있다.)

④      조사대상자가 잘 모르거나 전혀 관심이 없는 내용은 측정하지 않는 것이 좋다.

⑤      조사자(면접자)의 면접방식과 태도에 일관성이 있어야 한다.

⑥      이전의 조사에서 이미 신뢰성이 있다고 인정된 측정도구를 이용하도록 한다.

 

제 4 절 : 타당성

1. 타당성의 개념

사회과학에서는 측정대상을 간접적으로 측정해야 하는 경우가 대부분이기 때문에 타당성의 문제가 중요시 된다. 여기서 타당성은 조사자가 측정하고자 하는 개념이나 속성을 측정하기 위하여 개발한 측정도구가 그 개념과 속성을 얼마나 정확히 측정하는가를 말한다. 아무리 측정값들의 신뢰도가 높게 나타났더라도 측정된 값 자체가 다른 속성이 나 다른 개념을 측정한 것이라면 아무런 쓸모가 없는 것이다.

 

조작적 정의1

측정하고자 하는 개념(T)

조작적 정의2

R2 1t

R2 12

 

 

 

 

 

 

 

 

 

 

 

[그림 6-2]

정의하고자 하는 하나의 개념이 빗금을 친 원으로 나타나 있고 조작적 정의 1과 2가 다른 원들로 나타나 있다. 보통 하나의 개념을 측정하고자 할 때 측정하고자 하는 개념의 실제값을 모르기 때문에 서로 상의한 여려 개의 조작적 정의를 사용하게 된다. 여기서 조작적 정의와 측정하고자 하는 개념이 완전히 일치하게 된다면 바로 조작적 정의가 측적하고자 하는 개념을 완벽하게 측정했다고 할 수 있으며 타당도는 1.0이 된다. 또한 중복되는 범위가 작아지면 타당성은 낮아진다고 할 수 있다. 따라서 타당성을 평가하기 위해서는 서로 다른 여러 개의 조작적 정의(항목)를 이용하여 동일한 개념을 측정하고 이때 각 측정값들의 상관계수가 높을수록 타당성은 높다. 즉 소로 다른 조작적 정의간의 공통변량(중복되는 정도)이 클수록 동일한 개념을 측정했다고 볼 수 있으므로 타당성이 높다고 할 수 있다.

 

2. 타당성의 종류

타당성의 분류

타당성

개념 타당성

내용 타당성

기존에 의한 타당성

집중 타당성

 

 

 

 

 

 

 

 

 

이해 타당성

 

 

예측 타당성

판별 타당성

 

 

 

(1) 내용타당성 : 내용타당성(content validity)은 측정도구 자체가 측정하고자 하는 속성이나 개념을 얼마나 대표할 수 있는지를 평가하는 것이다. 즉 측정도구가 측정대상이 가지고 있는 많은 속성들 중 일부를 대표성 있게 포함하고 있으면 그 측정도구는 내용타당성이 높다고 할 수 있다. 내용타당성을 확보하는 방법은 다음과 같다.

첫째, 측정도구의 모든 방법을 나열하여 그것들로부터 무작위 표본추출(random sampling)을 하는 것이다.

둘째, 측정도구의 내용을 정확히 하는 것으로 4지선다형의 시험을 본다면 반드시 정답이 그 안에 포함되어야 한다는 것이다.

셋째, 측정도구가 순서대로 이루어지는 경우에는 순서를 일정하게 하여야 한다는 것이다. 쉽게 말해 내용타당성을 확보하는 방법은 측정에 참여하는 대상자들 대부분이 측정에 대해 불만이 없도록 하는 것이다.

(2) 기준에 의한 타당성 : 기준에 의한 타당성(criterion-related validity)은 통계적인 유의성을 평가하는 것으로 어떤 측정도구가 타당성이 높다고 한다면 측정도구에 의해 얻어진 결과와 관련된 기준 또는 변수간에 높은 상관관계가 존재해야 하는 것이다. 즉, 속성을 측정해 줄 것으로 알려진 기준과 측정도구의 측정결과인 점수간의 관계를 비교함으로써 타당도를 파악하는 방법이다. [그림 6-4] 참조

(3) 개념타당성 : 개념타당성(construct validity)이란 측정도구가 실제로 무엇을 측정하였는가 또는 조사자가 측정하고자 하는 추상적인 개념이 실제로 측정도구에 의해서 적절하게 측정되었는가에 관한 문제로서 이론적 연구를 하는 데 있어서 가장 중요한 타당성이다.

  ① 이해타당성(nomological validity) : 이해타당성이란 특정개념을 어떻게 이해하고 있는가에 관한 것이다. 즉, 이해 타당성을 높이기 위해서는 조사자는 관심이 있는 특정개념과 관련이 되는 모든 개념들을 체계적으로 연결시키는 이론적 구성도를 작성하여 관련된 개념들로 구성된 모델에 측정방법을 연결시키는 노력을 하여야 된다.

  ② 집중타당성(convergent validity) : 집중타당성은 동일한 개념을 측정하기 위해 최대한 상이한 두 가지 측정방식을 개발하고 이에 의하여 얻어진 측정값들간에 높은 상관관계가 존재해야 한다는 것이다.

  ③ 판별타당성(discriminant validity) : 서로 다른 개념을 측정했을 때 얻어진 측정값들간에 상관관계가 낮아야만 한다는 것이다. 즉 서로 다른 두 개의 개념을 측정한 측정값들의 상관계수가 낮게 나왔다면 그 측정방법은 판별타당성이 높다고 할 수 있다.

각각의 차이를 강조하기 위하여 세 가지 타당성을 나누어 설명하였지만, 세 가지 타당성들은 서로 독립된 것들이 아니라 서로 보완적으로 상호작용하고 있음을 알아야 할 것이다.

 

끝….

감사합니다.