실험 설계

실험설계

제1절 실험설계의 의의

과학적 문제해결을 위해서는 특정한 사회현상이 야기된 원인과 그 결과 사이의 관계를 정확이 밝혀내야만 현상에 대한 근본적 이해와 올바른 의사결정을 할 수 있게 된다. 이러한 인과관계의 규명을 위해 주로 사용되는 방법이 실험설계(experimental design)이다. 즉 실험설계는 현상들간의 원인과 결과를 구분하고 그들간의 상호관계에 대해 보다 정확한 이해와 예측을 위한 정보를 얻기 위하여 실시된다.

1.        실험설계의 개념 : 복잡한 사회현상 중에서 연구목적상 관심이 있는 요소(변수)들만을 선별하여 그들간의 인과관계를 집중적으로 관찰 · 분석하는 방법이다. 즉 엄격하게 상황을 통제한 상태에서 원인변수(독립변수)를 의도적으로 조작함으로써 나타나는 결과변수(종속변수)의 변화를 관찰하는 방법을 말한다. 실험설계는 외생변수의 영향을 통제하기가 용이하고, 변수들간의 명확한 인과관계 검증이 가능한 반면, 조사상의 복잡성 및 실험 상황의 인위성으로 인한 일반화의 한계 등이 단점으로 지적된다.

2.        실험설계의 기본조건 : 변수들간의 인과관계를 규명하기 위한 가장 과학적인 조사방법이라 할 수 있는데, 완벽한 실험을 위해서는 다음과 같은 세 가지 조건들이 충족되어야 한다.

(1)     독립변수의 조작 : 연구자는 관찰하고자 하는 현상이 일어나는 조건을 인위적으로 조작(manipulation)함으로써 연구에 보다 적합한 현상을 선별하여 관찰할 수 있다. 즉 인위적으로 독립변수의 종류 및 변화의 강도를 조절하여 실험대상에 가함으로써 독립변수의 변화가 종속변수에 미치는 영향을 관찰하게 된다.

(2)     외생변수의 통제 : 외생변수란 독립변수 이외에 결과변수에 영향을 미칠 수 있는 모든 변수로서, 이러한 외생변수의 영향을 제거하지 못하면 실험변수와 결과변수의 사이의 인과관계를 정확히 파악하는 데 문제가 생기게 된다. 따라서 독립변수만의 순수한 영향력을 조사하기 위해서는 외생변수가 통제되어야 한다. 따라서 과학적이고 정밀한 조사방법이 되기 위해서는 이러한 외생변수의 영향을 체계적으로 방지 또는 제거할 수 있도록 실험이 설계되어야 한다.

(3)     실험대상의 무작위화 : 변수들간의 인과관계를 연구한 실험결과가 일반화되기 위해서는 실험대상들이 무작위적으로 추출되어져야 한다. 실험대상의 무작위화(randomization)란, 전체집단에서 각 대상들이 실험대상으로 선택될 확률이 모두 동일하도록 하는 것을 말한다.

3.        실험설계의 기본모형 : 변수는 실험설계에서 연구목적이나 내용에 따라서 독립변수, 종속변수, 외생변수(통제변수)로 나누어질 수 있다. 독립변수는 연구자에 의하여 조작되는 변수로서 관찰하고자 하는 현상의 원인이 되는 변수이며, 종속변수는 독립변수의 영향을 받아 변화하는 변수를 말한다. 그러나 실험설계에서는 종속변수에 영향을 미칠 수 있는 모든 변수를 다 고려하는 것은 아니고, 특히 관심이 있는 변수들만을 선택하여 고려하게 된다. 이는 특정한 변수의 효과만을 파악하기 위한 목적도 있지만, 변수의 수를 줄임으로써 설계상의 복잡성을 줄이려는 목적도 있다.

 

제2절 실험설계의 타당성

타당성(validity)이란 측정하고자 하는 바를 정확히 축정했는가에 대한 개념이다. 따라서 실험설계의 타당성이란 주어진 실험설계를 통해 해당 가설이나 연구문제를 얼마나 정확하게 검증할 수 있는 가를 말하는 것으로, 실험과정에서 외생변수들의 영향이 통제되어 변수간의 관계가 정확히 검증되고 또한 실험결과가 일반화 될 수 있을 때 그 실험설계는 타당성이 있다고 할 수 있다.

1.        내적타당성과 외적타당성 : 이 두 가지 타당성을 모두 높게 확보하는 것이 바람직하다, 내적타당성과 외적타당성은 서로 상충된 면을 지니고 있다. 즉, 내적타당성을 높이기 위해서는 외적타당성을 어느 정도 희생해야 하는 경우가 생기는 것이다.

(1)    내적타당성(internal validity) : 측정된 결과가 과연 실험변수의 변화 때문에 일어난 것인가에 관한 문제이다. 만약 독립변수 이외의 다른 외생변수들이 종속변수의 변화에 의미 있는 영향을 미쳤다면, 이 실험은 내적타당성이 높다고 할 수 없을 것이다. 내적타당성을 높이려면 가능한 한 순수한 독립변수에 의한 효과만을 정확히 추출해 낼 수 있는 실험설계가 필요할 것이다.

(2)    외적타당성(external validity) : 실험결과의 일반화에 관련된 문제로서, 결과의 적용대상, 시점, 상황의 확장과 관련된 것이다. 만약 내적타당성을 높이기 위해서 실험조건을 엄격히 통제한다면 실험상황이 현실과 동떨어질 수 있기 때문에 그 실험결과를 현실적인 상황에서 일반화시키는 문제가 발생할 수 있다. 따라서 외적타당성을 높이기 위해서는 최대한 현실과 맞는 조건에서 실험이 이루어져야 한다.

2.         타당성의 저해 요인 : 외생변수

(1)    우연적 사건(history) : 연구자의 의도와는 관계없이 어떤 사건이 우발적으로 발생하여 이로 이해 종속변수에 영향을 미치게 되는 경우이다. 종속변수인 독립변수에 의한 영향과 외생변수인 우연적 사건에 의한 영향이 혼합되어 있으므로 실험의 내적타당성을 해치게 된다.(예, 신용카드 오남용으로 소비자의 반응에 영향을 미칠 수 있음)

(2)    성숙효과(maturation effect) : 실험기간 중에 실험집단의 육체적 · 심리적 특성이 자연적으로 변화함으로써 종속변수에 영향을 미칠 수 있다. (예, 어린이용 영양제가 성장에 어떠한 영향을 미치는지를 보기 위한 실험을 한다고 하자. 1년 동안 어린이들에게 이 영양제를 복용시킨 후에 성장한 정도를 측정하였을 때, 그 성장에는 영양제의 효과뿐만 아니라 자연성장이라는 성숙효과가 포함되어 있다. 이때 자연성장이라는 요인은 영양제의 효능과 어린이의 성장 사이의 인과관계를 왜곡할 수 있는 외생변수가 되는 것이다.)

(3)    시험효과(testing effect) : 측정이 반복됨으로써 얻어지는 학습효과로 인해 실험대상자의 반응에 영향을 미치는 경우를 말하는 것으로, 주시험효과(main testing effect)와 상호작용시험효과(interaction testing effect)로 나누어진다. 주시험효과는 독립변수와 관계없이 동일한 측정을 반복하게 됨으로써 생기는 현상으로, 첫번째 측정으로 인한 학습효과가 두번째 측정에 영향을 주는 경우를 말한다. 상호작용시험효과는 독립변수의 조작을 가하기 전에 실시한 측정이 독립변수 자체에 영향을 미치게 되어 일어나는 현상이다. 독립변수에 영향을 미친다는 것은 사전측정을 하지 않은 경우보다 독립변수의 효과가 강하게 작용할 수 있다는 것이다.(예, 광고가 인지도에 미치는 영향을 측정하는 경우, 광고를 노출시키기 전에 해당상품에 대한 인지도를 측정하게 되면 나중에 그 광고에 노출될  때 보다 주의를 기울이게 되어 광고의 효과가 더욱 커질 수 있다.) 주시험효과는 독립변수 이외의 요인에 의해 종속변수가 영향을 받기 때문에 내적타당성을 해치게 되는 반면에, 상호작용시험효과는 실험집단과 모집단간의 독립변수에 대한 반응의 차이를 유발하므로 실험결과를 모집단에 적용하여 일반화시키는 데 한계가 생겨 외적타당성을 저해하게 된다.

(4)    측정수단의 변화(instrumentation) : 측정자나 측정방법이 달라지는 경우에도 측정결과에 영향을 미칠 수 있다. (예, 면접원 또는 면접원의 화술이나 태도, 측정기술 등이 달라지게 되면, 측정결과에는 상당한 차이가 있을 수 있다.)

(5)    통계적 회귀(statistical regression) : 실험대상으로 선정된 집단이 잘못 선정되어 측정하고자 하는 종속변수의 수준에 있어서 아주 낮거나 아주 높은 상태에 있다면, 독립변수를 가한 후에 측정결과가 독립변수의 영향을 정확히 반영하지 못하여 외적타당성을 저해할 수 있다.(예, 양궁선수들의 정확도를 조사한 뒤, 특별훈련을 실시하고 나서, 다시 정확도를 조사한 경우, 양궁선수가 사전측정에서는 바람의 영향으로 부진한 성적을 보였으나, 사후측정에서는 정상적인 성적을 보였다면, 이것이 특별훈련에 의한 효과라고 볼 수 있을까?)

(6)    표본의 편중(selection bias) : 독립변수의 조작을 가한 후에 두 집단의 종속변수의 수준을 측정해 본 결과 차이가 발견된 경우, 그 차이는 독립변수의 영향에 의한 차이일 수도 있으나 어떤 경우에는 독립변수의 조작을 가하기 전에 처음부터 두 집단이 이질적이었기 때문에 차이가 발생할 수도 있다.(예, 인터넷 쇼핑몰의 안전성에 대한 소비자들의 의식을 측정하기 위한 실험에서 실험집단을 인터넷 쇼핑몰 가입자로 구성한 경우와, 비가입자로 구성한 경우에는 상이한 결과가 나타날 수 있다.

(7)    실험대상의 소멸(mortality) : 실험대상으로 선정되었던 실험대상이 실험기간 중에 실험대상에서 이탈하게 됨으로써 독립변수의 효과가 왜곡될 수 있다. 즉 사전측정을 한 실험대상들이 독립변수를 가한 후 사후측정을 하기 저에 실험대상에서 제외된 경우 실험의 결과가 달라질 수 있다.

(8)    인과방향의 모호성(causal time – order) : 실험을 할 때 모든 가능한 외생변수가 통제되었다 할지라도 변수들 중 어느 것이 원인고 어느 것이 결과인지 모를 경우가 발생할 수 있다. (예, 월급이 올랐기 때문에 일을 열심히 하는지 또는 일을 열심히 했기 때문에 월급이 올랐는지가 명확하지 않으며, 기업의 경우 광고를 많이 해서 매출액이 증대되었는지 또는 매출액이 증대되어서 광고비가 증액이 되었는지 확실하지 않은 경우가 많다.)

(9)    실험변수의 확산 또는 모방(diffusion or imitation of treatments) : 실험변수가 정보적인 내용을 포함하는 특성을 가지고 있으며, 많은 실험집단간에 서로 의사소통이 가능한 경우, 응답자들은 다른 실험집단 또는 통제집단으로부터 사전에 정보를 얻을 수 있다. (예, 실험집단의 구성원이 통제집단 구성원에게 독립변수인 정보의 내용을 미리 알려준다면, 통제집단은 이러한 정보의 영향을 받게 되어 진정한 통제집단의 역할을 하지 못한다는 것이다.)

(10) 실험변수의 효과를 상쇄하는 보상(compensation) : 실제로 실험을 하는 경우에 있어서, 통제 집단으로 분류되어 손해가 발생하는 경우가 있다. 이 경우에 그러한 손해에 대한 보상을 다른 방법으로 주게 되어 순수한 통제집단으로서의 효과를 잃게 되는 경우가 있다.(예. 병원에서 특정 약에 대한 효과를 실험하는 경우에, 통제집단이 된 환자들은 치료의 혜택을 받지 못하는 경우가 있을 수 있다. 이 경우에 병원에서는 통제집단의 활자들에게 독립변수와 관련된 치료를 하지 못하는 것에 대해 미안함을 느껴 이에 대한 보상으로 특별히 다른 보호를 하는 경우가 있다.)

(11) 실험목적에 대한 예상(demand artifact) : 실험대상들이 실험과정에서 실험의 목적을 파악하고 조사자가 의도하는 방향으로 행동하는 것을 말한다. (예, 기업의 사회사업 활동이 기업의 이미지 제고에 어느 정도 효과가 있는지를 조사하는 과정에서, 조사자가 특정 기업명을 언급하게 되면, 실험 대상은 실제 본인이 생각하고 있는 기업 이미지보다 의도적으로 이 기업에 대한 이미지를 높게 평가할 가능성이 있다.)

(12) 보상적인 대항(rivalry) 혹은 사기저하(demoralization) : 통제집단에 속하게 되어 독립변수에 노출되지 않은 실험대상들의 경우에 실험집단과의 경쟁의식에서 열심히 노력해서 그에 대한 보충을 하려는 경우가 있다.(예, 실험집단에게 새로운 체력훈련 프로그램을 독립변수로 가하는 경우, 이에 노출되지 않은 통제 집단의 구성원들은 특별한 취급을 받는 실험집단에 대항하기 위해 보다 열심히 자기 나름의 체력훈련을 하는 경우가 있을 수 있다. 이를 보상적 대항이라 하며, 이러한 상황이 발생하면 순수한 독립변수의 효과를 측정하는 데 어려움이 발생한다.

3.        외생변수의 통제방법 : 실험설계를 통해 변수간의 인과관계를 검증하고 타당성을 확보하기 위해서는 어떠한 외생변수가 종속변수에 영향을 미칠 가능성이 있는지를 파악하고, 이를 통제 또는 제거할 수 있어야 한다. 외생변수를 통제하기 위한 방안은 다음과 같다.

(1)    제거 : 외생변수가 될 가능성이 있는 변수를 제거하여 외생변수의 영향이 실험상황에 개입하지 않도록 하는 방법이다.(예, 강의방식에 따른 학생들의 학습태도의 차이를 알아보고자 하는 경우, 군복무경험에 따라 학습태도가 달라질 수 있다고 판단되면, 사전 조사를 통하여 군복무경험자를 실험대상에서 제외한다.)

(2)    균형화 : 실험집단과 통제집단의 동질성을 확보하기 위한 방법이다. 외생변수로 작용할 수 있는 요인들을 알고 있을 경우, 독립변수를 가하는 실험집단과 독립변수를 가하지 않는 통제집단을 선정할 때 해당 외생변수의 영향을 동일하게 받을 수 있도록 하여 균형을 맞춰주는 방법이다.

(3)    상쇄 : 하나의 실험집단에 두 개 이상의 실험변수가 가해질 때 사용하는 방법이다.(예, 두 가지 정책대안에 대한 사람들의 선호도를 조사하고자 하는 경우 두 가지 정책대안의 제시 순서나 조사지역에 따라 정책대안에 대한 선호도게 차이가 발생 할 수 있다고 판단되면, 제시 순서를 달리하거나 지역을 바꾸어서 재실험 하는 경우가 이에 해당한다.)

(4)    무작위화 : 외생변수들을 제거하기 위한 다양한 노력을 기울였다고 하여도 여전히 오류의 가능성이 존재하는 것이 현실이다. 더욱이 어떠한 외생변수들이 작용할지 모르는 경우에는 실험집단과 통제집단을 조사대상 모집단에서 무작위 추출함으로써 연구자가 조작하는 독립변수 이외의 모든 변수들에 대한 영향력을 동일하게 하여, 동질적인 집단으로 만들어 준다.

제3절 실험설계의 종류

변수들간의 인과관계를 조사하기 위해서는 연구목적이나 측정대상, 조사상황 등을 종합적으로 고려하여 이에 맞는 실험설계방법을 선택하여야 한다.

1.       사전실험설계(pre-experimental design) : 사전실험설계는 독립변수를 조작하기 어렵고 실험대상을 무작위화 할 수 없는 등 실험적 통제가 거의 불가능하기 때문에 인과관계를 규명하는 데는 취약한 방법이다. 따라서 가설의 검증보다는 순수실험설계를 하기 전에 문제의 도출을 위하여 시험적으로 실시하는 탐색조사의 성격을 지닐 때가 많다.

(1)    단일집단 사후측정설계(one group posttest-only design) : 단일사례연구(One-shot case study)라고도 하며, 연구자가 임의로 선정한 단일집단을 대상으로 독립변수를 조작하여 이에 노출시키고, 사후적으로 결과를 축정하는 실험설계이다.(예, 선거 기간 중 임의로 조사대상자를 선정하여 후보자 TV연설을 시청하도록 한 후, 투표의사에 변화가 있는지를 측정하는 경우가 이에 해당한다.)

(2)    단일집단 사전사후 측정설계(one group pretest-posttest design) : 독립변수의 조작이 가해지기 전에 종속변수에 대한 사전측정을 하고, 독립변수의 조작이 이루어진 뒤에 종속변수의 수준을 다시 측정하여 두 결과의 차이로 독립변수의 효과를 측정하게 되는 실험설계이다.(예, 후보자 연설을 보여주기 전에 투표의사를 측정하고, 방송을 보여 준 후에 다시 투표의사를 측정하여 그 차이로써 방송의 효과를 측정하는 경우)

(3)    집단비교설계(static-group comparison) : 두 집단 사후측정방법으로서, 독립변수를 가하는 실험집단(experimental group : EG)과 독립변수를 가하지 않은 통제집단(control group : CG)으로 구분하여 두 집단을 비교하는 실험설계이다.(예, 독립변수를 후보자 연설 방송이라고 할 때, 실험집단은 방송을 시청하게 한 후 측정을 하고, 통제집단은 방송을 시청하지 않은 상태에서 측정을 하여 방송에 의한 투표의사 제고 효과를 두 집단의 측정치의 차이로 얻게 된다.)

2.       순수실험설계(true experimental design) : 순수실험설계의 가장 큰 특징은 실험대상을 선정할 때 무작위화를 거친다는 것이다. 또한 독립변수의 조작, 측정의 시기 및 측정대상에 대한 통제 등이 연구자의 의도에 따라 가능한 실험설계로서 외생변수의 영향을 효율적으로 제거할 수 있는 설계방법이다.

(1)    통제집단 사전사후 측정설계(pretest-posttest control group design) : 실험대상을 무작위적으로 두 집단으로 할당하여, 실험집단에는 독립변수의 노출 전 · 후에 각각 종속변수를 측정하고, 통제집단에는 독립변수를 가하지 않은 채 종속변수를 두 번 측정하는 방법이다. 독립변수의 효과는 실험집단과 통제집단의 사전측정치와 사후측정치 사이의 차이를 계산하고 실험집단의 차이에서 통제집단의 차이를 계산하면 순수한 독립변수에 의한 실험효과를 구할 수 있다. 이 경우는 두 집단의무작위화를 통하여 외생변수의 영향이 두 집단에 동일하게 작용할 것이라는 가정하에서 이루어지기 때문에 대부분의 외생변수는 통제가 가능하다.

(2)    통제집단 사후측정설계 : 통제집단 사전사후측정설계에서 사전측정을 하지 않은 형태이다. 사전측정을 하지 않음으로써 모두가 외생변수의 영향을 동일하게 받는 다는 것을 가정할 수 있다. 사전측정을 하지 않기 때문에 시험효과 등 외생변수의 개입을 방지할 수 있는 반면, 실험대상들의 반응에 있어서 변화과정을 파악할 수 없고, 두 집단의 최초 상태가 동질적임을 보장하기 어렵다는 단점이 있다. 그러나 실제 사회현상에서는 사전측정이 불가능한 경우가 많으며, 상대적으로 적은 수의 실험대상으로도 실험이 가능하고 집단간의 격리도 쉽게 할 수 있다는 점에서 널리 활용되고 있는 실험설계이다.

(3)    솔로몬 4집단 설계(Solomon four-group design) : 통제집단 사전사후측정설계와 통제집단 사후측정설계를 합친 형태로서, 가능한 모든 외생변수를 통제하기 위한 설계방법이다. 우선 A,B,C,D 네 집단을 무작위로 선정하고, A,B 집단은 사전측정을 하며, C,D 집단은 사전측정을 하지 않는다. 또한 A,C 집단은 독립변수를 가하고, B,D 집단은 통제집단의 성격으로 실험변수를 가하지 않는다. 이 설계방법은 다른 설계 방법에서는 불가능한 각종 외생변수의 영향을 완벽히 분리해 낼 수 있다는 것이 가장 큰 장점이다. 특히, 통제집단 사전 사후 측정설계에서 문제가 되는 상호작용 효과와 기타 외생변수의 효과를 분리해 낼 수 있다.

3.       유사실험설계(Quasi-experimental design) : 유사실험설계는 실험실 상황이 아닌 실제 상황에서 독립변수를 조작하여 연구하는 설계를 말하는 것으로, 현장 실험설계(field experimental design)라고도 한다. 유사실험설계의 장 · 단점은 다음과 같다. 우선 장점으로는, 첫째, 실제 상황에서 이루어지므로 다른 상황에 대한 일반화 가능성(외적타당성)이 높다. 둘째. 일상생활과 동일한 상황에서 수행되므로 이론검증 및 현실 문제해결에 유용하며, 복잡한 사회적 · 심리적 영향과 과정변화 연구에 적절하다. 단점으로는 첫째, 현장상황에서는 대상의 무작위화와 독립변수의 조작화가 어려운 경우가 많다. 둘째, 실제 상황에서의 실험이므로 독립변수의 효과와 외생변수의 효과를 분리해서 파악하기 힘들다. 셋째, 측정과 외생변수의 통제가 어려우므로 연구결과의 정밀도가 떨어진다. 따라서 유시실험설계는 순수실험설계보다 현실성 · 일반화 능력은 좋으나, 통제력이 훨씬 약하기 때문에 인과관계의 명확한 규명은 다소 뒤떨어진다.

(1)    비동질 통제집단 설계(nonequivalent control group design) : 실험대상을 실험집단, 통제집단으로 나눌 수 있으나, 무작위화를 통한 동질화가 이루어지지 않은 경우를 말하는 것으로, 외생변수의 영향이 순수실험설계보다 크고 이를 통제하기도 어렵다. 이러한 유형은 다시 측정의 성격 및 회수, 집단구분, 실험변수의 특성에 따라 다음과 같이 다섯 가지 모델로 나눌 수 있다.

①      비동질 통제집단 사전사후측정설계(nonequivalent control group design with pretest-posttest) : 사회과학에서 가장 빈번히 사용되는 유사실험방법으로, 일반적으로 더 바람직한 다른 조사설계방법이 존재하지 않는다고 판단될 때는 이 방법을 사용하는 것이 무난하다. 독립변수의 효과는 실험집단과 통제집단의 사전측정치와 사후측정치 사이의 차이를 계산하고 실험집단의 차이에서 통제집단의 차이를 계산하면 순수한 실험효과를 구할 수 있다. 이 방법은 실험 조건상 조사대상을 실험집단과 통제집단으로 나눌 수 있으나, 실험자가 무작위적으로 대상자를 배정할 수 없는 경우에 행하여지는 실험설계이다.

②      비동질 통제집단 유사사전측정설계(nonequivalent control group design with proxy measures) : 사전 조사가 불가능한 경우에 주로 사용되는 방법이다.(예, 영어를 전혀 모르는 아동들에게 영어를 가르치기 위한 영어교육 프로그램의 효과를 측정한다고 하자. 이 경우 측정대상이 되는 아동들이 영어를 전혀 모르므로 사전조사를 할 수가 없다. 따라서 사전조사 대신에 아동들의 언어 적성검사를 실시하여 이를 사전조사의 측정값으로 사용하고, 독립변수 노출 후의 영어성적을 측정하여 두 집단의 성적 차이를 영어교육 프로그램의 효과로 간주하려는 실험설계이다.)

③      비동질 통제집단 사전사후분리설계(nonequivalent control group design with separate – posttest sample) : 사전측정이 사후측정에 영향을 미치는 경우, 즉 주시험 효과가 확실하게 나타나리라고 예상되는 경우에 사용하는 방법이다.(예, 달걀 세우기 등과 같이 문제 해결의 실마리를 한 번 인지하게 되면 나중에는 언제라도 달걀을 세울 수 있게 되는 것 같이, 사전 · 사후측정간에 시간의 간격을 두는 것으로는 그 영향을  제거하기 힘들 때 사용한다.)

④      비동질 통제집단 반복사전측정설계(nonequivalent control group design with pretest measures at more than on time interval) : 사전 측정을 2회 이상 수행함으로써, 두 집단을 사용하는 실험설계에서 내적 타당성을 저해하는 가장 큰 외생변수인 편중성숙효과를 어느 정도까지 배제할 수 있는 실험설계방법이다. 사전측정을 2회 이상 수행함으로써 독립변수가 영향을 미치지 못하고 있을 때의 두 집단의 사전측정의 차이를 비교해 봄으로써 편중성숙효과에 의한 오류가 있는지를 확인할 수 있다. 또한 이 설계는 2회 이상 실시된 사전측정치를 서로 비교함으로써 통계적 회귀효과의 제거가 비교적 용이하다.

⑤      비동질 통제집단 역실험 사전사후측정설계(reversed-treatment nonequivalent control group design with pretest-posttest) : 서로 반대의 효과를 가진 두 개의 독립변수의 영향력을 알아보기 위한 모델이다. 실험집단에 독립변수를 노출시키고, 통제집단에는 이와 반대의 효과를 노출시켜 측정치를 비교한다.(예, 조직의 민주적 의사결정시스템이 구성원의 만족도에 미치는 영향을 보고자 하는 경우, 실험집단에는 민주적 의사결정시스템을 적용하고, 통제집단에는 권위적 의사 결정시스템을 적용한 후, 두 집단 구성원의 만족도를 비교하여 독립변수의 효과를 파악할 수 있다.)

(2)    동류집단설계(cohort design) : 시간이 경과해도 비슷한 특성을 보이는 실험대상 집단들이 서로 다른 경험으로 인해 차이가 발생할 경우, 이 차이를 통하여 알고자 하는 변수의 효과를 측정하는 방법을 동류집단설계라 한다.(예, 외국인 영어강사에 의한 회화수업이 중학생들의 영어성적에 미치는 영향을 보고자 한다고 하자. 이 때 그 회화수업이 실시되기 이전의 학생들의 영어 성적이 나오 있다고 한다면, 이제 그 회화수업이 실시되고 난 후, 이를 수강한 학생들의 영어성적을 측정함으로써 회화수업의 효과를 파악할 수 있을 것이다.) 이 실험설계의 장점으로는 첫째, 어느 한 동류집단은 이와 유사한 다른 동류집단과 큰 차이가 없다고 가정할 수 있다. 둘째, 특정 동류집단에는 독립변수를 노출시키고, 다른 동류집단에는 독립변수를 노출시키지 않는 등의 조작이 가능하다. 셋째, 측정전후에 독립변수에 노출되거나 도는 노출될 동류집단과 그렇지 않은 동류집단을 비교하기 위해 공식적인 기록을 이용할 수 있다. 그러나, 이 설계는 표본편중에 의한 오차와 우발적 사건에 취약한 단점을 지니고 있다. 이러한 문제를 해결하기 위하여 수정된 동류집단설계를 할 수 있으며, 독립변수의 노출 정도를 다양하게 변화시킬 수 있느냐의 여부에 따라 다음과 같이 나누어진다.

①      동류집단 분리설계(the cohort design in which treatment partitioning is possible) : 독립변수의 노출 정도를 변화시킬 수 있다는 것은 각 동류집단에 독립변수를 차이가 나게 줄 수 있다는 것으로, 결국 독립변수에 의해서 집단을 분리할 수 있다는 것을 말한다.(예, 외국인에 의한 회화수업이 중학생들의 영어성적에 미치는 영향을 보고자 할 때, 한 집단 내에서 이 수업을 수강한 학생과 그렇지 않은 학생을 구분할 수 있다거나, 또는 오랜 기간 수강한 학생집단과 단기간 수강한 학생집단으로 구분할 수 있다면, 집단내 적응능력의 차이보다는 집단간 적응능력의 차이가 훨씬 큰 것으로 기대할 수 있을 것이다. 즉 이렇게 독립변수의 경험 정도에 따라 대상들을 나누는 것은 동류집단설계의 내적 타당성을 크게 강화시키는 방법이 될 것이다.

②      동류집단 비분리설계(the cohort design in which treatment partitioning is impossible) : 실제로는 독립변수의 노출 정도를 기준으로 대상들을 분리할 수 없는 경우가 많이 있다.이러한 상태에서 내적 타당성을 유지하기 위해 사용할 수 있는 실험설계이다.(예, 외국인 회화수업이 도입되기 이전에 중학교 1학년 학생들의 영어성적과 그들이 2학년이 되었을 때의 성적이 있다고 하자. 이제 작년 중학교 1학년 학생들이 회화수업을 받지 않았을 때의 성적과 이들이 회화수업을 수강하고 난 후 2학년이 되었을 때의 성적의 차이를 독립변수인 회화수업의 효과로 간주한다.)

(3)    단일집단 반복실험설계(equivalent time-series design) : 조사대상을 실험집단과 통제집단으로 나눌 수 없고 독립변수의 효과가 일시적이거나 변화될 가능성이 있을 때 사용하는 방법이다. 이 방법은 다음과 같이 나누어 볼 수 있다. 첫째, 동일한 대상에 대해 일정한 기간을 두고 독립변수를 반복적으로 노출시킨 뒤에 사전사후측정을 되풀이 하는 방법으로, 독립변수 제거설계와 독립변수 반복설계가 있다. 둘째, 독립변수를 노출시키기 전후로 종속변수에 대한 측정을 반복하는 방법으로 나누어 볼 수 있다.

ⅰ. 독립변수 제거설계(removed-treatment design) : 실험집단과 통제집단을 구분할 수 없고, 독립변수의 효과가 일시적이거나 통제집단에 대해 따로 측정하는 것과 같은 효과를 얻을 수 있을 때 사용하는 방법이다.

ⅱ. 독립변수 반복설계(repeated-treatment design) : 독립변수를 제거한 후 재부여하는 방법으로, 표본집단의 수가 적으면서 독립변수의 효과가 일시적으로만 지속되고 독립변수를 반복적으로 노출시키더라도 독립변수의 효과를 방해할 만한 용인이 없다고 생각될 때에 사용할 수 있는 방법이다. 이 설계를 효과적으로 실행하기 위해서는 측정시점간의 시간간격과 독립변수의 노출을 일정하게 하지 말고 무작위적으로 노출함으로써 실험대상자가 측정 · 관찰되고 있다는 사실을 알지 못하게 하는 것이 무엇보다 중요하다.

ⅲ. 시계열설계(time-series experiment) : 독립변수를 노출시키기 전후에 일정한 기간을 두고 정기적으로 몇 차례 종속변수에 대한 측정을 하는 방법이다. (예, 보너스의 지급이 직원들의 업무성광에 미치는 영향을 보고자 할 때, 직원들에게 보너스를 지급하고 지급전과 지급후의 업무성과를 수 차례에 걸쳐 측정하여 그 변화를 계속적으로 추적하는 경우) 여기서 독립변수의 효과가 있는지의 여부를 판단하는 방법은 일정기간 동안의 추세선상에서 독립변수가 도입된 시점을 중심으로 나타난 변화를 관찰하는 것이다. 이 방법은 사전실험설계인 단일집단 사전사후설계가 확장된 것으로, 내적 타당도를 해치는 몇 가지 외생변수들을 통제할 수 있다. 즉 시간의 성숙효과, 학습효과, 회귀효과 등의 통제가 가능하다.

(4)    사후실험설계(ex-post facto research design) : 담배가 건강에 미치는 영향에 대한 연구를 진행한다고 생각해 보자. 인위적으로 실험집단은 담배를 피우게 하고 통제집단은 담배를 피우지 못하게 하여 그 결과를 비교, 분석한 다는 것은 불가능하다. 할 수 있는 방법이라고는 단지 담배를 피우고 있는 사람과 피우지 않는 사람의 현재 건강 상태를 비교해 보는 정도일 것이다. 이처럼 담배라는 독립변수에 대한 조작이 불가능할 뿐만 아니라 건강이라는 종속변수에 영향을 미칠 수 있는 음주량이나 스트레스 양 등과 같은 외생변수에 대한 통제도 불가능할 때 사용할 수 있는 실험설계방법이 사후실험설계이다. 사후실험설계란 독립변수를 조작할 수 없는 상태 또는 이미 노출된 상태에서 변수들간의 관계를 검증하는 방법이다. 이 설계에서는 독립변수에 대한 조작이 불가능하고 외생변수의 개입 가능성도 매우 크기 때문에 직접 인과관계를 밝힐 수 없으면, 단순히 변수들간의 상관관계 검증만이 가능하다.(사후실험설계가 필요한 상황 : 첫째, 결혼여부, 성별, 나이 등과 같이 변의 특성상 연구자가 통제를 할 수 없는 경우가 많이 발생하게 된다. 둘째, 독립변수에 대한 통제가 윤리적 · 도덕적으로 바람직하지 않은 경우가 있을 수 있다. 셋째, 독립변수를 통제하는 데 많은 비용과 시간이 소요되거나, 또는 기술적으로 곤란한 경우가 있다.

①      사후실험설계의 유형 : 장점은 첫째, 기존의 문헌연구 및 이론고찰을 통하여 얻은 가설을 인위적 상황이 아닌 자연적인 실제 상황에서 검증함으로써 가설의 실제적 가치 및 현실성을 높일 수 있다. 둘째, 일반적으로 광범위한 대상으로부터 자료를 수집하므로 분석 및 해석에 있어서 편파적이거나 근시안적 관점에서 벗어날 수 있다. 셋째, 실험설계와는 달리 한꺼번에 다양한 변수를 고려하여 연구할 수 있으므로 관련 변수들간의 종합적인 관계를 파악할 수 있다. 넷째, 인위적인 실험상황을 고려하지 않으므로 조사의 과정 및 결과가 매우 객관적이며 조사를 위해 투입되는 시간 및 비용을 줄일 수 있다. 단점으로는 첫째, 독립변수에 대한 직접적인 조작이 불가능하기 때문에 순수실험설계 비하여 변수들간의 인과관계를 명확히 밝히기 어렵다. 둘째, 무작위적 표본추출은 가능하지만 집단분류나 독립변수의 노출은 무작위로 이루어질 수 없기 때문에 외생변수의 통제가 어렵다. 셋째, 사후 실험설계에서는 현상을 야기시킨 원인을 추적하여 찾아내는 과정을 거치기 때문에 원인과 결과를 뒤집어 해석할 가능성이 있다.

ⅰ. 현장연구(field study) : 연구자가 관심을 가지고 있는 변수들간의 관계를 인위적이 아닌 현실상황에서 체계적으로 관찰하는 연구조사 방법이다. 이는 독립변수를 조작하는 현장실험(field experimentation)과는 근본적으로 다르며, 단지 자연 상태에서 연구대상을 관찰하여 그들의 관계를 규명하는 것으로서, 연구자는 상황에 대한 통제를 전혀 할 수 없게 된다.

ⅱ. 회고연구(retrospective study) : 지금의 특정 현상이 과거의 어떤 요소의 영향으로 인하여 발생하였는가를 찾아내는 연구이다. 특정 태도의 형성에 대한 이유, 특정 상품의 구매 이유, 특정 질병의 발생원인 등을 알아내는 연구들은 모두 회고연구에 속한다고 할 수 있다. 회고연구는 현재 일어난 사건이나 현상에 대한 원인을 과거에서 찾아내기 위해 거꾸로 추적하는 특성을 가지기 때문에, 원인변수를 실험대상에 가한 후에 그 결과를 분석하는 실험설계와는 근본적인 차이가 있다.

ⅲ. 전망연구(prospective study) :  회고연구의 반대개념이라고 할 수 있다. 어떤 결과의 원인이라고 생각되어질 수 있는 변수들을 파악하고 일정시간이 경과한 후에 과연 예상하였던 결과가 발생하는지를 조사하는 연구이다.

ⅳ. 기술연구(descriptive study) :  있는 그대로의 현상을 기술하는 데 그 목적이 있다.(예, 남자가 여자보다 공포영화를 좋아하는 가에 대한 연구는 기술연구적 성격의 연구가 될 것이다. 왜냐하면 여기서 성별 그 자체가 공포영화의 선호 원인은 아니기 때문이다.

②      사후실험설계의 보완방법 ; 사후실험설계로 인과관계의 존재에 대한 확실한 결론을 내리기에는 많은 무리가 따른다. 이러한 약점을 보완하기 위한 최선의 방법은 여러 개의 가설을 검증해 보는 것이다. (예, 지능수준이 소득에 어떠한 영향을 미치는가를 보기 위해서는 소득의 차이에 영향을 미칠 수 있을 것으로 보이는 다른 변수들도 고려하여야 한다. 여러 가지 가설들을 검증하고 비교하여 봄으로써 처음의 한 가지 가설검증으로 결론을 도출할 때 발생할 수 있는 약한 설득력을 보완해 나갈 수 있다.)

 

감사합니다.