외적 타당성과 타당성을 높이는 방법

외적타당성은 실험을 통해 도출된 결과를 이 실험과 유사한 다른 상황이나 현실세계에서도 적용할 수 있는가, 즉 일반화가 가능한가에 관한 타당성을 말한다. 그러나 대부분의 경우 조사자가 표본을 추출하여 조사하고 실험한 집단이나 상황이 실제 현실세계와 다를 수 있다. 예를 들어, 마케팅조사자가 어떤 특정한 사람들을 표본집단으로 선정하여 일정한 기간동안 인위적으로 통제하고 조사분석하여 얻은 결과를 실제 시장상황이나 새로운 집단에 적용했을 경우 동일한 결과를 기대하기 어려운 경우가 많다. 즉, 모집단의 일부를 대상으로 실험실 상황에서 얻은 결과를 현실세계에 있는 전체 모집단으로 일반화하여 확대 적용하는 것이 항상 용이한 것만은 아니다. 그러나 만일 실험이나 연구결과를 실제 상황에 적용할 수 있다면 그 연구는 외적 타당성이 높다고 판단할 수 있다. 반대로 실험 결과로 얻은 내용이 실험실 상황에서만 적용가능하ㅏ고, 그 외의 현실세계에 적용하기에 적지 않은 문제가 있는 경우, 그 실험이나 연구는 외적 타당성이 결여되었다고 판단한다. 특히 마케팅조사에서 어느 집단을 표본으로 선정하는가, 즉 어떤 집단을 실험대상으로 선택하는가는 외적 타당성에 큰 영향을 미친다. 예를 들어, 상표에 대한 소비자의 인지도를 조사하기 위해 일정기간 동안 대학생들만을 대상을 조사하여 분석한 결과를 많은 일반인들을 대상으로 하는 전체 시장상황에 확대 적용하는 것은 타당하지 못하다. 실제 잠재고객으로 생각하고 있는 일반소비자와 대학생들 간에는 인지와 판단기준에서 큰 차이가 있을 수 있기 때문이다. 따라서 외적 타당성을 극대화하기위해서는 실험상황을 실제상황과 가능한 한 동일하게 설계하여 실험과 연구를 수행하도록 해야 한다. 즉, 현재 시장상황과 잠재고객들을 정확하게 분석해서 이들의 특성과 가장 동일한 집단을 표본으로 선정하여 실험해야만 그 결과를 여러 실제 상황에 적용 가능하다. 이러한 경우의 실험이나 연구는 외적 타당성이 높다고 판단할 수 있다. 외적 타당성은 내적 타당성과 트레이드 오프 관계에 있다. 즉, 외적 타당성을 높이고자 한다면, 실제상황과 같게 실험을 설계해야 하나, 그렇게 하면 실험을 효과적으로 통제할 수 없기 때문에 구하고자 하는 정확한 정보를 얻기 힘들다. 반면에 구하고자 하는 정확한 정보를 얻기 위해서 실험상황을 엄격하게 통제하게 되면, 현실감이 떨어지는 실험이 되기 때문에 외적 타당성이 떨어지게 된다. 따라서 연구자는 어느 정도의 내적 타당성과 외적 타당성을 동시에 유지할 수 있는 적당한 방법으로 실험을 설계하는 것이 필요하다.

 

타당성을 높이는 방법, 일반적으로 연구의 타당성을 높이기 위해서는 다음 사항들을 유의해서 연구를 준비해야 한다. 첫째, 연구분야에 대한 충분한 지식을 습득해야 한다. 주로 잘못된 연구가설의 설정이나 개념에 대한 부정확한 정의, 그리고 설문지 작성과정에서의 오류 등으로 인해 다양한 측정오류가 발생함으로써 연구의 타당성이 떨어지게 된다. 따라서 연구의 타당성을 높이기 위해서는 이러한 문제로 인해 발생하는 오류를 줄일 수 있는 방법을 고안해야 한다. 이러한 오류는 무엇보다도 연구자의 연구분야에 대한 이론적 지식의 부족으로 인해 발생하기 때문에 연구자는 연구영역에 대한 지식을 충분히 습득하고 연구에 임하여야 한다. 둘째, 가능하면 선행연구에서 이미 타당성이 입증도니 측정방법을 이용해서 연구해야 한다. 즉, 기존의 선행연구를 통하여 어느 정도 타당성이 있는 것으로 인정되는 개념에 대한 정의 및 설문 등을 이용하는 방법을 말한다. 따라서 연구자는 가능한 한 선행 연구를 많이 활용해야 한다는 연구의 기본을 지킬 필요가 있다. 셋째, 사전조사를 충분히 활용해야 한다. 하나의 추상적인 개념을 여러 항목으로 측정하는 경우에는 사전조사를 통해서 항목들에 대한 요인분석이나 상관분석을 통하여 상관관계가 낮은 항목들을 제거시킨 후, 상관관계가 높은 변수들만을 하나의 추상적인 개념을 측정한 값으로 활용하는 것이 바람직하다. 즉, 본조사 전에 미리 사전조사를 통하여 추상적인 개념을 측정할 항목들을 미리 조정하여 선정함으로써 연구의 측정 타당성을 높일 수 있다. 과학적 연구에서 타당성과 함께 가장 중요한 관심대상 중의 하나는 신뢰성 있는 정확한 측정이다. 아무리 올바른 측정도구나 방법을 사용한다고 하여도 여러 단계에 이르는 측정과정에서 적지 않은 오차가 발생할 수 있다. 즉, 표본을 산출하는 과정에서부터 시작하여 관측대상이 가지고 있는 다양한 값들을 측정하고 측정한 값을 변수로 저장하는 일련의 과정에서 오차가 발생하게 된다. 그러나 측정대상의 변화로 인해 발생할 수 있는 오차를 최소화하고 일관성 있는 방법으로 측정한다면 이러한 오차를 크게 줄일 수 있다. 신뢰성분석은 연구자가 측정하고자 하는 것을 얼마나 정확하게 측정하였는가를 분석하는 것을 말한다. 신뢰성이란 측정하고자 하는 현상이나 대상을 얼마나 일관성 있게 측정하였는가를 나타내는 것으로, 인정성, 일관성, 예측가능성, 정확성이라고도 표현한다. 신뢰성은 어떠한 측정대상을 반복적으로 측정하는 경우 동일한 결과값을 얼마나 많이 얻을 수 있는지를 나타내는 지표로서 여러 번 반복 측정해서 얻은 측정결과값들의 분산으로 신뢰성을 판단할 수 있다. 신뢰성은 조사결과에 대하여 어느 정도까지 확신할 수 있는가를 나태는 지표가 된다. 이러한 신뢰성을 정의하는 방법으로는 다음과 같은 것들이 있다. 첫째, 여러번 반복해서 측정한 조사결과나 실험결과들이 얼마나 일치하는가를 나타내는 일치성 정도에 따라 신뢰성을 판단하는 방법이다. 이 방법은 동일한 내용에 대해 여러번 반복하여 조사나 실험을 해서 얻은 결과들 간에  상관관계가 크면 클수록 사용된 측정도구와 측정방법의 신뢰성이 높다고 판단하는 방법이다. 이렇게 결과값들 간의 상관관계 정도로 신뢰성을 판단하는 방법은 신뢰성분석에서 가장 보편적으로 쓰이는 방법이다. 둘째, 하나의 척정도구나 방법을 이용하여 얻은 측정치가 측정하고자 하는 개념이나 속성을 충분히 잘 대변할 수 있는 진실된 측정치인지를 판단하여 신뢰성을 파악하는 방법이다. 이 방법은 측정한 결과값 전체에서 오차범위를 제외한 설명력 있는 부분만을 측정하여 그 값을 설명력 계수로 나타내는 방법이다. 여기서 설명력 계수값이 높으면 높을수록 측정방법과 더 나아가 측정을 통해서 얻은 자료를 분석한 모형의 신뢰성이 높다고 판단할 수 있다. 셋째, 측정한 결과로 얻은 값들의 오차범위로 신뢰성을 파악하는 방법이다. 측정의 경우 측정오차가 크면 클수록 측정도구와 측정방법의 신뢰성은 떨어지게 된다. 또한 측정오차의 상대적 크기로 서로다른 측정의 신뢰성을 판단할 수 있다. 동일한 개념을 동일한 측정방법을 사용해서 반복적으로 측정하였을 경우, 그 결과가 서로 유사하게 나타나야 신뢰성이 높은 것으로 판단한다. 따라서 신뢰성분석이란 연구자가 측정하고자 하는 대상이나 개념을 얼마나 정확한 측정도구를 이용하여 올바르게 그리고 일관성 있게 측정하였는지를 평가하는 분석방법이다.