[교육평가] 6. 평가도구의 조건

[교육평가] 6. 평가도구의 조건

타당도

타당도는 어떤 검사가 본래 측정하려고 하는 바를 어느 정도 충실하게 측정하고 있는 정도를 나타내는 것이다. 어디에 초점을 맞추는가에 따라 내용타당도, 준거타당도, 구인타당도가 있다. 

타당도의 개념은 다음의 두 가지 관점에서 정의를 한다.

1. 타당도란 측정하고자 하는 어떤 본래의 특성 또는 현상을 얼마나 충실하게 측정하고 있는냐 하는 정도로 정의할 수 있다.측정도구가 본래 측정하려고 의도한 바로 그 특성을 충실히 측정할수록 그 도구는 타당성이 높다.

2. 타당도란 검사결과로부터 과학적으로나 실제적으로 얼나마 유의미한 추론을 도출해낼 수 있느냐 하는 정도로 정의할 수 있다. 검사에서 측정한 결과를 의미 있게 해석할 수 있고, 의사결정을 하는 사람에게 유용한 정보를 제공하면 그 검사의 타당도는 높다고 본다.

타당도의 종류

내용타당도

내용타당도는 평가도구가 평가하려고 하는 내용(교육목표)을 어느 정도 충실히 측정하고 있는지를 분석 및 측정하려는 것이다. 검사에서 측정하고자 하는 내용을 얼마나 충실히 측정하고 있는지 논리적으로 분석하여 주관적으로 판단하는 것이다.

내용타당도는 객관적 자료에 근거하지 않고, 평가도구가 평가하려고 하는 교육목표나 교육내용을 얼마나 충실하게 측정하고 있는가를 판단하는 타당도이며, 그 높고 낮음은 검사와 관련된 내용을 잘 아는 전문가의 판단에 의해 결정된다.

준거타당도

준거타당도는 어떤 준거와 관련지어서 측정도구의 타당성을 평가하는 방법이다. 따라서 준거타당도를 알아보려면 반드시 해당 준거가 있어야 한다. 

평가도구의 타당도를 어떤 준거에 비추어 결정하는 방법에는 그 준거의 성격에 따라 예언타당도와 공인타당도로 나눈다.

예언타당도는 경험타당도라고 하며, 한 검사가 미래에 있을 어떤 기준을 얼마나 잘 예언해주고 있는가를 따지는 과정으로 인사 선발이나 배치에 유용하다. 

공인타당도

공인타당도는 새로운 검사를 제작했을 때 기존 검사와의 결과 사이에 어느 정도 상관이 있는가를 살펴보는 것이다. 준거의 성질이 예측에 있는 것이 아니라 공인을 살펴보는 것이 특징이다. 준거의 성질이 예측에 있는 것이 아니라 공인을 살펴보는 것이 특징이다. 

다음은 공인타당도를 알아보는 과정이다.

1. 피험자 집단에 공인타당도를 알아보고자 하는 검사를 한다.

2. 동일 피험자들을 대상으로 타당성이 인정되는 준거변인을 측정한다.

3. 검사점수와 준거변인 측정치 간의 상관계수를 측정한다. 

일반적으로 예언타당도보다 공인타당도가 많이 사용되는데 공인타당도가 예언타당도를 측정하는 것보다 더 단순하고, 적은 비용이 들며, 시간도 더 적게 걸린다. 미래를 예측하기보다 현재 상태를 진단하고자 하는 검사에서는 공인타당도를 알아보는 것이 더 적합하다.

구인타당도

구인은 경험적으로 증명할 수 있는 사건이나 과정을 지칭하는 개념으로 과학에서 널리 쓰이고 있다. 물리적으로 직접적인 관찰은 불가능하나 이론적으로 존재를 가정하는 심리학적 특질로서 개인의 행동에 영향을 미치는 잠재요인이다. 결론적으로 구인은 구체적 개념이 아닌 지능, 동기, 태도 등과 같은 추상적 개념이며 가설적 개념이다.

구인타당도는 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 과학적 개념으로 분석하고 의미를 부여하는 방법이다. 한 검사가 의도하는 특성의 구성요인을 얼마나 잘 측정하고 있는지를 따지는 과정이다.  

구인타당도를 측정하는 방법에는 상관계수방법, 실험설계방법, 요인분석방법과 같은 통계적 방법이 많이 쓰인다. 지나치게 주관적인 판단에 의존하는 내용타당도와 적절한 외적 준거가 무엇인지에 대한 합의를 이끌어 내기가 어려운 예언타당도의 문제점을 보완할 수 있다. 

신뢰도

신뢰도는 그 검사가 측정하려는 대상을 얼마나 정확하게 안정적으로 일관성 있게 측정하고 있는가의 정도를 말하는 것으로 어떻게 재고 있느냐 하는 문제이다. 신뢰도는 측정의 일관성과 안전성을 보장하는 것이고, 얼마나 정확하게, 얼마나 오차 없이 측정하고 있는가의 일관성과 안전성을 의미하는 개념이다.

측정방법에 따라 신뢰도는 재검사 신뢰도, 동형검사 신뢰도, 반분검사 신뢰도, 문항 내적 일관성 신뢰도로 구분할 수 있다.

재검사 신뢰도

재검사 신뢰도는 한 개의 검사도구를 동일한 집단에 일정한 시간 간격으로 두 번 실시하여 그 전후의 결과에서 얻은 점수로 상관관계를 산출하는 방법이다. 두 번의 실시결과에서 얻은 점수 사이에 어느 정도 안정성이 있는가를 보는 관점으로 안정성 계수라고도 한다.

다음은 재검사 신뢰도를 알아보는 과정이다. 

1. 피험자 집단의 신뢰도를 알아보고자 하는 검사를 한다.

2. 일정 기간 경과 후 동일 피험자 집단에게 다시 해당 검사를 실시한다.

3. 1차 검사와 2차 검사들 간의 상관계수를 산출한다.

여기에서 첫 번째 검사와 두 번째 검사의 실시간격을 어떻게 잡느냐에 따라 오차가 있을 수 있으며, 기억 및 연습효과가 결과에 영향을 미친다. 검사 실시에서 여러 가지 조건인 내적 동기상태, 수업태도, 속도검사의 검사시간 등을 똑같이 통제하기 어렵다.

동형검사 신뢰도

동형검사 신뢰도는 미리 두 개의 동형검사를 제작하여 그것을 동일 대상에게 동시에 실시하여 상관계수를 산출하는 방법이다. 

측정하려는 내용과 난이도는 같지만 형태가 서로 다른 두 개의 검사를 동일한 피험자에게 실시하여 신뢰도를 얻는 방법이다. 

기억, 연습효과라는 최소한으로 감소시킬 수 있다는 장점이 있지만 문항내용과 문항난이도가 같은 동형검사 도구를 제작하는 것이 쉽지 않다는 단점이 있다.

다음은 동형검사 신뢰도를 알아보는 과정이다.

1. 피험자 집단에 동형검사 A를 실시한다.

2. 동일 피험자 집단에 동형검사 B를 실시한다.

3. A와 B 검사점수들 간의 상관계수를 산출한다.

4. A와 B 검사를 실시할 때 시간 간격을 두지 않거나, 약간의 간격을 둘 수 있으나 너무 큰 시차를 두지 않는다.

반분검사 신뢰도

반분검사 신뢰도는 하나의 검사 도구를 둘로 나누고, 나누어진 두 부분검사 점수 간의 상관계수를 구하고, 부분검사로부터 구해진 상관계수를 전체 검사의 값으로 확대한 수치이다. 재검사 신뢰도의 결과가 부적당하거나 동형검사 도구를 만들기 어려울 때 쉽게 사용할 수 있는 방법이다.

한 개의 검사를 양분하는 방법에는 한 개의 검사를 정확히 반이 되게 나누는 양분법과 기우반분법(홀수짝수법), 난수표법, 문항의 난이도 및 내용에 따라 비슷한 것끼리 짝지어 반분하는 내용곤란도법 등이 있다.

한 번의 검사실시로 신뢰도를 추정할 수 있다는 장점이 있으나 검사를 양분하는 방법에 따라 신뢰도계수가 변한다는 단점이 있다.

다음은 반분신뢰도계수의 교정 전 및 교정 후 추정하는 과정이다.

1. 피험자 집단에 신뢰도를 알아보고자 하는 검사를 실시한다.

2. 해당 검사를 전후 반분법에 의해 두 부분으로 나누어 점수화한다. 이때 반분된 두 검사가 동형이 되도록 한다.

3. 반분된 두 검사점수들 간의 상관계수를 산출한다.

4. 교정된 반분신뢰도계수를 산출한다.

문항내적합치도

문항내적합치도는 문항 하나 하나를 독립된 한 개의 검사단위로 보고, 각 문항들이 일관되게 동일한 능력을 측정하고 있는 정도를 표시하는 합치도, 동질성, 일치성을 중시하는 방법이다. 

한 검사의 각 문항에 대해 피검사자가 얼마나 일관성 있게 반응하느냐 하는 것은 검사도구의 문항이 어느 정도 동질적이냐에 의해 결정되기 때문에 문항 내 적합치도를 검사의 동질성계수라고도 한다.

크론바흐 알파계수

크론바흐 알파계수는 한 검사 속의 문항들 사이의 신뢰도계수를 나타내는 것으로, 최근에 많은 관심을 받고 있는 신뢰도 추정 방식이다. 다른 신뢰도들은 추정 방식이 상관계수에 근거하고 있다.

다음은 신뢰도에 영향을 미치는 요인들이다.

1. 짧은 시험보다 긴 시험

2. 이질적 내용보다 동질적 내용의 검사

3. 비슷한 학생 집단보다 넓은 학력점수의 범위가 원인이 된 넓은 능력범위를 가지고 있는 집단

4. 잘 쓰여지고 또 적절한 항목으로 구성된 검사

5. 서로 다른 측정보다는 적은 채점 오차를 가진 측정

6. 검사에 대한 적절한 상태에서 또 최적의 동기에서 얻어진 검사점수

다음은 신뢰도를 향상시키는 방법들이다.

1. 시험 문항수가 많으면 많을수록 신뢰도는 높다(측정 오차를 줄일 수 있다). 

2. 문항변별도가 높아야 한다. 문항이 피검사자를 능력에 따라 구분할 수 있는 변별력이 있어야 한다.

3. 문항의 난이도가 적절해야 한다. 검사가 너무 어렵거나 쉬우면 신뢰도가 저하된다.

4. 시험기간이 충분히 주어져야 한다. 신뢰도는 속도검사가 아닌 역량검사이다.

5. 검사도구의 측정내용이 보다 구체적이고 좁은 범위의 내용이어야 한다. 

6. 평가하려는 내용을 범위 내에서 고르게 표집해서 문항을 작성해야 한다.

7. 시험실시 상황이 적합해야 한다.

8. 객관적인 채점방법을 사용한다.

9. 동질집단의 신뢰도는 이질집단보다 낮다.

신뢰도는 타당도를 높이는 필요조건으로 타당도는 없으나 신뢰도는 높을 수 있다. 그러나 신뢰도 없이 타당도가 높은 측정도구는 존재할 수 없다. 그러므로 신뢰도는 타당도의 필요조건이나 충분조건은 아니다.

요약하자면 

1. 타당도가 낮은 도구이더라도 신뢰도가 높을 수 있으나 신뢰도가 낮으면 타당도도 낮아진다. 

2. 타당도는 없으나 신뢰도는 매우 높은 측정도구가 있을 수 있지만 신뢰도가 없으면 타당도가 높은 측정도구는 존재할 수 없다.

3. 신뢰도가 높다고 해서 타당도가 높은 것은 아니지만, 타당도가 높으면 신뢰도는 높다.

객관도

객관도는 검사자의 신뢰도로 검사의 채점자가 얼마나 객관적인 입장에서 어느 정도 일관되고 공정하게 채점하느냐 하는 문제와 관련된 것이다. 객관도를 확보하기 위해서는 여러 사람으로부터 인정받을 수 있도록 문항을 제작해야 좋은 문항이다.

다음은 객관도를 향상시키는 방법들이다.

1. 도구를 객관화한다. 측정도구, 평가도구를 객관화 해야 한다. 

2. 평가자의 소양을 향상시켜야 한다.

3. 명확한 평가기준이 있어야 한다(기준이 구체화되어야 한다).

4. 다인수 평가여야 한다. 가능하면 비객관적 평가도구는 여러 사람이 공동으로 평가해 그 결과를 종합하는 것이 객관성을 높일 수 있다.

5. 오류가 없어야 한다. 평가자의 인상, 편견, 추측, 착오 등을 최소화 해야 한다.

6. 주관식 문항을 채점할 때는 학생별 채점보다 문항별로 채점해야 하고, 가능한 많은 채점자들이 독립적으로 채점해 그 결과를 종합하는 것이 합리적이다.

실용도 

실용도는 평가방법이나 도구의 제작과정 뿐만 아니라 시행방법이나 절차, 평가결과를 채점하거나 분석하기 위해 소요되는 인적, 물적 자원의 양과 질이 주어진 여건에 비해 실용적인가를 나타내는 정도이다. 

고려해야 할 점은 실시방법이 쉬워야 하며, 실시하는 데 소요시간이 적절해야 하고, 채점하기가 쉽고, 결과를 해석하거나 활용하기가 쉬워야 한다. 또한 비용이 적절해야 한다.

다음은 실용도를 향상시키는 방법이다.

1. 실시와 채점이 용이하도록 한다.

2. 결과의 해석과 활용이 용이하도록 한다.

3. 낮은 검사비용, 시간, 노력으로 해결해야 한다.

참고자료

교육평가, 서동기 외 9인, 동문사