문항반응 이론 학습
1. 문항반응이론 개요
가. 개요 심리측정학에서 문항반응이론(IRT, Item Response Theory)은 시험, 설문지를 설계, 분석, 채점하고 인간의 능력, 태도 등을 측정과 관련된 검사이론입니다. 문항반응이론은 검사 총점으로 문항을 분석하는 것이 아니라 문항은 문항 각각이 불변하는 고유한 속성을 가지고 있으므로 그 속성을 나타내는 문항 특성 곡선에 의하여 문항을 분석합니다.
평가 문항들에 대한 응답에 근거하여, 피험자의 특성(인지 능력, 물리적 능력, 기술, 지식, 태도, 인격 특징 등)이나 평가문항의 난이도, 변별도를 측정하기 위한 검사이론입니다. 이 이론의 주된 특징은, 예를 들면 개인의 능력, 문항의 난이도라고 하는 모수를 구할 때, 평가 문항에의 정오(正誤)와 같은 이산적인 결과를 가지고 확률론적으로 접근하려고 하는 점이다. 즉 검사 자료에 수학적 모형들을 적용하는 것이며, 흔히 고전검사이론(CTT,Classical test theory)보다 우수한 것으로 인식됩니다.
데이터 수집적 관점에서 문항반응이론에의한 유의미한 데이터 세트의 타당도를 확보하는데 응답자 수는 문항수의 약10배정도 전후가 요구되는것으로 보고되고있다.
피험자 능력(X축)과 정답률(Y축)으로 구성된 곡선을 문항특성곡선(Item Characteristic Curve)이라고 합니다.
그리고 문항반응이론(item response theory)는 고전검사이론처럼 검사 총점에 의해 검사나문항이 분석되는 이론이 아니라 문항 하나 하나의 독특한 특성을 지닌 고유한 문항특성곡선(Item Characteristic Curve)에 의해 분석된다는 이론입니다.
나.고전검사이론과 문항반응이론의 차이
<아래 예시는 성태제 교수가 작성한 ‘‘문항반응이론의 이해와 적용’을 참고하여 작성한 것입니다>
| 문항 | 피험자A | 피험자B |
|---|---|---|
| 1 | 1 | 0 |
| 2 | 1 | 1 |
| 3 | 1 | 1 |
| 4 | 0 | 1 |
| 5 | 0 | 0 |
| 총점 | 3 | 3 |
1번 문항부터 5번 문항까지 문항의 어려운 정도가 동일하다면 학생 A, B의 능력은 같다고 할 수 있으나 문항난이도가 다른 경우는 두 학생의 능력이 같다고 볼 수 없을 것입니다.
| 피험자 | 답을 맞힌 문항 수 | 능력추정치 |
|---|---|---|
| A | 8 | .3773 |
| B | 8 | .2332 |
| C | 5 | -.6800 |
| D | 18 | 2.4762 |
| E | 6 | -.4406 |
| F | 7 | -.1342 |
| G | 6 | -.7194 |
피험자 E와 피험자 G의 경우 답을 맞힌 문항 수는 같으나 문항반응이론에 의하면 E피험자가 능력이 더 높은 것으로 분석됩니다.
다. 가정
1)일차원성 가정
-
검사를 구성하는 모든 항목들이 동일한 하나의 특성을 측정하여야 한다는 가정
- 즉, 하나의 검사도구는 인간이 지닌 하나의 특성을 측정하여야 함을 전제
- 예 : 수리능력 측정할때 문항이 어려운 단어로 구성되어 있다면 이 검사는 본의 아니게 어휘능력까지 측정하는 결과 초래 => 일차원성가정 위배
2) 지역독립성 가정
- 어떤 능력을 가진 피험자의 하나의 문항에 대한 응답은 다른 문항의 응답에 영향을 주지 않는다는 가정
- 통계적으로 말하면, 피험자가 어떤 문항을 맞힐 확률과 다른 문항의 답을 맞힐 확률은 상호 독립적이라는 뜻
2. 문항특성 곡선
-
문항특성곡선(ICC)이란 피험자 능력 (θ)에 따른 문항의 답을 맞힐 확률을 나타내주는 곡선임
X축: 피험자의 능력 (θ)
Y축: 답을 맞힐 확률 P(θ)
-
피험자의 능력(θ)이 높아짐에 따라 정답 확률이 증가
-
대략 S자 형태의 증가함수
-
주로 1모수 모형, 2모수 모형, 3모수 모형 중 하나를 적용
-
기울기가 가파를수록 변별력이 높음
능력수준이 -1.2, 0,1.5에서 피험자들이 반응하는 경향의 조건본포들입니다.
한 문항에 대한 피험자의 반응경향(집단 내 피험자들의 정답을 맞출 경향성)을 나타내는 가상적인 변수를 연속문항변수라하고 Γ로 표기합니다.
각 문항은 문항의 특성에 따라 반응경향을 나타내는 기준이 다르므로 문항의 특성을 나타내는 기준을 γ(집단 내 문항의 특성, 난이도)라 합니다.
만약 문항이 쉬운 특성을 지니고 있으면 γ는 낮은 수준이 될 것이고 문항이 어려우면 γ는 높은 수준이될 것입니다. 이 때 피험자들의 반응경향 Γ가 문항특성인 γ보다 높은 반영경향을 나타낸 피험자들은 그 문항의 답을 맞히게 됩니다.
문항반응이론에서 피험자의 능력을 측정하는 척도는 모든 피험자의 능력이 평균 μ와 표준편차 σ를 가진 정규분포를 이룬다는 가정하에 능력의 평균을 0, 표준편차가 1인 척도로 표현하게 된다.
위치모수는 문항 특성곡선 상에서 문항의 답을 맞힐 현상이 나타날 확률이 .5에 해당되는 준거변수를 나타내는 능력 척도 상의 점을 의미하며 β나 b로 표기한다. 따라서 위치모수는 문항의 특성을 나타내는 문항의 난이도와 관계가 있음을 이해할 수 있다.
척도모수는 문항특성곡선상의 위치지수 위에 있는 피험자와 그 아래 있는 피험자를 변별하는 정도를 나타내는 지수로서 문항특성곡선의 기울이를 의미하며 α나 a로 표기한다. 척도모수는 문항반응이론에서 문항 변별도를 설명한다.
3. 문항모수
**가. 문항난이도(item difficulty) **
문항이 어느 능력 수준에서 기능하는가를 나타내는 지수
문항의 답을 맞힐 확률이 .5에 해당되는 능력 수준의 점을 의미한다.
| 문항난이도 | 언어적표현 |
|---|---|
| -2.0미만 | 매우 쉽다 |
| -2.0이상 ~ -0.5미만 | 쉽다 |
| -0.5이상 ~ +0.5미만 | 보통이다 |
| +0.5이상 ~ -2.0미만 | 어렵다 |
| -2.0이상 | 매우 어렵다 |
**나. 문항변별도(item discrimination) **
문항이 피험자를 능력에 따라 변별하는 정도를 나타내는 지수
문항반응이론에서 문항변별도란 문항특성곡선상의 문항의 답을 맞힐 확률이 .5에 해당하는 점에서 문항특성곡선의 기울기를 말함
**다. 문항추측도(item guessing) **
능력이 전혀 없음에도 불구하고 문항의 답을 맞힐 확률
즉, -∞의 능력 수준으 ㄹ가지고 있는 피험자가 문항의 답을 맞힐 확률을 문항추측도라 하며, 이를 c로 표기한다.
4. 문항반응모형
가.문항 모수에 의한 문항반응모형: 1-모수 모형, 2모수 모형, 3-모수 모형
1) 문항모수에 의한: 문항난이도만
2) 문항모수에 의한: 문항난이도+문항변별도
3) 문항모수에 의한: 문항난이도+문항변별도 +문항추측도
나. 수리적 모형에 의한 문항반응모형
1) 정규오자이브모형(Normal ogive model)
문항특성곡선 추정을 위함.
교육 및 심리측정학에서 사용되어 왔음.
정규분포에서 분산이 작으면 변수의 범위가 좁고 뾰족하게 나타남.
2) 로지스틱모형 (Logistic model)
오자이브공식의 적분 등의 복잡한 절차를 간편하게 하는 방법으로 사용됨
두 개의 반응 범주를 취하는 이항변수 Y를 공변량(covariate) X로 설명하기 위한 대표적 모형
1950년 후반 이후부터 보편화
다. 문항모수와 수리적 모형에 의한 문항반응모형
5. 문항모수 추정
검사문항들의 모수치(α:변별도 β:난이도)를 모르기 때문에
-
문항들의 모수치(α:변별도 β:난이도) 추정이 필요
-
모든 피험자들의 모든 문항에 대한 응답결과를 가지고 분석
문항응답결과를 문항반응경향 또는 문항반응벡터 라고 한다 (Item Response Vector)
가. 문항모수 추정방법
각 능력집단에서 반응한 관찰된 정답 비율을 그리기
최대우도법을 통해
1단계 :문항난이도(b) = 0.0 문항변별도(a) = 1.0등을 시작으로피험자의능력집단별 정답비율P(θ)을계산
2단계 : 관찰된 정답비율과 계산된 정답비율이 일치할때까지 계산한 다음 가장 일치하는 문항특성곡선에서의 난이도(b)와변별도(a) 값이 그문항의 난이도(β) 와 변별도(α)가된다.
3단계 : 추정된문항특성곡선(ICC)이 실제문항반응자료에 적합한가에 대한 검증이 필요
계산된 적합도 지수의 카이제곱값이 준거값보다 크면, 추정된 문항모수가 실제 응답자료와 마지 않아 문항모수 추정이 정확하지 않음
카이제곱값이 크게 나오는 이유 1) 잘못된 문항반응모형이 선택되거나 2) 적합한 문항반응모형을 선택하였지만, 관찰된 정답반응비율이 너무 넣은 능력볌위에 퍼져 있기 때문임
나. 문항특성 불변성 고전검사이론에서는 능력이 낮은 피험자 집단에서는 문항의 난이도가 높게 평가된지만, 능력이 높은 피험자 집단에서는 같은 문항이라고 해도 문항의 난이도가 낮게 평가됩니다.
But 문항반응이론에서는 문항의 모수치는 피험자 집단의 능력이 높고 낮음과는 상관없이 문항의 난이도(b), 변별도(a), 추측도(c)를 일정하게 추정합니다. 이를 문항 특성의 분변성이라고 합니다.
실제 능력이 높은집단의 문항특성곡선과 낮은집단의 문항특성곡선을 합치면 하나의 문항특성곡선이만들어집니다.
문항특성의불변성은문항반 응이론(IRT)의최대강점중하나입니다.
즉, 문항반응이론에의한문항의난이도(b)와변별도(a) 추정치는피험자집단의특성으로부터독립성을가집니다.
6. 피험자 능력 추정
가. 피험자 능력 추정방법
고전검사이론에 의하여 피험자의 능력을 추정할 경우 검사도구의 난이도에 의하여 피험자 능력의 추정치가 변화되는 모순점이 발견되어 문항반응이론에 의하여 피험자의 능력을 추정하게 됩니다.
피험자의 능력을 추정할 때는 문항의 모수치를 알고, 피험자의 능력을 추정하는 절차를 따릅니다.
앞에서 모수를 측정했던 방법과 반대로 계산하게 됩니다.
일반적으로 피험자 능력의 초깃값(prior value)을 1.0으로 설정하여 피험자가 문항의 답을 맞힐 확률을 계산합니다. 그 다음 피험자의 실제 응답 결과인 문항반응 벡터와 문항반응모형에 의한 문항의 답을 맞힐 이론적 확률과 차이가 크다면, 프험자 능력 추정치가 정확하지 않아 능력 추정치를 교정하게 됩니다.
문항이 3개를 갖고 있는 검사에서 능력치가 1로 설정된 피검자의 .227로 교정되는 과정은 아래 과정을 통해 이뤄집니다.
이런 과정을 어려번 거치면서 측정오차가 매우 작아질 때까지 반복하게 되는 것입니다.
나. 피험자 능력 불변성
문항반응이론에서 피험자의 능력은 검사의 난이도에 따라 달리 추정되지 않는다고 가정합니다.
문항반응에서 주장하는 능력분변성의 원리는 피험자의 능력이 어느 때든 변화되지 않고 고정되어 있다는 의미가 아니라 어떤 한 순간의 능력을 추정할 때, 검사의 특성에 따라 능력이 다르게 추정되지 않는다는 것을 뜻합니다.
7. 정보함수
가. 정보함수의 특성
정보함수는 검사가 피험자들의 능력을 얼마나 정확하게 추정하였느냐하는 정보를 제공하는 것을 말합니다.
특징
1) 문항정보함수는 측정오차와 관계있는 분산값, 즉 능력추정의 표준오차에 반비례한다. 따라서 능력추정의 표준오차가 작을 수록 문항정보함수 값은 커집니다.
2) 문항정보함수는 문항변별도가 높을수록, 그리고 문항난이도와 능력수준이 일치할수록 문항정보함수가 커진다.
3) 문항반응이론에서는 피험자의 능력추정오차는 정보함수에 의하여 나타나므로 피험자 마다 다른 능력측정오차를 갖는다.
4) 고전검사이론의 신뢰도에 해당한다.
나. 문항정보함수(Item Information Function)
문항정보함수가 가장 높은 능력수준은 1.0으로서 문항 난이도와 일치하는 피험자의 능력수준이 됩니다.
능력추정의 표준오차가 작다는 것은 피험자 능력추정이 보다 정확히 추정되었다는 것이며, 정보함수값이 높으면 피험자의 능력을 보다 정확히 측정하였다는 의미합니다.
다. 검사정보함수(Test Information Function)
문항정보함수는 검사의 각 문항으로부터 계산할 수 있지만 문항정보함수를 사용하는 일은 극히 드묿니다. 한 문항으로 피험자의 능력을 추정하는 경우는 겅의 없기 때문입니다.
검사정보함수(TIF)란 문항정보함수의 합으로 정의됩니다.
검사에서 문항이 많을 수록 정보의 양은 더욱 커집니다.
검사정보함수에서 최대정보량을 갖는 능력수준은 0이므로, 능력척도의 거의 중심 부분에 있는 피험자들의 능력을 가장 정확히 추정합니다. 따라서 능력수준이 매우 높거나 낮은 피험자의 능력을 보다 정확히 추정하지 못한다는 문제가 있습니다.
검사정보함수는 검사가 능력점수의 전체 범위에서 얼마나 정확하게 능력을 추정하는가를 근본적으로 말해줍니다.
검사정보곡선은 검사의 목적을 설명해줍니다.
예를 들어, 어떤 자격증을 수여하는 검사가 준거참조 검사라면, 준거 혹은 목표에 대응되는 력수준에서 최대정보를 갖는 검사도구를 제작해야 합니다.
라. 검사정보의 계산과 검사정보곡선
위 검사정보곡선에 따르면 피험자 능력수준이 -1~+1사이에 존재하는 피험자들의 능력을 보다 정확하게 추정하는 것을 알 수 있습니다. 다시말해서 중간 수준의 능력을 지닌 피험자들에게 적합한 검사라고 볼 수 있습니다.
어떤 준거에 의하여 자격증을 부여하는 부여하는 형태의 준거참조검사는 그 준거에 해당하는 능력수준에 최대정보를 갖도록 제작하는 것이 바람직합니다.
Leave a comment