"아는데 틀리는" 현상의 정체: 과신 바이어스와 CPA 시험

"아는데 왜 틀려?"

시험이 끝나고 답안을 확인하면 이런 반응이 나옵니다:

"이거 알았는데..."

"아 맞다, 그거였지"

"이건 분명히 맞췄을 줄 알았는데"

이것은 단순한 실수가 아닙니다. 과신 바이어스(Overconfidence Bias)라는 인지적 함정입니다.

IARPA Good Judgment Project

미국 정보기관 산하 연구소 IARPA의 Good Judgment Project(2011-2015)는 수천 명의 예측가를 분석했습니다. 그 결과 발견한 것:

대부분의 사람은 자신의 지식을 15-20% 과대평가합니다.

"80% 확신한다"고 말한 문제의 실제 정답률은 60-65%에 불과했습니다. 이 gap이 바로 시험에서 불합격하는 원인입니다.

CPA 시험에서의 과신 패턴

AUD17T 사용자 데이터에서 발견된 패턴:

확신도 구간기대 정답률실제 정답률Gap 90-100%95%88%-7% 70-84%77%52%-25% 50-69%60%55%-5% 30-49%40%38%-2% 70-84% 확신도 구간이 가장 위험합니다. "대충 아는 것 같은" 상태에서 과신이 최대치에 도달합니다.

왜 이런 일이 일어나는가

인출 용이성(Retrieval Fluency): 개념을 떠올리기 쉬우면 "안다"고 착각합니다

친숙성 효과(Familiarity Effect): 본 적 있는 것을 "아는 것"으로 혼동합니다

확인 편향(Confirmation Bias): 맞은 문제만 기억하고 틀린 문제는 잊습니다

Calibration으로 교정하기

AUD17T의 Calibration Tracking은 이 과신을 수치화합니다:

매 문제마다 풀기 전에 확신도를 기록합니다

실제 정답 여부와 대조합니다

누적 데이터로 당신만의 과신 패턴을 분석합니다

위험 구간(70-84%)에서 특별 경고를 발동합니다

Good Judgment Project의 "슈퍼 예측가"들은 바로 이 calibration 훈련을 통해 일반인보다 30% 정확한 예측을 했습니다.

교정 후 변화

Calibration 훈련 4주 후 평균 결과:

과신 gap: 25% → 8% (68% 감소)

70-84% 구간 정답률: 52% → 71% (36% 향상)

전체 점수 예상: +6~8점

CPA 합격 커트라인이 75점입니다. 이 6-8점이 합격과 불합격을 가릅니다.