16번 실패한 사람이 만든 시스템이다
그래서 작동한다
1왜 16번이나 떨어졌을까
2025년 12월 2일, 17번째 시도 끝에 미국 공인회계사(CPA) 감사(AUD) 시험에 78점으로 합격했다. 서울대학교, 고려대학교에서 400학점 이상 이수하고, UConn Law School에서 LL.M.을 취득한 내가 왜 4시간짜리 객관식 시험에서 16번이나 미끄러졌을까. 문제는 지식이 아니라 다른 곳에 있었다.
2데이터가 보여준 진실
16회 분량의 시험 데이터를 분석한 결과, 두 가지 치명적 패턴을 발견했다. 첫째, 70-84% 확신도 구간에서 정확도가 62%에 불과했다. "꽤 자신 있다"고 느끼는 순간이 가장 위험했다. 둘째, 답을 바꾼 경우의 75%가 "정답에서 오답으로" 변경이었다. 매 시험당 약 6점의 손실이었다.
3다국어 화자의 구조적 불리함
나는 한국어로 사고하고, 일본어로 일상생활을 하며, 영어로 된 미국 회계감사 시험을 치렀다. UC San Diego의 연구에 따르면, 다국어 화자는 단어-개념 연결이 덜 자동화되어 있다. 삼중언어 화자인 나는 이 불리함이 세 배였다. 문제당 0.5초의 지연이 72문제에서 수 분의 시간 손실로 이어졌다.
4Protocol v5.2.4의 탄생
IARPA의 Good Judgment Project, 미군의 Overlearning 연구, SERE 훈련 연구를 Protocol에 통합했다. Calibration Tracking으로 과신을 실시간 추적하고, Overlearning Protocol로 3회 연속 정답을 요구했다. Zero Answer Change 전략을 철저히 지킨 열일곱 번째 시험. 78점. 합격이었다.


