" 왜 하필 0.05입니까?"... P-value의 비밀

어제 블로그에 올렸던 '시료 3개 품질 검증' 글을 보고, 오늘 아침 후배 녀석에게 전화가 왔습니다.

" 글 잘 읽었습니다. 통계로 증명하니까 확실히 멋있네요. 그런데 궁금한 게 하나 있습니다." "뭔가?" "결론에서 P-value가 0.05보다 크니까 합격이라고 하셨잖아요. 그런데 왜 기준이 하필 0.05입니까? 0.01도 있고 0.1도 있을 텐데, 누가 정한 겁니까?"

순간, 말문이 막힐 뻔했습니다. 현장에서 30년을 일하면서 수없이 성적서를 검토했지만, 솔직히 말하면 저도 그동안은 기계적으로 받아들였습니다. '0.05 이하면 불합격(차이 있음), 이상이면 합격(차이 없음).' 그냥 공식처럼 외우고 있었던 것이죠.

품질 경영기사 시험에서도 이런 궁금증은 없었습니다. (그냥 외워..시험만 붙으면 되니까!!)

전화를 끊고 나서 곰곰이 생각해보니, 제대로 된 설명이 필요하겠다 싶더군요. 그래서 나의 든든한 공부 파트너인 AI, 제미니(Gemini)에게 물어봤습니다.

"제미니, P-value의 기준은 왜 0.05인 거야? 그리고 이게 도대체 어떻게 계산되는 거지?"

1. 0.05는 '합리적인 의심'의 경계선

제미니의 설명은 명쾌했습니다. 이 0.05(5%)라는 숫자는 통계학의 아버지라 불리는 로널드 피셔(Ronald Fisher)가 제안한 기준으로, 일종의 '마지노선'입니다.

우리가 신이 아닌 이상, 시료 몇 개만 뽑아서 검사하는 통계조사에서 100% 확신이란 있을 수 없습니다. 그래서 사회적으로 합의한 약속이 바로 95%의 신뢰수준입니다.

• "우리가 100번 실험했을 때, 95번 정도 맞으면 이걸 '과학적 사실'로 받아들이자."
• "반대로 말하면, 틀릴 확률이 5%(0.05) 미만이라면 '우연'이라고 보기 어렵다. 뭔가 이유가(차이가) 있다고 보자."

즉, 0.05는 우리가 감수할 수 있는 오류의 허용 범위입니다.

2. 복잡한 적분의 세계, 그리고 AI의 도움

제미니는 여기서 한발 더 나아가, P-value가 실제로 어떻게 계산되는지 수학적인 원리까지 보여주었습니다.

어제 데이터(A시료 3개 vs B시료 10개)를 넣었을 때, 컴퓨터 내부에서는 엄청나게 복잡한 적분(Integral) 계산이 돌아갑니다. T-분포라는 종 모양의 그래프를 그리고, 우리 데이터가 위치한 곳의 '바깥쪽 면적'을 구하는 과정이더군요.

빅데이터 분석기사 시험을 준비하면서 이론적으로는 알고 있었지만, 제미니가 보여준 적분 공식을 보니 '아, 이건 사람이 손으로 계산할 영역이 아니구나. 그래서 파이썬(Python)을 배우는 거구나' 하는 생각이 절로 들었습니다.

예전에는 미니탭을 사용해서 그냥 주어진대로 계산을 하곤했습니다. 그러나 미니탭도 워낙 고급 소프트웨어인지라. 가격도 상당합니다. 워낙 편리한 시스템이지만. 

3. 다시 전화 온 후배에게 해준 말

내용을 정리하고 나서 후배에게 다시 전화를 걸었습니다.

"자네가 물어본 0.05의 의미 말이야. 그건 '우리가 억울하지 않을 확률'이라고 생각하면 되네."

"네? 억울하지 않다니요?"

"만약 우리가 0.05(5%)라는 기준을 넘겼는데도 불량이라고 판정하면, 멀쩡한 제품을 버리는 셈이 되잖아? 어제 내 분석 결과가 P-value 0.061이었어. 기준인 0.05보다 높지? 이건 '이 두 제품의 차이가 단순한 우연(Sampling Error)일 확률이 6.1%나 된다'는 뜻이야. 5% 미만이어야 의심을 할 텐데, 6.1%라면 우연히 그럴 수도 있다는 거지. 그러니 '차이가 없다(동등하다)'고 보는 게 합리적인 거야."

4. 경험에 지식을 더하다

예전 같으면 "원래 규격이 그래"라고 윽박질렀을지도 모릅니다. 하지만 이제는 데이터를 근거로, 통계적 확률을 근거로 설명할 수 있게 되었습니다.

은퇴를 앞두고 시작한 파이썬 공부와 AI 활용, 처음엔 막막했지만 이제는 제 경험을 논리적으로 증명해 주는 가장 강력한 무기가 되어가고 있습니다.

"감(感)은 빠르지만, 데이터는 정확하다."

오늘도 제미니와 함께 하나 더 배워갑니다.