근거 ①회사 도움말만든 회사도 '같은 질문에 답이 달라질 수 있다'고 설명해요
챗GPT를 만든 회사(OpenAI)는 도움말에서, AI가 다음에 올 말을 확률적으로 예측해 한 조각씩 이어 가며 답을 만들고, 한 문장을 여러 그럴듯한 방식으로 이을 수 있어 같은 질문에도 답이 달라질 수 있다고 설명해요.
(단, 연구가 아니라 회사의 설명이라는 점은 참고)
출처: OpenAI 도움말
초등 · AI 답을 그대로 믿어요질문 26
같은 걸 물어도 AI 답이 매번 달라요, 왜 그런가요?
이런 장면이에요
4학년 아이가 엄마 폰으로 수학 문장제를 AI에 물었는데 어제는 24, 오늘은 26이라고 한다. 아이는 "AI가 고장 났나 봐" 하더니, 어느 게 맞는지 AI에게 또 묻는다.
결론
AI는 정해진 답을 꺼내 오는 게 아니라, 물을 때마다 새로 만들어요.
답이 갈리면 AI에게 또 묻지 말고, 계산·책·직접 해 보기로 확인해요.
오늘 해 볼 한 가지답이 갈린 문제 하나를 아이가 직접 풀어 보고, 어느 답이 맞는지 스스로 정하게 해요.
오늘 아이에게 건넬 한마디"답이 다르게 나오면, 어떻게 확인하지?"
근거
근거 ②연구같은 질문을 열 번씩 물었더니 맞는 답은 평균 절반쯤이었어요
튀르키예 고등학교 수학 연습 문제 57개마다 '답이 뭐예요?'를 일반 챗GPT형 AI(GPT-4)에 매번 새로 열 번씩 물은 실험에서, 맞는 답은 평균 51%였어요(2023년 가을).
(단, 그때 모델이 고등학교 수학 문제에서 낸 값이라 지금 AI의 정답률은 아니라는 점은 참고)
출처: Bastani 외 2025
근거 ③연구틀린 걸 알아챈 아이도 같은 상대에게 다시 묻기도 했어요
6~9세 160명에게 틀린 말을 하는 '전문가'를 보여 준 연구에서, 아이들은 틀린 말을 많이 한 사람의 지식을 낮게 평가했어요. 그런데도 그 사람에게 새 질문을 맡기기도 했어요.
(단, AI가 아니라 사람 전문가를 두고 한 연구이고, 논문 초록으로 확인한 결과라는 점은 참고)
출처: Williams · Danovitch 2024
아직 모르는 것
초등 아이가 AI의 엇갈린 답을 어떻게 받아들이는지 잰 연구는 아직 찾지 못했어요.
휴먼쌤 원칙
연구 결과가 아니라 제가 정한 기준이에요
- 답이 갈릴 때 필요한 건 '한 번 더 묻기'가 아니라 'AI 밖에서 확인하기'다(연구 결과가 아니라 제 원칙이에요).
- 확인하는 법은 질문 08의 표를 따른다(계산은 다시 풀기, 사실은 자료 하나 더).