챗GPT가 틀린 답을 하는 이유와 답변 확인하는 법

“다음 주 월요일에 갈 여행 코스를 짜 주세요. 오전에는 박물관에 들르고, 오후에는 바닷가를 걷고 싶어요.”

챗GPT가 이동 순서와 방문 시간을 보기 좋게 정리해 줍니다. 원하는 분위기도 맞고, 일정도 그럴듯합니다. 그런데 박물관이 월요일에 쉬는 곳이라면 어떨까요? 요청을 더 자세히 쓰는 것만으로 해결되지 않는 문제가 남습니다.

AI 요청법 1편에서는 만들고 싶은 결과를 구체적으로 설명하고, 계획을 고친 뒤 확인하는 방법을 다뤘습니다. 이번에는 그 확인을 정보에 적용해 보겠습니다. 내가 원한 모양의 답인지와, 실제로 맞는 답인지는 따로 살펴야 합니다. 우선 일정 전체를 의심하기보다 방문 가능 여부처럼 내 행동을 바꾸는 사실부터 확인하면 됩니다.

원하는 답과 맞는 답의 차이

사진이 큰 블로그를 원했는데 글 중심 화면이 나왔다면 원하는 구성을 다시 설명할 수 있습니다. 하지만 휴관일을 영업일로 알려 준 경우에는 취향을 보탠다고 사실이 바로잡히지 않습니다. 운영 기관의 안내에서 실제 조건을 찾아야 합니다.

사실이나 주어진 자료에 맞지 않는 내용을 그럴듯하게 생성하는 현상을 AI의 ‘환각’, 또는 ‘할루시네이션’이라고 부릅니다. 존재하지 않는 자료를 출처처럼 제시하는 경우도 여기에 해당할 수 있습니다. 단순히 마음에 들지 않는 문체나 아직 정하지 않은 디자인과는 다른 문제입니다. IBM의 AI 환각 설명

그렇다고 틀린 답을 발견할 때마다 “AI가 아무것도 모른다”고 결론 낼 필요는 없습니다. 일정의 순서를 정리한 부분은 쓸 만해도, 박물관의 운영 시간을 틀렸을 수 있습니다. 답 전체를 한 덩어리로 받아들이면 쓸 수 있는 부분과 고쳐야 할 부분을 구분하기 어렵습니다.

여행 일정을 읽는다면 장소 이름, 방문할 날짜, 운영 시간, 예약 필요 여부를 각각 떼어 보세요. “여유로운 코스입니다”는 제안의 성격이 강하지만 “월요일에도 입장할 수 있습니다”는 원문으로 확인할 수 있는 주장입니다. 확인할 단위를 이렇게 작게 만드는 데서 시작합니다.

크게 보기

×확대 이미지 닫기

챗GPT는 왜 모르는 것도 그럴듯하게 말할까

“월요일 오전, 실내 위주, 걸어서 이동할 수 있는 코스”라고 요청하면 원하는 일정의 조건은 분명해집니다. 그러나 그 문장 자체가 박물관의 최신 운영 공지를 AI에게 전달하지는 않습니다.

대화형 AI는 학습한 내용과 현재 제공된 맥락을 바탕으로 답을 생성합니다. 알고 있는 정보가 오래됐거나 필요한 정보가 없으면 잘못된 설명을 만들 수 있습니다. 검색을 지원하는 서비스라면 웹 자료를 참고할 수 있지만, 찾은 페이지를 잘못 해석하거나 중요한 예외를 빠뜨릴 가능성도 남습니다. Anthropic 역시 그럴듯하지만 사실에 근거하지 않은 인용이 나올 수 있고, 검색 답변에는 원문의 중요한 맥락이 빠질 수 있다고 안내합니다. Claude의 부정확한 답변 안내

AI 요청법 1편에서 살펴본 LLM은 문맥에 맞는 내용을 이어 가는 방식으로 답을 만듭니다. 문장을 자연스럽게 완성하는 능력과 문장 속 사실이 맞는지 확인하는 일 사이에는 간격이 있습니다. “박물관은 보통 낮에 문을 연다”는 익숙한 설명을 만드는 것만으로, 지금 가려는 박물관이 다음 주 월요일에 여는지까지 알 수는 없습니다. 특정 장소의 휴관일은 그 장소의 정보가 필요합니다.

그렇다면 모른다고 말하면 될 텐데 왜 단정할까요? OpenAI의 환각 연구는 그 이유 중 하나로 학습과 평가의 보상 구조를 설명합니다. 모르면 비워 두는 답보다 일단 추측해서 맞히는 답이 유리한 평가에서는, 불확실성을 인정하는 태도가 충분히 보상받지 못할 수 있다는 것입니다. 모르는 객관식 문제를 빈칸으로 두면 점수가 없고 찍으면 맞힐 가능성이 있는 상황에 비유할 수 있습니다. 이것이 모든 오답의 원인이라는 뜻은 아니지만, 말투가 자신 있다고 근거도 충분한 것은 아닌 이유를 이해하는 데 도움이 됩니다. OpenAI의 환각 발생 원인 연구

AI가 언제나 모른다고 말하지 못하는 것은 아닙니다. 불확실하다고 답하거나 추가 자료를 요청할 수도 있습니다. 그래서 사용자도 “확인되지 않은 것은 미정으로 남겨 주세요”라는 요청을 함께 줄 수 있습니다. 다만 이런 문장을 붙였다는 사실만으로 이후 답이 검증되는 것은 아닙니다. 실제로 빈칸을 남겼는지, 근거 없는 내용을 새로 넣지는 않았는지 살펴야 합니다.

일상적으로는 이를 “챗GPT가 거짓말한다”고 표현하기도 합니다. 하지만 답 하나가 틀렸다는 사실만으로 사람처럼 속일 의도가 있었다고 판단할 수는 없습니다. 이용자에게 더 유용한 질문은 어느 정보가 없거나 잘못 연결됐는지, 무엇과 대조하면 고칠 수 있는지입니다. 챗GPT뿐 아니라 다른 대화형 AI를 쓸 때도 같은 구분이 필요합니다.

검색하거나 유료 모델을 쓰면 믿어도 될까

검색은 확인할 자료를 가져오는 데 도움이 됩니다. 그러나 답을 만드는 과정에는 자료를 찾는 일, 그 자료가 질문에 맞는지 고르는 일, 내용을 읽는 일, 조건을 보존해 정리하는 일이 함께 들어 있습니다. 앞 단계가 잘됐어도 뒤에서 실수할 수 있습니다.

예를 들어 공식 박물관 홈페이지를 찾았더라도 작년 특별 개관 공지를 골랐을 수 있습니다. 올해 안내를 읽었어도 폐관 시각과 입장 마감을 섞을 수 있고, 정확한 운영 시간을 옮겼어도 월요일 휴관이라는 조건을 빠뜨릴 수 있습니다. “검색해서 답했다”는 말만으로 이 과정이 모두 맞았다고 판단하기는 어렵습니다.

OpenAI는 ChatGPT의 검색 같은 도구가 최신 정보나 확인 가능한 자료를 제공하는 데 도움을 줄 수 있지만, 웹사이트 접근 제한이나 과도하게 자신 있는 답변 같은 문제가 남는다고 안내합니다. 답변에 나타난 인용·수치·중요한 정보를 확인하도록 권합니다. ChatGPT 답변의 정확성에 관한 공식 안내

돈을 내거나 더 오래 생각하는 모델을 선택했다고 해서 특정 답에 근거가 생기는 것도 아닙니다. 어려운 질문을 다루는 능력과 지금 필요한 자료에 접근했는지는 따로 봐야 합니다. 박물관의 예약 잔여 자리가 공개되지 않았다면, 어느 모델을 쓰든 그 사실을 확인할 자료가 추가로 필요합니다. 구독 여부를 신뢰의 기준으로 삼기보다 이번 답이 무엇을 읽고 어떤 조건을 확인했는지를 보세요. 여기서 필요한 것은 유료·무료의 순위가 아니라 답 하나를 판단할 근거입니다.

따라서 “정확하게 알려 주세요”에 더해 무엇을 근거로 답할지를 정하는 편이 검토하기 좋습니다. 박물관이라면 공식 관람 안내와 방문일에 적용되는 공지, 회사 업무라면 사용이 허용된 최신 규정이 그 근거가 됩니다. 이 역시 오류를 없애는 주문은 아닙니다. 답을 받은 뒤 무엇과 대조할지 마련하는 방법입니다.

처음 정보를 찾을 때는 다음처럼 부탁할 수 있습니다.

방문 날짜: [연도·월·일과 요일을 적어 주세요]
방문 지역: [지역을 적어 주세요]
위 조건에 맞는 박물관을 찾고 있습니다.
웹 검색이 가능하면 운영 기관의 공식 관람 안내와 최신 공지를 찾아 주세요.

방문 가능 여부, 운영 시간, 예약 필요 여부를 각각 구분해 주세요.
각 항목에 근거가 된 페이지 링크와 해당 부분의 소제목을 붙여 주세요.
일반 관람과 별도 프로그램의 조건을 섞지 말아 주세요.
찾지 못했거나 자료가 충돌하면 확인되지 않았다고 표시해 주세요.

웹페이지를 직접 열 수 없다면 그 한계를 알려 주세요.
제가 안내문을 붙여 넣을 때까지 현재 운영 정보를 추측하지 말아 주세요.

대괄호 부분을 내 상황으로 바꿔서 사용하세요. 처음에는 “다음 주 월요일”처럼 말하더라도 확인할 때는 방문할 연도·월·일을 정해 두는 편이 좋습니다. 대화를 며칠 뒤 다시 읽거나 다른 사람에게 전달할 때도 어느 날짜인지 분명하기 때문입니다.

사용하는 서비스에 검색 기능이 없거나 페이지 접근이 막혔다면, 공식 사이트를 직접 열어 필요한 안내를 가져오는 방법도 있습니다. AI가 “검색했습니다”라고 쓴 문장만으로 확인이 끝났다고 보지는 마세요. 실제 출처 페이지와 근거 내용을 볼 수 있는지가 더 중요합니다.

출처 링크에서 확인할 세 가지

답에 링크가 붙어 있으면 확인할 길이 생깁니다. 하지만 링크 하나가 답 전체를 보증하지는 않습니다. Google도 Gemini가 출처뿐 아니라 답과 관련된 콘텐츠의 링크를 제공할 수 있다고 설명합니다. 관련 자료를 소개하는 링크와 바로 앞 주장을 뒷받침하는 근거를 독자가 구분해야 합니다. Gemini 앱의 관련 출처 안내

먼저 링크가 어디로 연결되는지 봅니다. 같은 이름의 다른 시설이나 누군가의 오래된 방문 후기일 수 있습니다. 운영 정보를 확인하려면 해당 시설의 공식 관람 안내와 공지부터 찾는 편이 좋습니다. 링크가 열리지 않으면 사이트의 메뉴나 검색에서 문서 제목을 찾아보세요. 찾지 못한 출처는 확인된 근거로 쓰지 않습니다.

다음으로 그 페이지에 답의 내용이 실제로 있는지 읽습니다. ‘관람 안내’라는 제목이 보이는 것과 ‘월요일 관람 가능’이라는 문장이 있는 것은 다릅니다. AI가 인용한 문장도 원문에 같은 뜻으로 들어 있는지 앞뒤 문단과 함께 확인합니다. 페이지가 길면 ‘휴관’, ‘입장’, ‘예약’처럼 답을 바꿀 단어를 페이지 내 찾기로 찾아보세요. 검색 결과에 나온 짧은 소개문만 읽고 끝내면 예외 조항을 놓칠 수 있습니다.

마지막으로 내 상황에 적용되는 조건인지 봅니다. 운영 시간 옆의 입장 마감, 일반 관람과 체험 프로그램의 예약 조건, 정기 휴관과 특별 운영 공지를 따로 읽어야 합니다. 게시일이 최근이라는 이유만으로 모든 방문 날짜에 적용되는 것도 아닙니다. 공지가 어느 기간과 대상에 관한 것인지가 중요합니다.

가령 전시실은 예약 없이 들어갈 수 있어도 같은 건물 안의 도예 체험은 따로 예약해야 할 수 있습니다. 공식 안내에서 ‘예약 없이 가능’이라는 표현을 찾았더라도, 그 말이 내가 하려는 활동에 붙은 조건인지까지 읽어야 합니다.

크게 보기

×확대 이미지 닫기

아래는 확인 방법을 설명하기 위해 만든 가상의 박물관 안내문입니다. 실제 시설의 운영 정보나 특정 AI의 실행 결과가 아닙니다.

관람 시간은 오전 10시부터 오후 6시까지이며, 입장은 오후 5시에 마감합니다. 매주 월요일은 휴관합니다. 일반 관람은 사전 예약 없이 가능하지만, 주말 체험 프로그램은 예약이 필요합니다.

이 안내를 근거로 “월요일 오후 5시 30분에 예약 없이 가면 됩니다”라고 정리했다면 무엇이 잘못됐을까요? 문장을 조각내면 세 가지를 바로 대조할 수 있습니다.

출처가 있는 답도 이처럼 원문의 일부만 반영할 수 있습니다. 확인의 핵심은 링크 개수가 아니라, 각 결론이 원문의 조건을 보존했는지입니다. 여러 글이 같은 공지를 옮겨 적었다면 그 글의 수만큼 독립적인 확인이 늘어난 것도 아닙니다.

“확실해요?” 대신 근거를 대조하는 요청

같은 AI에게 다시 물으면 실수를 발견하고 고쳐 줄 수도 있습니다. 다만 “정말 맞나요?”라는 질문에는 원문이나 새 정보가 추가되지 않습니다. 같은 답을 반복하거나 결론만 뒤집었다고 해서 어느 쪽이 맞는지 판단할 근거가 생기는 것은 아닙니다.

“월요일에는 쉬는 것 같은데요?”라고 하자 “죄송합니다, 월요일은 휴관입니다”로 바뀌었다고 해 보겠습니다. 사과는 대화가 수정됐다는 표시이지, 휴관일을 확인했다는 증거는 아닙니다. 이때는 “수정한 결론의 근거가 되는 안내문 부분을 보여 주세요”라고 이어 갈 수 있습니다. 처음 답을 고집하는지 곧바로 수긍하는지보다, 바뀐 답을 뒷받침할 자료가 있는지가 중요합니다.

다른 AI에게 물어보는 것도 빠진 관점을 찾는 데는 쓸 수 있습니다. 그래도 두 답이 일치한다는 이유만으로 사실이라고 확정하기보다는, 두 답이 가리키는 원문을 확인하는 편이 좋습니다. 우리가 필요한 것은 찬성하는 답의 개수보다 판단을 설명할 수 있는 근거입니다.

앞의 가상 안내문을 이미 확보했다면, 잘못된 답과 함께 다음처럼 대조를 요청할 수 있습니다.

아래 안내문과 앞서 작성한 방문 일정을 대조해 주세요.
답을 다시 지어내지 말고, 안내문에 있는 정보만 사용해 주세요.

각 항목을 ‘기존 일정의 주장 → 안내문의 근거 → 고칠 내용’ 순서로 적어 주세요.
방문 요일, 입장 마감, 예약 대상의 조건을 빠뜨리지 말아 주세요.
안내문에 없는 특별 개관일이나 남은 예약 자리는 추측하지 말아 주세요.
근거가 없으면 ‘이 안내문만으로 확인할 수 없음’으로 남겨 주세요.

안내문:
관람 시간은 오전 10시부터 오후 6시까지이며, 입장은 오후 5시에 마감합니다.
매주 월요일은 휴관합니다.
일반 관람은 사전 예약 없이 가능하지만, 주말 체험 프로그램은 예약이 필요합니다.

기존 일정의 주장:
월요일 오후 5시 30분에 예약 없이 가면 됩니다.

이 자료에서 얻어야 할 수정은 분명합니다. 월요일 방문을 다른 날이나 다른 장소로 바꾸고, 이 박물관을 가는 날에는 오후 5시 입장 마감에 맞춰 도착 시각을 잡아야 합니다. 예약 여부는 일반 관람인지 체험 프로그램인지에 맞춰 구분해야 합니다.

반면 “이번 주 특별 개관이 있나요?”나 “체험 예약 자리가 남았나요?”에는 이 안내문만으로 답할 수 없습니다. 별도 공지나 예약 화면이 필요합니다. AI가 그 빈칸을 그럴듯하게 채웠다면 수정이 끝난 것이 아닙니다. 확인되지 않은 항목을 그대로 남기는 것도 올바른 결과입니다.

AI가 내놓은 대조 결과는 원문에 다시 맞춰 보세요. 짧은 안내문에서 이 과정을 익혀 두면 업무 공지에서도 대상·기한·예외가 빠졌는지 더 구체적으로 질문할 수 있습니다.

회사 공지에서도 대상·기한·예외를 확인합니다

여행 정보에서 익힌 확인법은 회사 공지나 교육 안내를 정리할 때도 그대로 쓸 수 있습니다. 휴관일 대신 참석 대상, 입장 마감 대신 신청 기한, 체험 예약 조건 대신 예외 대상을 보면 됩니다. 정리하는 글의 종류가 달라져도 누가, 언제까지, 어떤 조건에서 해야 하는가는 따로 확인할 수 있습니다.

다음은 설명을 위해 만든 가상의 교육 공지입니다.

이번 교육은 신규 입사자를 대상으로 합니다. 신청은 수요일 오후 6시까지이며 교육은 금요일 오전 10시에 진행합니다. 같은 교육을 이미 수료한 사람은 신청 대상에서 제외합니다. 교육 장소는 추후 공지합니다.

이를 “전 직원은 금요일 오전 10시까지 신청하고 본사 회의실로 오세요”라고 정리했다면 문장은 매끄럽지만 네 군데를 고쳐야 합니다. ‘신규 입사자’가 ‘전 직원’으로 넓어졌고, 신청 기한이 교육 시작 시각과 섞였습니다. 이미 수료한 사람을 제외한다는 조건은 사라졌고, 원문에 없는 장소까지 생겼습니다.

크게 보기

×확대 이미지 닫기

원문이 있다면 결과물만 다시 써 달라고 하기보다, 먼저 빠진 조건과 추가된 정보를 찾게 해 보세요. 아래 요청은 가상 공지를 사용합니다. 실제 업무에서는 회사가 입력을 허용한 자료와 서비스만 사용하고, 검토에 필요하지 않은 개인정보는 넣지 않습니다.

아래 공지와 요약문을 비교해 주세요.
참석 대상, 신청 기한, 교육 일시, 제외 대상, 장소를 각각 확인해 주세요.
각 항목에 공지의 근거 문장을 붙이고 다음 상태 중 하나로 구분해 주세요.
- 원문과 일치
- 원문과 다름
- 원문에 정보가 없음

대조한 뒤 원문에 있는 정보만으로 안내문을 다시 써 주세요.
장소처럼 미정인 내용은 확정하지 말아 주세요.

공지:
이번 교육은 신규 입사자를 대상으로 합니다.
신청은 수요일 오후 6시까지이며 교육은 금요일 오전 10시에 진행합니다.
같은 교육을 이미 수료한 사람은 신청 대상에서 제외합니다.
교육 장소는 추후 공지합니다.

요약문:
전 직원은 금요일 오전 10시까지 신청하고 본사 회의실로 오세요.

이 자료로 만들 수 있는 안내는 “해당 교육을 아직 수료하지 않은 신규 입사자는 수요일 오후 6시까지 신청해 주세요. 교육은 금요일 오전 10시이며 장소는 추후 공지합니다” 정도입니다. 특정 주의 날짜나 회의실 이름은 주어지지 않았으므로 임의로 넣으면 안 됩니다. 실제 발송 전에는 어느 주인지와 최종 장소도 확인해야 합니다.

이처럼 원문과 답을 나란히 놓으면 “왠지 이상하다”는 느낌을 구체적인 수정으로 바꿀 수 있습니다. 긴 문서를 요약할 때도 출발점은 같습니다. 문장을 얼마나 짧게 줄였는지보다, 독자가 행동할 조건을 그대로 남겼는지부터 보는 것입니다.

어디까지 확인하고, 언제 보류할까

매번 모든 문장을 조사하려고 하면 AI를 쓰는 일이 더 번거로워집니다. 먼저 틀렸을 때 내가 하려는 일이 달라지는 정보를 고르세요. 여행에서는 휴관·입장 마감·예약 조건이, 회의 안내에서는 날짜·장소·준비물이 우선입니다. 제목 후보나 말투처럼 직접 보고 선택할 수 있는 부분은 그 목적에 맞는지 검토하면 됩니다.

같은 답 안에서도 확인 수준을 달리할 수 있습니다. ‘오전에는 실내, 오후에는 산책’이라는 구성은 아이디어로 남겨 두고, 실제 방문할 장소와 시간만 공식 안내로 확정하는 식입니다. 덜 중요한 표현을 모두 조사하는 대신 행동의 근거가 되는 부분을 먼저 봅니다.

자료가 서로 다르면 억지로 하나의 답으로 합치지 마세요. 일반 관람 안내와 특별 행사 공지가 서로 다른 기간을 말하는지, 최신 변경 공지가 기존 조건을 바꾸는지 확인합니다. 예를 들어 정기 안내에는 월요일 휴관이라고 쓰여 있어도 특정 연휴의 월요일만 특별 개관한다는 공지가 따로 있을 수 있습니다. 이 경우 ‘월요일에는 연다’로 일반화하지 않고 방문일이 그 특별 운영 기간에 포함되는지 봐야 합니다. 적용 범위를 판단할 수 없다면 운영 기관의 안내나 문의로 확인할 때까지 방문 가능 여부를 미정으로 두는 편이 낫습니다.

확인을 멈출 기준도 미리 정할 수 있습니다. 박물관을 방문하기 위한 결정이라면 내가 가는 날짜, 도착 시각의 입장 가능 여부, 하려는 활동의 예약 조건이 적절한 원문과 일치하고 충돌하는 안내가 해결됐는지 봅니다. 이 조건이 갖춰지면 우선 그 범위에서 일정을 사용할 수 있습니다. 주변 맛집의 역사나 소개 문구까지 같은 강도로 조사할 필요는 없습니다. 방문일까지 시간이 많이 남았거나 일정이 바뀌면 운영 조건을 다시 확인할 수 있도록 원문 링크를 남겨 두세요.

이 과정에서 ‘아직 모름’과 ‘불가능함’도 구분해야 합니다. 예약 자리를 확인하지 못했다는 것은 매진됐다는 뜻이 아닙니다. 월요일 휴관 공지를 확인했다는 것은 단순히 정보가 없다는 뜻도 아닙니다. 확인된 제한과 확인하지 못한 빈칸을 나누면, 장소를 바꿀지 추가로 문의할지 다음 행동이 달라집니다.

몸 상태, 법적 권리, 큰 금액의 결정처럼 틀렸을 때 영향이 큰 질문은 확인 수준을 더 높여야 합니다. AI의 설명은 질문을 정리하는 데 쓰고, 실제 결정은 해당 분야의 공신력 있는 자료와 필요한 전문가 확인을 거칩니다. Anthropic도 중요한 판단에서 AI를 유일한 사실 근거로 삼지 않도록 안내합니다. 공식 안내

확인한 사실로 다시 맡기는 일

박물관 안내를 확인했다고 여행 일정 전체를 처음부터 혼자 작성할 필요는 없습니다. 확인된 조건을 AI에게 다시 주고, 그 안에서 동선이나 소개 문장을 정리하게 할 수 있습니다.

“박물관은 월요일 휴관이므로 화요일로 옮겨 주세요. 입장 마감은 오후 5시입니다. 체험 프로그램은 아직 예약 여부를 확인하지 못했으니 일정에 확정해서 넣지 마세요. 바뀐 방문일에 맞춰 앞뒤 이동 순서도 조정해 주세요.” 이렇게 요청하면 무엇을 사실로 사용할지와 무엇을 미정으로 둘지가 드러납니다. 새로 제안된 장소와 시간은 다시 필요한 만큼 확인합니다.

AI 요청법 1편에서 요청의 빈칸을 함께 정했다면, 이번에는 답의 빈칸을 확인한 셈입니다. AI 답변을 어디까지 믿을지는 자신감 있는 말투보다 내가 확인한 근거의 범위로 정할 수 있습니다. 다음에 받은 답에서는 딱 한 문장, 틀리면 내 행동이 달라지는 문장을 골라 보세요. 그 문장의 출처를 열고, 원문의 대상·시간·예외가 답에도 남아 있는지 확인하는 것으로 시작하면 됩니다.