ChatGPT와 같은 생성형 AI(Generative AI)를 사용하다 보면 놀라운 경험을 자주 하게 된다. 복잡한 개념을 몇 초 만에 설명하고, 긴 문서를 정리하며, 글을 작성하고, 서로 다른 주장까지 비교해준다. 심지어 질문의 의도를 어느 정도 파악하여 사용자가 원하는 형식으로 답변을 바꾸기도 한다.
그런데 AI를 오래 사용할수록 한 가지 이상한 점을 발견하게 된다.
AI는 틀린 내용을 말할 때도 매우 자신 있게 말한다.
존재하지 않는 논문을 실제 논문처럼 소개하거나, 연구자의 이름이나 출판연도를 잘못 말하기도 한다. 법률 조항이나 판례를 틀리게 제시하는 경우도 있고, 어떤 역사적 사건의 세부 내용을 실제 사실과 섞어 새로운 이야기를 만들어내기도 한다.
더 문제가 되는 것은 이런 답변이 겉보기에는 상당히 그럴듯하다는 것이다. 문법도 자연스럽고 앞뒤 논리도 맞아 보이며, 전문용어까지 사용한다. 그래서 사용자가 해당 분야를 잘 모른다면 잘못된 정보를 사실로 받아들이기 쉽다.
이러한 현상을 일반적으로 AI Hallucination(환각)이라고 부른다.
그렇다면 AI는 왜 모르는 것을 그냥 "모르겠습니다"라고 하지 않고 그럴듯한 답을 만들어낼까? 그리고 우리는 AI의 답변을 어디까지 믿어야 할까?
1. AI는 '사실을 기억해서 말하는 기계'가 아니다
AI Hallucination을 이해하려면 먼저 ChatGPT 같은 대규모 언어모델(Large Language Model, LLM)이 답변을 만드는 방식을 이해할 필요가 있다.
많은 사람은 AI가 거대한 데이터베이스를 가지고 있고, 사용자가 질문하면 그 안에서 정답을 검색해서 보여준다고 생각한다.
하지만 기본적인 작동방식은 그것과 다르다.
대규모 언어모델은 엄청난 양의 텍스트를 학습하면서 어떤 단어 뒤에 어떤 단어나 표현이 이어질 가능성이 높은지를 학습한다. 그리고 사용자가 질문을 하면 문맥을 바탕으로 다음에 올 가능성이 높은 Token을 하나씩 생성하면서 문장을 만들어낸다.
아주 단순하게 예를 들어보자.
"대한민국의 수도는"
이라는 문장이 있다면 그다음에 "서울"이라는 단어가 등장할 가능성이 매우 높다. AI는 이런 언어적 패턴을 훨씬 복잡하고 거대한 규모로 학습한다.
하지만 여기서 중요한 문제가 생긴다.
AI가 만들어야 하는 것은 기본적으로 '사실인 문장'이 아니라 '문맥상 자연스러운 문장'이라는 것이다.
물론 충분한 학습을 통해 사실에 맞는 답을 생성하는 경우가 매우 많다. 하지만 언어적으로 그럴듯한 문장을 만드는 능력과 사실 여부를 검증하는 능력은 완전히 같은 것이 아니다.
예를 들어 사용자가 매우 구체적인 논문을 요청한다고 생각해보자.
"2018년에 한국 경찰의 확증편향(Confirmation Bias)을 연구한 논문 세 편을 알려줘."
만약 AI가 해당 논문에 대해 충분한 정보를 가지고 있지 않다면 이상적인 반응은 다음과 같을 것이다.
"제가 확인할 수 있는 정보만으로는 정확한 논문을 특정하기 어렵습니다."
그러나 생성형 AI는 경우에 따라 실제 존재할 법한 연구자의 이름, 논문 제목, 학술지명을 조합하여 매우 그럴듯한 참고문헌을 만들어낼 수 있다.
가령 제목에는 "Police Decision Making", "Confirmation Bias", "Investigative Judgment" 같은 실제 학술논문에서 흔히 사용되는 단어들이 들어가고, 저자의 이름과 학술지 이름도 자연스럽게 배치될 수 있다.
문제는 그 논문 자체가 실제로 존재하지 않을 수 있다는 것이다.
이것은 인간이 일반적으로 생각하는 의미의 '거짓말'과는 조금 다르다.
거짓말은 보통 어떤 사람이 사실을 알고 있으면서 의도적으로 사실과 다른 내용을 전달하는 것을 의미한다. 하지만 AI에게는 인간과 같은 의도나 거짓말하려는 목적이 있다고 보기 어렵다.
AI는 단지 주어진 문맥에서 가장 적절해 보이는 답변을 생성했을 뿐이다.
따라서 AI Hallucination은 흔히 "AI가 거짓말한다"라고 표현되지만, 정확하게 말하면 AI가 사실 여부를 충분히 검증하지 않은 채 통계적으로 그럴듯한 내용을 생성하는 현상에 가깝다.
AI가 자신 있게 틀리는 이유도 여기에 있다.
우리가 느끼는 '자신감'은 AI가 실제로 자신의 답변을 확신하고 있다는 심리상태가 아니다. 단지 AI가 문장을 생성하는 표현 방식이 단정적인 형태일 뿐이다.
즉,
AI가 확신에 차 보이는 것과 AI의 답변이 실제로 정확한 것은 별개의 문제다.
2. 문제는 AI의 오류보다 인간이 그 오류를 믿는 데 있다
AI가 틀린 답변을 할 수 있다는 사실 자체는 어느 정도 알려져 있다.
그런데 더 중요한 문제는 따로 있다.
바로 사람이 AI의 답변을 얼마나 쉽게 믿느냐는 것이다.
사람은 일반적으로 자신보다 전문적인 것으로 보이는 대상의 판단을 신뢰하는 경향이 있다. 특히 복잡한 계산이나 방대한 정보처리처럼 인간이 직접 하기 어려운 작업을 기계가 수행하면 그 결과가 더 객관적이고 정확할 것이라고 생각하기 쉽다.
이러한 현상과 관련하여 자주 언급되는 개념이 Automation Bias(자동화 편향)다.
Automation Bias는 사람이 자동화된 시스템이 제공하는 정보나 판단을 지나치게 신뢰하고, 자신의 판단이나 다른 정보를 충분히 검토하지 않는 경향을 의미한다.
예를 들어 내비게이션이 특정 길을 안내하면 실제 도로 상황이 이상해 보여도 내비게이션의 지시를 계속 따라가는 경우를 생각할 수 있다.
생성형 AI에서도 비슷한 문제가 발생할 수 있다.
특히 ChatGPT 같은 AI는 단순히 숫자나 신호를 보여주는 것이 아니다. 인간과 매우 비슷한 자연어로 설명하고, 이유를 제시하며, 질문에 대한 반론까지 만들어낸다.
이 때문에 사용자는 AI를 단순한 프로그램이 아니라 무언가를 이해하고 판단하는 존재처럼 인식하기 쉽다.
더구나 AI가 다음과 같이 답변한다면 신뢰감은 더욱 높아질 수 있다.
"연구에 따르면 이러한 현상은 통계적으로 유의미한 차이를 보였습니다."
"관련 연구에서는 세 가지 주요 원인이 제시되고 있습니다."
"대법원 판례에서도 이러한 원칙이 확인됩니다."
이런 문장은 전문적인 자료를 근거로 작성된 것처럼 보인다.
하지만 실제 논문이나 판례를 확인하지 않는다면 사용자는 그 정보가 사실인지 판단하기 어렵다.
여기에는 인간의 또 다른 인지적 특성도 영향을 줄 수 있다.
AI의 답변이 사용자가 이미 가지고 있던 생각과 일치한다면 더욱 쉽게 받아들일 수 있다. 이것은 Confirmation Bias(확증편향)와 연결될 수 있다.
예를 들어 어떤 사람이 이미 "AI가 인간보다 훨씬 공정하게 판단할 것이다"라는 생각을 가지고 있다고 해보자.
그리고 AI에게,
"AI가 인간보다 공정한 판단을 할 수 있는 이유를 알려줘."
라고 질문한다.
그러면 AI는 사용자의 질문에 맞추어 AI의 장점을 정리해줄 가능성이 높다.
사용자는 그것을 읽고 자신의 기존 생각이 맞다고 확신할 수 있다.
하지만 질문을 반대로 바꾸어,
"AI가 인간보다 불공정한 판단을 할 수 있는 이유를 알려줘."
라고 한다면 AI는 또 상당히 설득력 있는 반대 논리를 만들어낼 수 있다.
즉, AI가 언제나 하나의 객관적 진실을 말해주는 것이 아니라 사용자가 설정한 질문의 방향에 따라 서로 다른 논리를 만들어낼 수 있다는 점을 이해해야 한다.
특히 이러한 문제는 법률, 수사, 의료, 투자처럼 판단의 결과가 중요한 분야에서 더욱 심각해질 수 있다.
예를 들어 수사관이 AI에게 특정 용의자의 행동을 분석하도록 했는데 AI가 한 방향의 해석을 강하게 제시한다면, 수사관이 그것을 객관적인 분석이라고 생각하면서 다른 가능성을 충분히 검토하지 않을 위험이 있다.
이 경우 인간의 기존 Confirmation Bias와 AI에 대한 Automation Bias가 결합할 수도 있다.
따라서 중요한 질문은 단순히
"AI가 얼마나 자주 틀리는가?"
만이 아니다.
오히려,
"AI가 틀렸을 때 인간은 그것을 알아차릴 수 있는가?"
가 더 중요한 문제일 수 있다.
3. AI를 믿지 말라는 것이 아니라, '검증하면서 사용하라'는 것이다
그렇다면 AI의 답변은 믿으면 안 되는 것일까?
그렇지는 않다.
AI Hallucination이 존재한다고 해서 생성형 AI의 가치가 사라지는 것은 아니다. 오히려 AI는 정보를 정리하고, 아이디어를 확장하고, 문장을 작성하고, 복잡한 개념을 설명하는 데 매우 유용하다.
중요한 것은 AI가 잘하는 일과 잘하지 못하는 일을 구분해서 사용하는 것이다.
예를 들어 다음과 같은 작업에서는 AI를 적극적으로 활용할 수 있다.
복잡한 개념을 쉽게 설명하도록 요청하거나, 긴 글을 요약하거나, 내가 작성한 글에서 논리적인 문제점을 찾거나, 다양한 아이디어를 만들어내거나, 어떤 문제에 대해 찬성과 반대 입장을 각각 정리하는 작업이다.
반면 특정 사실이 정확해야 하는 경우에는 별도의 확인 과정이 필요하다.
특히 다음과 같은 정보는 반드시 원자료를 확인하는 습관을 가지는 것이 좋다.
논문 제목과 저자, 연구결과의 수치, 법률 조항, 판례, 정부 통계, 의료정보, 금융정보, 특정 인물의 발언처럼 사실 여부가 중요한 정보들이다.
예를 들어 AI가 논문을 알려줬다면 논문 제목을 Google Scholar나 학술 데이터베이스에서 다시 검색해볼 수 있다.
법률에 관한 답변이라면 실제 법령이나 판례 원문을 확인해야 한다.
통계라면 통계청이나 해당 데이터를 생산한 공식기관의 자료를 확인하는 것이 좋다.
그리고 AI에게 질문하는 방식 자체를 바꾸는 것도 도움이 된다.
단순히,
"이게 맞아?"
라고 묻기보다는,
"이 답변에서 사실 확인이 필요한 부분을 구분해줘."
"이 주장에 반대되는 설명도 제시해줘."
"확실하게 알고 있는 내용과 불확실한 내용을 구분해서 설명해줘."
"이 정보의 원자료를 확인하려면 어디를 확인해야 해?"
라고 질문하는 것이다.
또 하나 중요한 방법은 AI에게 내 생각을 확인받기 위해서만 사용하지 않는 것이다.
내가 어떤 생각을 가지고 있다면 오히려 다음과 같이 질문해보는 것이 좋다.
"내 생각이 틀렸다고 가정하고 반박해줘."
"내 주장에 가장 강력한 반론을 만들어줘."
"내가 놓치고 있을 가능성이 있는 다른 설명을 제시해줘."
"이 결론에 도달하기 위해 내가 잘못 가정하고 있는 부분이 있는지 찾아줘."
이렇게 활용하면 AI를 단순한 '정답 제공기'가 아니라 자신의 사고를 검증하는 Thinking Partner로 사용할 수 있다.
AI 시대에 중요한 능력은 AI에게 모든 것을 맡기는 것이 아니다.
오히려 AI가 빠르게 만들어낸 정보 가운데 무엇이 사실이고, 무엇이 추론이며, 무엇이 불확실한지를 구분하는 능력이 더욱 중요해질 가능성이 크다.
과거 인터넷 시대에는 수많은 검색결과 가운데 어떤 웹사이트를 믿을 것인지 판단하는 Information Literacy가 중요했다.
생성형 AI 시대에는 여기에 하나의 능력이 더 필요해졌다.
바로 AI Literacy다.
AI가 무엇을 잘하고 무엇을 잘하지 못하는지 알고, AI의 답변을 적절하게 활용하면서도 중요한 부분에서는 검증하는 능력이다.
결국 AI를 사용할 때 가장 위험한 태도는 두 극단일 수 있다.
하나는 "AI는 똑똑하니까 다 맞을 것이다"라고 생각하는 것이고, 다른 하나는 "AI는 틀릴 수 있으니 아무 쓸모가 없다"라고 생각하는 것이다.
둘 다 적절하지 않다.
가장 현실적인 방법은 AI를 매우 유용한 도구로 적극적으로 사용하되, AI의 유창함(Fluency)을 정확성(Accuracy)으로 착각하지 않는 것이다.
AI가 긴 설명을 했다고 해서 맞는 것은 아니다.
근거를 여러 개 제시했다고 해서 실제 근거가 존재하는 것도 아니다.
전문용어를 사용했다고 해서 전문가 수준의 판단이라는 의미도 아니다.
그리고 무엇보다 중요한 것은 AI가 매우 단정적으로 말한다고 해서 그 답변의 신뢰도가 높다는 뜻도 아니라는 점이다.
그래서 AI를 사용할 때 기억해둘 만한 원칙을 한 문장으로 정리한다면 다음과 같다.
AI의 답변은 '정답'으로 받아들이기보다 매우 유능한 조력자가 제시한 '검토해야 할 초안'으로 받아들이는 것이 안전하다.
AI가 앞으로 더욱 발전하면 Hallucination은 지금보다 줄어들 가능성이 있다. 검색, 데이터베이스, 다양한 Tool과 연결되면서 사실을 직접 확인하는 능력도 계속 향상될 것이다.
그러나 AI가 아무리 발전하더라도 인간에게 남는 중요한 역할이 있다.
무엇을 질문할 것인지 결정하고, 어떤 근거를 믿을 것인지 평가하며, 마지막 판단에 책임을 지는 일이다.
따라서 AI 시대에 필요한 것은 AI를 무조건 믿는 것도, 무조건 의심하는 것도 아니다.
가장 중요한 것은 잘 사용하고, 적절히 의심하고, 중요한 것은 반드시 확인하는 습관이다.