인공지능(Artificial Intelligence, AI)은 흔히 인간보다 객관적이고 공정할 것이라고 생각되기 쉽다. 사람은 감정에 영향을 받고, 선입견을 가지며, 같은 상황에서도 컨디션이나 경험에 따라 서로 다른 판단을 내릴 수 있다. 반면 컴퓨터는 감정을 느끼지 않고 숫자와 데이터를 기반으로 계산하기 때문에 더 중립적일 것처럼 보인다.
실제로 AI의 장점 가운데 하나는 인간이 가진 일부 인지적 한계를 줄일 가능성이 있다는 것이다.
수많은 정보를 동시에 비교할 수 있고, 피곤하거나 기분이 나쁘다는 이유로 판단 기준이 달라지지도 않는다. 동일한 입력에 동일한 기준을 적용하도록 설계할 수도 있다.
그렇다면 AI는 인간의 편견에서 완전히 자유로울까?
결론부터 말하면 그렇지 않다.
AI는 인간처럼 누군가를 싫어하거나 특정 집단에 대한 개인적인 감정을 가지고 판단하지는 않는다.
그러나 AI가 학습하는 데이터에는 이미 인간 사회에서 만들어진 수많은 판단과 선택의 결과가 포함되어 있다. 따라서 그 데이터에 일정한 편향이 존재한다면 AI 역시 그 패턴을 학습할 수 있다.
이러한 현상을 일반적으로 알고리즘 편향(Algorithmic Bias)이라고 한다.
더 흥미로운 문제는 AI의 편향이 인간의 편견보다 오히려 발견하기 어려울 수도 있다는 점이다. 사람이 편견을 드러내면 우리는 그 판단자의 경험이나 가치관을 의심할 수 있다. 그러나 컴퓨터가 숫자와 확률을 제시하면 많은 사람은 그것을 객관적인 분석 결과라고 받아들이기 쉽다.
결국 AI 시대의 중요한 질문은 단순히 AI에게 편견이 있는가가 아니다.
더 중요한 질문은 인간의 편견이 어떻게 데이터와 알고리즘을 통해 AI의 판단 속으로 들어가며, 우리는 그것을 어떻게 발견하고 통제할 것인가이다.
1. AI의 편견은 어디에서 생길까?
AI는 세상을 직접 경험하면서 스스로 가치관을 만드는 존재가 아니다. 대부분의 AI 시스템은 사람이 만들어놓은 방대한 데이터를 학습하면서 일정한 패턴을 찾아낸다.
예를 들어 어떤 회사가 과거에 채용했던 직원들의 데이터를 이용해 새로운 채용 AI를 만들었다고 생각해보자.
AI에게 과거에 높은 평가를 받은 직원들의 공통점을 학습시키고 새로운 지원자 가운데 비슷한 특징을 가진 사람을 찾아내도록 할 수 있다.
겉으로 보면 상당히 합리적으로 보인다.
문제는 과거의 채용 과정 자체에 편향이 존재했다면 어떻게 되는가이다.
가령 과거 특정 성별이나 특정 학교 출신이 주로 채용되었다면 AI는 실제 업무능력과 직접적인 관련이 없는 특징까지 성공적인 지원자의 특징으로 학습할 가능성이 있다.
AI가 일부러 특정 집단을 차별하려는 것은 아니다.
단지 과거 데이터 속에서 반복적으로 나타난 패턴을 발견하고 그것을 미래의 판단에 적용한 것이다.
즉, AI의 편향 가운데 상당 부분은 데이터 편향(Data Bias)에서 시작될 수 있다.
여기에는 또 다른 문제가 있다.
우리가 가지고 있는 데이터가 현실 전체를 완벽하게 반영하지 않는다는 것이다.
예를 들어 범죄 데이터를 생각해볼 수 있다.
어떤 지역에서 범죄 검거가 많이 이루어졌다고 해서 반드시 그 지역에서 실제 범죄가 가장 많이 발생했다는 뜻은 아닐 수 있다.
경찰력이 많이 투입된 지역에서는 더 많은 범죄가 발견될 가능성이 있다. 반대로 단속이나 신고가 적었던 지역에서는 실제 범죄가 존재하더라도 공식 통계에 적게 나타날 수 있다.
그런데 AI가 이런 데이터를 학습하면 기록된 범죄가 많은 지역을 범죄위험이 높은 지역이라고 판단할 수 있다.
그 결과 해당 지역에 다시 경찰력이 집중될 수 있다.
경찰력이 집중되면 더 많은 범죄가 발견되고, 그 결과 데이터상으로는 다시 그 지역의 범죄위험이 높은 것으로 나타난다.
이것이 반복되면 일종의 피드백 루프(Feedback Loop)가 만들어질 수 있다.
즉,
과거 데이터의 편향
→ AI의 위험 예측
→ 특정 지역이나 집단에 더 많은 개입
→ 더 많은 사건 발견
→ 새로운 데이터 축적
→ 기존 AI 판단 강화
라는 구조가 형성될 수 있는 것이다.
AI의 편향은 데이터에서만 발생하는 것도 아니다.
어떤 정보를 중요한 변수로 선택할 것인지, 어떤 결과를 성공으로 정의할 것인지, 오류 가운데 무엇을 더 중요하게 볼 것인지 역시 사람이 결정한다.
예를 들어 범죄 위험성을 예측하는 시스템에서 범죄자를 놓치는 것을 더 심각한 오류로 볼 수도 있고, 위험하지 않은 사람을 위험하다고 분류하는 것을 더 심각한 오류로 볼 수도 있다.
이 선택에 따라 알고리즘의 기준도 달라질 수 있다.
따라서 AI는 완전히 중립적인 수학적 기계라기보다 인간이 선택한 데이터, 목표, 기준을 바탕으로 작동하는 시스템이라고 보는 것이 더 정확하다.
2. 인간의 편견과 AI의 편향은 무엇이 다를까?
인간의 판단에는 수많은 인지적 편향(Cognitive Bias)이 존재한다.
대표적으로 확증편향(Confirmation Bias)이 있다. 한번 어떤 생각이나 가설을 가지게 되면 그 생각을 지지하는 정보는 더 쉽게 받아들이고, 반대되는 정보는 상대적으로 낮게 평가하는 경향이다.
고정관념(Stereotype)도 판단에 영향을 줄 수 있다.
어떤 사람에 대해 충분한 정보를 가지고 있지 않은 상황에서 그 사람이 속한 집단의 특징을 개인에게 적용해버리는 것이다.
또 처음 접한 정보가 이후 판단의 기준점이 되는 앵커링 효과(Anchoring Effect), 최근 경험하거나 쉽게 떠오르는 사건을 실제보다 더 흔하다고 판단하는 가용성 휴리스틱(Availability Heuristic) 등도 인간의 판단에 영향을 미친다.
AI의 편향은 이러한 인간의 인지적 편향과 조금 다르다.
AI는 인간처럼 감정적으로 누군가를 좋아하거나 싫어하지 않는다. 자신의 경험 때문에 특정 사람을 의심하거나 자존심 때문에 기존 판단을 고집하는 것도 아니다.
그러나 AI는 인간이 만들어놓은 데이터에서 이러한 편향의 결과를 학습할 수 있다.
예를 들어 과거 수십 년 동안 특정 집단에 대해 편향된 판단이 반복적으로 이루어졌다면, 그 결과가 데이터 속에 남아 있을 수 있다.
AI는 사람의 마음속 편견을 직접 학습하는 것이 아니라 그 편견 때문에 나타난 행동과 결과를 학습하는 것이다.
이 점에서 AI의 편향은 인간 사회의 과거를 비추는 거울과 비슷한 면이 있다.
하지만 AI의 편향은 인간의 편향보다 더 위험해질 가능성도 있다.
첫 번째 이유는 규모다.
한 사람이 가진 편견은 그 사람이 내리는 판단에 영향을 미친다. 그러나 하나의 AI 시스템이 수십만 명이나 수백만 명의 사람을 평가하는 데 사용된다면 작은 편향도 매우 넓은 범위에 영향을 줄 수 있다.
두 번째 이유는 일관성이다.
인간은 같은 편향을 가지고 있더라도 항상 똑같이 행동하지 않는다. 반면 알고리즘에 특정한 편향이 포함되어 있다면 같은 방식의 오류가 반복적으로 발생할 수 있다.
세 번째 이유는 객관성의 환상이다.
사람들은 인간의 판단에는 편견이 있을 수 있다고 생각하지만 컴퓨터의 판단은 객관적이라고 믿는 경향이 있다.
AI가 어떤 사람에게 위험점수 82점이라고 제시한다면 그 숫자가 매우 과학적인 판단처럼 보일 수 있다.
하지만 그 숫자는 결국 특정 데이터와 특정 모델, 특정 기준을 이용해 계산된 결과다.
숫자로 표현되었다고 해서 자동으로 객관적인 사실이 되는 것은 아니다.
여기에 자동화 편향(Automation Bias)이 더해질 수 있다.
자동화 편향은 사람이 컴퓨터나 자동화 시스템의 판단을 필요 이상으로 신뢰하는 경향을 의미한다.
예를 들어 인간 전문가가 어떤 사람의 위험도를 낮게 평가했더라도 AI가 높은 위험점수를 제시하면 인간이 자신의 판단을 수정할 가능성이 있다.
물론 그 AI의 판단이 맞을 수도 있다.
하지만 문제는 AI의 결과가 다른 정보보다 특별히 더 신뢰할 만하다는 근거가 없는데도 컴퓨터가 제시했다는 이유만으로 더 높은 신뢰를 부여하는 경우다.
반대 현상도 존재한다.
AI가 한 번 눈에 띄는 오류를 범하면 이후에는 전체적으로 우수한 성능을 가지고 있음에도 AI의 판단을 지나치게 불신할 수도 있다. 이를 알고리즘 혐오(Algorithm Aversion)라는 개념과 연결해서 설명할 수 있다.
결국 인간과 AI가 함께 판단하는 환경에서는 인간의 편향을 줄이는 것만으로는 부족하다.
인간의 인지적 편향과 알고리즘 편향이 서로 어떤 방식으로 상호작용하는지도 함께 살펴보아야 한다.
3. 그렇다면 인간과 AI 중 누가 더 공정하게 판단할까?
여기서 가장 흥미로운 질문이 생긴다.
인간에게도 편견이 있고 AI에게도 편향이 있다면 대체 누가 더 공정한 판단을 할 수 있을까?
이 질문에 인간 또는 AI라고 단순하게 답하기는 어렵다.
AI가 인간보다 더 공정할 수 있는 영역은 분명히 존재한다.
예를 들어 인간은 피로, 감정, 시간 압박, 개인적 경험 등에 영향을 받을 수 있다.
같은 사람이 같은 문제를 판단하더라도 오전에 판단했을 때와 매우 피곤한 상태에서 판단했을 때 결과가 달라질 수도 있다.
AI는 이러한 종류의 변동에서 상대적으로 자유롭다.
또한 사람이 고려하기 어려운 수많은 정보를 동시에 비교할 수도 있다.
그리고 어떤 기준을 명확하게 정해두면 모든 사람에게 동일한 기준을 적용할 수도 있다.
따라서 잘 설계된 AI는 인간의 일부 판단 오류를 줄이는 데 도움을 줄 가능성이 있다.
하지만 이것이 AI가 자동으로 더 공정하다는 의미는 아니다.
AI가 사용하는 데이터가 잘못되거나, 중요한 변수가 빠져 있거나, 잘못된 목표를 최적화하고 있다면 매우 일관되게 잘못된 판단을 할 수도 있다.
따라서 가장 현실적인 접근은 인간과 AI 가운데 하나를 선택하는 것이 아니라 서로의 오류를 보완하도록 만드는 것이다.
AI는 대량의 정보를 빠르게 분석하고 일정한 기준을 적용하는 역할을 맡을 수 있다.
반면 인간은 AI가 고려하지 못한 맥락을 파악하고, 예외적인 상황을 해석하며, 결과가 실제 현실에서 어떤 의미를 가지는지 판단할 수 있다.
특히 법률, 경찰수사, 채용, 의료처럼 한 사람의 삶에 큰 영향을 주는 판단에서는 최종적인 의사결정을 AI에게 그대로 맡기는 것은 신중해야 한다.
예를 들어 경찰 수사에서 AI가 특정 인물을 유력한 용의자로 제시했다고 생각해보자.
중요한 것은 AI가 그렇게 판단했다는 사실 자체가 아니다.
왜 그런 결과가 나왔는지 확인해야 한다.
어떤 정보가 판단에 사용되었는가?
특정 변수에 지나치게 높은 비중이 부여되지는 않았는가?
다른 용의자나 다른 가설도 같은 기준으로 검토했는가?
AI가 학습한 과거 데이터 자체에 편향이 존재하지는 않았는가?
반대되는 증거는 충분히 고려되었는가?
이런 질문을 하는 과정이 필요하다.
결국 AI 시대의 공정한 판단은 AI에게 판단을 모두 맡기는 것에서 만들어지는 것이 아니다.
오히려 AI의 결과를 인간이 비판적으로 검토하고, 인간의 판단 역시 AI나 다른 자료를 이용해 다시 검증하는 구조가 필요하다.
이를 인간-AI 의사결정(Human-AI Decision Making)이라는 관점에서 생각할 수 있다.
좋은 인간-AI 의사결정 시스템은 AI가 인간을 대체하는 구조가 아니다.
AI는 인간이 놓칠 수 있는 정보를 찾아주고, 인간은 AI가 이해하지 못하는 맥락을 검토한다.
AI가 특정한 패턴을 제시하면 인간은 그 패턴이 실제로 의미 있는지 판단한다.
인간이 하나의 가설에 지나치게 집중하면 AI가 다른 가능성을 제시할 수도 있다.
반대로 AI가 데이터상으로는 높은 가능성을 제시하더라도 인간이 그 판단의 근거와 현실적인 타당성을 다시 검토할 수 있다.
이러한 방식으로 서로 다른 종류의 오류를 견제하는 것이다.
AI 시대에 우리가 가져야 할 태도도 여기에서 찾을 수 있다.
AI가 인간보다 객관적일 것이라고 무조건 믿을 필요도 없고, AI 역시 편향될 수 있다는 이유로 거부할 필요도 없다.
중요한 것은 AI가 어떤 데이터를 이용하고, 어떤 기준으로 판단하며, 어떤 상황에서 오류를 일으키는지 이해하는 것이다.
그리고 AI가 내놓은 결과를 최종적인 진실이 아니라 하나의 판단 자료로 활용하는 것이다.
결국 AI는 인간의 편견에서 완전히 자유로운 존재가 아니다.
어쩌면 AI의 편향 가운데 상당 부분은 인간 사회가 오랫동안 만들어온 판단과 행동의 흔적일지도 모른다.
그렇기 때문에 AI의 편향을 연구하는 것은 단순히 기술의 문제만을 연구하는 것이 아니다.
우리가 어떤 데이터를 만들고, 어떤 기준으로 사람을 평가하며, 어떤 판단을 반복해왔는지를 다시 들여다보는 일이기도 하다.
AI에게 편견이 있는가라는 질문에 대한 답은 결국 이렇게 정리할 수 있다.
AI는 인간과 같은 방식으로 편견을 가지지는 않는다.
하지만 인간이 만들어낸 데이터와 판단 기준을 학습하기 때문에 인간 사회의 편향을 재현하거나 확대할 수 있다.
따라서 진짜 중요한 것은 편견 없는 AI를 막연하게 기대하는 것이 아니라, AI의 편향을 발견하고 검증하며 인간의 판단과 서로 견제하도록 만드는 것이다.
AI가 인간보다 더 공정한 세상을 만드는 도구가 될지, 인간의 기존 편견을 더 빠르고 넓게 반복하는 도구가 될지는 결국 AI 자체보다 우리가 AI를 어떻게 설계하고 사용하는가에 달려 있을 것이다.