2025년 10월, 글로벌 컨설팅사 Deloitte는 AI 오류가 담긴 보고서 때문에 호주 정부에 계약 대금 일부를 돌려주기로 했습니다. 정부에 제출한 보고서에서 존재하지 않는 논문 인용과 실제와 다른 판결 인용, 이른바 AI 환각(할루시네이션)으로 볼 수 있는 오류가 발견됐기 때문입니다. 보고서 작성에 생성형 AI가 쓰였다는 사실은 오류가 외부 연구자에게 지적된 뒤 개정본에서 공개됐습니다.

이 사건에서 눈여겨볼 것은 오류 자체보다 시간입니다.

오류는 보고서가 만들어질 때 생겼지만, 드러난 것은 보고서가 이미 정부 문서가 된 뒤였습니다. 그 사이 오류는 검토를 통과했고, 공식 산출물이 됐고, 누군가의 판단 근거가 됐습니다.

AI 오류를 이야기할 때 우리는 대개 이렇게 생각합니다. 틀린 것이 발견되면 고치면 된다고요.

하지만 AI 도입 초기의 조직에서는 이 생각이 위험할 수 있습니다.

AI 오류는 정말 발견하는 대로 지울 수 있는 것일까요.


지우면 된다는 믿음은 어디서 왔을까?

이 믿음에는 근거가 있습니다.

우리는 지금까지 새로운 도구와 방법론을 들여올 때마다 시행착오를 겪었고, 대부분 고쳐 왔습니다. ERP 설정이 잘못됐으면 설정을 바꿨고, 도입한 방법론이 맞지 않으면 절차를 고쳤습니다.

과거 도구의 오류에는 공통점이 있었습니다.

오류에 위치가 있었습니다.

시스템 설정값, 절차서의 한 항목, 양식의 한 칸처럼 틀린 곳이 특정한 자리에 있었고, 그 자리를 찾아 고치면 됐습니다.

AI 오류는 다른 방식으로 퍼질 수 있습니다.

AI가 만든 결과가 사람의 판단과 문서, 템플릿, 지식 기반을 거쳐 반복 사용되면 오류의 원래 위치가 점점 흐려질 수 있습니다.

처음에는 한 문장의 잘못이었는데, 나중에는 사람의 기준과 조직의 문서 여러 곳에 스며든 상태가 될 수 있습니다.


사람에게 스민 오류는 다시 찾기 어렵습니다

AI 결과를 반복해서 받아들이다 보면 사람은 “이 정도면 괜찮다”는 감각 자체를 그 결과에 맞춰 형성할 수 있습니다.

어떤 수준의 보고서가 충분한지, 어떤 근거면 믿을 만한지, 어떤 표현이면 전문적으로 보이는지에 대한 기준이 AI가 내놓는 결과를 따라 조금씩 바뀔 수 있다는 뜻입니다.

특히 AI와 함께 일을 처음 배우는 사람에게는 이 문제가 더 중요합니다.

신입은 AI가 보여주는 잘못된 패턴을 충분히 검증하지 못한 채 일의 기본값으로 받아들일 수 있습니다. 이것은 시스템 설정이 아니라 사람의 경험과 판단 기준 안에 남습니다.

조직학습 연구에서는 이미 굳어진 지식과 관행을 버리는 문제를 ‘탈학습(unlearning)’으로 다뤄 왔습니다.

새 지식을 더하는 것과 달리, 기존에 익숙해진 기준이 더 이상 맞지 않는다는 사실을 먼저 인식해야 한다는 점에서 별도의 어려움이 있습니다.

잘못 굳어진 기준은 새 지식을 더하는 것만으로는 쉽게 사라지지 않습니다.


문서로 굳은 오류는 어떻게 반복될까?

두 번째로 오류가 머무는 곳은 조직의 문서입니다.

AI가 만든 보고서와 규정 초안, 템플릿과 업무 매뉴얼이 조직의 공식 문서로 쌓입니다. 최근 많은 조직이 흩어진 사내 지식을 AI로 모아 누구나 질문할 수 있는 지식 기반을 만들고 있습니다.

그런데 그 재료 안에 검증되지 않은 AI 산출물이 섞여 있다면 어떻게 될까요.

그 문서는 다음 검색과 답변의 근거가 되고, 그 답은 다시 새로운 문서의 입력이 될 수 있습니다.

2024년 Nature에 실린 연구는 AI가 생성한 데이터를 다음 세대 AI의 학습자료로 반복 사용하면 모델이 원래 데이터 분포를 잃고 성능이 무너질 수 있음을 보여줬습니다.

이 연구는 AI 모델 학습에 관한 것이므로 조직의 지식관리와 같은 현상이라고 볼 수는 없습니다.

다만 조직에서도 검증되지 않은 AI 산출물이 다음 문서와 답변의 입력으로 반복 사용되면, 오류가 재사용되는 순환이 생길 수 있습니다.

문제가 더 어려워지는 지점은 출처입니다.

AI 산출물은 사람의 작업과 섞여 다음 단계로 넘어가고, 몇 번 손을 거치면 어디까지가 AI가 만든 부분이었는지 알기 어려워집니다.

지우고 싶어도 무엇을 지워야 할지 모르는 상태가 될 수 있습니다.


AI 오류 책임은 누구에게 남을까?

오류의 출처가 흐려져도 책임까지 사라지는 것은 아닙니다.

2024년 캐나다 브리티시컬럼비아 민사분쟁심판소는 Air Canada의 고객 상담 챗봇이 유족 할인 규정을 잘못 안내한 사건에서 항공사의 책임을 인정했습니다. 잘못된 안내 자체는 2022년 11월에 이뤄졌습니다.

고객은 챗봇의 안내를 믿고 항공권을 구매했다가 할인을 거절당했고, 이후 분쟁이 발생했습니다.

Air Canada는 챗봇이 별도의 주체처럼 작동했다는 취지의 주장을 폈지만, 심판소는 받아들이지 않았습니다. 웹사이트를 통해 제공한 정보에 대해서는 항공사가 책임져야 한다고 판단했습니다.

이 사례가 보여주는 것은 단순합니다.

AI가 만들었다는 이유만으로 조직의 책임이 사라지는 것은 아닙니다.

그런데 오류가 어디에서 시작됐는지 기록하지 않은 조직은 문제가 발생했을 때 책임은 지면서도 원인은 찾지 못하는 상태에 놓일 수 있습니다.


백지 위의 첫 선은 왜 오래 남을까?

많은 조직에서 AI는 아직 도입 초기입니다.

새로운 일하는 방식을 만들어가는 시기입니다.

그래서 흔히 이렇게 말합니다.

지금은 시행착오 기간이니 일단 많이 써보고, 정리는 나중에 하자고요.

조직론의 ‘각인(imprinting)’은 조직 초기에 형성된 구조와 관행이 이후에도 오래 남을 수 있다는 현상을 설명합니다.

AI 도입 초기에도 같은 일이 일어날 수 있습니다. 이 시기에 형성한 “이 정도면 충분하다”는 기준과 검증 습관이 이후 업무의 기본값이 되기 때문입니다.

초기를 단순한 시험기간으로만 보는 것은 그래서 위험할 수 있습니다.

지금 형성되는 “이 정도면 충분하다”는 기준이 앞으로 조직의 밑그림이 될 수 있습니다.

초기에 검증을 뒤로 미루고 사용만 늘리면, 나중에는 무엇을 고쳐야 하는지조차 찾기 어려워질 수 있습니다.


문제는 오류가 아니라 기록되지 않은 오류입니다

그렇다고 틀리는 것을 두려워하자는 이야기는 아닙니다.

새로운 도구는 시행착오를 통해 배웁니다.

문제는 오류 자체보다 기록되지 않은 오류입니다.

어디서 무엇이 틀렸는지 남아 있다면, 그 오류는 다음 판단의 재료가 될 수 있습니다. 반대로 남아 있지 않으면 잘못된 결과가 조직의 익숙한 기준으로 굳을 수 있습니다.

그래서 AI 도입 초기에는 판단을 확정된 정답처럼 남기기보다 잠정적인 판단으로 남길 필요가 있습니다.

어떤 AI 결과를 무엇을 근거로 충분하다고 봤는지,

누가 확인했는지,

무엇이 달라지면 다시 검토할 것인지, 즉 다시 열 조건(재오픈 조건)을 함께 남기는 겁니다.

재오픈 조건이 기록된 판단은 나중에 되돌릴 수 있습니다.

기록되지 않은 판단은 어느 시점부터 되돌아가야 하는지 알기 어렵습니다.

실무적으로도 방향은 분명합니다.

실험 단계의 AI 산출물이 검증 없이 공식 문서나 지식 기반으로 들어가지 않도록 경계를 나누고,

AI 결과가 공식 산출물이 될 때 누가 검증했는지와 어느 부분에 AI가 사용됐는지를 남기고,

AI 활용 기준과 템플릿에는 재검토 시점과 조건을 함께 두는 것입니다.


되짚을 수 있는 조직의 조건

AI 오류를 발견하는 대로 고치면 된다는 생각은 과거 도구의 경험에서 나왔습니다.

그때의 오류에는 비교적 분명한 위치가 있었습니다.

AI 오류는 다르게 남을 수 있습니다.

사람의 판단 기준에 들어가고,

조직의 문서에 들어가고,

다른 AI가 참조하는 지식 기반에 들어갈 수 있습니다.

그 과정에서 처음의 출처와 검증 과정이 사라지면, 무엇을 고쳐야 할지 찾기가 어려워집니다.

그래서 AI 도입 초기에 필요한 것은 오류를 줄이는 노력만이 아닙니다.

나중에 되짚을 수 있도록 결과의 출처와 검증 과정을 남기는 일입니다.

지울 수 있는 오류는 위치를 아는 오류뿐입니다.

지금 여러분의 조직이 AI와 함께 만들고 있는 첫 기준과 첫 문서들은, 나중에 어디서 시작됐는지 다시 찾을 수 있게 남아 있습니까?



출처

AI 오류, AI 도입 초기, AI 할루시네이션, AI 오류 책임, 탈학습