AI를 도입할 때 가장 먼저 계산하는 숫자가 있습니다.

몇 시간을 줄일 수 있는가.

몇 명의 일을 대신할 수 있는가.

인건비를 얼마나 아낄 수 있는가.

중요한 숫자입니다.

하지만 이 계산에는 빠지기 쉬운 것이 있습니다.

AI가 사람의 일을 가져가는 동시에,

AI를 실제 업무에서 계속 작동시키기 위해 전에 없던 일이 새로 생긴다는 점입니다.

AI 결과가 맞는지 평가해야 합니다.

잘못된 행동을 감시해야 합니다.

어디까지 접근할 수 있는지 권한을 정해야 합니다.

예외가 발생하면 사람이 다시 받아야 합니다.

모델이 바뀌면 평가 기준도 다시 돌려봐야 합니다.

보안과 개인정보 문제도 관리해야 합니다.

벤더의 모델이나 서비스가 바뀌면 영향도 확인해야 합니다.

AI가 일을 줄이는 만큼, AI를 운영하는 일도 생깁니다.

AI가 일을 할수록 ‘평가하는 일’이 생깁니다

Anthropic은 2026년 AI 에이전트 평가에 관한 글에서 에이전트를 운영할수록 평가가 더 중요해진다고 설명했습니다.

이유가 있습니다.

일반적인 생성형 AI는 질문을 받고 답을 만듭니다.

하지만 에이전트는 여러 단계를 거칩니다.

도구를 호출합니다.

중간 결과를 바탕으로 다음 행동을 선택합니다.

시스템의 상태를 바꿉니다.

때로는 여러 차례 일을 이어갑니다.

이런 시스템은 최종 결과만 보고 “됐다, 안 됐다”를 판단하기 어렵습니다.

중간에 무엇을 했는지,

어디에서 잘못됐는지,

모델이 바뀐 뒤 행동이 달라졌는지까지 확인해야 합니다.

Anthropic은 평가체계가 없으면 문제가 실제 운영환경에서 발생한 뒤 뒤늦게 발견되고, 하나를 고치면서 다른 문제가 생기는 반응적 수정이 반복될 수 있다고 지적합니다.

AI가 수행을 맡기 시작하면 누군가는 그 수행을 계속 평가해야 합니다.

이 일은 모델을 처음 도입할 때 한 번만 필요한 것이 아닙니다.

모델이 바뀔 때도 필요합니다.

프롬프트가 바뀔 때도 필요합니다.

새로운 도구를 연결할 때도 필요합니다.

업무 범위를 넓힐 때도 필요합니다.

AI가 더 많은 일을 맡을수록 평가는 일회성 테스트가 아니라 운영업무가 됩니다.

“자동으로 한다”는 말 뒤에는 감시하는 일이 생깁니다

AI 에이전트의 장점은 사람이 하나하나 지시하지 않아도 일을 이어갈 수 있다는 것입니다.

그런데 바로 그 장점 때문에 새로운 일이 생깁니다.

무엇을 하고 있는지 봐야 합니다.

허용되지 않은 행동을 하지 않는지 확인해야 합니다.

비용이 예상보다 많이 발생하지 않는지도 봐야 합니다.

잘못된 도구를 호출하지 않는지,

민감한 정보에 접근하지 않는지,

이상 행동이 반복되지 않는지 감시해야 합니다.

Gartner는 에이전틱 AI의 운영 거버넌스를 다루면서 자율적인 AI 에이전트가 연쇄적인 시스템 장애, 보안 사고, 승인되지 않은 AI 사용, 비용 초과를 만들 수 있다고 경고했습니다.

그래서 운영 단계에서 에이전트의 행동을 계속 관리하는 거버넌스가 필요하다고 봤습니다.

또 Gartner는 앞으로 기업들이 운영 중 발견되는 거버넌스 문제 때문에 일부 자율 AI 에이전트의 권한을 낮추거나 사용을 중단할 수 있다고 전망했습니다.

AI를 더 자율적으로 만든다고 사람이 완전히 빠지는 것은 아닙니다.

사람이 하던 실행 업무 일부가 줄어드는 대신, AI의 행동을 관찰하고 통제하는 운영업무가 생깁니다.

권한을 정하는 일도 새 업무입니다

AI가 문서를 요약하는 정도라면 권한 문제는 상대적으로 단순합니다.

하지만 AI가 시스템에 접속하고,

고객에게 메시지를 보내고,

데이터를 수정하고,

결제나 계약 프로세스에 참여하고,

다른 에이전트를 호출하기 시작하면 이야기가 달라집니다.

무엇을 볼 수 있는가.

무엇을 바꿀 수 있는가.

얼마까지 실행할 수 있는가.

어떤 행동은 반드시 사람의 승인을 받아야 하는가.

이걸 정해야 합니다.

IBM은 AI 에이전트가 늘어날수록 비인간 신원의 접근권한을 관리하고, 권한을 좁게 설정하며, 실행 중에도 지속적으로 통제하고, 어떤 사람이 어떤 에이전트 행동에 책임지는지 추적할 수 있어야 한다고 강조합니다.

AI에게 일을 맡기는 순간, 업무 배분만이 아니라 권한 설계가 새로운 일이 됩니다.

보이지 않는 AI는 더 비싼 비용으로 돌아올 수 있습니다

새로운 일은 내부 통제에서도 생깁니다.

회사가 공식적으로 도입한 AI만 관리하면 될까요.

직원들이 개인적으로 사용하는 AI도 있습니다.

부서가 독자적으로 도입한 도구도 있습니다.

회사가 어떤 데이터를 넣고 있는지 모르는 경우도 있습니다.

이른바 ‘섀도 AI’입니다.

IBM의 조사에서는 침해사고를 경험한 조직 가운데 일부가 섀도 AI와 관련된 침해를 보고했고, 섀도 AI 사용 수준이 높은 조직에서 데이터 침해 비용이 더 높게 나타났습니다.

또 상당수 조직이 AI 거버넌스 정책을 갖추지 못했거나 아직 만드는 중이라고 답했습니다.

이 수치는 데이터 침해를 경험한 조직을 대상으로 한 조사이므로 전체 기업의 평균으로 읽어서는 안 됩니다.

하지만 방향은 분명합니다.

AI를 도입하는 비용에는 라이선스나 모델 사용료만 있는 것이 아닙니다.

누가 어떤 AI를 쓰는지 파악하는 일.

민감정보를 어디에 넣는지 확인하는 일.

승인되지 않은 도구를 찾아내는 일.

문제가 생겼을 때 추적하고 대응하는 일.

이런 보안과 통제 업무도 함께 늘어납니다.

실제로 기업은 이 일을 맡을 사람을 새로 두고 있습니다

이 변화는 조직도와 채용공고에서도 나타납니다.

앞서 살펴본 글로벌 로펌 Gibson Dunn의 Director of Legal Innovation and AI가 대표적입니다.

이 사람은 AI를 직접 사용하는 변호사가 아닙니다.

로펌 전체에서 사용할 AI 도구를 평가합니다.

정확성과 보안을 봅니다.

기밀성 통제를 확인합니다.

기존 시스템과 연결할 수 있는지도 검토합니다.

비용도 비교합니다.

벤더와 계약합니다.

그리고 성과가 좋지 않은 도구는 사용을 중단하는 결정까지 관리합니다.

AI가 없을 때는 존재하지 않거나 중요도가 낮았던 일입니다.

AI를 도입하면서

평가,

구매,

계약,

보안,

성과관리,

폐기

가 하나의 운영영역으로 생겼습니다.

새 직무가 생긴 이유는 AI라는 기술 자체보다, AI를 운영하기 위해 새 일이 쌓였기 때문입니다.

예외처리는 사라지지 않고 더 중요해질 수 있습니다

AI가 정형적인 일을 많이 처리하면 사람의 일은 줄어듭니다.

하지만 모든 일이 같은 비율로 줄어드는 것은 아닙니다.

정상적인 경우는 AI가 처리합니다.

반복되는 경우도 AI가 처리합니다.

그러면 사람에게 오는 것은 무엇일까요.

기준 밖의 사례.

충돌하는 조건.

고객 불만.

AI가 판단하지 못한 경우.

확신이 낮은 경우.

규정대로 하면 오히려 문제가 생기는 경우.

즉 예외가 상대적으로 더 많이 남습니다.

그래서 자동화가 확대되면 조직은 AI가 얼마나 많은 건을 처리했는지만 볼 것이 아니라,

사람에게 넘어온 일이 얼마나 어려워졌는지도 봐야 합니다.

예외가 오면 누가 받는가.

누가 판단하는가.

어디까지 스스로 끝낼 수 있는가.

어떤 경우 다시 상향해야 하는가.

AI가 정상 업무를 가져갈수록 사람의 운영업무는 예외와 경계 관리 쪽으로 이동할 수 있습니다.

비용도 ‘사람에서 기술’로 단순히 이동하지 않습니다

그래서 AI의 경제성을 계산할 때

“몇 명의 일을 대신하는가”

만으로 계산하면 부족합니다.

기존 인건비는 줄어들 수 있습니다.

하지만 다른 비용이 생깁니다.

모델 사용료.

클라우드 비용.

시스템 통합비.

평가 비용.

모니터링 비용.

보안 비용.

거버넌스 비용.

AI 전문인력 비용.

벤더 관리비.

실패한 결과의 재작업 비용.

Gartner도 기업의 AI 비용을 볼 때 인프라, 라이선스, 통합, 거버넌스, 인재, 모델 운영, 실제 실행비용까지 함께 봐야 한다고 설명합니다.

특히 에이전틱 시스템에서는 사용량과 행동이 자율적으로 늘어 비용 예측도 어려워질 수 있습니다.

이것은 AI가 경제성이 없다는 뜻이 아닙니다.

반대입니다.

정확한 경제성을 알려면 줄어드는 일과 새로 생기는 일을 함께 계산해야 한다는 뜻입니다.

AI가 만든 새 일을 누가 맡고 있습니까

문제는 이런 새로운 일들이 처음부터 직무로 정리되어 나타나지 않는다는 데 있습니다.

초기에는 기존 사람들이 나눠서 합니다.

현업 직원이 AI 결과를 검토합니다.

IT가 접근권한을 관리합니다.

보안팀이 사용현황을 봅니다.

법무가 규제 문제를 확인합니다.

HR이 교육을 만듭니다.

현업 관리자가 예외를 처리합니다.

그러다 AI 사용이 커지면 일이 쌓입니다.

누가 책임자인지 애매해집니다.

같은 검증을 여러 부서가 합니다.

어떤 일은 아무도 하지 않습니다.

어떤 일은 사고가 난 뒤에야 필요성이 드러납니다.

그리고 어느 순간 새 역할이 생깁니다.

AI Governance.

AI Evals.

Agent Operations.

AI Security.

Legal Innovation.

AI Deployment.

새 직무가 생겨서 새로운 일을 하는 것이 아니라, 새로운 일이 쌓여서 새 직무가 생기는 경우가 많습니다.

그래서 AI 도입 전에 물어야 할 질문이 하나 더 있습니다

AI 도입 검토에서는 보통 이런 질문을 합니다.

이 업무를 자동화할 수 있는가.

생산성이 얼마나 올라가는가.

비용을 얼마나 절감하는가.

필요한 질문입니다.

그런데 하나 더 물어야 합니다.

“이 AI를 운영하면 어떤 일이 새로 생기는가.”

누가 결과를 평가할 것인가.

누가 행동을 감시할 것인가.

누가 접근권한을 정할 것인가.

누가 예외를 처리할 것인가.

누가 기준을 갱신할 것인가.

누가 사고를 조사할 것인가.

누가 비용을 관리할 것인가.

그리고 그 일을 하는 데 얼마나 많은 시간과 사람이 필요한가.

이 질문 없이 절감액만 계산하면,

AI 도입의 경제성을 실제보다 크게 볼 수 있습니다.

두 장부를 함께 열어봐야 합니다

AI를 도입한 뒤 조직에서 새로 생긴 일을 한번 적어볼 필요가 있습니다.

예전에는 하지 않았는데 지금 누군가 하고 있는 일.

AI 때문에 매주 확인하게 된 일.

문제가 생길 때만 등장하는 일.

현업이 떠맡고 있어서 아직 직무명도 없는 일.

이런 일을 찾아보면 AI 도입의 실제 모습이 다르게 보일 수 있습니다.

한쪽 장부에는 AI가 없앤 일을 적습니다.

줄어든 처리시간.

자동화된 Task.

감소한 인력투입.

절감한 비용.

다른 장부에는 AI 때문에 새로 생긴 일을 적습니다.

평가.

감시.

권한관리.

예외처리.

보안.

감사.

벤더관리.

재작업.

그리고 두 장부를 같이 봅니다.

AI의 진짜 경제성은 ‘없앤 일’의 장부와 ‘새로 생긴 일’의 장부를 함께 열어봐야 보입니다.

참고한 공개 자료

※ 본문에서 언급한 비용과 위험 수치는 특정 조사대상과 조건에서 나온 결과입니다. 모든 기업의 AI 도입 비용으로 일반화하기보다, AI 운영 과정에서 새롭게 발생하는 업무와 비용의 종류를 보여주는 근거로 보는 것이 적절합니다.