요즘 AI에게 명함을 파주는 실험들이 등장했습니다.

국내 개발사 ‘똑똑한개발자’는 AI 에이전트로 여행 서비스 ‘취향 여행’을 만들었습니다. CEO 아래 CTO·CPO·CMO·CBO를 배치하고, 교토에 사는 스물여덟 살 큐레이터 ‘지민’이라는 AI 에디터도 두었습니다. 기획부터 홈페이지 개발과 배포까지 약 일주일이 걸렸습니다. ‘직원 0명 회사’로 소개됐지만, 사람이 기획하고 수정에 참여한 서비스 제작 실험입니다.

AI 연구회사 Andon Labs는 실제 카페 운영에 도전했습니다. 스톡홀름의 카페에서 AI ‘Mona’가 계약서를 분석하고, 공급업체를 찾고, 바리스타를 채용하고, 식자재를 주문했습니다.

다만 사람이 개입할 수 있는 통제된 실험이며, 직원들의 공식 고용주는 Andon Labs입니다. BankID 인증이 필요한 절차에서는 사람이 인증한 뒤 Mona가 작업을 이어갔습니다.


조직도의 칸을 AI로 채우면 회사가 되는가

두 사례는 AI가 수행하는 일의 범위가 얼마나 넓어졌는지 보여줍니다. 동시에 직책을 부여하는 것만으로 해결되지 않는 문제도 드러냈습니다.

‘취향 여행’ 제작진은 디자인의 색상과 글꼴, 상세 페이지와 예약 버튼을 수정했습니다. 처음 계획했던 구독 모델도 제휴 예약에 따른 수수료 모델로 바꿨습니다. AI 콘텐츠에 고객이 정기적으로 돈을 낼 것인지에 대한 의문 때문이었습니다.

Mona의 문제는 더 물리적이었습니다. 조리용 스토브가 없는 카페에 달걀 120개를 주문했고, 이틀 동안 열 번에 나눠 주문해 배송비를 낭비했습니다. 주문 마감을 놓쳐 급하게 다른 서비스를 이용한 일도 있었습니다.

AI는 작업을 수행하고 여러 선택도 내렸습니다. 다만 그 선택이 현장 조건에 맞는지 확인하고, 잘못됐을 때 수습하는 일에는 여전히 사람이 필요했습니다.


개발자 없는 팀이 부딪힌 것

업무 현장에서 출발한 사례도 있습니다.

버즈빌의 사업개발 전략·운영팀(BDSO)에는 개발자가 없습니다. 그런데 이 팀은 32개의 자동화 시스템을 운영했습니다. 메일 회신 준비와 세금계산서 마감 확인 등 각자의 반복 업무에서 출발한 자동화였습니다.

규모가 커지자 운영 문제가 나타났습니다. 개인 PC에 의존해 담당자가 자리를 비우면 멈췄고, 비슷한 기능이 중복됐습니다. 인증 문제로 빈 리포트가 전달된 일도 있었습니다.

팀장은 먼저 아이디어를 제안하고 공유하는 환경을 만들었습니다. 이후 흩어진 자동화를 공용 환경으로 옮기고, 담당자와 운영 방식을 정했습니다. 리뷰·개선 절차와 대시보드도 붙여 다른 사람이 이어받을 구조를 갖췄습니다.

이 사례에서 중요한 것은 자동화의 개수보다 운영의 변화입니다. 개인이 만든 도구를 팀이 계속 사용할 수 있도록 바꾸는 일이 별도로 필요했습니다.


자동화된 오류는 반복되고 확산됩니다

빈 리포트 한 장은 사소해 보일 수 있습니다. 그러나 같은 처리 방식이 여러 업무에 적용되면 오류의 영향도 넓어집니다.

NW Labor Press는 오리건보건과학대학의 한 수술 클리닉에서 AI 자동전화 도입 뒤 환자들이 잘못된 시간과 장소에 도착한 사건을 보도했습니다. 비응급 수술이어서 일정을 다시 잡았지만, 의료진의 시간이 낭비됐습니다. 기사는 기술적 원인까지는 밝히지 않았습니다.

이 병원의 노조 수석 대의원 Angelo Bologna는 AI 문제의 영향을 ‘폭발 반경’이라고 표현했습니다.

자동화된 시스템에서는 한 번의 잘못된 설정이나 판단이 여러 대상에게 반복 적용됩니다. 그래서 오류가 발생했는지뿐 아니라, 발견되기 전까지 얼마나 넓게 퍼지는지도 보아야 합니다.

업무를 더 많이 맡길수록 오류를 발견하고 확산을 멈추는 조건도 함께 중요해집니다.


책임은 왜 조직에 남는가

병원 사례에는 책임의 문제도 들어 있습니다. 경영진이 업무 일부를 AI에 맡기기로 결정했고, 외부 업체가 전화 에이전트를 제공했습니다. 기존에는 직원이 환자에게 수술 일정과 준비사항을 안내하던 일이었습니다.

Bologna는 AI 오류가 시스템 전체에 문제를 일으키면서도 책임질 사람이 분명하지 않을 수 있다고 지적했습니다.

이처럼 도입을 결정한 사람, 시스템을 만든 사람, 현장에서 사용하는 사람이 나뉘면 각자가 맡은 범위 사이에 공백이 생깁니다. 문제가 발생한 뒤에야 서로 기대했던 역할이 달랐다는 사실이 드러나기도 합니다.

그러나 고객에게 서비스를 제공하기로 약속한 주체는 조직입니다. AI가 그 과정의 일부를 수행하더라도 조직에는 결과를 설명하고 잘못을 바로잡을 책임이 남습니다. AI가 만든 결과라는 이유로 그 책임까지 AI에게 넘어가지는 않습니다.

그래서 AI에게 일을 더 맡길수록 리더에게는 세 가지 질문이 생깁니다.

첫째, 이 자동화의 주인은 누구입니까? 담당자가 자리를 비워도 다른 사람이 이어받을 수 있습니까?

둘째, 어떤 조건에서 멈추고 사람이 다시 들어옵니까? 잘못된 결과가 전달되기 전에 무엇으로 발견하고 차단합니까?

셋째, 문제가 생기면 어디까지 되돌리고 바로잡습니까? 이미 전달된 결과와 그에 따른 후속 조치는 누가 확인합니까?

담당자를 정하는 것만으로는 충분하지 않습니다. 그 사람이 결과를 확인할 정보와 시간, 필요할 때 멈출 권한, 문제를 수습할 지원을 갖추어야 책임도 실제로 감당할 수 있습니다.


명함 다음에 필요한 것

AI에게 명함을 줬다면, 그 역할이 어디까지인지, 어떤 조건에서 사람에게 넘어오는지도 정해야 합니다. 책임은 여전히 조직에 남기 때문입니다.


참고 원문