직원 80명인 자동차 부품 회사가 있다고 해 보겠습니다. 거래처 견적 문의 메일이 오면 AI가 단가표를 참고해 회신 초안을 써 주는 파일럿을 석 달 동안 돌렸고, 임원 보고 자리의 시연은 박수를 받았습니다. 그런데 반년 뒤 사용 기록을 열어 보니 실제로 쓰는 사람은 파일럿을 맡았던 대리 한 명뿐이었습니다. 이런 결말은 드물지 않고, 지난 2년 동안 나온 조사들이 같은 모습을 여러 각도에서 보여 줍니다.

실패율 숫자, 제대로 읽기

AI 프로젝트 실패를 다룬 조사는 많고 숫자도 제각각입니다. 자주 인용되는 자료를 한자리에 놓고 보겠습니다.

조사(발표 시점) 누구에게 물었나 핵심 숫자
MIT NANDA 「The GenAI Divide」(2025년 7월) 52개 조직 인터뷰, 임원 설문 153명, 공개 사례 300여 건 조직의 95%가 생성형 AI에서 측정 가능한 손익 효과를 보지 못함
S&P 글로벌 마켓 인텔리전스(2025년) 북미·유럽 실무자와 관리자 1천여 명 AI 과제 대부분을 중단한 기업 42%(전년 17%), 개념 검증(PoC)의 평균 46%가 운영 전에 폐기
RAND 연구소(2024년 8월) 경력 5년 이상 데이터 과학자·엔지니어 65명 인터뷰 “AI 프로젝트의 80% 이상이 실패한다”는 추정을 인용, AI가 아닌 IT 프로젝트의 두 배
가트너(2024년 7월 예측) 분석가 전망 생성형 AI 과제의 30% 이상이 2025년 말까지 PoC 뒤 폐기
맥킨지 「State of AI」(2026년 8월) 전 세계 1,719명 설문 AI가 영업이익(EBIT)에 조금이라도 기여했다는 응답 37%, 5% 이상 기여하고 효과가 크다는 응답 6%

개념 검증(PoC, Proof of Concept)은 본격 도입 전에 “이 방식이 되기는 하는가”를 작게 확인하는 시험을 말합니다. 표의 숫자를 그대로 믿기 전에 알아 둘 점이 있습니다. 가장 널리 퍼진 MIT의 95%는 동료 심사를 거친 논문이 아니라 예비 보고서이고, 보고서 스스로도 수치가 공식 회사 자료가 아닌 인터뷰에 기반한 방향성 수준이라고 밝혔습니다. 보스턴글로브는 이 보고서에서 맞춤형 AI 도구를 실제로 시범 운영한 회사가 20%뿐이었다는 점을 들어 “19%는 실패했고 80%는 시도하지 않았다”고 읽는 편이 더 정확하다고 꼬집었습니다.

그래도 조사들이 공통으로 가리키는 모양은 분명합니다. 시도는 많고, 일상 업무에 자리 잡는 경우는 적습니다. MIT 보고서에 따르면 업무 특화형 AI 도구를 검토한 조직은 60%, 시범 운영까지 간 곳은 20%, 운영 단계에 이른 곳은 5%였습니다. 실패율이 80%냐 95%냐보다 이 깔때기 모양이 더 쓸모 있는 정보입니다.

한국 기업도 시범 단계에 많이 머뭅니다

국내 조사에서도 비슷한 모양이 보입니다. 한국산업기술진흥협회가 2025년 6월 연구개발 조직을 둔 기업 1,479곳을 조사했더니, 업무에 AI를 일부라도 쓰는 곳은 45.6%였고 회사 전체에서 적극적으로 쓰는 곳은 14.1%에 그쳤습니다. AI를 쓴다는 기업의 상당수가 일부 부서의 제한적인 시범 도입 단계에 있다는 뜻입니다.

흥미로운 점은 AI를 쓰고 있는 기업의 71.7%가 투자 대비 효과를 높게 평가했다는 것입니다. AI가 쓸모없어서 멈추는 것이 아니라는 이야기입니다. 아직 도입하지 않은 기업이 꼽은 장애물도 도입 비용(21.3%)보다 사전 준비 부족(26.5%)과 조직 내 활용 역량 부족(24.2%)이 앞섰습니다.

한국 기업도 시범 단계에 많이 머뭅니다 관련 장면
AI 생성 이미지

이 연재의 AI·자동화는 실제로 얼마나 효율적인가에서 다룬 한국은행 분석도 같은 지점을 가리킵니다. 개인의 작업 시간은 줄었지만 그 시간이 회사의 처리량 증가로 이어지지 않았고, 한국은행은 그 원인 가운데 하나로 결재처럼 업무 흐름 중간에 남은 병목을 들었습니다. AI로 보고서를 반나절 만에 써도 결재에서 며칠씩 기다린다면 전체 속도는 그대로입니다.

실패는 대개 이렇게 일어납니다

조사마다 표현은 달라도 실패의 원인은 몇 갈래로 모입니다.

1. 풀 문제보다 써 볼 기술에서 출발합니다

RAND가 인터뷰한 엔지니어들이 가장 흔한 실패 원인으로 꼽은 것은 무엇을 풀어야 하는지에 대한 오해와 소통 부족이었습니다. 엉뚱한 지표에 맞춰 만든 모델, 실제 업무 흐름에 들어가지 않는 모델이 그렇게 나옵니다. 최신 기술을 써 보는 것 자체가 목적이 되는 경우도 따로 원인으로 꼽혔습니다. “AI로 뭘 해 볼까”로 시작한 과제는 “평균 이틀 걸리는 견적 회신을 반나절로 줄이자”로 시작한 과제보다 끝이 흐릿합니다.

2. 업무 흐름은 그대로 두고 AI만 얹습니다

맥킨지의 2025년 조사에서 AI로 큰 성과를 낸 기업은 다른 기업보다 개별 업무 흐름을 근본적으로 다시 설계했다고 답한 비율이 세 배 가까이 높았고, 맥킨지는 이것을 성과와 가장 강하게 연결된 요인 가운데 하나로 꼽았습니다. 앞의 부품 회사로 치면 AI가 초안을 쓰더라도 단가 확인은 여전히 구매팀 엑셀 파일을 메신저로 받아서 하고, 회신 전 팀장 확인도 예전 그대로라면 전체 시간은 거의 줄지 않습니다.

3. 데이터가 없거나 흩어져 있습니다

RAND는 쓸 만한 모델을 만들 데이터가 부족한 경우와, 데이터를 관리하고 모델을 운영할 기반이 없는 경우를 각각 원인으로 꼽았습니다. 가트너도 생성형 AI 과제가 PoC 뒤 버려지는 이유로 낮은 데이터 품질, 부족한 위험 관리, 늘어나는 비용, 불분명한 사업 가치를 들었습니다. 단가표가 담당자마다 버전이 다르고 최신본이 무엇인지 아무도 모르는 회사라면, AI는 틀린 단가를 아주 그럴듯하게 적어 줄 것입니다.

4. 배우지 않는 도구를 억지로 씁니다

MIT 보고서가 꼽은 핵심 장벽은 ’학습 격차’였습니다. 많은 기업용 AI 도구가 피드백을 기억하지 못하고, 매번 맥락을 새로 넣어야 하며, 회사의 일하는 방식에 맞춰 바뀌지 않는다는 것입니다. 응답자의 70%는 이메일 초안 같은 간단한 일을 AI에 맡기겠다고 했지만, 여러 주가 걸리는 복잡한 일은 90%가 사람에게 맡기겠다고 답했습니다. 직원들이 개인적으로는 ChatGPT를 잘 쓰면서 회사가 사 준 도구는 외면하는 일이 생기는 이유입니다.

5. 시연과 현장은 다릅니다

맥도날드는 IBM과 함께 미국 100여 개 매장 드라이브스루에서 AI 음성 주문을 시험했지만, 2024년 6월 가맹점에 이를 7월 26일까지 끄겠다고 알렸습니다. BBC는 고객들이 엉뚱하게 들어간 주문을 온라인에 공유하며 화제가 된 뒤의 결정이라고 전했습니다. 회의실 시연에서 잘 되던 기능도 현장에서는 시연 때 없던 변수를 한꺼번에 만납니다.

파일럿 지옥은 이렇게 만들어집니다

파일럿 지옥(pilot purgatory)은 시범 사업이 끝나지도, 본격 운영으로 넘어가지도 못한 채 계속 ’검토 중’으로 남는 상태를 말합니다. 씨앗은 대개 시작할 때 이미 뿌려집니다.

먼저 파일럿을 통과하기 쉽게 설계합니다. 잘 정리된 데이터, 협조적인 팀, 예외가 없는 사례만 골라 시험하니 결과가 좋을 수밖에 없고, 운영에 들어가면 바로 그 빠뜨린 조건들을 만나게 됩니다. 다음으로 끝내는 기준이 없습니다. 몇 주 동안 무엇이 얼마나 좋아지면 넓히고 무엇이 안 되면 접을지 미리 정하지 않았으니, 누구도 중단을 결정하지 못합니다.

파일럿 지옥은 이렇게 만들어집니다 관련 장면
AI 생성 이미지

마지막으로 주인이 없습니다. 임원 보고가 끝나면 관심은 다른 현안으로 옮겨 가고, 과제는 IT 담당자 한 명의 일로 남습니다. S&P 글로벌 조사에서 기업들이 가장 큰 걸림돌로 비용, 데이터 프라이버시, 보안 위험을 꼽은 것도 같은 맥락입니다. 시범 단계에서는 보이지 않던 운영 비용과 보안 검토가 확대 직전에야 드러나고, 그때 예산과 일정이 무너집니다.

성공하는 회사는 무엇이 다른가

실패 조사를 뒤집어 보면 성공의 조건도 보입니다. 맥킨지가 영업이익의 5% 이상을 AI 덕분으로 보는 ‘고성과’ 응답자를 따로 분석한 결과, 이들은 경영진이 AI 과제를 직접 책임지고 챙긴다는 데 강하게 동의한 비율이 다른 응답자의 세 배였습니다. AI 결과물을 언제 어떻게 사람이 검증할지 절차를 정해 둔 비율도 높았고, 비용 절감만이 아니라 성장과 새 사업을 목표에 함께 넣는 경향도 뚜렷했습니다.

MIT 보고서에서는 두 대목이 눈에 띕니다. 외부 전문 업체와 함께 만든 도구는 약 67%가 실제 운영에 이르렀지만 내부에서 혼자 만든 도구는 약 33%에 그쳤습니다. 다만 보고서도 이 차이가 방식 자체보다 조직 역량의 차이일 수 있다고 단서를 달았습니다. 또 잘하는 조직은 AI 과제를 본사 연구 조직이 아니라 현장 관리자에게서 끌어냈고, 좁은 업무 하나에서 눈에 보이는 성과를 낸 뒤 범위를 넓혔습니다.

RAND의 권고는 더 단순합니다. 기술 인력이 사업의 목적과 현장 맥락을 이해하게 하고, 최소 1년은 붙들고 풀 가치가 있는 문제를 고르고, 기술이 아니라 문제에 집중하라는 것입니다. 1년을 쏟을 가치가 없는 문제라면 애초에 시작할 가치도 없을 가능성이 크다고 덧붙였습니다.

세 조사를 겹쳐 보면 성공하는 회사의 모습이 그려집니다. 해결할 업무 하나가 분명하고, 그 업무의 흐름을 AI에 맞춰 다시 짜고, 책임자가 끝까지 붙어 있고, 결과를 숫자로 확인합니다. 모델 성능의 차이가 승부를 가르는 경우는 생각보다 드뭅니다.

시작 전에 답해야 할 질문

아래 질문에 한 줄씩 답을 적을 수 없다면 아직 파일럿을 시작할 때가 아닙니다. 오른쪽 칸은 앞의 부품 회사를 예로 든 답입니다.

구분 질문 답의 예
문제 어떤 업무의 무엇을 바꾸려 하는가 견적 회신 평균 2일을 0.5일로
기준선 지금은 얼마나 걸리고 얼마나 틀리는가 지난 3개월 견적 120건, 평균 1.9일, 단가 오류 6건
흐름 AI가 들어가면 누가 무엇을 안 하게 되는가 영업 담당은 초안 대신 검토만, 단가 조회는 시스템이 자동으로
데이터 AI가 볼 자료는 어디 있고 최신본은 무엇인가 구매팀 단가표 한 곳으로 통합, 매월 첫 주 갱신
책임자 파일럿이 끝난 뒤에도 챙길 사람은 누구인가 영업팀장, 주 1회 사용 현황 확인
검증 결과물을 누가 언제 확인하는가 1천만 원 넘는 견적은 팀장 확인 뒤 발송
종료 기준 몇 주 뒤 무엇을 보고 확대·수정·중단을 정하는가 8주 뒤 회신 시간 30% 이상 단축이면 확대, 10% 미만이면 중단
비용 운영 단계의 월 비용과 보안 검토를 계산에 넣었는가 계정 비용, 연동 유지보수, 개인정보 검토 일정 포함

AI 도입이 실패하는 이유는 AI가 모자라서라기보다 AI를 넣을 업무가 정리되지 않아서인 경우가 많습니다. 실패율 숫자에 겁먹을 필요도, 무시할 필요도 없습니다. 파일럿을 작게 시작하되 끝나는 조건을 먼저 정하고, 업무 흐름을 바꿀 각오까지 함께 세우면 깔때기의 아래쪽에 닿을 가능성이 커집니다.

업무 흐름을 문서로 정리하는 방법은 자동화보다 매뉴얼(SOP)이 먼저인 이유에서, 어떤 업무부터 고를지는 무엇부터 자동화할까에서 이어서 다룹니다.

참고한 자료