“AI를 쓰면 업무 시간이 40% 줄어든다”는 기사를 읽은 대표가 전 직원에게 유료 AI 계정을 나눠 줍니다. 석 달 뒤 팀장에게 효과를 물으니 “보고서 초안은 빨리 나오는데, 팀 일이 줄었는지는 잘 모르겠다”는 답이 돌아옵니다. 원문을 찾아 읽어 보면 두 사람 말이 모두 맞습니다. 지난 3년 동안 나온 실험 연구에서는 AI를 쓴 사람이 어떤 일은 절반 가까이 빠르게 마쳤고, 어떤 일은 오히려 더 오래 걸리거나 틀린 결과를 냈습니다.

자주 인용되는 실험 다섯 개

AI 효과를 가장 명확하게 측정하는 방법은 무작위 실험입니다. 사람들을 제비뽑기로 ’AI를 쓰는 쪽’과 ’쓰지 않는 쪽’으로 나누고 같은 일을 시켜 결과를 비교하는 방식입니다. 운이나 개인 실력 차이가 양쪽에 고르게 섞이기 때문에, 남는 차이를 AI 효과로 볼 수 있습니다.

연구 (발표 시점) 누가, 어떤 일을 결과
MIT 노이·장 (Science, 2023) 대졸 사무직 453명, 직무별 글쓰기 과제 소요 시간 40% 감소, 품질 점수 18% 상승
하버드·BCG ‘들쭉날쭉한 경계’ 실험 (2023년 공개, 2026년 학술지 게재) BCG 컨설턴트 758명, 신제품 기획·시장 분석 과제 세부 과제 12.2% 더 완료, 약 25% 빠르게, 품질 평가 약 32% 상승
브리뇰프슨 외 고객상담 연구 (QJE, 2025) 실제 회사의 고객지원 상담원 5,172명 시간당 해결 건수 평균 15% 증가, 경력이 짧거나 숙련도가 낮은 상담원은 30% 증가
깃허브 코파일럿 실험 (2023) 모집한 개발자, 자바스크립트로 웹 서버 만들기 55.8% 빨리 완료
MS·액센추어 등 3개사 현장 실험 (2025) 개발자 4,867명, 평소 업무 완료한 작업 수 26% 증가

숫자만 보면 AI를 쓰지 않을 이유가 없어 보입니다. 다만 표에 나온 업무에는 공통점이 있습니다. 결과물을 채점하기 쉽고, 해야 할 일의 범위가 분명합니다. 보도자료 한 편, 상담 답변 한 건, 정해진 기능의 웹 서버 하나처럼 “잘했다, 못했다”를 비교적 빨리 판정할 수 있는 일입니다.

또 하나 눈에 띄는 공통점은 경험이 적은 사람의 성과가 더 많이 올랐다는 점입니다. 고객상담 연구에서 AI를 쓴 입사 2개월 차 상담원은 AI 없이 일한 6개월 차 이상 상담원만큼 일했습니다. BCG 실험에서도 원래 실력이 하위 절반인 컨설턴트는 31%, 상위 절반은 11% 좋아졌습니다. 고객상담 연구진은 AI가 숙련 상담원의 응대 방식을 신입에게 퍼뜨린 것으로 해석합니다. 신입 영업지원 직원이 거래처 문의에 답하거나, 입사 석 달 된 상담원이 반품 규정을 안내하는 장면을 떠올리면 됩니다.

같은 실험 안에서 성과가 떨어진 일도 있었다

BCG 실험에는 일부러 AI가 틀리기 쉬운 과제가 하나 섞여 있었습니다. 스프레드시트 숫자와 회사 관계자 인터뷰 기록을 함께 읽어야 정답이 나오는 브랜드 전략 문제였습니다. AI 없이 푼 그룹의 정답률은 84.5%였는데, AI를 쓴 그룹은 70.6%, 프롬프트 요령까지 배운 그룹은 60%로 떨어졌습니다. AI는 표면의 숫자는 제대로 처리했지만 인터뷰 속 단서를 놓쳤고, 컨설턴트들은 그럴듯한 분석을 믿고 따라갔습니다.

연구진은 이 현상을 ’들쭉날쭉한 기술 경계(jagged technological frontier)’라고 불렀습니다. 사람 눈에는 난이도가 비슷해 보이는 일인데도 AI가 잘하는 쪽과 못하는 쪽의 경계가 울퉁불퉁하게 나 있다는 뜻입니다. 문제는 지금 하는 일이 경계의 어느 쪽인지 알려 주는 신호가 없다는 점입니다. 틀린 답도 맞는 답만큼 매끄러운 문장으로 나옵니다.

같은 실험 안에서 성과가 떨어진 일도 있었다 관련 장면
AI 생성 이미지

다른 연구에서도 비슷한 장면이 나옵니다.

  • 고객상담 연구에서 가장 숙련된 상담원은 속도가 조금 빨라졌지만 상담 품질은 조금 떨어졌습니다.
  • 영국 기업통상부(DBT)는 2024년 10~12월 직원들에게 마이크로소프트 365 코파일럿 라이선스 1,000개를 나눠 주고 효과를 평가했습니다. 이용자의 72%가 만족했고 요약·이메일 작성은 빨라졌지만, 엑셀 데이터 분석은 쓰지 않은 직원보다 느리고 정확도도 낮았습니다. 파워포인트는 평균 7분 빨리 만들었지만 품질이 떨어져 고칠 일이 생겼습니다. 보고서는 “시간 절감이 생산성 향상으로 이어졌다는 확실한 근거를 찾지 못했다”고 적었습니다.
  • 비영리 연구기관 METR은 2025년 상반기에 경력 많은 오픈소스 개발자 16명이 자기 프로젝트의 실제 과제 246개를 처리하게 했습니다. AI를 허용한 과제는 오히려 19% 더 오래 걸렸습니다.

METR 실험에서 더 눈여겨볼 부분은 체감입니다. 개발자들은 시작 전에 AI 덕분에 24% 빨라질 거라고 예상했고, 실험이 끝난 뒤에도 20% 빨라졌다고 믿었습니다. 실제로 잰 결과와 정반대였습니다. “써 보니 확실히 빠르다”는 직원 설문만으로 도입 효과를 판단하면 안 되는 이유입니다.

공정하게 덧붙이면, METR은 2026년 2월 후속 실험 결과를 내면서 “2026년 초의 개발자는 2025년 초보다 AI로 더 빨라졌을 가능성이 크다”고 밝혔습니다. 원래 참가자 중 다시 참여한 개발자에게서는 약 18% 빨라졌다는 추정이 나왔지만 오차 범위가 0을 넘나들어 확정할 수 없었습니다. 흥미로운 이유도 적혀 있습니다. 참가자의 30~50%가 “AI 없이 하기 싫은 과제는 실험에 내지 않았다”고 답할 만큼, AI 없이 일하는 조건 자체를 사람들이 피하기 시작했다는 것입니다. 도구는 빠르게 나아지고 있고, 그만큼 측정은 더 어려워지고 있습니다.

개인은 빨라졌는데 회사 숫자는 왜 그대로일까

작업 단위 실험에서 좋은 결과가 나와도 회사나 나라 전체의 숫자는 잘 움직이지 않았습니다. 한국은행이 2026년 6월 공개한 분석에서 생성형 AI를 쓰는 근로자는 같은 일을 평균 3.8% 짧은 시간에 끝냈습니다. 주 40시간이면 약 1.5시간입니다. 그런데 아낀 시간과 업무처리량 증가 사이의 상관계수는 0이었습니다. 시간을 아낀 사람이 그만큼 일을 더 한 것은 아니라는 뜻이고, 한국은행은 이를 ’AI 생산성 단절’이라고 불렀습니다. 한국은행이 꼽은 원인과 AI 도입에 성공하는 회사의 공통점은 AI 도입이 실패하는 이유에서 자세히 다룹니다.

실험 속 큰 숫자와 3.8% 사이의 거리는 간단한 산수로도 이해할 수 있습니다. 하루 8시간 가운데 보고서 초안 작성이 40분이라면, 그 작업 시간이 절반으로 줄어도 하루 전체로는 20분, 4%를 조금 넘습니다. 실험은 AI가 잘하는 작업 하나를 확대해서 본 것이고, 회사의 하루에는 그런 작업과 전화, 회의, 결재, 현장 확인이 섞여 있습니다.

해외 자료도 방향이 같습니다. 덴마크 근로자 행정 기록을 분석한 훔룸·베스터고르 연구는 챗GPT 출시 2년 뒤까지 AI 챗봇 도입이 임금과 근로시간에 준 영향이 2%를 넘지 않는다고 추정했습니다. 대신 일의 구성은 바뀌었습니다. 이용자의 85%가 아낀 시간을 다른 업무에 돌렸다고 답했고, AI 결과물 검토 같은 새 업무도 생겼습니다. 미국·영국·독일·호주 경영진 약 6,000명을 조사한 2026년 2월 NBER 보고서에서는 열 명 중 아홉 명이 지난 3년간 AI가 자기 회사의 고용이나 생산성에 영향을 주지 않았다고 답했습니다. 같은 경영진은 앞으로 3년 동안 생산성이 평균 1.4% 오를 것으로 예상했습니다.

효과가 크게 난 곳의 공통점

그렇다면 실험에서 효과가 컸던 곳과 회사 전체 숫자가 그대로인 곳은 무엇이 달랐을까요. 연구들을 겹쳐 보면 세 가지가 반복됩니다.

첫째, 결과를 판정할 기준이 분명했습니다. 상담 해결 여부, 정해진 기능의 작동, 채점표가 있는 글처럼 맞고 틀림을 빨리 확인할 수 있는 일에서 효과가 컸습니다. 반대로 여러 자료의 미묘한 단서를 엮어야 하는 판단 업무에서는 AI를 믿은 사람이 더 자주 틀렸습니다.

둘째, 사람과 AI의 역할을 나눴습니다. BCG 연구진은 AI를 잘 쓴 컨설턴트를 두 부류로 봤습니다. 일을 쪼개 AI에게 맡길 부분과 자신이 할 부분을 가른 사람, 그리고 작업 내내 AI와 주고받으며 결과를 계속 확인한 사람입니다. 둘 다 AI 답을 그대로 받아쓰지 않았다는 점이 같습니다.

효과가 크게 난 곳의 공통점 관련 장면
AI 생성 이미지

셋째, 일의 흐름을 바꿨습니다. 같은 연구진이 P&G 직원 776명과 진행한 후속 실험에서 AI를 쓴 한 사람은 AI 없이 일한 두 사람 팀과 비슷한 성과를 냈습니다. 연구개발 직원과 영업·마케팅 직원의 아이디어가 서로의 관점을 더 담게 되는 효과도 있었습니다. 도구를 더한 것이 아니라 누가 누구와 어떤 순서로 일하는지가 바뀐 경우입니다. 우리 회사로 옮기면, 보고서 초안이 빨라진 만큼 결재 단계를 줄이거나 입력이 빨라진 만큼 담당자에게 새 역할을 줬을 때 개인의 속도가 팀의 성과로 이어집니다.

엑셀 매크로나 정해진 규칙대로 도는 자동화는 매번 같은 결과를 내기 때문에 효과를 예측하기 쉽습니다. 생성형 AI는 같은 요청에도 결과가 조금씩 달라지고 가끔 틀립니다. 그래서 AI 도입의 효과는 도구 성능만큼이나 검토 단계를 어디에 두느냐에 따라 달라집니다.

우리 회사에서 2주 동안 효과를 측정하는 방법

논문 숫자는 참고용입니다. 우리 회사의 일에서 얼마나 빨라지는지는 직접 재 보는 수밖에 없습니다. 큰 비용 없이 2주면 해 볼 수 있습니다.

  1. 업무 하나를 고릅니다. 주 5회 이상 반복되고 결과물을 서로 비교할 수 있는 일이 좋습니다. 견적서 초안, 거래처 문의 답변, 주간 매출 보고 같은 것입니다.
  2. 판정 기준을 미리 정합니다. 예를 들어 “건당 시간이 20% 넘게 줄고 오류가 늘지 않으면 확대, 아니면 업무 흐름부터 다시 설계”처럼 정해 둡니다.
  3. 첫 주는 AI 없이 기준값을 측정합니다. 건당 걸린 시간, 수정 횟수, 오류 건수를 적습니다.
  4. 둘째 주는 AI를 쓰고 같은 항목을 측정합니다. 이때 AI 결과물을 검토하고 고친 시간을 따로 적습니다.
  5. 제작자와 AI 사용 여부를 가리고 품질을 평가합니다. 팀장이 누가, 어떤 방식으로 만든 결과물인지 모르는 상태에서 평가합니다.
  6. 아낀 시간이 어디로 갔는지 적습니다. 다른 업무에 썼는지, 별다른 성과 없이 지나갔는지 기록합니다.

4번에서 검토·수정 시간을 따로 적는 데는 이유가 있습니다. 미국 사무직 1,150명을 조사한 2025년 조사에서 40%가 최근 한 달 사이 동료에게서 겉만 그럴듯한 AI 결과물을 받았다고 답했고, 한 건을 처리하는 데 평균 2시간 가까이 썼다고 했습니다. 만드는 사람의 시간은 줄었어도 받는 사람의 시간이 늘면 회사 전체로는 남는 게 없습니다.

기록표는 이 정도면 충분합니다.

항목 기록 방법 예시
건당 소요 시간 시작·종료 시각을 적거나 타이머 사용 견적서 1건 25분 → 14분
검토·수정 시간 AI 결과물을 고친 시간만 따로 건당 6분
오류 건수 거래처 지적, 재발행 건수 주 3건 → 주 2건
품질 점수 제작 방식과 제작자를 모른 채 5점 척도로 채점 3.6 → 3.9
아낀 시간의 사용처 한 주가 끝날 때 한 줄 메모 미수금 확인 전화에 사용

연구를 한 문장으로 줄이면, AI는 일부 작업을 확실히 빠르게 만들지만 회사 전체를 저절로 빠르게 만들지는 않습니다. 그 차이를 메우는 것은 어떤 일을 맡길지 고르고, 결과를 검토할 단계를 정하고, 아낀 시간이 갈 곳을 설계하는 일입니다. 잰 시간을 돈으로 바꿔 투자 판단까지 하고 싶다면 자동화 ROI 계산법에서 계산 순서를 이어서 볼 수 있습니다.

참고한 자료