범용 AI는 죽었다 깨어나도 우리 조직을 알 수 없다
“억 단위 예산을 들여 구축한 AI의 사용 로그를 보니 제일 많은 질문이 구내식당 메뉴였습니다.”
일찍이 AX(AI Transformation, AI 전환)를 추진했던 한 C-Level의 고백이다. 사내 규정집과 매뉴얼 수천 건을 RAG(검색 증강 생성) 기술로 연결하고 글로벌 최고 수준의 범용 AI 모델까지 붙였다. 오픈하는 순간만큼은 우리 회사의 모든 것을 아는 AI가 탄생한 듯했다. 하지만 이 챗봇이 외면받기까지 걸린 시간은 단 일주일.
이유는 간단했다. 문서만 연결한 AI는 끊임없이 변하는 우리 조직의 오늘을 단 하나도 모르기 때문이다. 조직은 고정된 데이터베이스가 아니라 매일 흐르는 강물에 가깝다. 회사 이름은 그대로여도 사람과 조직, 근무 상태와 업무는 매 순간 바뀐다.
사내 규정 100만 자 연결한 AI, 바보 되는 순간
조직 지능(Corporate Brain) 도입을 위해 우리와 마주한 기업들을 보면 고민의 모양이 제각각이었다. 어떤 기업은 해외지사 간 협업에 막혔고, 어떤 기업은 잦은 조직개편 때문에 AI의 오답이 잦았으며, 또 다른 기업은 흩어진 데이터를 제대로 활용하지 못하고 있었다. 하지만 문제를 끝까지 파고들면 뿌리는 같았다. AI가 우리 회사에 대한 정보는 알고 있어도 지금 우리 조직의 상태는 모르고 있다는 거다.
해외지사를 여럿 둔 대형 기업 H사의 현장이 대표적이다. H사 역시 범용 AI에 사내 지식과 규정을 연결한 형태의 AI 챗봇을 구축해 사용하고 있었다. 영업팀 김 과장이 해외 출장을 앞두고 AI에 물었다.
김 과장: “나 다음 주 베트남 출장 가는데 숙박비 한도 얼마지?”
AI: “출장 관리 규정 제14조에 따라 베트남 숙박비 한도는 일 120달러입니다.”
여기까진 그럴듯해 보인다. 하지만 현장에 진짜 필요한 정보는 정적인 규정집 텍스트가 아니다. “베트남 간 최 이사님은 언제 돌아오지?”, “인도네시아 파견 간 박 팀장이랑 오늘 화상 미팅 잡아도 되나?” 문서만 연결한 AI는 이런 질문부터 정확한 답을 내놓기 어려워진다. 규정집에는 ‘지금 이 순간 나와 동료가 함께 일할 수 있는 실시간 맥락’이 없기 때문이다. 김 과장은 다시 메신저를 켜고 담당자를 찾는다. “박 대리님, 최 이사님 미팅 언제 가능해요?” AI 도입 전과 업무 방식은 하나도 달라지지 않았다.
유통기한 지난 재료로 사용하는 AI
번거로움과 비효율은 그나마 양반이다. 더 위험한 건 AI가 항상 “모르는 걸 모른다”고 답해주지 않는다는 거다. 지난달까지 박 팀장이 서울에서 근무했다는 과거 정보를 끌어와 지금도 서울에 있는 듯 그럴싸한 답을 만들어낼 수 있다. AI는 주어진 재료로 어떻게든 한 상을 차리기 때문이다.
문제는 그 재료가 신선한지, 이미 유통기한이 지난 정보인지까지 제대로 가려내지 못한다는 데 있다. 조직의 실시간 맥락이 빠지는 순간 그럴듯한 답은 오히려 업무 현장을 더 크게 교란한다.
플렉스가 이 문제를 풀기 위해 가장 먼저 한 일은 AI에게 데이터의 유통기한을 알려주는 것이었다. 더 정확하게는 ‘시간의 흐름’이다. 쉽게 말해 기존 시스템이 조직의 현재를 나타내는 ‘주민등록등본’만 들고 있었다면 그간의 변화 이력까지 남아 있는 ‘주민등록초본’을 만드는 방식이다.
팀 이동, 해외 파견, 복귀까지 이어지는 흐름을 남기면 AI는 ‘박 팀장이 지금 어디에 있는지’뿐 아니라 ‘다음 주 수요일에는 어떤 상태인지’까지 읽어낼 수 있다. 그 차이는 실제 업무 현장에서 더욱 선명해진다.
‘조직을 제대로 아는 AI’ 이렇게 답한다
가령 H사에서는 매달 C-Level 월간보고가 끝난 뒤 보고에서 나온 결정사항을 실행에 옮기기 위해 관련 실무 조직장들이 후속 미팅을 연다. 이번 달 동남아 사업 후속 미팅은 더 복잡했다. 참석자들이 베트남·인도네시아·일본에 흩어져 있었고 전날 조직개편으로 담당 조직장까지 바뀐다.
김 과장: “화요일 C-Level 월간보고 끝난 뒤 동남아 사업 후속 미팅 잡아줘. 관련 조직장들이 모두 참석할 수 있는 가장 빠른 시간이 언제야?”
조직 지능 기반 AI: “최 이사님은 화요일 밤 베트남에서 귀국하고 박 팀장님은 수요일 인도네시아 현지 공휴일로 휴무입니다. 김 본부장님은 수요일까지 일본 출장 중이며 조직개편으로 새 담당 조직장은 목요일부터 발령이 적용됩니다. 관련 조직장들이 모두 참석 가능한 가장 빠른 시간은 목요일 오후 3시입니다. 미팅을 생성할까요?”
기존 방식으로는 어떨까. 김 과장이 담당자에게 요청을 남기면 담당자는 다시 다른 여러 담당자들과 메신저 핑퐁을 주고받아야 한다. 조직개편과 발령일, 출장 일정과 현지 공휴일까지 하나씩 확인하는 동안 정작 중요한 후속 실행은 시작도 못한 채 밀린다. 반면 조직 지능 기반 AI는 이 흩어진 변화를 특정 시점의 조직 상태로 맞춰 한 번에 답한다. 사람과 사람 사이에 갇혀 지체되던 병목이 하나의 질문으로 끝난다.
‘조직 지능’의 출발점: 조직과 같은 시간을 사는 AI
H사의 사례가 보여준 조건은 명확하다. AI가 조직을 알려면 먼저 조직과 같은 시간을 살아야 한다.
클로드, 제미나이, 챗GPT와 같은 범용 AI 모델이 아무리 똑똑해져도 오늘 아침 일어난 조직개편을 스스로 알 수는 없다. 세상의 모든 지식을 학습해도 다음 주 수요일 박 팀장의 근무 상태까지 저절로 알게 되지는 않는다. AI의 지능 문제가 아니다. 기업이라는 유기체를 살아 있는 상태 그대로 AI에게 전달할 수 있는 구조가 있느냐의 문제다. 범용 AI가 죽었다 깨어나도 우리 조직을 알 수 없는 이유다.
결국 기업용 AI를 평가하는 기준은 하나의 질문으로 수렴한다. “이 AI가 알고 있는 우리 회사는 도대체 언제의 회사인가?” 언뜻 사소한 물음처럼 보이지만 이 질문이 앞으로 기업용 AI의 수준을 가늠하는 중요한 척도가 되리라 본다. ‘조직 지능’은 바로 여기서 시작한다. 끊임없이 변하는 조직과 같은 시간을 살아가는 AI를 만드는 것.
플렉스팀 김태은 CAIO