선수지식
AI Agent
AI 에이전트는 그냥 “디지털 직원”이라고 생각하면 된다.
AX
AX는 거창한 개념이라기보다 LLM 같은 코어 모델 위에 실제 서비스/업무에 붙는 응용 레이어 정도라고 보면 된다.
RAG는 새로운 AI가 아니라, 검색으로 필요한 문서를 끌고 와서 LLM에게 함께 제공하는 방식이라 “검색 보강” 정도로 이해하면 좋을것 같다.
거버넌스
거버넌스 = 의사결정 구조 + 규칙/제도 + 역할/책임 + 감시·견제·평가 시스템
컨퍼런스 한 줄 요약
AI Agent, 다들 만든다고는 하는데… 생각보다 일을 잘 못한다.
그래서 기업들은 “뒤처지면 안 돼!” 하면서 돈은 많이 썼는데, 정작 ROI는 애매한 상태.
하루 종일 발표 들으면서 느낀 공통된 메시지는 딱 이거였다.
- 모델 자체는 이미 충분히 좋다.
- 지금 출시한 GPT5가 한번에 수용할 수 있는 컨텍스트는 25만 60천 토큰 (한글 약 25만 6천글자정도..)를 수용할 수 있고 지능은 IQ148정도의 거진 모든 분야의 박사학위가 있는 조수가 됐다.. 이는 예전처럼 파인튜닝을한다던지 파운데이션모델을 어떻게 하고 이럴 필요가 없어진것이다. 이제는 잘 만들어진 파운데이션 모델에 우리가 해결할 문제의 컨텍스트를 잘 정의하여 LLM에 던져주면 웬만한 컨택스트의 문제는 원하는 답을 얻을 수 있게 될것이란 예기가 된다.
- 문제는 ‘어디에, 어떻게’ 붙여서 진짜 돈 버는 구조를 만드느냐
- 그걸 못 해서 다들 반쯤 실패를 경험하고 있다
아래는 발표들을 한 번에 묶어놓고, 내가 이해한 흐름대로 재구성한 정리다.
1. AGI, 특이점 이런 얘기? 당장 우리랑은 거리가 있다
이경전 교수님 이야기에서 인상적이었던 포인트들.
- 지금 LLM은 "유령” 이라고 표현했다.
- 실제 환경과 상호작용해서 스스로 학습하는 동물이 아니라,
- 인간이 만들어둔 문서 데이터 안에서 통계적으로 패턴만 따라 하는 존재.
- 샘 올트먼도 “AGI는 수학적으로 정의도 안 돼 있고, 별로 유용한 용어도 아니다”라고 했다고 인용했다.
- → 결국 AGI, 특이점 논쟁이랑 우리 실무의 디테일한 부분들이 당장은 잘 안 맞는다는 얘기.
이경전 교수님의 핵심 메시지는 이거에 가까웠다.
LLM의 겨울이 오고, AX의 봄이 온다.
지금 중요한 건 “AGI가 언제 오냐”가 아니라 “AX를 어떻게 키워서 시장을 넓히느냐”다.
그리고 GPT-5 컨텍스트가 25만 토큰 수준까지 올라가면서,
- 예전에는 프롬프트 꼼수(프롬프트 엔지니어링)를 고민했다면
- 이제는 “컨텍스트 설계” = “컨텍스트 엔지니어링” 능력이 진짜 경쟁력이라고 못 박았다.
이 말이 은근히 무겁다.
이제 인간은 문제를 직접 해결하는 존재라기보다, 문제를 정의하고 컨텍스트를 설계하는 존재로 재정의되는 중이라는 뜻이 된다. 그렇기 때문에 예전과으 같은 문제해결을 고수하게 되면 절때 AI를 이길수 없을 것으로 생각된다. 문제를 바라보는 시각을 바꿔야 한다는 생각이 들었다.
2. “에이전트 도입하면 다 해결될 줄 알았지?” → 현실은 Fail 케이스 범람
SS&C 블루 프리즘, PwC, Metanet, Workato, 삼성 SDS까지 전부 공통으로 지적한 부분이 하나 있다.
“AI Agent 도입했다고 해서 ROI가 자동으로 나오는 게 아니다.”
요즘 패턴은 오히려 이쪽에 가깝다.
- “우리도 AI 해야지”
- 챗봇/에이전트 하나 급하게 만든다
- 시범 운영해보니
- 답은 그럴듯하지만 할루시네이션
- 리스크 관리 부재
- 고객 입장에서는 실질적인 효용이 크지 않음
- 프로젝트를 조용히 접거나, “PoC만 여러 개” 수준에서 끝
컨퍼런스에서는 실패 이유도 꽤 명확하게 짚어줬다.
- 기술 주도형 혁신
- “안 하면 뒤처질 것 같아서” 시작
- 정작 고객 중심 설계, 비즈니스 목표, 측정 가능한 ROI 정의가 없음
- 리스크/거버넌스 부재
- 허위 판례로 변호사 징계
- 나이가 많다는 이유로 자동 탈락시키던 AI 채용 시스템
- 존재하지 않는 책을 추천해서 언론사 신뢰도에 타격을 준 사례 등
이게 웃기면서도 동시에 진지한 포인트였던 게,
다들 “AI가 세상을 바꿀 것이다”라고 말하면서 정작 “우리가 AI에게 뭘 시킬 건데?”를 제대로 정의하지 않았다는 점이다. 얘기를 듣고 든 생각은 아직 인간은 불을 발견한지얼마 되지 않은 원시인처럼 뭐든지 일단 구워서 먹어보는 것 동굴 인류의 모습이 상상됐다 ㅋㅋㅋ 나의 N력..
3. 그럼 성공하는 쪽은 뭐가 다르냐? → 공통 키워드는 “거버넌스 + 액션 레이어 + 사람”
성공 사례 쪽에서 반복해서 나온 키워드 세 가지가 있다.
1) 구조화된 데이터 + 탄탄한 거버넌스
블루 프리즘 발표에서 특히 강조된 부분.
- “구조화된 데이터 기반 AI 거버넌스”
- 할루시네이션을 최대한 허용하지 않도록 설계하고
- 중간에 사람이 검증(Human-in-the-loop)하는 프로세스를 끼워 넣어서 안정성을 확보
결국,
“AI가 불완전하다는 걸 인정하고,
그 실수를 어떻게 완화할지 설계하는 게 더 현명하다.”
라는 메시지가 핵심이지 않았을까?
2) AI는 메인이 아니라 서브, 인간이 메인
AI에게 모든 걸 맡기려다가 실패한 프로젝트가 너무 많았고,
그래서 아예 관점을 바꿔야 한다고 했다.
- AI가 작성한 문장은 끝이 아니라 초안
- 그 뒤의 후속 프로세스에서 반드시 사람이 검증
- AI는 서포트, 인간이 최종 의사결정자
이 구조가 아니면,
“자동화”라는 이름으로 리스크, 컴플라이언스, 브랜드 신뢰도까지 함께 걸어버리는 상황이 된다는 것.
3) 모델이 아니라 “액션 레이어”가 진짜 핵심
삼성 SDS Brity Automation 이야기가 인상적이었던 이유가 여기 있다.
- 시장에서 AI Agent 성공 사례 비율을 **2.5%**라고 말했는데,
- 다들 에이전트를 만들긴 했지만
- 정작 Action Layer가 부족해서 “대답은 해주는데, 실제로 대신 일을 해주지는 못하는” 상태가 대부분이라는 것.
여기서 말하는 Agent 핵심 레이어는
- Inference Layer: GPT, Claude 같은 LLM
- Action Layer: 고객 시스템 UI, 사내 업무 플로우가 학습된 액션 모델
이를 기업이 자체적으로 구축한다는것은 세계적인 기업이 아니라면 너무 너무 어려운 일이다. 천문학적인 비용, 인력, 시스템, 인프라 너무나 많은것들이 필요하다.
결국,
“Inference만 멋지게 돌린다고 해서 실효성이 생기지 않는다.
진짜 가치는 액션 레이어에서 나온다.”
이 말이 지금 에이전트 시장의 현실을 꽤 정확하게 찌르는 말이라고 느꼈다.
그래서 삼성 SDS는 기존에 잘 하고 있던 RPA시스템안에 Agent를 점목하여 부분 자동화를 하고 생산성을 향상시키는 "실효성"있는 선택을 한점이 인상적이였고 좋은 인사이트를 얻을 수 있었다. 내가 얻은 인사이트중 꽤 큰 비중을 차지한다.
4. 기업들이 공통으로 말한 “우리가 지금 하고 있는 방향 전환”
여러 세션에서 거의 동일하게 나온 방향성이 있었다. 한 문장으로 줄이면 이거다.
“모델 중심 사고에서, 업무/프로세스 중심 사고로 갈아타는 중이다.”
조금 더 풀어보면:
- Metanet Global
- AI를 “툴”이 아니라 리소스로 보고
- 4대 보험 신고, 연말정산 같은 아주 구체적인 업무를 AI Agent로 대체하는 솔루션을 만들고 있다
- 에이전트별 R&R을 명확히 하고, 평가 프로세스를 촘촘하게 설계
- PwC
- 기업들은 처음에 “핵심 업무 혁신”을 기대했지만
- 실제로는 대부분 단순 업무 최적화에 훨씬 많이 쓰고 있다
- 조직의 역할 자체가
- “일을 직접 하는 사람”에서
- “Agent가 잘했는지 학습시키고 검수하는 사람”으로 바뀌는 중
- Workato
- 대부분의 기업은 아직 2단계에 머물러 있다고 진단했다
- 앱 내부 맥락에서 질문에 답하는 단순 에이전트
- 기업 전반 지식/데이터를 검색하는 수준
- 여러 시스템 간 연동을 통해 실제 업무 처리
- E2E로 복잡한 비즈니스 프로세스 수행
- 여러 에이전트가 협업해서 비즈니스 성과 창출
- 진짜 생산성이 나오려면 3~5단계, 즉 엔드투엔드 오케스트레이션까지 가야 한다는 이야기
- 대부분의 기업은 아직 2단계에 머물러 있다고 진단했다
- POSCO / 사내 LLM 사례
- “아이디어 내서 에이전트 만들자”가 아니라
- 실제 사무 작업 중 무엇을 에이전트로 대체할지를 먼저 본다
- 그리고 그걸 안전하게 돌릴 수 있는 사내 플랫폼(자체 LLM)부터 마련
이 흐름을 쭉 듣고 있으니까,
결국 “에이전트 하나 만들어서 멋진 데모 보여주자” 시대는 끝났고,
이제는 “어떤 프로세스를 어떻게 재설계해서, 전체 체인에서 시간을 얼마나 줄일 거냐”로 초점이 옮겨가는 느낌이 강했다.
5. 지금은 ‘에이전트를 빨리 만드는 회사’보다 ‘ROI를 냉정하게 보는 회사’가 유리하다 역시 프로덕트의 핵심은 "고객 중심 설계"의 본질은 영원하지 않을까?!
이번 컨퍼런스에서 내가 얻은 인사이트를 정리하면
- AI Agent 자체는 이미 어느 정도 범용 기술에 가깝다.
- GPT-5급 모델에 MCP나 A2A를 붙이면
- “에이전트 만들었다” 수준은 이제 누구나 할 수 있는 단계에 들어온 것 같다
- ROI를 망치는 핵심 패턴은 네 가지 정도로 보인다.
- 뒤처질까 봐 불안해서 시작한 프로젝트
- 고객/업무 프로세스 분석 없이 “모델부터 먼저” 도입
- 거버넌스/보안/리스크 설계 부재
- 액션 레이어 없이, 그냥 “똑똑한 챗봇” 수준에서 끝나는 PoC
- 그럼에도 불구하고, 방향성은 오히려 더 명확해졌다.
- 거버넌스, 보안, 데이터 품질(특히 정형 + 비정형 통합)
- Human-in-the-loop 기반의 안정성 확보
- 에이전트의 R&R과 평가 프로세스를 촘촘하게 설계
- 그룹 단위 CoE, 플랫폼, 데이터 조직을 중심으로 한 체질 개선
- 이제 사람 역할은 ‘문제 정의자 + 검수자’로 재정의된다.
- 컨텍스트 엔지니어링, 목표 정의, KPI 설계
- 에이전트가 수행한 업무를 검수하고 학습시키는 역할
- “어떤 일을 에이전트에게 넘길지, 어떤 건 인간이 직접 쥐고 있을지”를 구분하는 감각
그래서 결론적으로,
지금 시점에서 “우리도 에이전트 하나 만들어야지”라고 생각하는 회사는 이미 반 박자 늦었다.
“우리 조직의 핵심 프로세스를 어떻게 재설계해서, 어디에 어떤 에이전트를 꽂을지”를 고민하는 회사만이 다음 라운드에서 살아남을 거다.
이번 컨퍼런스는 그런 의미에서,
“AI Agent가 얼마나 대단한지”를 보여주는 자리가 아니라
“AI Agent가 아직 어디가 부족한지, 그리고 그걸 인정한 상태에서 어떻게 현실적으로 써야 하는지”를 공유하는 자리에 더 가까웠던 것 같다.
그리고 이게 오히려 더 건강한 신호라고 본다.
이제서야 비로소 하이프가 걷혀가고, 진짜 ROI 이야기를 시작할 수 있는 시점에 들어온 것 같기 때문이다.
새벽 5시에 일어나서 새벽기차타고 서울로 올라와서 참여했지만 그만큼의 인사이트를 얻어간 것 같아 보람차다.