주식회사 휘강건설

[디지털데일리 이상일기자] “2025년은 AI 에이전트의 해라고 해도 과언이 아닙니다.”

IBM 김현우 과장은 12월 2일 디지털데일리 웨비나 플랫폼 ‘DD튜브’를 통해 진행된 ‘IBM Agentic AI 전략 – AI Agent를 통한 차세대 기업 생산성 혁신’ 세션에서 이같이 말하며, “이미 많은 기업이 생성형 AI를 넘어 AI 에이전트 단계로 관심을 옮기고 있다”고 강조했다.

김 과장은 AI 활용 흐름이 ▲단순 챗봇 ▲어시스턴트 ▲에이전트 ▲멀티 에이전트 순으로 빠르게 고도화되고 있다며, 특히 현업 업무를 ‘능동적으로’ 대신 처리하는 AI 에이전트가 기업 생산성 혁신의 핵심 축으로 부상했다고 설명했다. 그는 “이제는 단순히 내 업무를 돕는 비서 수준을 넘어, 실제로 반복적·단순 업무를 AI가 대신 처리해주는 단계에 와 있다. HR, IT, 구매·조달, 세일즈 등 다양한 부서에서 에이전트 도입을 검토하고 있다”고 전했다.

IBM도 자사 내부에서 먼저 AI 에이전트를 광범위하게 도입한 ‘클라이언트 제로(Client Zero)’ 사례를 구축했다. 김 과장은 IBM이 사내 포털 ‘Ask IBM(에스크 IBM)’을 중심으로 HR, IT, 구매, 인센티브 조회 등 개별 업무를 서브 에이전트로 나누고, 이를 하나의 통합 인터페이스에 묶어 운영하고 있다고 소개했다.

사용자는 ‘Ask IBM’ 채팅창에 자연어로 질문을 입력하면, 메인 에이전트가 발화 의도를 분석해 HR, IT, 구매 등 적절한 서브 에이전트로 라우팅한다. 예를 들어 “올해 쉬는 날이 언제냐”와 같은 질문을 던지면 ERP 시스템과 연계된 에이전트가 연차·공휴일 정보를 조회해 정리된 형태로 제공한다.

복잡한 사내 규정이나 다량의 문서를 일일이 열어보지 않고도, 채팅 인터페이스로 필요한 정보를 빠르게 찾을 수 있다는 설명이다. 김 과장은 “사내 문서는 다 읽어보지 않으면 알기 어려울 정도로 방대하다”며 “에이전트 기반 조회 환경을 통해 직원 경험을 크게 개선하고 있다”고 말했다.

HR 업무에서 빈번하지만 반복적인 경력증명서 발급도 자동화했다. 직원이 “경력증명서를 발급해달라”고 채팅으로 요청하면 HR 직원 개입 없이 에이전트가 발급 프로세스를 수행하고, 사용자가 지정한 이메일로 증명서를 전송한다. 필요 시 ‘휴먼 인 더 루프(Human-in-the-loop)’ 절차를 통해 승인 단계만 사람이 확인하는 구조다.

IT 영역에서도 신규 입사자의 노트북 세팅, 내부망 접속, 계정 생성 등 표준화된 온보딩 작업을 자동화했다. 김 과장은 개인 경험을 들어 “최근 맥북 비밀번호를 잊어버렸을 때 IT 서비스 포털을 찾지 않고 ‘Ask IBM’에 질문해 복원 절차와 복원 키를 안내받아 문제를 해결했다”며 “이처럼 AI 에이전트가 실제 현업 문제 해결에 직접 관여하고 있다”고 말했다.

김 과장은 많은 기업이 “챗봇 하나 만드는 데 며칠이면 충분하다”고 말할 수 있을 정도로 기술 자체는 성숙했지만, 정작 현업에 ‘AX(Agentic Experience) 전환’을 추진하는 과정에서 여러 난관에 부딪히고 있다고 짚었다. 그는 기업들이 공통적으로 겪는 어려움으로 ▲RAG(레그) 기반 문서 검색 한계 ▲비정형·AI 레디 데이터 부족 ▲현업 맞춤형 AX 설계의 난이도 ▲AI 에이전트 거버넌스 부재 등 네 가지를 제시했다.

IBM은 이 같은 과제를 해결하기 위한 통합 AI 플랫폼으로 ‘왓슨엑스(watsonx)’를 제시했다. 왓슨엑스는 ▲watsonx.ai ▲watsonx.data ▲watsonx.governance ▲watsonx Orchestrate(오케스트레이트) 등으로 구성된 포트폴리오로, AI 모델·데이터·거버넌스·에이전트 빌드를 한 번에 다루는 구조다.

김 과장은 “플랫폼 철학의 핵심 키워드는 ‘오픈’”이라며 “특정 LLM이나 클라우드에 기업을 락인(lock-in)하는 것이 아니라, 자체 파인튜닝한 모델이든 타사 모델이든, 온프레미스든 클라우드든 기업이 선택한 환경을 그대로 가져와 에이전트를 구성할 수 있도록 지원한다”고 강조했다.

왓슨엑스는 에이전트 빌드 레이어뿐 아니라 그 아래 AI·데이터·거버넌스 레이어까지 하나의 제품군으로 통합한 것이 특징이다.

watsonx.ai는 데이터 준비, 파운데이션 모델 선택, 프롬프트 실험, 로라(LoRA) 기반 파인튜닝, 평가까지 AI 개발 전 과정을 UI 기반으로 지원한다. ‘프롬프트 랩’ 기능을 통해 다양한 프롬프트 조합과 응답 품질을 비교·검증할 수 있고, ‘튜닝 스튜디오’에서는 파운데이션 모델을 빠르게 파인튜닝해 성능을 확인할 수 있다.

데이터 증강과 RAG 자동화 기능도 제공한다. 인스트럭트랩(Instruction Lab)은 학습 데이터가 부족한 기업을 위해 AI를 활용한 데이터 증강을 지원하며, ‘오토 RAG(Auto-RAG)’는 임베딩 모델 선택, 청킹 전략, 하이퍼파라미터 설정 등을 자동화해 상대적으로 적은 엔지니어링 부담으로도 RAG 파이프라인을 구축하게 한다.

김 과장은 수많은 AI 플랫폼 가운데 IBM 왓슨엑스가 차별화되는 지점으로 ▲온프레미스 지원 ▲개방형 생태계 ▲쉬운 에이전트 개발 ▲강력한 거버넌스를 꼽았다.

그는 “금융·제조처럼 중요 데이터를 외부로 반출하기 어려운 산업에서는 온프레미스 환경이 필수”라며 “watsonx는 온프레미스와 클라우드를 모두 지원하며, 기업이 선택한 인프라 위에서 동일한 아키텍처를 구성할 수 있다”고 말했다.

또 “다른 많은 플랫폼은 ‘우리 LLM을 더 많이 써라’, ‘우리 클라우드를 더 많이 써라’라는 방향성이 강하지만 IBM은 이미 사용 중인 LLM, 에이전트, 협업 툴들을 MCP, A2A 같은 표준 프로토콜을 통해 통합하는 데 초점을 맞추고 있다”고 덧붙였다.

마지막으로 그는 “도메인 전문가들이 노코드 환경에서 자율적으로 에이전트를 만들고, 필요하면 개발자가 ADK로 정교하게 확장할 수 있는 구조, 그리고 그 전체를 watsonx.governance로 모니터링하는 구조가 IBM이 추구하는 그림”이라고 정리했다.