Three Building Blocks for Creating AI Virtual Assistants for Customer Service with an NVIDIA AI Blueprint

https://developer.nvidia.com/blog/three-building-blocks-for-creating-ai-virtual-assistants-for-customer-service-with-an-nvidia-nim-agent-blueprint/

Three Building Blocks for Creating AI Virtual Assistants for Customer Service with an NVIDIA AI Blueprint | NVIDIA Technical Blo

 

요약

NVIDIA AI Blueprint와 다양한 파트너사 솔루션은 기업들이 AI 가상 비서를 구축하고 이를 프로덕션 환경에서 효율적으로 활용할 수 있도록 지원합니다. 이 솔루션은 RAG(검색 증강 생성), 대형 언어 모델(LLM), 그리고 NVIDIA의 NIM 마이크로서비스를 활용하여 더 인간적인 상호작용과 개인화된 서비스를 제공합니다.

 

AI 가상 비서는 데이터 수집, AI 에이전트, 운영 파이프라인의 세 가지 핵심 구성 요소로 이루어져 있으며, 기업이 기존 데이터와 시스템을 활용해 고객 경험을 혁신하도록 설계되었습니다. NVIDIA와 파트너사(Accenture, Deloitte, Wipro, Tech Mahindra, Infosys, TCS 등)는 다양한 산업과 사용 사례에 맞는 맞춤형 솔루션을 제공하며, 생성형 AI 기술을 활용해 고객 서비스의 품질과 운영 효율성을 크게 향상시킵니다.

 

NVIDIA의 기술과 파트너 솔루션은 민감한 데이터 보안을 준수하며, 다양한 산업에서 활용 가능한 디지털 휴먼, 대화형 에이전트, 분석 서비스 등을 포함하여 빠르고 정확한 고객 응대와 비즈니스 효율성을 극대화합니다.

 

NVIDIA API 카탈로그 및 GitHub에서 제공되는 블루프린트를 통해 AI 가상 비서를 손쉽게 시작하고 확장할 수 있습니다.

 

오늘날의 빠르게 변화하는 비즈니스 환경에서 탁월한 고객 서비스를 제공하는 것은 더 이상 선택이 아닌 필수입니다. 기술적 문제 해결, 청구 관련 문의 처리, 서비스 업데이트 제공 등 어떤 상황에서든 고객들은 빠르고 정확하며 개인화된 응답을 원합니다. 그러나 이러한 수준의 서비스를 제공하는 것은 상당한 도전 과제를 수반합니다.

 

기존 접근 방식, 예를 들어 정적인 스크립트나 수동 프로세스는 실시간 지원이나 개인화된 서비스를 제공하는 데 있어 한계를 드러냅니다. 게다가 많은 고객 서비스 운영은 민감하고 분산된 데이터를 기반으로 이루어지며, 이는 엄격한 데이터 거버넌스와 개인정보 보호 규정을 준수해야 합니다. 생성형 AI의 부상과 함께, 기업들은 운영 효율성을 향상시키고 비용을 절감하며 ROI(투자 대비 수익)를 극대화하여 고객 서비스를 혁신하고자 합니다.

 

기존 시스템에 AI를 통합하는 과정에서 투명성, 정확성, 보안과 관련된 문제들이 발생할 수 있으며, 이는 도입을 방해하고 워크플로우에 지장을 줄 수 있습니다. 이러한 문제를 해결하기 위해 기업들은 생성형 AI 기반 가상 비서를 활용하여 다양한 작업을 관리하고 응답 시간을 단축하며 리소스를 효율적으로 사용하고 있습니다.

 

이 글에서는 개발자가 NVIDIA AI Blueprint를 활용하여 생성형 AI로 가상 비서를 구축하고 운영을 확장하는 방법을 설명합니다. 샘플 코드와 같은 자료를 통해 기업은 뛰어난 고객 서비스에 대한 요구를 충족시키는 동시에 데이터 무결성과 거버넌스를 보장할 수 있습니다. 기존 시스템을 개선하거나 새로운 시스템을 구축하는 데 있어, 이 블루프린트는 효율적이고 의미 있는 고객 상호작용을 가능하게 하여 팀이 고객의 요구를 충족하도록 지원합니다.

 

검색 증강 생성(Retrieval-Augmented Generation, RAG)을 활용한 더 스마트한 AI 가상 비서 구축

AI 가상 비서를 개발할 때는 고유한 사용 사례 요구사항, 조직의 지식, 그리고 비즈니스 니즈에 맞추는 것이 중요합니다. 그러나 기존의 챗봇은 경직된 프레임워크와 구식 방법에 의존하는 경우가 많아, 현대 고객 서비스 환경의 변화하는 요구를 충족시키기 어렵습니다.

 

모든 산업 분야에서 AI 기반 비서는 혁신적인 변화를 가져올 수 있습니다. 예를 들어, 통신사와 대부분의 소매 및 서비스 제공업체는 AI 가상 비서를 활용하여 24/7 지원을 제공하고, 다국어로 다양한 고객 문의를 처리하며, 문제 해결 및 계정 관리를 간소화하는 역동적이고 개인화된 상호작용을 제공함으로써 고객 경험을 향상시킬 수 있습니다. 이를 통해 대기 시간을 줄이고 다양한 고객 요구사항에 대해 일관된 서비스를 제공할 수 있습니다.

 

또 다른 예로, 의료보험 산업에서는 긍정적인 회원 경험을 보장하는 것이 중요합니다. 가상 비서는 회원들에게 개인화된 지원을 제공하여 보험 청구, 보장 문의, 혜택 및 결제 문제를 해결하면서도 의료 규정을 준수할 수 있도록 돕습니다. 이는 의료 종사자들의 행정적 부담을 줄이는 데도 기여합니다.

 

NVIDIA AI 플랫폼을 활용한 RAG 기반 AI 쿼리 엔진
NVIDIA AI 플랫폼은 검색 증강 생성(RAG)을 활용하여 AI 애플리케이션과 기업 데이터를 연결하는 AI 쿼리 엔진을 구축할 수 있게 합니다. NVIDIA의 AI 가상 비서 블루프린트는 개발자가 고객 경험을 향상시키는 솔루션을 빠르게 구축할 수 있도록 지원하며, 다음과 같은 NVIDIA NIM 마이크로서비스를 활용합니다.

• NVIDIA NIM for LLM: 최신 대형 언어 모델(LLM)의 강력한 성능을 애플리케이션에 제공하여 효율적인 자연어 처리 능력을 구현합니다.
• Llama 3.1 70B Instruct NIM: 우수한 맥락 이해, 추론, 텍스트 생성 기능으로 복잡한 대화를 지원합니다.
• NVIDIA NeMo Retriever NIM: 검색 증강 생성(RAG) 파이프라인을 구축하는 데 필요한 최신 모델들을 쉽게 사용할 수 있는 도구 모음입니다. 이를 통해 기업 데이터를 신속하고 정확하게 접근할 수 있어 조직의 지식을 활용한 확장 가능한 답변을 제공합니다.
• NeMo Retriever Embedding NIM: 고품질의 임베딩을 생성하여 텍스트 기반 질문-응답 검색 성능을 향상시킵니다.
• NeMo Retriever Reranking NIM: 재랭킹을 통해 검색 성능을 더욱 강화하여, LLM에 쿼리할 때 가장 관련성 높은 문서를 문맥으로 제공합니다.

기존 시스템과의 원활한 통합
이 블루프린트는 정보 보안 규정을 준수하면서 기존 고객 서비스 애플리케이션과 원활하게 통합되도록 설계되었습니다. NVIDIA NIM의 이동성 덕분에 데이터가 어디에 저장되어 있든 쉽게 통합할 수 있습니다. 생성형 AI를 데이터와 결합함으로써, 이 아키텍처는 고객의 고유 프로필, 사용자 상호작용 기록, 기타 관련 데이터를 활용하여 더욱 개인화된 경험을 제공합니다.

 

기업 맞춤형 확장 가능성
블루프린트는 기업의 고유한 사용 사례에 맞게 커스터마이징할 수 있는 출발점입니다. 예를 들어, Nemotron 4 Hindi 4B Instruct와 같은 다른 NIM 마이크로서비스를 통합하여 AI 가상 비서가 현지 언어로 소통할 수 있게 하거나, 합성 데이터 생성 및 모델 미세 조정을 통해 특정 요구사항에 더 잘 부합하도록 기능을 확장할 수 있습니다. 또한, Digital Human AI Blueprint와 연결하여 인간과 유사한 인터페이스를 제공할 수도 있습니다.

 

RAG 백엔드 및 데이터 활용
기업 데이터와 사용자 프로필 데이터를 활용한 RAG 백엔드를 구현함으로써, AI 가상 비서는 각 고객의 필요에 실시간으로 맞춘 고도로 맥락적인 대화를 진행할 수 있습니다. 이와 동시에 기존 거버넌스 프레임워크 내에서 안전하게 운영되어, 민감한 데이터를 처리할 때도 개인정보 보호 및 보안 프로토콜을 준수합니다.

 

AI 가상 비서 구축을 위한 세 가지 핵심 구성 요소

개발자로서, 가장 관련성 높고 최신 정보를 실시간으로 검색하며 점점 더 인간에 가까운 응답을 제공하는 AI 가상 비서를 직접 구축할 수 있습니다.

그림 1은 NVIDIA AI Blueprint를 기반으로 한 AI 가상 비서의 아키텍처 다이어그램을 보여주며, 세 가지 주요 기능 구성 요소를 포함합니다.

 

1. 데이터 수집 및 검색 파이프라인

데이터 수집 파이프라인은 구조화된 데이터와 비구조화된 데이터를 데이터베이스에 로드하기 위한 프로세스입니다.

• 구조화된 데이터: 고객 프로필, 주문 기록, 주문 상태 등
• 비구조화된 데이터: 제품 매뉴얼, 제품 카탈로그, FAQ 문서 등

파이프라인 관리자는 이 데이터를 데이터베이스에 로드하여 검색 가능한 상태로 만듭니다.

 

2. AI 에이전트

AI 가상 비서의 두 번째 구성 요소는 AI 에이전트입니다.

• 사용자는 **사용자 인터페이스(UI)**를 통해 가상 비서와 상호작용합니다.
• LangGraph 에이전트 LLM 프로그래밍 프레임워크로 구현된 AI 에이전트는 복잡한 고객 문의를 해결하기 위한 계획을 세우고 재귀적으로 문제를 해결합니다.
• 이 에이전트는 Llama 3.1 70B Instruct NIM의 도구 호출 기능을 사용하여 구조화된 데이터와 비구조화된 데이터 소스에서 정보를 검색한 후 정확한 응답을 생성합니다.

AI 에이전트는 다음과 같은 기능도 제공합니다:

• 단기 및 장기 메모리: 다중 턴 대화의 기록을 유지하여 더 인간적인 상호작용을 가능하게 합니다.
• 맥락 유지: 대화 중 질의와 응답을 임베딩하여 나중에 추가 문맥으로 사용할 수 있습니다. 이를 통해 사용자가 같은 정보를 반복할 필요가 없습니다.
• 대화 요약 및 감정 분석: 대화 종료 시, 대화 내용을 요약하고 감정을 분석하여 기록합니다. 이는 이후 동일 사용자의 대화에서 추가 문맥으로 활용될 수 있습니다. 대화 요약과 히스토리 기록은 통화 시간을 단축하고 고객 경험을 향상시킵니다.

3. 운영 파이프라인

세 번째 구성 요소는 운영 파이프라인으로, 고객 서비스 운영자에게 중요한 정보와 통찰력을 제공합니다.

• 관리자는 운영 파이프라인을 사용해 대화 기록, 사용자 피드백, 감정 분석 데이터, 통화 요약 등을 검토할 수 있습니다.
• 분석 마이크로서비스는 Llama 3.1 70B Instruct NIM을 활용하여 평균 통화 시간, 해결 시간, 고객 만족도와 같은 분석 데이터를 생성합니다.
• 생성된 분석 데이터는 사용자 피드백으로 활용되어 LLM 모델 재학습에 사용되며, 모델의 정확성을 지속적으로 개선합니다.

NVIDIA AI Blueprint GitHub에서 시작하기

NVIDIA AI Blueprint GitHub 리포지토리에서 이 블루프린트를 사용하여 시작하는 전체 예제를 확인할 수 있습니다.

 

NVIDIA 파트너와 함께 프로덕션으로 이동하기

NVIDIA 컨설팅 파트너들은 NVIDIA 가속 컴퓨팅과 NVIDIA AI Enterprise 소프트웨어를 기반으로 구축된 세계적인 수준의 AI 가상 비서를 기업이 도입할 수 있도록 지원합니다. 이 소프트웨어에는 NeMo, NIM 마이크로서비스, AI Blueprints가 포함됩니다.

---

Accenture

Accenture의 AI Refinery, NVIDIA AI Foundry를 기반으로 설계되어 자율적이고 의도 중심의 고객 상호작용을 설계합니다. 이를 통해 디지털 휴먼이나 인터랙션 에이전트와 같은 혁신적인 채널을 통해 고객 여정을 개인화할 수 있습니다.

• 사용 사례 예시: 통신사 콜센터, 보험 정책 상담사, 제약사 상호작용 에이전트, 자동차 딜러 네트워크 에이전트 등

---

Deloitte

Deloitte Frontline AI는 NVIDIA AI Blueprints를 기반으로 NVIDIA ACE, NVIDIA Omniverse, NVIDIA Riva 및 NIM을 활용해 구축된 디지털 아바타와 LLM 에이전트를 통해 고객 서비스 경험을 향상시킵니다.

---

Wipro

Wipro Enterprise Generative AI (WeGA) Studio는 헬스케어, 금융 서비스, 소매 등 다양한 산업에 특화된 컨택트 센터 에이전트 사용 사례를 가속화합니다.

---

Tech Mahindra

Tech Mahindra는 NVIDIA AI Blueprint를 활용하여 디지털 휴먼 기반 고객 서비스 솔루션을 구축합니다.

• 주요 기능: RAG와 NVIDIA NeMo를 사용하여 실시간 대화 중 훈련생이 손을 들어 질문을 중단할 수 있는 기능 제공
• 적용 분야: 백엔드 마이크로서비스와 학습 관리 시스템(LMS)과의 통합을 통해 다양한 산업에서 활용 가능

---

Infosys

Infosys Cortex(Infosys Topaz의 일부)는 NVIDIA NeMo, Riva, ACE 기술을 통합하여 생성형 AI, 음성 AI, 디지털 휴먼 기능을 제공합니다. 이를 통해 고객 서비스 조직에 개인화되고 능동적인 지원을 제공하며, 고객 경험 향상, 운영 효율성 개선, 비용 절감을 지원합니다.

---

Tata Consultancy Services (TCS)

TCS 가상 에이전트는 NVIDIA NIM과 ServiceNow의 IT 가상 에이전트가 통합되어 IT 및 HR 지원을 최적화합니다.

• 기능: 프롬프트 튜닝과 RAG를 활용해 응답 시간 및 정확성을 개선하고 다중 턴 대화 기능 제공
• 이점: 서비스 데스크 비용 절감, 티켓 감소, 지식 활용 극대화, 빠른 배포

---

Quantiphi

Quantiphi는 NVIDIA AI Blueprints를 자사의 대화형 AI 솔루션에 통합하여 더욱 현실감 있는 디지털 아바타를 제공합니다.

• 기술 스택: NVIDIA Tokkio, ACE, NeMo, NIM 마이크로서비스 활용
• 효과: 디지털 아바타 워크플로우에 최적화된 NIM 배포를 통해 비용 절감

---

SoftServe

SoftServe의 Digital Concierge는 NVIDIA ACE, Riva, Audio2Face NIM 마이크로서비스를 활용해 매우 현실감 있는 가상 비서를 제공합니다.

• 주요 특징: 대화 맥락을 활용한 지능적인 응답 생성, 고객 질문에 명확하고 구체적인 답변 제공

---

EXL

EXL Smart Agent Assist는 NVIDIA Riva, NeMo, NIM 마이크로서비스를 활용한 컨택트 센터 AI 솔루션입니다. NVIDIA AI Blueprint를 활용하여 솔루션을 확장할 계획입니다.

---

인도 NVIDIA AI Summit 협업

이번 주 인도에서 열린 NVIDIA AI Summit에서는 NVIDIA 컨설팅 파트너들이 협업하여 인도를 AI 전면 기지로 전환하는 계획을 발표했습니다.

• NVIDIA 기술을 활용해 기업들이 선호하는 AI 모델(예: 인도 기반 주권 LLM)을 사용하여 고유한 가상 비서를 구축하고, 원하는 인프라에서 효율적으로 운영할 수 있도록 지원합니다.

---

시작하기

1. 무료 블루프린트를 사용해 보거나 시스템 요구사항을 확인하려면 Blueprint Card를 방문하세요.
2. NIM 마이크로서비스를 활용해 애플리케이션을 구축하려면 NVIDIA API 카탈로그를 방문하세요.
   • 로그인 시 개인 또는 비즈니스 이메일 주소를 입력해야 합니다.
   • 더 많은 정보는 NVIDIA NIM FAQ에서 확인할 수 있습니다.

---

관련 리소스

• GTC 세션: 은행 부문을 위한 안전하고 효율적인 가상 비서
• GTC 세션: 생성형 AI의 과제와 가능성 탐색: NVIDIA의 엔터프라이즈 배포 통찰
• NGC 컨테이너: 소매 쇼핑 어드바이저 챗봇 서비스
• NGC 컨테이너: 소매 쇼핑 어드바이저 프론트엔드 서비스
• 웨비나: 금융 서비스 컨택트 센터를 위한 AI 음성 지원 가상 비서 구축 및 배포 방법
• 웨비나: 대화형 AI로 텔코 고객 경험 혁신하기