전 세계의 조직이 백엔드, 프런트엔드(고객 대면) 또는 둘 모두에서 생성 AI를 신속하게 평가, 테스트 및 워크플로에 배포하려고 함에 따라 많은 의사 결정자들은 일부 남아 있는 문제에 대해 정당하게 우려하고 있습니다. 그중에는 AI 환각 문제도 있다.
그러나 VentureBeat와 화상 통화 인터뷰를 통해 독점 인터뷰한 Glenen의 CEO이자 공동 창업자인 Ashu Dubey에 따르면 새로운 스타트업인 Glen AI가 갑자기 등장해 “환각을 해결한다”고 주장했습니다.
오늘 Glenen AI는 Slow Ventures, 6th Man Ventures, South Park Commons, Spartan Group 및 전 Facebook/Meta Platforms의 제품 관리 부사장인 Sam Lessin을 포함한 기타 벤처 기업과 엔젤 투자자로부터 490만 달러의 자금 조달 라운드를 발표했습니다. 기업용 환각 방지 데이터 계층 소프트웨어는 처음에는 고객 지원을 제공하기 위해 AI 모델을 구성하는 데 도움을 주는 것을 목표로 합니다.
환각의 문제
ChatGPT, Claude 2, LLaMA 2, Bard 등과 같이 인기 있고 상업적으로 이용 가능한 대형 언어 모델(LLM)과 같은 생성 AI 도구는 다음과 관련된 데이터를 생성하여 인간이 입력한 프롬프트 및 쿼리에 응답하도록 훈련되었습니다. 인간 사용자가 입력한 단어와 아이디어.
그러나 Gen AI 모델이 항상 올바른 결과를 가져오는 것은 아니며, 많은 경우 부정확하거나 관련성이 없지만 모델의 훈련이 이전에 인간 사용자가 말한 것과 관련된 정보를 생성합니다.
최근의 좋은 예 중 하나는 ChatGPT가 “언제 지구가 화성을 가렸습니까?”라고 대답하려는 것입니다. 완전히 부정확하지만 설득력 있게 들리는 설명을 제공합니다(질문의 전제 자체에 결함이 있고 부정확합니다. 지구는 화성을 일식할 수 없습니다).
이러한 부정확한 응답은 때로 유머러스하거나 흥미로울 수 있지만 직원이나 사용자를 위한 정확한 데이터를 생성하기 위해 이에 의존하려는 기업의 경우 결과는 매우 위험할 수 있습니다. 특히 의료 분야에서 규제가 엄격한 생사 정보의 경우 더욱 그렇습니다. 의학, 중공업, 기타.
환각을 예방하기 위해 Glen이 하는 일
Dubey는 “우리가 하는 일은 사용자로부터 LLM으로 데이터를 보낼 때 좋은 답변을 생성할 수 있는 사실을 제공하는 것입니다.”라고 말했습니다. “충분한 사실이 없다고 생각되면 데이터를 LLM에 보내지 않을 것입니다.”
특히 Glenen은 기업 고객이 배포하려는 LLM과 관계없이 독점적인 AI 및 기계 학습(ML) 계층을 만들었습니다.
이 계층은 기업 자체 내부 데이터를 안전하게 선별하여 벡터 데이터베이스로 전환하고, 이 데이터를 사용하여 AI 모델 답변의 품질을 향상시킵니다.
Glen의 레이어는 다음을 수행합니다.
- 도움말 문서, FAQ, 제품 사양, 매뉴얼, 위키, 포럼, 과거 채팅 로그 등 다양한 소스에서 구조화된 기업 지식과 구조화되지 않은 기업 지식을 집계합니다.
- 주요 사실을 선별하고 추출하여 잡음과 중복성을 제거합니다. Dubey는 이를 통해 “잡음에서 신호를 수집할 수 있다”고 말했습니다. (글렌이라는 이름의 유래이기도 합니다.)
- 엔터티 간의 관계를 이해하기 위한 지식 그래프를 구성합니다. 그래프는 주어진 쿼리에 대해 가장 관련성이 높은 사실을 검색하는 데 도움이 됩니다.
- 출력을 제공하기 전에 선별된 사실에 대해 LLM의 응답을 확인합니다. 증거가 부족할 경우 챗봇은 위험 환각 대신 “모른다”고 말할 것입니다.
AI 계층은 최종 사용자에게 전달되기 전에 LLM의 응답을 교차 확인하는 체크포인트 역할을 합니다. 이를 통해 챗봇이 허위 또는 조작된 정보를 제공할 위험을 제거합니다. 이는 챗봇에 대한 품질 관리 관리자를 갖는 것과 같습니다.
Dubey는 “사실이 포괄적이라는 확신이 있을 때만 LLM에 참여합니다.”라고 설명했습니다. “그렇지 않으면 사용자에게 더 많은 정보가 필요하다는 사실을 투명하게 알 수 있습니다.”
또한 Glenen의 소프트웨어를 통해 사용자는 고객을 위한 고객 지원 챗봇을 신속하게 만들고 사용 사례에 따라 “개성”을 조정할 수 있습니다.
Glenen의 솔루션은 AI 모델 지향적이며 API(애플리케이션 프로그래밍 인터페이스) 통합이 있는 여러 주요 모델을 지원할 수 있습니다.
가장 인기 있는 LLM을 원하는 고객을 위해 OpenAI의 GPT-3.5 Turbo 모델을 지원합니다. LLM 호스트 회사로 전송되는 데이터에 대해 우려하는 사람들을 위해 회사의 개인 서버에서 실행되는 LLaMA 2도 지원합니다(OpenAI는 고객이 명시적으로 허용하는 경우를 제외하고 모델 교육을 위해 고객 데이터를 수집하거나 사용하지 않는다고 반복적으로 밝혔습니다). ).
보안에 민감한 일부 고객을 위해 Glenen은 공개 인터넷에 절대 접근하지 않는 독점 LLM을 사용할 수 있는 옵션을 제공합니다. 그러나 Dubey는 LLM 자체가 환각의 원인이 아니라고 믿습니다.
Dubey는 “LLM은 응답을 근거로 삼을 만한 관련 사실이 충분하지 않을 때 환각을 느낄 것입니다.”라고 말했습니다. “저희 정확도 계층은 LLM에 대한 입력을 제어하여 이 문제를 해결합니다.”
초기 피드백은 유망하다
현재 Glenen을 사용하는 고객의 최종 결과는 자신의 Slack에 연결하거나 최종 사용자 대면 지원 에이전트로 표시될 수 있는 맞춤형 챗봇입니다.
Glenen AI는 양자 컴퓨팅, 암호화폐 및 정확성이 가장 중요한 기타 기술 영역에 걸쳐 고객이 이미 사용하고 있습니다.
암호화폐 이더리움을 더욱 기업 친화적으로 만드는 데 전념하는 회사인 Matter Labs의 커뮤니티 지원 담당자인 Estevan Vilar는 “Gleen AI를 구현하는 것은 우리 측에서는 거의 아무런 노력도 하지 않았습니다.”라고 말했습니다. “우리는 링크 몇 개만 제공했고 나머지는 원활하게 진행되었습니다.”
Glenen은 잠재 고객에게 회사 데이터를 사용하여 자신만의 맞춤형 챗봇을 만들 수 있는 무료 “AI 놀이터”를 제공하고 있습니다.
더 많은 회사가 단점을 완화하면서 LLM의 기능을 활용하려고 함에 따라 Glen AI의 정확도 계층은 회사와 고객이 요구하는 정확도 수준으로 생성 AI를 배포할 수 있는 경로를 제공할 수 있습니다.
Dubey는 “우리의 비전은 모든 회사가 자체 독점 지식 그래프를 기반으로 하는 AI 도우미를 갖게 되는 것입니다.”라고 말했습니다. “이 벡터 데이터베이스는 웹사이트만큼 중요한 자산이 되어 전체 고객 라이프사이클에 걸쳐 개인화된 자동화를 가능하게 할 것입니다.”
