了解亚马逊药房如何利用亚马逊 SageMaker 创建基于 LLM 的聊天机器人 机器学习博客

Amazon Pharmacy如何利用Amazon SageMaker构建其基于LLM的聊天机器人

关键要点

在这篇文章中，我们将介绍Amazon Pharmacy如何使用Amazon SageMaker构建其基于大型语言模型LLM的聊天机器人。以下是主要内容：

Amazon Pharmacy是一家完整服务的药房，提供透明的定价、临床和客户支持，以及免费的送货服务。客服代理在快速准确获取药品信息方面扮演着重要角色，包括处方澄清、订单状态、患者档案信息等。然而，代理们在回答客户问题时常常面临挑战，因为医疗流程的多样性和复杂性使得精确查找信息变得困难。找寻信息、进行总结和解释都需要时间，从而影响了对患者服务的响应速度。

为了解决这一问题，Amazon Pharmacy构建了一个生成式AI问答QampA聊天助手，旨在帮助代理们实时进行自然语言信息检索，同时保留与客户的人际互动。这一解决方案符合HIPAA规定，确保客户隐私。此外，代理们会将与机器生成答案相关的反馈提交给Amazon Pharmacy开发团队，以便用于后续模型的改进。

在本文中，我们将详细描述Amazon Pharmacy如何使用AWS AI产品实现其客服代理助手聊天机器人的解决方案，包括利用Amazon SageMaker JumpStart中的基础模型加速开发。我们首先会强调大型语言模型LLM聊天机器人对客服代理整体体验的提升。接下来，我们将解释该解决方案如何使用RAG模式进行实施。最后，我们描述产品架构。本文展示了生成式AI如何在一个复杂且高度受规管的业务中有效整合，从而提升药房患者的客服体验。

基于LLM的QampA聊天机器人

下面的图展示了患者通过聊天联系Amazon Pharmacy客服的流程步骤1。代理使用内部客服用户界面向基于LLM的QampA聊天机器人提问步骤2。客服用户界面将请求发送到托管于AWS Fargate的后台服务步骤3，在这里，通过模型和数据检索过程的组合对查询进行协调，这一过程统称为RAG过程。该过程是基于LLM的聊天机器人解决方案的核心，具体细节将在下一个部分中解释。经过此过程，机器生成的响应将返回给代理，代理在将其反馈给最终客户之前可以先进行审查步骤4。需要强调的是，代理经过培训，需运用判断力，使用基于LLM的聊天机器人作为工具，以便将更多时间投入到与客户的个人互动中。代理们还会根据反馈例如正面或负面对机器生成的回应进行标记。这些反馈随后被Amazon Pharmacy开发团队用于改进解决方案通过微调或数据改善，形成与用户的持续产品开发循环步骤5。

下面的图显示了QampA聊天机器人与代理之间的互动示例。在这个示例中，代理询问了理赔拒绝代码。QampA聊天机器人代理AI助手用清晰的描述回答了问题，并提供了原始文档的链接，方便代理后续跟进。

加速机器学习模型的开发

在前述图表中描绘的聊天机器人工作流中，我们省略了如何训练QampA聊天机器人模型初始版本的细节。为此，Amazon Pharmacy开发团队受益于使用SageMaker JumpStart。SageMaker JumpStart使团队能够快速试验不同模型，进行不同基准和测试，必要时快速失败。快速失败是科学家和开发者实践的一种理念，旨在快速构建尽可能现实的解决方案，并从其中学习以便在下一轮中进行改进。在团队决定模型并进行必要的微调和定制后，他们使用SageMaker托管来部署解决方案。重用SageMaker JumpStart中的基础模型使开发团队能够节省数月的时间，这本来需要从零开始训练模型。

RAG设计模式

解决方案的核心部分是使用检索增强生成RAG设计模式实现QampA解决方案。该模式的第一步是识别一组已知的问题和答案对，这构成了解决方案的初始基础。接下来的步骤是将问题转换为更适合用于相似性和搜索的表示方式，称为嵌入即将高维对象嵌入到低维空间。这一步骤通过嵌入特定的基础模型完成。这些嵌入用作答案的索引，类似于数据库索引将主键映射到行。现在我们准备支持来自客户的新查询。如前所述，客户会将他们的查询发送给代理，而代理再通过聊天机器人进行接口。在QampA聊天机器人中，查询被转换为嵌入，然后用作匹配索引的搜索键如前一步。匹配标准基于相似性模型，例如FAISS或Amazon Open Search Service更多细节请参考Amazon OpenSearch Service的向量数据库功能说明。当出现匹配时，检索到的最佳答案将用作生成模型的提示上下文。这对应于RAG模式的第二步生成步骤。在此步骤中，提示被发送到LLM生成基础模型，该模型组合成最终的机器生成回应，随后通过客服用户界面返回给代理，代理验证答案，如有需要可进行修改后再反馈给患者。以下的图解说明了这一过程。

管理知识库

正如我们对RAG模式的了解，进行QampA的第一步是检索要用作LLM提示上下文的数据问题和答案对。这些数据被称为聊天机器人的知识库。此类数据的示例包括Amazon Pharmacy内部标准操作程序SOPs和Amazon Pharmacy帮助中心中可用的信息。为了便利索引和检索过程如前所述，通常有必要将这些信息收集到一个单一的存储库中，这些信息可能分散在维基、文件和数据库等不同解决方案中。在Amazon Pharmacy聊天机器人的特定情况下，我们使用Amazon Simple Storage ServiceAmazon S3作为存储库，由于其简单性和灵活性。

解决方案概述

下图展示了解决方案架构。客户服务应用和基于LLM的QampA聊天机器人被部署在各自的VPC中以实现网络隔离。AWS PrivateLink保障了VPC端点之间的连接隐私。此外，QampA聊天机器人还拥有独立的AWS账号，以实现角色分离、隔离及便于安全、成本和合规监控。聊天机器人的协调逻辑托管在Fargate与Amazon Elastic Container ServiceAmazon ECS中。为了设置PrivateLink，网络负载均衡器代理请求到应用负载均衡器，该负载均衡器中止最终客户的TLS连接，并将请求交给Fargate处理。主要的存储服务是Amazon S3。如前所述，相关的输入数据导入到QampA聊天机器人的账户中，并持久化存储在S3桶中。

在机器学习ML基础设施方面，Amazon SageMaker位于架构的中心。如前所述，使用了两个模型，嵌入模型和LLM模型，并分别托管在两个独立的SageMaker端点上。通过使用SageMaker的数据捕获功能，我们可以记录所有推断请求和响应，以便用于故障排查，同时遵循必要的隐私和安全约束。接下来，代理的反馈将存储在一个独立的S3桶中。

QampA聊天机器人的设计旨在成为一个多租户解决方案，支持来自Amazon Health Services的其他健康产品，如Amazon Clinic。例如，该解决方案使用CloudFormation模板进行基础设施即代码IaC部署，从而支持不同的知识库。

结论

本文介绍了Amazon Pharmacy生成式AI客户服务改进的技术解决方案。该方案包含一个实施RAG设计模式的问答聊天机器人，构建于SageMaker和SageMaker JumpStart基础模型之上。通过该解决方案，客服代理可以更快地为患者提供精准、信息丰富且简明的答案。

该架构使用模块化微服务，分离知识库准备和加载、聊天机器人指令逻辑、嵌入索引和检索、LLM内容生成以及反馈监控等组件。后者对于持续模型改进尤其重要。SageMaker JumpStart中的基础模型用于快速实验，而模型服务通过SageMaker端点提供。最后，符合HIPAA规定的聊天机器人服务器托管于Fargate上。

总的来说，本文展示了Amazon Pharmacy如何利用生成式AI和AWS提升客户服务，同时强调负责任的人工智能原则与实践。

您可以开始在SageMaker JumpStart中试验基础模型 ，找到适合您用例的基础模型，并开始在SageMaker上构建您的生成式AI应用。

作者介绍

Burak Gozluklu 是位于马萨诸塞州波士顿的首席AI/ML解决方案架构师。他帮助全球客户采用AWS技术，特别是AI/ML解决方案，以实现其商业目标。Burak拥有中东科技大学的航空航天工程博士学位、系统工程硕士学位及麻省理工学院的系统动力学博士后经历。他热爱瑜伽和冥想。

Jangwon Kim 是Amazon Health Store amp Tech的高级应用科学家，专注于大型语言模型LLM、自然语言处理NLP、语音AI与搜索。在加入Amazon Health之前，他曾是Amazon Alexa语音团队的应用科学家，现居洛杉矶。

Alexandre Alves 是Amazon Health Services的高级首席工程师，专注于机器学习、优化与分布式系统。他致力于提供以健康为导向的良好用户体验。

Nirvay Kumar 是Amazon Health Services的高级软件开发工程师，在药房运营内负责架构设计，并且在履行技术领域有多年的经验。他对AI的潜力充满热情，努力工程化解决方案来满足客户真实需求。他在华盛顿的山中远足时寻求灵感，专注设计，力求建立适应客户需求变化的系统。

加载评论