企业AI应用场景与技术分享

 - 所依赖的模型能力不同。
比如： - 基于私有知识的问答需要依赖于向量模型、语义检索。 - 数据分析则需要依赖于大模型的代码生成、Text2SQL等能力。 - 与企业应用集成的Agent需要依赖于模型自身规划与使用API/工具的能力。 

- 对企业自身数据与应用的要求不同。
比如： - 基于私有知识的问答应用很大程度上要依赖企业自身知识管理的完备性。 - 自动化业务流程的Agent则要求企业应用有完备的API接口体系。 - 办公助理Agent需要企业的协同办公平台具有开放的接口或插件支持。 

- 场景的业务流程复杂度不同。
比如： - 简单知识问答形态的Agent几乎不涉及很复杂的业务流程。 - 一次销售/服务Agent的流程中则可能需要和CRM等应用作多次交互。 - 市场研究与分析的Agent则可能需要借助外部平台来获取最新数据。 

- 工程化要求（性能、准确性等）不同。
比如： - 在辅助创作与生成的场景中对大模型输出的容忍度相对更高。 - 在数据分析场景中则要求模型输出结果具有最高的准确性。 - 在应用集成时则要求模型能准确推理工具使用需求并提取输入参数。 基于这些差异性，我们对企业常见的Agent场景做总结，并简单区分其实施成熟度用作参考： 

【使用对象】与AI在企业中产生直接交互的对象可以分成三类： 
一类是直接面向企业的外部客户等服务对象。这类场景下，使用者通过自然语言与AI对话完成任务给出响应。比如在线智能客服、在线咨询等。 
一类是直接面向公司内部使用者，包括企业主、普通员工、管理人员等。同样，使用者通过自然语言UI与AI协作交互并完成任务。比如内部办公助手、交互式数据分析等。 
一类是AI能力嵌入与集成到其他应用之中。在这类场景中，Agent不直接与“人”产生交互，而是由其他企业应用来触发，并借助Prompt完成自动化任务。


AI Agent在企业应用的整体架构
企业中AI Agent的落地通常不是一个独立的简单工具项目（这是与To C的AI的最大区别）。因此，也给现有企业IT的基础设施与架构带来了新的挑战：
- 可能需要部署与连接多种不同规模、能力的AI基础模型
- 必须与企业当前的数据与应用做标准化的、可扩展的集成
- 为了拓展Agent能力，可能需要借助开放API扩展其工具库
- 需要引入新的基础设施，比如向量库用以实现语义检索
- 面临新的大模型设施的运维管理需求

在这个总体架构中的引入的新的关键要素包括：

1. 大模型
包括大语言模型、嵌入模型以及逐渐发展的多模态模型，这些基础模型作为企业的AI基础设施与能力而存在。具体可以分为商业闭源大模型（比如ChatGPT，Gemini，通过API访问）、开源大模型（可以借助Model-hub平台进行部署与API访问，比如Llama）、私有大模型（借助开源模型做微调并私有化部署，首次投入成本较高）。
由于不同Agent对模型能力要求的差异，单个模型很可能无法满足更多场景使用要求，构建一个统一的大模型访问API层，实现多模型统一访问并可灵活切换是有必要的。

2. 数据管理
区分于企业现有应用的生产数据，Agent的独立数据区用于存取Agent管理与运行过程中的各种中间与持久数据，包括结构化与非结构化知识文档、向量数据库、分析数据、消息历史、日志数据等，并提供必需的数据维护与管理工具，如私有知识数据的清洗、向量化、导入导出等。

3. 大模型运维管理
具体来说应该包括LLM以及构建在LLM之上的各类Agent的运维管理，这包括了在应用生命周期不同阶段的管理工作。包括：
- 配置：比如LLM输入的Prompt提示词、外部工具配置、Agent工作流配置、环境配置等。
- 测试：大模型与Agent应用的测试。模型连通性、向量搜索测试、Agent状态测试、Agent性能测试等。
- 评估：由于输出的不确定性，在大模型应用投入生产之前的评估非常重要，借助于一些框架可以对AI输出的准确性、相关性、合规性等做综合评估。
- 部署：对模型与Agent的构建、部署与升级流程做自动化管理的过程。
- 监控：对模型与Agent运行状态与结果进行跟踪监控。包括连通性、响应性能、数据安全性等。还有一个很重要的优化工作，即通过用户反馈搜集与分析来持续优化大模型或者提示工程。

4. Agent智能体
开发框架层：用于大模型应用开发的一系列开源的开发与编排框架、工具与平台。借助于这些工具，可以大大简化上游AI Agent构建的复杂度与工作量，并降低风险。常见的开发框架包括：LangChain、LLmaIndex、AutoGen、SuperAGI等。
AI Agent层：基于开发框架之上构建的真实投入应用的AI Agent。一方面，Agent通过API或代码解释器与内外部应用协作完成任务，另一方面，Agent本身通过API向前后端企业应用开放接口，以嵌入与集成到企业业务流程中，比如你可能需要集成一个AI Agent到企业微信来解答员工或者客户的问题。

我们AI在企业应用中的基础类型包括：
- 创作与生成类AI
- 企业知识类AI
- 数据分析AI
- 应用/工具AI
- Web操作AI
- 自定义流程AI

AI Agent是一个以任务驱动的具备自主能力的智能体，不仅需要大模型这个核心“大脑”，也需要任务规划、记忆与外部工具使用等能力。而我们常看到的个人AI助手大部分是基于预设提示词的大模型问答Bot，在不借助其他插件时，通常不具备工具使用能力。

当前在企业应用中以内容创作生成为主要能力的AI至少有两种：
1、单Agent的内容生成。简单地将大模型的生成能力通过API集成到其他应用与业务流程中，替代或简化原来由人工完成的部分工作。比如：
- 在线培训管理系统中，利用AI自动根据课件创建考题/考卷
- 在数字营销流程中，利用AI生成精确营销话术甚至撰写营销方案
- 市场分析的AI Agent基于互联网搜索或开放数据生成市场分析报告
- 电子商务企业借助AI自动批量生成商品摘要
- 媒体行业通过AI生成新闻摘要；学术平台借助AI生成论文摘要
这种类型的AI助手简单的借助Prompt工程即可实现（与C端个人助手并无本质区别）：

2、基于多Agent协作（可能还有人类）的内容生成。典型的为虚拟机器人软件公司，由AI Agent担任多个软件开发岗位，通过相互协作完成某个软件开发任务。
这种多Agent协作型的助手可以借助Multi-Agents框架来简化开发与实现。比如MetaGPT，可以根据自然语言描述的开发任务，组建Agent团队（PM、架构师、程序员、QA等），遵循SOP并最终输出完整软件开发的成果（文档、代码、API说明等）。其他支持多Agent的开源框架包括微软的AutoGen，xAgents等。

企业知识类AI
当前较为成熟的一种Agent类型。通俗地说，就是在企业应用中，通过“外挂”私有知识库来扩充大模型的知识储备，以提供基于自然语言的、对话式的企业私有知识访问（对应到AI Agent的基本能力之一：持久化记忆），以解决通用大模型在面向企业应用时领域知识不足导致的幻觉问题。
知识助手通常借助于大模型的RAG（检索增强生成）方案来实现，其本质上也是一种提示工程：借助于在大模型输入时携带相关的私有知识上下文，让大模型理解、总结、整理并回答用户问题。只是这里的私有知识上下文需要借助嵌入模型（Embedding Model）、向量数据库（Vector Store）、文档加载分割（Document Loader&Splitter）等相关技术来获得。
基于RAG方案的AI助手实现可以自行通过代码直接实现，当然，为了简化开发与管理过程，推荐使用的工具包括：
- LangChain或者LlamaIndex大模型主流应用开发基础框架。这两个基础框架对大量的模型、文档加载器、向量数据库、嵌入模型等做了抽象封装，并对RAG应用过程中的知识检索、Prompt组装等过程做了简化，可以大大简化开发过程。
- 另一类是具备一定开箱即用能力的RAG应用构建平台。相对基础开发框架来说，提供了更完善的RAG应用构建工具，比如私有知识库的管理维护、测试、对话流程编排、提示词自定义等能力。这里推荐两个项目，一个是基于Langchain构建的Langcahin-Chatchat；另一个是FastGPT，后者有用于商业运营的SaaS应用，可以自行体验。

知识助手的技术实现基础架构如下：

数据分析AI
数据分析与商业智能(BI)在中大型企业的日常运营中的重要性毋庸置疑，无论是简单的财务数据分析，还是复杂的客户与运营数据洞察，都需要借助专业的工具。传统BI工具使用门槛高、过度依赖技术部门、结果产出周期长的问题在AI时代可以借助大模型的能力得以缓解。
基于大模型的数据分析助手（Data Agent）是在企业应用中通过将自然语言转换成数据分析的语言或代码，比如对API的调用、对数据库的访问、甚至编写数据分析代码，来达到获取数据、分析数据与可视化结果的目的。无论是对本地的Excel数据文件分析，或者对数据库中的关系型数据分析，又或者对互联网的非结构化数据分析，当前大模型实现数据分析的技术途径基本以这三种方式为主，自然语言转API、转SQL、以及代码解释器（转代码）。

应用/工具AI
企业应用中的AI助手很多时候需要与现有应用（CRM、OA系统）做集成与交互，以完成某个用户任务或者驱动业务流程。比如：如果你需要AI帮你在协同办公系统中提交一个付款申请，那么你需要调用办公系统的接口；或者你需要借助互联网获得最新某上市公司的财务报告，你需要调用第三方平台的公开接口。这就是AI Agent另一项重要能力：工具使用。
应用助手的基本原理是比较简单的，其复杂性主要体现在大模型对自然语言转API的能力，在实际使用中，其主要体现以下两个方面：
- 能否根据上下文理解，精确匹配到需要使用的API（一个或者多个）
- 能否准确地提取或生成每个API的调用参数
在实际测试中我们发现不同的大模型在这方面的能力是有较大的差异的，而且即使是最优秀的模型，也存在一定的不确定性，比如有时候无法判断出正确的工具。

Web AI
一种类似RPA（机器人流程自动化）的AI智能体。其主要能力是自动化Web网络浏览、操作与探索的动作与过程，以简化web浏览访问与操作。对于个人来说，可以作为个人数字助理，简单对话即可让AI帮你完成Web浏览与操作，比如在线订票。而对于企业来说，则可以作为企业的数字员工，来简化企业日常工作中重复性较高、流程与规则固定、大批量的前端操作性事务。比如批量订单处理、批量客户联络、批量网站抓取等，提高效率，降低错误率。
传统的RPA机器人也是用来完成此类工作的AI形式，由于这种AI机器人工作在软件的最上层即操作层面，好处是流程直观、简单、也可以配置化，且对应用无侵入性；但其缺点是与前端应用耦合性大，每个任务需要根据前端应用界面做精心配置与调试，自适应能力较差。
在大模型出现以后，给这一类RPA智能也带来了新的优化空间。利用大模型的理解与分析推理能力，可以让AI更加智能的规划与分解任务过程，然后借助浏览器完成执行；且在未来可以利用像GPT-4V这样的视觉模型，更智能的理解界面元素与功能，实现完全自主的智能操作，具备更强的自适应能力。当然由于大模型的输出不确定性，当前的Web Agent仍然处于探索实验阶段，具有较大的失败或误操作可能，实际应用中需要根据情况反复测试与评估。

自定义流程AI 
最后一种AI Agent严格来说是上面的几种基础Agent能力的组合。
理想中的AI Agent是在丢给他一个工具包与一些知识以后，借助于大模型的理解、推理能力，完全自主的规划与分解任务，设计任务步骤，并智能的使用各种工具，检索知识，输出内容，完成任务。但是在企业应用中，由于企业知识、应用、业务需求的千差万别，以及大模型自身的不确定性，如果这么做，那么结果很可能是“开盲盒”一样的不可控。所以这也是越来越多的Agents项目要强调可控性的原因，即能够对AI智能体的执行过程与细节进行更多的控制，来让AI按照人类确认过的工作流程来完成任务。

更多的企业AI应用交流请留意AIease.net。