Alice AI 新代理的内部运作机制:它如何选择工具、使用通话和网站的结果、管理文件以及记住过去的任务——同时让您保持控制。

“ Do it!”是Alice AI推出的全新个人助手,可以帮你完成多步骤任务。它可以帮你电话预约医生,将你邮件中的票务和预订信息整理到Yandex Disk的单个文件夹中,等等。这款助手能够自动计算步骤,在云浏览器中浏览网站,连接各种服务,并处理文档。在执行重要操作之前,它会征求你的同意。
“Do it!”背后是一个协调人工智能模型、专用代理和工具的平台,它们协同完成任务。该平台允许助手将信息从一个步骤传递到下一个步骤,利用电话和浏览器会话的结果,并检查自身的工作。以下是我们如何设计该系统以及它的工作原理。
我们正在逐步推出“Do it!”功能,首先面向数千名最活跃的Alice AI聊天用户(他们拥有Alice Plus会员资格)。之后,所有订阅用户都可以使用该智能助手。
一项任务,多种工具
Do it!的核心是一个由大型语言模型驱动的单一协调代理。它负责选择使用哪些工具、处理处理结果并决定下一步操作。当任务需要浏览网站或拨打电话时,主代理会将这些工作委托给专门的代理,并利用它们的分析结果来指导后续步骤。任务的不同部分可以并行运行。

插件通过连接外部服务来扩展Do it!的功能。每个插件都提供使用特定服务所需的工具和指令。连接合适的插件后,您可以让客服人员帮您准备晚餐的食材,或者订购一束特定的鲜花。
为了提高效率,代理会根据插件的简短描述进行选择,仅在需要时才加载其详细说明。这样可以避免模型上下文中包含无关的指令。
您还可以使用模型上下文协议 (MCP) 为Do it!扩展自定义集成功能。MCP 是一种标准,允许 AI 助手与外部工具和数据进行交互。您可以连接现有的 MCP 服务器或构建自己的服务器,从而让代理访问其他服务的功能。可用的操作取决于服务器支持的功能以及您授予的权限。例如,GitHub提供了一个官方的 MCP 服务器,允许代理处理代码库、问题和拉取请求。
《Do it!》背后的模特
从规划下一步操作到浏览网站、接听电话和生成图像,“ Do it!”应用运用了多种人工智能模型。其中一些模型由Yandex自主研发,另一些则是部署在我们基础设施上的开源模型。我们之前在关于Alice AI专家模式的文章中探讨过这种方法。
我们设计的这套系统允许我们在不重建整个系统的情况下更换模型。随着新模型的出现,我们会对其进行测试,并在发现质量或效率提升时替换现有模型。目前,由 Yandex 开发的模型为浏览器和手机代理以及图像生成提供支持。
浏览网站和拨打电话
当任务涉及浏览网站或填写表单时,“Do it!”会将其委托给浏览器代理。该代理会分析屏幕截图、识别页面元素、点击按钮并输入信息。这使得它即使在没有专门集成的网站上也能正常工作。它通过运行在远程服务器上的个人Yandex浏览器实例来运行。您可以通过聊天窗口跟踪其进度,随时接管控制权,并在准备就绪后将其交还给代理。
有些任务需要通过电话完成。为了处理这些任务,调度器可以将通话委托给专门的电话客服人员。例如,它可以致电医生诊所查询空位并预约就诊。通话过程中,Yandex 的语音识别和合成模型能够让客服人员理解对方的讲话内容并实时做出回应。通话记录会显示在聊天窗口中,同时主客服人员会收到通话结果,并据此决定下一步操作。您必须授权通话并确认预约。
处理文件并检查结果
每个“ Do it!”用户都会获得一台独立的虚拟计算机,代理程序可以在其中访问网站、拨打电话和处理文件。它会将源材料和中间结果存储在自己的文件系统中。对于涉及计算、电子表格或文件转换的任务,代理程序还可以在专用的执行环境中编写和运行代码,然后在后续步骤中使用结果。
该代理还可以使用视觉模型对工作成果进行可视化检查。它可以查看最终文档,发现格式错误,并识别需要修改的地方,从而以另一种方式检验工作结果。
重复性任务和长期记忆
您还可以给“Do it!”设置重复性任务。例如,让它每周五准备一份精选资料的摘要,它会自动安排时间。为了确保每次都能满足您的要求,您可以将这些要求保存为一项技能——这是一套可重复使用的指令,涵盖了信息查找位置、内容包含以及交付结果前需要检查的事项。此外,该智能体还可以建议您定期分配的任务的日程安排。
文档和笔记在运行间隙仍然可用,这使得智能体可以重新访问之前的摘要并将其与新信息进行比较。持久文件系统将这些资料与智能体的内存一起存储——这些记录可供智能体读取和更新。您可以让助手记住您的规则和偏好,并将其应用于未来的任务。智能体会在需要时检索相关信息,而不是一次性将存储的所有内容加载到模型上下文中。
接下来会发生什么?
展望未来,我们希望“动手吧!”能在空闲时间(例如夜间)从过去的任务中学习。智能体会回顾哪些方法奏效,哪些地方遇到了问题,以及未来如何以不同的方式处理类似任务。然后,它会将有用的经验保存到内存中,并在未来的任务中加以利用。我们将这个过程称为“梦境”。
最终,同样的流程也能帮助Do it!提升自身的技能和插件。通过识别反复出现的问题,代理程序可以开发修复方案,并在正式投入使用前进行测试。