0 课程背景
- Lagent & AgentLego 智能体应用搭建
- InternLM/Tutorial
- 主讲人：Lagent&AgentLego核心贡献者，樊奇
本节课主要介绍了什么是智能体（agent）和Lagent&AgentLego的使用方法。
1 课程笔记
首先介绍什么是智能体
- 智能体的相关论文
Lagent
- Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
- 特性
- 流式输出：提供
stream_chat接口作流式输出，本地就能演示酷炫的流式 Demo。 - 接口统一，设计全面升级，提升拓展性，包括
- Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
- Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
- Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
- 文档全面升级，API 文档全覆盖。
- 流式输出：提供
AgentLego：是一个开源的多功能工具 API 库，用于扩展和增强基于大型语言模型（LLM）的智能体（Agent），具有以下突出特点：
- 丰富的多模态扩展工具集，包括视觉感知、图像生成和编辑、语音处理和视觉语言推理等。
- 灵活的工具接口，允许用户轻松扩展具有任意类型参数和输出的自定义工具。
- 与基于LLM的代理程序框架轻松集成，如 LangChain、Transformers Agent、Lagent。
- 支持部署工具服务和远程访问，这对于需要大型机器学习模型（例如 ViT）或特殊环境（例如 GPU 和 CUDA）的工具特别有用。
2 基础作业
Lagent Web Demo使用
- 参考教程，在完成环境配置后，运行Lagent Web Demo如下：
AgentLego使用
- 在配置环境后，参考教程的使用如下：
- 直接使用：对road进行目标检测，输出结果如下：
