Stanlei's Blog

“求田问舍，怕应羞见，刘郎才气。”

OpenCompass大模型评测实战

书生·浦语LLM实践营-笔记7

0 课程背景 OpenCompass 大模型评测实战 InternLM/Tutorial 主讲人：OpenCompass贡献者，曹茂松、刘卓鑫 本节课主要介绍了大模型开源开放评测体系 “司南” (OpenCompass2.0)以及使用方法，并给出了基于C-Eval 基准任务上的实战案例。 1 课程笔记 大模型开源开放评测体系 “司南” (Ope...

Posted by Stanlei on May 12, 2024

Lagent&AgentLego智能体应用搭建

书生·浦语LLM实践营-笔记6

0 课程背景 Lagent & AgentLego 智能体应用搭建 InternLM/Tutorial 主讲人：Lagent&AgentLego核心贡献者，樊奇 本节课主要介绍了什么是智能体（agent）和Lagent&AgentLego的使用方法。 1 课程笔记 首先介绍什么是智能体 智能体的相关论...

Posted by Stanlei on May 12, 2024

LMDeploy量化部署

书生·浦语LLM实践营-笔记5

0 课程背景 LMDeploy 量化部署 LLM-VLM 实践 InternLM/Tutorial 主讲人：书生·浦源挑战赛冠军队伍队长，安泓郡 本节课主要介绍大模型部署的方法和LMDeploy框架的使用。 1 课程笔记 大模型部署的挑战 大模型部署方法 模型剪枝(Pruning) ...

Posted by Stanlei on May 12, 2024

XTuner微调LLM

书生·浦语LLM实践营-笔记4

0 课程背景 XTuner 微调LLM：1.8B、多模态、Agent InternLM/Tutorial 主讲人：XTuner贡献者：李剑锋，汪周谦，王群 XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。 🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人...

Posted by Stanlei on May 12, 2024

茴香豆：搭建你的RAG智能助理

书生·浦语LLM实践营-笔记3

0 课程背景 茴香豆：搭建你的 RAG 智能助理 InternLM/Tutorial 主讲人：书生·浦语社区贡献者，北辰 在进行本次课程学习之前，本人已经尝试了诸多RAG框架，例如LangChain、LlamaIndex，在此介绍这两个框架的使用，可以看到所有的RAG框架在结构上都是类似的。 LangChain： ...

Posted by Stanlei on May 11, 2024

北航研究生算法作业

homework1

0 参考资料 Concrete Mathematics : A Foundation for Computer Science 1 题目 1.1 递推式求解 \[C(n)= \left\{ \begin{aligned} &1 &n=1 \\ &2C(\frac{n}{2})+n–1 &n\ge2 \end{...

Posted by Stanlei on April 12, 2024

轻松玩转书生·浦语大模型趣味Demo

书生·浦语LLM实践营-笔记2

0 课程背景 轻松玩转书生·浦语大模型趣味 Demo InternLM/Tutorial 主讲人：书生·浦语大模型角色扮演SIG小组长，那路 1 课程笔记 本节课主要介绍了InternLM2-Chat-1.8B、八戒-Chat-1.8B、Lagent智能体Demo、灵笔InternLM-XComposer2的功能和部署方法。 InternL...

Posted by Stanlei on April 5, 2024

书生·浦语大模型全链路开源体系

书生·浦语LLM实践营-笔记1

0 课程背景 书生·浦语大模型全链路开源体系 InternLM/Tutorial 主讲人：上海人工智能实验室青年科学家，陈恺 0.1 开源历程 0.2 InternLM大模型家族 主要包括7B和20B两种参数大小的模型，分别包括InternLM2、InternLM2-Base、InternLM2-Chat三个不同场景下的版本。 0.3...

Posted by Stanlei on March 31, 2024

大模型参数高效微调技术原理综述

从LLM到MLLM

0 微调概述 大模型参数高效微调技术原理综述 两个目标 微调：从过去到现在 微调：单模态和多模态有没有区别 0.1 高效参数微调 以BERT模型为代表，预训练语言模型+下游任务上进行全量微调，但以GPT3为代表的预训练语言模型（PLM）参数规模变得越来越大，这使得在消费级硬件上进行全量微调变得不可行，另一方面，全量微调方法在大模型上运用还会损失多...

Posted by Stanlei on January 2, 2024

FEATURED TAGS
LLM PEFT 书生·浦语 算法 Finetune Deploy Agent Eval
ABOUT ME

上下未形，何由考之？

✉️ stanlei0404@gmail.com