书生·浦语大模型全链路开源体系

欢迎参加书生葡语大模型实战营，希望大家能够从中掌握大模型开发和应用的技能，有所收获。

大模型的热门关键词

大模型已经成为一个热门的关键词，不管是学术界还是工业界都有着非常广泛的研究和应用。在ARCAVE上，近几年相关的论文数也是快速的增长。尤其是7HPT发布之后，迅速成为了最热门的研究方向。

通用人工智能的重要途径

大模型是发展通用人工智能的一个重要途径。整个AI的研究方向是从专用模型到通用模型这样的一个过程。从最近两年的发展，大家更加倾向于用一个模型去应对多种任务和多种模态。

上海人工程实验室的研究力量

上海人工程实验室在这样的一个背景下面也是投入了非常大的研究力量，去进行大语言模型以及整个大模型的一些研究工作。

书生葡语的大模型

书生葡语的大模型已经完成了覆盖轻量级、重量级的一套不同大小的系列。其中轻量级的以英特尔7B为代表的70亿参数的模型非常小，可以方便地进行部署。重量级的模型以英特尔20B为代表，拥有200亿的参数量，能够在模型的能力和推理的代价里面取得比较好的平衡。而重量级的英特尔123B具备非常强大的性能，能够比现在的各种开源模型有更全面的优势。

书生普语开源大模型的性能

书生普语的大模型在综合的一些学科考试、知识问答、阅读理解和推理编程等方面表现都非常不错，能够全面超过相似量级的其他模型。

大模型的应用

大模型的应用并不简单，需要进行模型的选型、业务场景的评估、模型的微调、智能体的构建、模型的部署等一系列工作。在不同的业务场景下，大模型的应用也会面临不同的挑战和需求。

---

书生·浦语大模型全链路开源体系

部署和应用

我们开源了书生葡语全链条的开放体系，包括从数据到预训练到微调到部署到评测到应用的完整大模型应用环节。数据方面，我们开源了书生万卷，一个多模态的语料库，包括2tb的数据，涵盖多种模态和任务。预训练方面，我们开源了INTETRAIN预训练框架，通过并行优化和通信优化，达到了领先的训练效率。微调方面，我们开源了x ta框架，支持全参数微调和低成本微调。部署方面，我们开源了MDLOE，支持全链路的部署流程，并在性能上领先。评测方面，我们提供了open compass开源评测工具和公开的LEADERBOARD，性能可复现。在应用层面，我们开源了legend和agent lego两个项目，分别用于轻量级智能体搭建和大模型调用。

书生万卷和open data lab

书生万卷是一个多模态的语料库，包括文本、图像、视频等数据，涵盖科技、文学、教育、法律等领域。这个数据集对模型的推理能力有显著的提升效果，并经过了精细化的处理和价值观对齐。除了书生万卷，我们还有open data lab，提供了超过5400个数据集，涵盖30多种模态，总共80tb的数据，包括图像、视频、文本、3D模型、音频等。

预训练工具INTETRAIN

INTETRAIN预训练工具具有高可拓展性、极致的性能优化和开箱即用的特点，支持多种规格的语言模型。另外，我们还开源了高效的微调框架x tuna，适配多种生态和硬件，覆盖了NVIDIA20系以上的所有显卡，最低实现了8G显存微调7B模型的功能。

评测工具

我们提供了开源的评测工具，包括open compass和LEADERBOARD，以及对国内外评测体系的整体态势介绍。这些工具和数据集都是开源的，为大模型的研发和应用提供了全面的支持。

---

书生·浦语大模型全链路开源体系

评测体系

评测体系包括主观和客观评测，共有8万多道题目，支持中英双语。MMLU是大模型中常用的评测集，主要用于考试类的评测。帕卡evil是针对英文的主观对话评测集，而clue是国内综合性的评测基准，支持主观和客观评测，以中文题目为主。hiking face提供了open i m的LEADERBOARD，主要用于客观评测。

Open Compass开源评测体系

Open Compass是全球领先的开源评测体系，提供六大维度和80多个数据集，包括40多万道评测题目。它分为学科、语言知识、理解推理和安全等大维度，并围绕这些维度进行分类和构建，形成全面的评测体系。除了评测维度和体系外，Open Compass还提供多层工具，包括模型层、能力层和评测方法，以及不同的评测工具。

Open Compass的亮点

Open Compass的亮点包括丰富的模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代和广泛的用户群体。国内外的知名企业和科研机构都采用Open Compass作为评测工具，包括meta也将其作为推荐的评测工具之一。

模型部署挑战

大语言模型的内存开销巨大，部署面临技术挑战，包括内存管理、动态shift和推理加速等问题。为解决这些挑战，开源了高效的推理框架MD，提供了全流程解决方案，包括模型轻量化、推理服务和不同的接口。

智能体应用

大语言模型具有一定的局限性，需要针对其特点和技术挑战进行优化，以提升系统整体吞吐量和降低请求的平均响应时间。MD提供了高效的推理引擎和完备的应用工具链，能够覆盖向量化推理服务的全流程，同时与Open Compass接口高度兼容。

---

---

书生·浦语大模型全链路开源体系

获取新信息和知识

获取新信息和知识是大型模型本身无法提供的。同时也会遇到可靠性和数学计算能力的问题。为了满足这些需求，我们需要将大语言模型与智能体框架相结合，以驱动更复杂的应用。

智能体框架

智能体框架以大型模型为核心，进行规划、推理和执行。它展示了智能体的流程，包括调用不同的动作，如网络搜索和Python代码解释器。

Legend框架

Legend框架支持不同类型的智能体能力，并已实现智能体流程。用户或开发者可以轻松开发自己的pipeline，并支持不同的大型语言模型。

AI工具和API

Legend提供了丰富的AI工具和能力拓展工具，包括搜索计算器和rap API。Rap API是一个包含上万种不同API的集合网站，支持多种智能体系统。

Agent Lego工具箱

Agent Lego是为大型模型提供更多工具集合的工具箱，主要聚焦于提供可调用的工具集合。

支持的系统和接口

Legend和Agent Lego支持多个主流智能体系统，并提供灵活的多模态工具调用接口，以支持各种不同的输入和输出格式的工具函数。

摘要

今天我们介绍了书生普语全链条的开源开放体系，包括从数据到预训练到微调到部署到评测到应用的完整流程。如果您感兴趣，可以扫描二维码访问GITHUB页面进行查看。谢谢大家。