一键总结音视频内容

Attention is All you Need

摘要

本次CCF TF 165期活动聚焦“知识驱动的复杂推理”,邀请了四位重量级嘉宾分享了他们在知识增强大模型、智能体及复杂推理落地方面的最新思考与实践。会议深入探讨了知识图谱与大模型融合的多种范式,包括预训练、提示、检索(RAG)等阶段的知识增强,并特别强调了知识在智能体“慢思考”和复杂任务规划中的核心作用,为大模型在垂直领域的落地提供了宝贵的技术路线和实践经验。

亮点

  • 💡 知识与语言的孪生关系及大模型知识存储的矛盾统一: 语言是人类表示和传承知识的符号,大模型通过神经网络化自然语言形式的世界知识,实现了知识规模的飞跃。然而,知识表示的复杂性与知识获取的规模之间存在矛盾,这正是大模型与知识图谱结合的理论出发点。
  • 🧠 知识增强大模型“慢思考”与复杂推理: 慢思考的本质是为了提升大模型处理复杂问题的能力,它高度依赖知识增强,特别是深层慢思考。知识增强能有效控制大模型的幻觉率,并提升其在推理、规划等高级思维过程中的表现,避免过度思考。
  • 🛠️ 知识图谱在RAG及智能体中的关键作用: 知识图谱作为传统符号AI的代表,能有效弥补RAG在跨文档关联、细粒度知识点关联上的不足。在智能体领域,知识图谱可用于任务规划、工具调用、工作流建模,甚至引导强化学习过程,是构建可信大模型基座的重要组成部分。
  • 📊 文档智能与知识图谱驱动的大模型推理落地: 文档智能通过文档的图谱化(Doc-to-Graph)解决知识库的初始化问题,将文档内容解析为图谱节点和关系。知识图谱则可用于合成大模型推理数据,并通过规范化引导大模型推理,尤其在工业界的工作流或任务流中发挥重要作用。
  • 🚀 深度研究智能体与多模态知识融合: 深度研究智能体结合RAG、Graph RAG及MTP协议,能够统一获取实时结构化数据和非结构化知识,并通过工具调用引擎(如Python解释器)执行复杂计算和任务。多智能体协同、任务规划与分解、容错与异常检测是其工程实践中的关键挑战。
  • 🔄 符号知识与大模型的双向驱动: 符号知识作为自然语言的高度抽象和逻辑严谨表示,通过与自然语言的互索引结构,可以指导语料合成,增强大模型的信息抽取、逻辑推理和API调用能力。KAG框架是这种双向驱动的实践,旨在通过自动化构建知识图谱和逻辑形式驱动的逐跳推理,实现知识的精准、完备和严谨。

#知识驱动 #复杂推理 #大模型 #知识图谱 #智能体 #RAG #慢思考 #神经符号AI #文档智能 #深度研究

思考

  1. 在实际工业应用中,如何平衡知识图谱构建的高成本与知识增强带来的收益,尤其是在快速迭代的大模型时代?
  2. 除了幻觉率,大模型在复杂推理和智能体应用中还面临哪些关键挑战,以及知识增强技术如何针对性地解决这些挑战?