YC Paper Club 首期直播：探索推理、扩散模型与世界模型的前沿技术

本次活动标志着 YC Paper Club 的首次线下聚会，旨在建立一个连接顶尖创始人与资深研究人员的社区。主持人强调了社区的初衷是解决科研与工业落地之间的信息不对称问题，并回顾了自己在 YC 见证 OpenAI 等早期 AI 公司起步的特殊经历。活动选址于硅谷，意在整合本地丰富的 AI 人才资源，通过深入浅出的论文讨论来推动 AI 技术在真实场景中的应用与落地，同时也分享了如何通过该社区促进学术界与工业界碰撞出更多火花。

Tanishq 分享了如何通过 Speculative-Speculative Decoding (SSD) 来提升大模型推理速度，强调推理不仅是成本问题，更是模型的能力边界。SSD 的核心逻辑是并行化处理传统的串行推断过程，通过 Draft 模型预测模型后续的验证结果，从而隐藏 drafting 阶段的延迟。通过这一算法，用户可以在有限的硬件资源上实现显著的吞吐量提升。这种方法证明了通过算法创新，不仅能降低成本，还能将推理的“思考时间”视为一种核心能力，从而交付更高质量的智能输出。

Stanis 介绍了如何将扩散模型引入模型预测控制 (MPC) 中，以构建更具鲁棒性的机器人策略。DMPC 结合了多步动作方案生成和多步动态模型预测，有效减少了长时程轨迹预测中的误差积累。该方法的一大优势在于能够通过修改测试时的奖励函数或更新动态模型，实现对新任务和不同动力学环境的实时适应，而无需重新训练整个策略模型。实验证明，相比于传统的模仿学习，DMPC 能够更好地利用视频数据并在多样化的任务中表现出极佳的泛化能力。

Isaac 深入探讨了 LayWorld 模型，这是一种基于联合嵌入预测架构 (JEPA) 的高效世界模型方案，旨在解决表征学习中的崩溃问题。通过引入独特的 SigReg 正则化项，模型能够保持潜在空间的健康分布，确保预测的稳定性。相比于现有的复杂方法，LayWorld 仅需极少的超参数配置即可实现高效训练。此外，该模型展现了强大的不确定性量化能力，能够实时检测输入中的异常波动，为智能代理在真实世界中进行安全规划与决策提供了重要支持。

Akshay 讨论了关于深度学习泛化性的深层理解，重点剖析了为何大规模模型在参数过剩的情况下依然表现优异，并未陷入传统统计学所预测的过拟合。他通过 PAC-Bayes 框架解释了模型压缩性与泛化性能之间的正相关性，指出过参数化模型往往能在参数空间中找到更平滑、更易于压缩的解。通过引入软归纳偏置（Soft Inductive Bias），神经网络能够在极强的模型表达能力与对结构化数据的拟合能力之间取得平衡，从而 dispels 了“深度学习神秘感”，为提升模型的样本效率指明了方向。

Kan Wu 分享了当预训练数据受限而算力过剩时，如何通过算法创新实现数据效率的最大化。论文提出了正则化与集成学习（Ensembling）相结合的策略，发现通过对模型进行激进的加权衰减与集成训练，可以显著降低性能损失的渐进值。这一研究探讨了“compute-unconstrained”环境下的 Scaling Laws，证明了利用数据 Epoching 和蒸馏技术，可以在更小的数据集上匹配甚至超越传统预训练的性能。这为未来数据稀缺情况下的模型训练提供了极具工程价值的方法论。