红杉资本的合伙人们分享了对人工智能领域的最新洞察。他们首先校准了对市场规模的认知，指出人工智能不仅针对服务市场，更同时冲击软件市场，这意味着这两个利润池都面临变革，企业正从销售工具转向销售成果乃至劳动力。人工智能的浪潮不仅不可避免，且已迫在眉睫，所有先决条件——计算、网络、数据、分发和人才——均已具备，加之现有庞大的互联网用户基础和成熟的分发渠道，使得技术传播速度远超以往，采用障碍几乎不存在。尽管基础模型能力增强并开始深入应用层，但价值的核心仍在应用层。对于初创公司而言，若非构建垂直整合业务，应从客户需求出发，关注垂直领域和功能的特定性，以及处理复杂问题。构建护城河的关键在于提供端到端解决方案、利用独有数据构建数据飞轮，并深入理解行业。在评估AI公司时，除了普适性的公司构建要素，红杉关注真实的收入而非“氛围收入”，强调客户信任（在当前阶段甚至比产品更重要）、通往健康毛利率的路径（即使当前不佳，考虑到成本下降和价值捕获上升的趋势），以及与业务指标挂钩的数据飞轮。市场对AI的需求极为强烈，企业必须全速前进。回顾过去一年，AI应用的用户参与度显著提升，ChatGPT的日活/月活比例已接近Reddit，显示AI正融入日常生活，并在广告、教育、医疗等领域展现初步价值。2024年见证了语音生成技术跨越“恐怖谷”的“她”时刻，以及编程成为AI应用的爆发性增长类别，从根本上改变软件创建的可访问性、速度和经济性。技术层面，预训练规模的扩展似乎放缓，研究生态正寻求如推理能力、合成数据、工具使用和能动性支架等新突破。这些技术正结合创造出能胜任更复杂任务的AI，许多创新发生在研究与产品的模糊边界。展望未来，第一批AI杀手级应用已经出现，新兴公司在多样化终端市场涌现。预测许多新公司将首先成为代理商，这些代理将从原型演变为强大形态，或通过严格测试与评估进行编排，或在端到端任务上进行微调。2025年，“垂直代理”将是深入特定领域的创始人的绝佳机会，这些代理通过端到端训练，在特定工作流程中表现优于人类专家。代码领域的进步预示着一个“富足时代”的到来，当劳动力廉价充足时，“品味”将成为稀缺资产。中长期来看，人工智能将发展为“智能体经济”，智能体不仅交流信息，还能转移资源、进行交易、追踪信任和可靠性，并拥有自身经济体系，与人类协作。实现这一目标面临三大技术挑战：持久身份（代理需保持个性和记忆，超越当前技术）、无缝通信协议（类似TCP/IP，实现信息、价值、信任的转移）以及日益重要的安全性。这将带来思维模式的转变：从确定性思维转向随机性思维，从执行者思维转向管理思维（理解和管理代理的能力边界），最终以显著降低的确定性换取更大的杠杆作用。组织内的AI智能体将融合，整个流程由AI完成，可能出现单人独角兽企业，达到前所未有的杠杆水平。神经网络之内的神经网络将重塑个体工作、公司运作模式乃至整个经济。

　　人工智能堪称下一次工业革命与制造业革命。这项技术不仅能感知世界、生成内容、翻译，甚至具备推理、解决问题及使用工具的能力，其变革性远超以往任何信息技术。与传统信息技术作为被动工具不同，人工智能具备自动化能力，如同数字机器人，能增强并补充数字劳动力，其经济影响远超万亿美元。这种人工智能的生成，依赖于一种新型计算机——由英伟达耗时约三十三年构建，机器可自行编写软件，并在其发明的加速计算和GPU平台上运行。人工智能的生产地，并非传统数据中心，而更像是一种“人工智能工厂”。这些工厂消耗能源，产出“token”——即数字、文字、图像、化学物质乃至机器人运动技能等多种形式的数据。这些工厂规模庞大，单个吉瓦级设施的建造成本高达五六百亿美元，未来十年全球或将涌现数十吉瓦的人工智能工厂。更深远的是，人工智能作为一种工具和技术，正以前所未有的方式影响着金融、医疗、制造、物流等几乎所有行业。正如过去的能源和信息基础设施，人工智能工厂构成了新时代的“智能基础设施”，为各行各业奠定基础。这一新兴产业及其基础设施，对科技行业乃至每个国家都意义重大，拥有过剩能源者亦会积极参与。关于就业，每项工作都将受人工智能影响，部分岗位或将消失，新的岗位亦会涌现。人们不会因人工智能本身失业，而是会因那些善用人工智能的人而失去竞争力。计算机科学曾惠及约三千万编程者，但也造成了巨大的技术鸿沟。如今，人工智能有望弥合这一鸿沟，因其能理解自然语言、图像等多种交互方式，使得人人皆可“编程”。无论是教师还是学生，都应将其视为辅导工具。同时，面对全球劳动力短缺，人工智能或能将数千万工人重新纳入劳动力队伍，成为提升全球GDP的最佳途径。因此，积极拥抱和利用人工智能至关重要。英伟达的崛起，源于其创立之初便立志构建一种解决普通计算机无法解决问题的新型计算方式。这条道路孤独且艰难，耗时三十三年，因其挑战的正是无人问津的难题。大型企业如英特尔，因专注于既有成功领域而一度忽视了这一新兴方向，这反而为英伟达提供了发展空间。这种“从零到一”的历程，塑造了英伟达独特的企业文化：拥抱漫长而持久的奋斗与苦难，永不视成功为理所当然，保持高效与韧性，专注于完成使命。即使在今天，公司所从事的许多项目，如物理人工智能（机器人技术）和下一代人工智能基础技术，仍是着眼于未来五到十年的事业。这种始终面临倒闭风险的危机感，使其在挫折面前从容，在成功面前谦逊。芯片制造极其复杂，英伟达不仅设计芯片，更构建从架构、系统、网络、基础设施到软件的完整生态系统，已成为一家人工智能基础设施公司。其制造的系统精密庞大，例如单个“芯片”重量可达一吨半，价值三百万美元，并以极高产量生产、组装、测试及部署。每一代产品的研发投入高达两三百亿美元，这在未来数万亿美元的智能产业中是合理的投资。关于技术出口限制，英伟达的技术被誉为国家瑰宝，对人工智能产业至关重要。限制出口旨在防止技术落入潜在对手手中用于军事目的。然而，任何国家都不会因计算能力受限而影响其军事发展，且多数国家已拥有大量英伟达芯片。倾向于出口的理由在于，通过在全球推广美国标准，让人工智能生态系统建立在美国技术之上，而非他国标准。若美国公司缺席特定市场，如华为等强大竞争者必将填补空白。此外，放弃如中国这样年产值可达五百亿美元的巨大市场，不仅损失商业机会、税收和就业美国猛牛vpn，更会失去与客户互动、从中学习并优化自身技术架构的宝贵机会。例如，了解研究人员如何运用AI模型进行虚拟细胞研究，有助于英伟达调整未来架构以适应新兴需求。未来，人工智能的需求将远超当前的消费者互联网市场，拓展至医疗保健、生命科学及制造业等广阔领域。未来的工厂将是协调大量机器人与人类协同工作的庞大系统，实现“机器人制造机器人”的场景。这种应用于制造业和工业化的物理人工智能，将催生数万亿美元的产业。在英伟达工作，需要领域专业知识、通用智能，以及对努力工作和承受“痛苦”的热爱。这家公司欢迎在数字生物学、量子化学、计算机图形、机器人学、语言学等广泛科学领域拥有专长，并服务于医疗、金融等多元行业的人才。正是这种历经艰难、勇于挑战的文化，造就了英伟达的今天。

　　NVIDIA的AI总监Jim Fan提出了一个引人深思的概念——物理图灵测试。在我们或许已经不经意间通过了传统图灵测试的今天，这个新标准挑战我们去想象，一个机器人能否完成复杂的物理任务，比如在你狼狈的黑客马拉松派对后，不仅能将混乱的家收拾得井井有条，还能准备一顿足以抚慰伴侣的烛光晚餐，而你完全无法分辨这究竟是人类还是机器的杰作。然而，现实中机器人仍在简单的任务上挣扎，远未达到这一理想。物理图灵测试的艰巨性，根源在于机器人训练数据的匮乏。与大型语言模型尚能从互联网这座“化石燃料库”中汲取养分不同，机器人所需的物理交互数据——那些机器人关节控制的连续信号——无法从任何现有数据库中抓取，必须通过真实世界的互动来收集。这种依赖遥操作等方式获取的“人类燃料”，其收集过程缓慢、昂贵且难以规模化，机器人与操作员都极易疲劳，严重制约了物理AI的发展。打破这一瓶颈的关键，在于模拟技术——物理AI的“核能源”。我们必须超越物理世界的局限，在模拟环境中加速探索。通过构建数字孪生，以远超实时万倍的速度并行模拟成千上万个略有差异的环境（领域随机化），我们能训练机器人在虚拟世界中掌握超凡技能，如旋转钢笔或让机器狗稳立于瑜伽球上。一个仅有150万参数的神经网络，便足以驱动人形机器人通过短短数小时的模拟训练（相当于10年经验）学会行走，并实现对复杂姿态的精准追踪与全身控制，然后零样本迁移到真实机器人身上。然而，手动构建数字孪生依旧繁琐。因此，我们正迈向模拟2.0时代，利用生成式AI来创造模拟环境。从3D资产、纹理到场景布局，皆可由AI生成，催生了如Robocasa这样的大规模组合式模拟框架。更进一步，视频扩散模型，经过真实机器人数据的微调，能够完全生成逼真的交互场景，无需依赖传统物理引擎，便可模拟流体、软体等复杂动态，甚至根据语言提示想象并执行从未在现实中发生过的动作。这如同让机器人在视频模型的“梦境空间”中漫游，与万物互动，实现了具身智能的规模化定律，其中神经网络的表现已超越传统图形工程师。这些模拟数据与真实数据共同哺育出如Groot N1这样的视觉语言行动模型，它接收像素与指令，输出电机控制，实现了诸如抓取香槟、处理工业物件乃至多机器人协作等复杂任务，并已开源以普惠物理AI。NVIDIA的Jim Fan展望，继物理AI之后，我们将迎来物理应用程序编程接口（Physical API），它将赋予软件改变物理世界的能力，如同大型语言模型API操纵数字信息一般，物理API将高效移动原子。这将催生一个全新的经济范式，包含物理提示、物理应用商店和技能经济，例如米其林星级厨师可以训练机器人提供“米其林晚餐即服务”。最终，所有运动的事物都将实现自主。当有一天，你回到家中，看到的是整洁的沙发与温馨的烛光晚餐，那一刻，物理图灵测试或许已悄然通过，而我们可能只会觉得，这不过是又一个寻常的周二。

　　在人工智能崛起峰会上，LangChain联合创始人兼首席执行官哈里森·蔡斯阐述了该公司带来的全新概念——环境智能体。与我们熟知的、通过聊天界面交互的聊天智能体不同，环境智能体被定义为能够监听事件流并据此采取行动的系统，甚至可能同时响应多个事件。这种新型智能体的核心区别在于其触发机制、运行规模、延迟要求以及用户体验。它们并非由人类直接发起的交互所驱动，而是由后台发生的事件触发；其运行数量也非单一，而是取决于事件发生的频率和数量，可能远超聊天智能体。由于在后台运行并由事件触发，环境智能体对响应速度的要求不如聊天智能体那般严苛，允许它们执行更长时间的复杂任务。尽管其后台运行的特性带来了新的用户体验挑战，但如何与之有效交互仍至关重要。一个具体的例子是电子邮件环境智能体，它能监听收到的邮件并自动执行回复、安排会议或提醒相关人员等操作。环境智能体的引人注目之处在于其能够显著扩展我们的能力。不同于聊天智能体通常一对一、一次处理一事的模式，环境智能体可在后台运行数千个，大规模提升影响力。同时，由于对延迟不敏感，它们能处理更复杂的操作，调用更多工具，甚至加入明确的计划或反思步骤，提升整体复杂性。然而，环境感知并不等同于完全自主。人机交互在环境智能体中扮演着至关重要的角色，LangChain观察到几种关键的交互模式：一是批准或拒绝智能体的某些行动提议，尤其是在初期阶段；二是更高级的编辑功能，允许用户修改智能体的提议并执行；三是当智能体卡住时，用户能像回答同事问题一样为其提供解答；四是“时间旅行”功能，允许用户回溯到智能体执行过程中的任一步骤进行干预和反馈。将人置于闭环之中有多重益处。首先，它能带来更好的结果，如通过澄清问题提升任务完成质量。其次，它有助于建立信任，尤其是在涉及明确操作如付款或批准时。最后，也是非常关键的一点，用户互动为智能体的记忆和学习提供了宝贵数据，使其未来能表现得更好。鉴于此，LangChain构建了名为“代理收件箱”的原型，作为用户与环境智能体交互的界面，清晰展示待处理事项和详细信息。为支撑这类智能体，LangChain大力投入LangGraph（其代理编排框架），特别是强化其持久层，使得智能体可以在任何时间点暂停，保存完整状态，从而无缝支持各种人机回环互动模式，无论是即时响应还是延时处理。LangGraph平台被设计为运行这些通常运行时间更长、具有突发性且本质上不稳定的环境智能体的基础设施，并强调其扩展能力和错误修正能力。同时，LangSmith工具为观察和理解这些复杂、长期运行且易出错的智能体提供了关键支持。蔡斯本人已构建并使用一个电子邮件环境智能体，通过代理收件箱进行人机协作，该项目已开源，旨在展示这些组件如何协同工作，并展望未来。

　　Anthropic推出的Claude Code并非源于宏伟蓝图，而是Kat Wu在公司内部进行的一系列实验中偶然诞生的产物。它被定义为一个能在终端环境中运行的代理，能够执行bash命令、访问文件系统，从而实现传统桌面或网页应用无法企及的功能。这个项目的初心是探索模型在代理场景下的应用，而命令行界面（CLI）因其与编码的天然结合，成为了理想的试验场。Claude Code的诞生颇具戏剧性。Kat Wu最初赋予其访问终端和编码的能力后，发现它变得异常实用，迅速成为日常工具。随后，它在Anthropic核心团队乃至全体工程师和研究员中推广开来，内部日活跃用户（DAU）图表一度呈垂直上升态势，验证了其产品市场契合度（PMF）。Boris Cherny是早期核心团队成员之一，随着用户反馈的增多和内部依赖性的增强，公司决定投入更多资源支持，Kat也从提供反馈者转变为项目的PM。Anthropic的产品开发遵循“先做简单事情”的原则，即在小团队、简陋产品形态下验证PMF，而非一开始就追求完美。Claude Code的PM工作也体现了这种“轻柔”风格，主要在于扫清障碍，因为产品功能大多源于团队自身的需求。其路线图规划着眼于模型未来数月内可能擅长的能力，如更强的自主性、信息探索、任务完成度和工具组合能力。因此，Claude Code选择扎根终端，提供更原始的模型访问，而非构建华丽的UI，这使其定位更偏向于未来模型能力成熟后的“大产品”。在功能设计上，Claude Code力求简洁。例如，上下文压缩最初尝试了多种复杂方案，最终回归到最简单的方式——让模型总结先前的对话。`Claude.md`文件作为用户驱动的记忆机制，也是“简单有效”原则的体现，允许用户将特定信息自动加载到上下文中。Claude Code的灵感部分源于Ader，后者启发了Anthropic内部工具Clyde，Clyde又进一步催生了Claude Code。Kat Wu提及，正是Clyde自动编写PR的经历让她对AGI（通用人工智能）有了深刻认知。相较于其他AI编码工具，Claude Code的特点在于其“原始性”和强大工作负载处理能力，适合高级用户进行大规模自动化任务，如并行修复大量代码问题。它被视为一个Unix式的实用程序，可以组合进更复杂的工作流。尽管使用成本约为每活跃用户每天6美元，但其带来的工程师效率提升（可能高达50-70%）使得投资回报率显著。Claude Code的功能迭代迅速，包括网页内容获取（Webfetch）、文件名补全、自动压缩上下文、自动接受建议、Vim模式、自定义斜杠命令以及近期的“思考”（Thinking）工具。其中，记忆功能（如通过#标签）和自定义斜杠命令备受关注。后者与最小化可组合产品（MCP）理念相关，用户可以创建本地命令（类似保存的提示），甚至将其公开为MCP提示或工具，但核心在于不被特定技术束缚。Claude Code本身既是MCP客户端也是服务器。其底层技术栈选用了React Inc. (Ink) 和Bunn，前者用于构建CLI界面，后者则用于编译和加速测试。在自主性与安全性方面，Claude Code正构建权限系统，允许用户精细控制模型编辑文件、运行测试等操作。对于破坏性操作（如`rm -rf /`），人工介入仍是必要的，尽管模型经过对齐训练以避免此类行为。目标是让人类输入的间隔时间越来越长。一个有趣的实践是，Anthropic内部使用Claude Code进行语义化的代码检查（linting）和PR审查，例如通过GitHub Action调用本地斜杠命令，让Claude Code检查拼写、代码与注释的一致性等传统静态分析难以覆盖的问题，并将修改提交回PR。非交互模式（`-P`标志）适用于只读任务或权限严格控制的写入任务，用户从小范围测试开始，逐步迭代提示并扩大规模。即使在Anthropic内部，Claude Code生成代码后，仍有人工审查环节，这对于模型安全对齐至关重要。对于企业管理者而言，Claude Code的出现意味着代码审查、变更管理流程可能需要调整，但它也极大地降低了高质量工作的门槛，如单元测试编写、Lint规则制定等。衡量其价值的关键指标在于缩短周期时间和创造原本不会构建的功能。模型并非完美，Claude Code的失效模式包括对用户意图的过度字面理解（如为了通过测试而硬编码答案）、在长对话和多次压缩后遗忘初始上下文等。提升有效上下文窗口被认为是解决这类问题的关键。对于会话间记忆，目前的建议是让Claude Code将会话状态写入文档，并在新会话中读取，未来计划提供更原生的支持。尽管模型在PR生成时会考虑分支历史，但更深层次地利用提交历史来训练模型仍有探索空间。总而言之，Claude Code的演进体现了在实践中探索、快速迭代并始终追求简洁有效的产品哲学。Claude Code 的设计理念在于其作为一种基础“原语”的适应性，旨在无缝融入开发者多样化的工作流程，无论是支持在同一仓库中并行运行多个实例，还是集成到预提交钩子中。用户可以灵活选择AI模型，例如使用Haiku进行代码检查，尽管Sonnet因其卓越性能成为默认选项。提及预提交钩子，其核心在于运行效率，理想状态是快速完成（如五秒内完成类型检查与代码检查），而更耗时的任务则交由GitHub Action等CI/CD系统处理。一个生动的轶事是，Claude Code团队在发布前夕，利用AI在短时间内为其编写了一个定制的Markdown解析器，解决了现有库无法完美适配终端渲染的问题，该解析器至今仍在代码中使用。这不仅体现了AI在功能实现上的新标准，也预示着编写代码的成本正在降低，生产力相应提升，开发者或将更倾向于自行构建所需库。展望未来，Claude Code并非短暂的研究预览，而是拥有常设团队并计划长期支持的产品，团队亦在扩充中。其商业模式仍在探索，目前按需付费模式降低了用户尝试门槛，但订阅制的可预测性也受到关注。企业版亦在考量，以满足安全与生产力监控的需求。尽管精确的生产力提升数据仍在收集中，但个人经验反馈从2倍到10倍不等，显示出巨大潜力。值得注意的是，非技术人员如设计师、数据科学家乃至财务人员也开始利用Claude Code处理工作，例如设计师直接提交拉取请求，财务人员通过命令行管道操作CSV数据进行分析，凸显了其易用性和广泛适用性。当然，当前阶段，有效的提示工程对充分发挥模型能力至关重要，但模型本身在理解非技术性请求方面也有望进步。关于Claude Code是否开源，团队正在调研，主要顾虑在于维护开源项目所需的大量精力，尽管源代码本身并无秘密，且作为JavaScript应用易于反编译。源代码可用或许是一种折中方案。其核心价值在于模型，而非作为“最薄弱封装”的工具代码本身。事实上，Claude Code的架构追求极致简洁，并为此进行了多次重写，如同“忒修斯之船”般持续进化，目标是为模型提供最纯粹的上下文，避免工具本身对用户意图的干扰。在用户体验层面，为终端设计直观现代的界面是一项挑战，因缺乏成熟的设计语言，团队投入了大量精力进行探索。Anthropic在开发者工具领域的成功，尤其Claude Sonic作为编码首选工具的崛起，很大程度上归功于其模型在代码生成方面的卓越能力。这源于软件在现代社会的核心地位以及对优秀软件工程师的巨大需求，使得代码生成自然成为大型语言模型能创造巨大经济价值且团队乐于投入的领域。Anthropic亦在积极招募对编程、模型运作及相关技术充满热情的英才。

　　近期一位资深风险投资家宣布加入光速创投（Lightspeed Venture Partners）担任合伙人，开启其职业生涯新篇章，并分享了对当前科技创投领域的深刻洞见。他认为，我们正处在一个技术创业与风险投资均发生深刻变革的独特时期。以往数十亿美元回报的公司已不再是成功的顶点，取而代之的是如SpaceX、OpenAI或Anthropic这类具备万亿美元潜力的巨型企业，它们的营收规模与增长速度（年化数十亿美元营收，同比增长超100%）前所未见。这种趋势使得拥有雄厚资本的大型投资平台，如光速创投，能够参与到以往无法想象的投资对话中，例如对单一公司投入10亿美元以博取百亿级回报，这赋予了它们独特的竞争优势。然而，这位投资家强调，大型平台若想持续成功，必须坚守早期投资的核心，与初创企业紧密合作，理解其创业基因，因为即使是追求万亿美元市值的公司，其核心精神仍是初创式的。对于AI模型提供商这类资本密集型企业，其商业模式仍在探索，面临利润率压缩和高现金消耗的挑战，但其潜在成果规模和基于模型构建应用的前景巨大。他认为，这些公司的业务形态正通过在资本密集型资产之上叠加产品层来优化。在价值创造方面，他类比云计算平台的崛起，认为尽管模型提供商会在核心应用领域（如企业搜索）积极布局，但大量需要深度客户洞察和专注投入的细分市场仍为初创企业和现有公司提供了广阔的机遇。关于竞争性投资，他观察到，由于顶尖公司巨大的资本需求，后期阶段投资者常同时投资于多个竞争者，这既是资本需求的体现，也是投资者分散风险的策略。谈及大型风险投资平台的未来，他认为，鉴于有限合伙人（LP）通常对成熟基金管理人进行多期承诺，市场上超级平台的数量短期内难以大幅增加，现有的大型平台因此拥有“被俘获的机会”，在支持这些巨型初创公司扩张中扮演关键角色。这些平台能成长到多大规模，将取决于通用人工智能、太空、机器人等大趋势的发展，以及这些蓝筹品质资产的扩展速度和市场接受度。尽管当前共识是每个大赛道可能只出现少数巨头，但他对机器人等早期趋势的工业应用潜力持乐观态度，并指出风险投资者的工作本质就是乐观。对于高估值，他引用“最好的公司总是感觉很昂贵”的观点，强调关键在于识别公司的独特性和长期复合增长潜力，尤其在软件开始取代人力预算的时代，高价投入卓越资产往往是明智的。市场规模的评估则需视情况而定：对于进入现有市场的公司，市场规模分析至关重要；而对于开创新领域的公司，此类评估近乎徒劳，因为最好的创始人能创造市场。电子表格式的投资方法在AI时代面临挑战，因为顶尖AI公司早期融资额巨大，传统投资窗口变窄。在讨论早期融资策略时，他指出，创始人需在以更少稀释获得更多资金与保持运营灵活性和低估值之间权衡。对于市场机会明确的公司，可考虑稍大额的种子轮融资；而对于开拓未知市场的公司，则应更保守，以保留选择权，避免因过早过度融资而陷入困境。他还观察到，深度技术型公司可能需要更长时间才能成熟，投资者需对此抱有开放心态。AI公司的营收轨迹和增长势头正在重塑“优秀”的标准，CIO/CTO层面对于引入AI的紧迫感（“不采用就可能被淘汰”）前所未有，驱动了惊人的市场拉力。在竞争激烈的投资中，“获胜”的关键并非花哨的手段，而是通过长期投入，与创始人建立深刻的联系和独到的商业见解。领域专业知识对此有助，但更重要的是挑选值得投入时间与精力的创始人。他坦言，自己最大的转变是从关注市场与技术转向以创始人为核心，糟糕的投资往往源于低估了团队执行力。关于AI模型公司的营收构成，他改变了看法，认为API业务面临价格压力和高转换成本，长期来看，建立在模型之上的产品（即使在模型实验室内）而非模型API本身，将是更具吸引力的业务。因此，领先的模型实验室很可能都会涉足企业和消费者产品。对于AGI的路径，他认为不应简单视为持续上升的斜坡，可能存在平台期，但即便如此，当前AI能力的应用仍处于极早期，蕴含巨大机遇。对AI的广泛共识——即不拥抱AI即面临生存威胁——正驱动着前所未有的技术采用浪潮，这标志着创业者和投资者正经历一个非凡的时代。在与马蒙多年的共事中，我深刻体会到，他广为人知的数据驱动特点之下，其实是他识人方面的惊人品味。谈及投资要素的排序，我认为人始终是第一位的，这也是我将团队、进展、市场依次排序的原因之一。我曾犯下的最大错误，便是因市场顾虑而忽视了进展。进展的创造极为不易，而市场牵引力恰恰代表了创始人足以克服任何市场规模限制的卓越品质，因此我学会了更加重视进展。至于流动性问题，我不认为这是一个永久性的结构性挑战。我相信，正如优秀的创业者会涌向空白领域一样，投资管理人也会设计出解决方案和新产品，例如光速创投的接续基金，来应对我们今天面临的这些流动性挑战。展望风险投资的未来，一个可能令多数人震惊的趋势是，我看到一个两端都在持续大幅增长的世界：一端是小型专注的专业公司，另一端是大型平台。如果万亿美元公司的概念继续像今天这样发展，那么介于两者之间，规模在5亿至20亿美元之间的基金，其面临的“恐怖谷”挑战将随着时间的推移变得越来越具挑战性。在风险投资领域，Amplify Partners的合伙人迈克·道伯是我心中一位未被充分颂扬的英雄。他不仅是当初聘请我进入风险投资行业的人，更是多年来对我非常慷慨的导师。他向这个行业的许多年轻人传授了大量的信念和智慧，帮助很多人获得了自信，并且明确了做好这份工作的意义以及他们为何有能力做好。每次我的职业生涯发生变化，每次我需要做出艰难的决定时，我都会给迈克打电话，他是我极其重视其反馈的人，一位非常了不起的人和卓越的行业大使。创始人与投资者之间，彼此乐于出现在对方的生活中，这是关系中至关重要的核心要素。这其中衍生出的关键因素包括：这位投资者是否对我抱有浓厚的兴趣？他们是否对我的愿景抱有深刻且坚定的信念？以及他们是否具备在何时以及如何提供帮助的直觉？最重要的是，他们是否知道何时不该提供帮助，以及何时应该放手？正如我常对与我合作的创始人所说，创业这件事很困难，如果我们不喜欢在一起消磨时间，那就一点都不好玩了。我希望看到光速创投继续巩固其作为真正全球化、多阶段的通用型平台的地位，并乐于参与塑造这份遗产，在公司从事的早期企业投资方面推动并帮助推动卓越发展。

　　Cognition公司由联合创始人兼首席执行官斯科特·吴领导，开发了全球首款自主人工智能软件工程师Devon。与许多AI工具不同，Devon被设计成像一个真正的远程工程师，可通过Slack或专用网站进行交互。推出约一年来，Devon已从初级水平发展到被多家公司投入生产使用。Cognition自身仅约15名工程师的团队就广泛使用Devon来构建Devon，每位工程师常同时运行多达5个Devon实例，处理从错误修复到功能请求等任务。目前，Devon提交的拉取请求约占团队总量的四分之一，预计到年底将超过一半。斯科特·吴认为，人工智能是我们一生中最大的技术变革，其爆发力与个人电脑、互联网等早期革命不同，因为它缺少硬件分发的限制，实现了指数级增长。他预见，软件工程的未来并非工程师被取代，而是工程师数量会大幅增加，角色将从实施者（“砌砖工”）转变为架构师，专注于定义问题、设计解决方案和高层指导。编程作为与计算机沟通的核心技能，其重要性将随着AI能力的增强而提升。学习编程基础和理解抽象层依然关键，即使未来交互方式可能改变。软件开发的“杰文斯悖论”将显现：编程效率的提升将催生更多软件需求和更多工程师。Devon的设计理念强调其自主性，视其为“初级伙伴”，能异步处理任务，用户可在关键节点介入指导或审查。其能力呈现“锯齿形智能”，在某些方面超越人类，某些方面则有所不及。公司在开发过程中经历了多次迭代，不仅提升了Devon的核心编码和推理能力（尤其利用强化学习），也着重优化了人与AI代理协作的产品体验和界面，如增加了规划阶段、交互反馈、代码润色、Wiki生成、代码搜索及Linear集成等功能。Devon通过学习代码库、技术栈和流程，逐渐积累知识，提升对特定环境的适应性，这种随时间增长的价值和融入团队协作流程的能力，构成了其核心的“粘性”，而非传统意义上的护城河。Cognition的创始团队成员大多相识多年，拥有深厚的人工智能和编程背景。他们坚信强化学习和AI代理是未来的方向，并选择编码作为切入点，因为其天然具备自动化反馈循环。尽管经历了多次方向调整，但核心目标始终是探索软件工程的未来以及人与AI协同编程的最佳方式。目前，Devon服务于从初创公司到大型上市公司的各类客户，帮助他们加速开发，提升工程能力。未来，随着AI代理能力进一步提升，软件开发的交互模式可能演变为更直接地在产品层面进行指导和修改，而非仅仅是代码层面。斯科特·吴对AI编码领域的众多参与者表示尊重，认为该领域潜力巨大，足以容纳多种创新和产品形态，而Cognition将持续专注于自主编码代理的深度研发。开发者们乐于学习并投入努力以获取更高质量的体验。Devon的卓越表现并非源于某种阶跃式的模型剧变，而是得益于模型能力的持续迭代以及与基础研究实验室的紧密合作。我们早已在智能体领域进行布局，其可行性与可用性比多数人预想的更早。目前，我们认为模型在基础智能层面已基本达标，工作的重心更多在于教会模型理解并处理现实世界工程的复杂细节，例如如何使用Datadog、诊断错误、创建GitHub PR等，这与教导模型反映现实世界的复杂性息息相关，而非追求根本性问题解决能力的更高层级。人工智能与个人电脑、互联网、移动电话等先前重大技术革命的核心区别在于，它不依赖于大规模硬件的普及作为增长的限制因素，这意味着AI技术正呈指数级爆发增长，将是我们一生中最大的技术变革。代码编写领域已越过AI应用的拐点，不使用AI将意味着落后。在团队中推广Devon时，通常由少数热衷于尝试新事物的早期采用者率先完成设置，教会Devon处理仓库、Lint及CI等细节，并分配初始任务。当其他人看到Devon持续提交PR并高效完成工作后，便会自然加入。对于新用户，最佳实践是将其视为一位初级工程师，从明确、具体的任务开始，逐步引导并合作，理解其设置需求，进而扩展其工作范围，这与培养新工程师的模式相似。开发者与Devon的协作，更像是建筑师与砌砖工的关系，而非传统意义上的管理者，关键在于找到合适的抽象层次与工作流程，让Devon成为流程的一部分。Devon甚至可以通过API启动其他Devon实例，将大型任务分解并并行化处理，未来智能体间的协作将开启新的范式。构建Devon的过程中，深刻体会到创业中的一些“陈词滥调”——如快速行动、聘用卓越人才、构建用户所需——其重要性远超预期。例如，我们从黑客马拉松到产品发布、获取首批客户，均在数月内完成，体现了极致的速度。在人才招聘上，我们曾为争取一位MIT大三学生而亲赴其家中与父母沟通，并为另一位优秀候选人手写拒信以维系其与其他公司的良好关系，这些努力都是为了组建顶尖团队。此外，始终着眼于技术未来5到10年的发展方向，甚至在AI领域要思考下一周的变化，并基于此评估决策至关重要。对于人工智能的未来，我们抱持积极乐观的态度，它赋予了每个人倍增自身能力的机会。Devon的名字来源于联合创始人们各自开发的虚拟开发者版本（Dev Walden, Dev Steven）的融合，其形象包括六边形和一只抱着笔记本电脑的水獭，定位为一名开发者。我们欢迎用户在app.devon.ai上体验Devon并提供反馈，因为距离软件工程的真正未来，我们仍有很长的路要探索。

　　本次讲座旨在揭开图形处理器（GPU）的神秘面纱，阐明其在驱动大型语言模型中的核心作用。我们将深入探讨GPU的硬件构成、执行模型以及性能优化策略，目标是让听众熟悉GPU的工作原理，并掌握加速算法的基本技巧。GPU之所以对深度学习至关重要，源于其强大的并行计算能力。与CPU优化延迟的设计哲学不同，GPU专注于提升吞吐量，通过其众多的流式多处理器（SM）和每个SM内更大量的流式处理器（SP）实现单指令多数据（SIMT）的并行执行。SM可视为独立的计算单元，而线程则以线个线程）为单位在SM上调度执行。这种架构使得GPU在处理如矩阵乘法这类高度并行化的任务时效率远超CPU。然而，GPU的性能并非线性提升，矩阵乘法在不同规模下表现出的波浪状性能曲线，其背后原因涉及复杂的硬件交互。理解GPU的内存层级至关重要。SM内部拥有极速的L1缓存和共享内存，紧邻其外的是L2缓存，而速度最慢但容量最大的则是位于GPU芯片外部的DRAM（或HBM）。访问全局内存的延迟远高于访问片上内存，因此，明智的内存管理是发挥GPU性能的关键。逻辑上，GPU内存模型包括线程私有的寄存器、块内共享的共享内存以及全局内存。跨块通信必须经由全局内存。与GPU概念相似，TPU也采用类似的层级化内存和大规模矩阵运算单元（MXU）设计，专注于矩阵运算。GPU性能的飞跃，尤其是矩阵乘法性能的超指数级增长，得益于专用硬件（如张量核心）的引入。然而，计算能力的扩展速度已远超内存带宽的增长速度，使得内存访问日益成为瓶颈。为克服此瓶颈，一系列优化技术应运而生。首先，应避免在线程束内使用条件分支，因其会导致部分线程空闲。其次，采用较低精度（如FP16或INT8）进行计算和存储，可显著减少数据传输量。算符融合技术通过将多个连续操作合并为一个CUDA内核执行，避免了中间结果在全局内存间的往返读写。重计算则是一种以计算换内存的策略，在反向传播等场景中，通过重新计算前向传播的激活值而非存储它们，来节省内存带宽。内存合并利用了DRAM的突发读取模式，确保线程束内的线程访问连续的内存地址，从而一次性读取整块数据，大幅提升访存效率。分块（Tiling）技术将大矩阵切分为小块载入SM的快速共享内存中进行计算，最大限度地减少对慢速全局内存的访问。为确保分块与硬件特性（如突发段长度、SM数量）的完美匹配，有时还需对输入矩阵进行填充（Padding），以避免不对齐访问和SM利用率不足导致的性能下降，这解释了为何某些特定矩阵维度（如64的倍数）能带来显著的性能提升。FlashAttention正是这些优化思想的集大成者。它通过精巧的分块和重计算策略，在注意力机制的计算中实现了对全局内存的亚二次方级别访问。其核心在于对Softmax操作的优化：通过在线Softmax算法，在每个分块内部逐步计算Softmax的统计量，避免了物化整个巨大的注意力分数矩阵。前向传播时，KQV的矩阵乘法均采用分块处理，Softmax在块间在线完成；反向传播时，则通过重计算前向传播中的关键中间值（如Softmax输出），进一步减少了内存占用和带宽需求。这些技术的综合运用，使得FlashAttention能够显著加速Transformer模型的训练和推理，并支持更长的上下文窗口。理解并应用这些GPU编程的底层原理和优化技巧，对于设计和实现高效的现代深度学习模型至关重要。在当前大行其道的语言模型背后，硬件无疑是核心驱动力。要真正驾驭并充分发挥硬件的潜力，洞悉其底层细节至关重要，所有系统层面的改进都与这些基础概念息息相关。GPU的扩展趋势图谱尤其值得铭记，它深刻揭示并促使我们聚焦于内存移动这一关键环节。事实上，内存传输正是当前所有性能瓶颈的症结所在，其重要性甚至超越了单纯削减浮点运算次数。因此，优化的重心应当转向提升内存传输的效率。归根结底，对于既定的计算量，优化之道在于优化数据传输，力求最大限度地避免从高带宽内存或全局内存中进行数据读取。我们的目标是减少此类传输，并将尽可能多的数据和计算保留在速度极快的共享内存中，正如闪存注意力机制（FlashAttention）所展现的卓越性能那样。