YX Nexus 周报 005：构建直觉、记忆与学习、系统的构建认知
本周主题主要聚焦在 AI 领域的顶尖洞察分享、智能的记忆与学习、现实挑战与系统构建认知。
1.围绕 Ilya Suskever （开启深度学习新时代与 Chatbot 范式的重要人物）的演讲有许多可以展开的内容，恰巧本周的不少探索都与其有关：
我认为，要应对未来，最好的方式就是亲自使用和观察当下最先进的人工智能，从而建立一种
直觉。随着AI在未来一两年、三年内的持续进步，这种直觉会愈发敏锐，我们今天谈论的许多概念也会变得
更加真实、不再虚幻。毕竟，再多的文章与解说，也无法替代亲眼所见、亲身所感的体验。
我们过去谈论的许多虚幻的概念，“记忆”“自主学习”等等已经近在眼前。
-
关于“记忆”：
2年前，对于“记忆”的探讨可能只是神经学、认知科学、哲学等去探讨的内容；而当下，这一概念成为下一代 Agent 无法绕过的难题。设计什么样的记忆架构？上下文短期记忆+中长期可学习性记忆+长期动态参数化记忆+外部知识库？我们对于人类的记忆机制也不了解，只能通过工程手段验证迭代。
当下我愈发觉得只要获取到足够的上下文、进行合理的记忆管理，那么智能将会极度个性化，不管是日常任务处理、问题解答，还是个性化教育、情感陪伴等等。这是一个“人生操作系统”。
-
关于“学习”：
“自主学习”已经成为当下研究前沿最热门的话题之一，这又涉及到我们对于“人类”学习机制的认识。
半个月前有DGM（Darwin Gödel Machine），迭代地修改自身代码（由此也提升了其修改自身代码库的能力），并通过编码基准任务对每次修改进行经验验证。在实证上，DGM能自动改进其编码能力（更好的代码编辑工具、更长的上下文窗口管理等），使SWE-bench基准性能从20.0%提升到50.0%
在我探讨张祥雨访谈的这一篇文章（张祥雨六问AI：从视觉困境到Agent自进化）中，祥雨老师也认为自主学习的 GPT-4 时刻将在2年内到来。 ”一个能够自我驱动、自我进化、自我定义价值的AI，才是在OpenAI语境下，那个真正的、能被称为“Agent”的存在。“
未来，我们将面对超级智能所带来的
深刻问题，例如如何确保它们表达的是真实所想，而非伪装。总而言之，主动观察人工智能的能力而非忽视它，才能在我们直面挑战时，激发出克服困难所必需的能量。
-
深刻问题：
关于第一句话涉及人工智能的安全，AI的“不可控”风险：我们真正该担心的什么？我在这篇文章中提到了三个可能的“失控“——对抗样本（对输入数据进行微小、通常对人类无感的改动，却能导致 AI 模型做出完全错误的判断）、偏见（源于训练数据本身包含了人类社会的偏见）、幻觉（基于目标是可能性选择所造成的”一本正经的胡说八道“）。
偏见是训练层现阶段不可避免的。幻觉与对抗样本则是机制层级上的，前者造成的影响更大程度上来源于模型本身，而后者可能会被某些人利用，来“破解”模型。
在看完诺兰的《记忆碎片》后，我意识到“记忆”可能也会导致另一个失控（和对抗样本属于同一层级的，“被利用”）。这部电影抛出一个核心质问”失去了记忆，我们是谁？我们的理性真的是客观？而不是基于记忆导致的我们认为的主观是客观？“
如果足够强大的 AI 被他人通过提示注入（一种针对LLM的网络攻击方式）来篡改其“记忆”，简单说这里的记忆偏向于 System prompt，甚至可以绕过系统预设 System prompt 来达到破解目的。
-
克服困难：
人工智能带来的挑战，可以说是人类有史以来最大的挑战，而克服它也将带来最大的回报。无论你是否愿意，你的人生都将深受人工智能的影响。
非常赞同、感触以及有所期待的一句话。
2.Cursor CEO Michael Truell，一位深入研究AI长达十年、并对技术和商业史有深刻洞见的思考者：
-
后代码时代、逻辑设计师：我们创建 Cursor 的目标是发明一种新型的编程方式，一种非常不同的软件构建方式。
在我看来，这是一个某种程度上代码之后的世界，越来越多的工程师会开始觉得自己像是逻辑设计师。实际上，这将是关于明确你对于一切如何运作的意图。……它看起来像一个你拥有软件逻辑的表达的世界，这个表达更像英语，对吧？你已经写下来了，你可以想象成文档形式，你可以想象成编程语言朝着伪代码演进。
-
品味-
富有品味地创造：我认为品味将变得越来越有价值。……成为一名工程师会开始感觉像是成为一名逻辑设计师。而且实际上它将是关于详细说明你希望一切如何运作的意图。...它将更多关于
“是什么”，而较少关于你将如何在底层具体地“如何”做事情。
模型写代码再出色、再漂亮，也需要人的引导与需求。
-
到底有没有“护城河”？反直觉的混合模型：
事实上，我们确实做了大量的模型开发工作。……在目前，Cursor中的每一个精彩瞬间都以某种方式涉及到一个定制模型。……不要试图重新发明轮子……而是关注它们的弱点以及你如何能够补充它们。
tab 自动补全模型、apply 快速应用修改模型、codebase 基于代码库语义搜索的模型…
-
使用 Cursor：
成功使用 Cursor 很大程度上取决于你对模型能力的了解，包括它们能处理的任务的复杂程度，以及你需要向模型具体说明多少细节。要
了解模型的质量，以及它的缺陷在哪里，它能做什么，不能做什么。目前，我们在产品中在这方面做得不好。
把事情分解成小块。你可以花费基本相同的时间来总体上指定事情，但要分解得更细。你再进行一些细化，获得一些工作成果，进行一些细化，获得一些工作成果。
这里分享一个工具，Task-Master，专门为 Cursor 等 coding agent 准备的任务管理系统，GitHub上15k star，我还没开始用，不过不少好评。
3.Lex Fridman 对陶哲轩的播客访谈：
-
对
理论本质的精辟概括：一个好的理论，就是对现实世界的一种极致高效的“压缩”——用最少的参数，解释最多的观测。
-
问题解决模型：
将一个复杂问题分解为两种情况：如果对象是随机的，就用概率论的工具；如果对象是有结构的，就用代数或傅里叶分析等工具。
-
AI for Science：
他预测，到2026年，我们将看到由AI与人类合作完成的、达到真正研究级别的数学成果。更长远看，AI或许能通过分析海量数据，在两个看似无关的领域之间发现全新的、优美的猜想——这被他认为是AI在短期内最可能实现的、真正震撼人心的突破。
4.一段关于某种系统设计的意识流形而上发散思考：
- “知错就改”的参数调整性规则会使得系统鲁棒性太差。“一朝被蛇咬，十年怕井绳”的机制保护系统可存在性。多维度调整。是否需要先确立基于 memory 的“大参数”？从这些再确立不同维度的优先级？
- 到底是“错误”让系统调参并进化，还是记忆？是记忆让系统认识到了某种可变性？为了什么？情绪、记忆是否都是为了调参？我为什么会这样思考？这样做？做这些事而不是那些？我的反馈来源不同又是什么？我的奖励函数？不同系统的奖励函数？
- 到底是底层逻辑极简，一个规则指引系统内的特性涌现；还是说设计之初就这么复杂？我倾向于前者。那么，设计什么样的底层规则？配备什么样的“软硬件”？系统进化又如何调整？为什么要调整？是底层规则驱动，还是涌现出的因素？底层逻辑极简是否代表系统复杂性低？并不一定。复杂性可能也很重要。甚至复杂性足够高的软硬件结合的系统，尽管规则仍然简单，才能涌现智能。
- 构建那个系统，是否需要从本体论、价值观出发，获得方法论，这个方法论是构建系统的指导？有大脑（推理、规划、反思）、有记忆（是什么、为什么、怎么做）、有工具（与外部、能够做到）就足够 了。
- 自主学习与迭代？如何设计？参数调整？如何自主迭代？
5.关于人机协作系统设计的可行性探索：
“错误”与“记忆”构成系统进化双反馈回路：基于“错误”的快速调参作为短期战术层、基于“记忆”的深刻进化作为长期战略层。
一核心：目标驱动、价值创造、意义构建的底层规则（无论“好坏"），由特定奖励函数反馈进化的；同时需要“违背”的核心某一函数。注意权重分配。
三系统：
- 大脑——LLM，规划、反思、执行、回复，通过语言与系统内外交互
- 记忆——短期上下文记忆、从中提取的有助于核心的中期记忆（无论正负）、既固化又能调整的参数记忆、外部知识库
- 工具——与外部世界、系统内外进行交互
6.一句话：
质疑记忆、承担时间、迭代目标、追求本质、构建系统、穿越当下、未来涌现