从颠覆到建设：token预测、第一性探讨、概率本质、思考方法论

我们是不是一直都错了？

我们对自身的了解，深层次来讲，一无所知。

“理解”？“记忆”？“情感”？“创造”？

我们甚至没有一个足够底层、清晰的定义共识。每次我看到对于这些名词进行的讨论，会下意识地质疑。这些我们认知上的高度抽象、基于经验性的认识真的不是从第一性就存在不成立的可能吗？

next token prediction到底是一种本质缺陷，还是我们本身就不了解这种机制？

前者是否是一种人类中心的偏见？即我们以为自己不是这么运作的。

我真的在思考？深度思考？

预测加工理论和自由能原理作为两个有影响的框架，核心指出：人脑本质上就是一个层级式的、贝叶斯预测系统，其任务是——不断预测、不断纠正。

这种下一个token预测的训练目标，背后的机制我们好像清楚是对于语言的压缩、万亿token的关系映射。

然而，我们也知道这又是“黑箱”，其内部机制竟然也演化出了比大多数人更稳定、更泛化的对于世界的认知，尽管仍有幻觉存在，不可否认这是机制中的概率导向了让接下来的环境处于模型未曾见过的token（一种非现实环境），而使得“幻觉”。

我们基于transformer架构的模型的训练目标是预测，涌现了上述的特征。

如果仍将人类的目标看作是生存与繁衍的话，我们也涌现了爱、艺术、科学与哲学。当然，我们有理由质疑人类的目标不是这些…

也许我的一些想法是脱离人类主义的，但至少存在一种可能，我们无比接近世界建构机制的底层规律，至少无比接近、前所未有的接近，即“概率”。

彻：

对于以上，我同时需要进行挑战。更多的是出于我作为人的思考：

经验性认知需要“实践出真知”，我们对于那些名词，相较于“理解”，我倾向于认为，我们“感受”到了他们-理解、记忆、情感、创造。也许我们无法通过语言进行底层性的陈述，但至少我们有一个主观印象…

需要承认的是，next token prediction的作用维度目前远低于人类，也许还有真正的因果推理、上述的那种主观感受、具身体验、世界建模等等，捕捉了语义关系，但也仅仅是那个维度的。

过度强调第一性与底层，可能会偏唯心吧，那里的底层也许又只是我眼中的底层，也很要警惕陷入虚无…

微观上的概率竟然能在宏观中表现出确定性，就像牛顿力学与量子力学的相对吧…

客观还是主观？貌似客观的思考好像成为了主观陈述，那个基于我的认知的世界；主观感受下的客观表达，也许也蕴藏着真正的真理…

我又有了新的体会。更期待那个未来了…

思考方法论：