Strayn

大语言模型不是AGI。

复杂工具和语言的使用是人的特长，GPT4两样都会（Timo Schick et al., 2023)，这很吓人。

在机器的进化道路上，语言类模型可以说抄了近道，相较于图像和音乐，人类以语言文字形式保留的信息量要大得多，这不仅因为语言古老，也源于语言和人类思维之间的内在联系。

维特根斯坦讲“语言的极限便是世界的极限”，他所论述的世界是被语言覆盖，也是被语言描述的。语言中包含世界的真相，这启发了符号主义从语言入手搞人工智能建设。人类最喜欢的符号通常是树形结构，这可能和我们的祖先有些关系。例如犹太教用卡巴拉之树（Kabbalah）来解释宇宙、上帝和王国之间的关系。类似地，维京人用世界树（Yggdrasil），印度教也有存在树（kalpavriksha），程序员用二叉树（Binary Tree），符号主义也发展出了决策树（Decision Tree）。在语言模型这个细分话题上，符号主义也会用一棵语法树（Syntax Tree）把句子变成主谓宾定状补，再用一棵语义树（Semantic Tree）找到每个关键词的含义，本质上就像查字典。这带来了不错的进展，但人类的语言很复杂，例如“bank”，作为名词可以是河岸，也可以是银行，字典编出来了也可能对不上号。好在维特根斯坦晚期又提出了“语言游戏”的思想，他认为”语言是在使用中被赋予意义的“，这启发了连接主义对语境的研究，学习语境不需要对数据标注，他们放下了字典，在海量的文本中用神经网络暴力计算各个词是怎么被使用的，例如哪些词经常前后脚出现，哪些词经常出现在同一句话里，一度非常流行的Word2Vec应用而生。而今天话题的主角GPT4在训练中所使用的完形填空（Cloze Game）也是这个思想的延续。

GPT4会产生幻觉，有时说谎，有时说真，这部分问题来源于其训练数据本身 —— 也就是广大网友的共同创作，而人类的创作本身就是真相和谎言并行的。大模型靠的是大数据，数据里真假都吃，学到的也只能是其中的共同点 —— 无论真话假话本质上都属于人话，它学会的也只有讲话而已。但可不可以优化呢？事实上从小火慢炖的GPT3到全网爆火的ChatGPT中间差的正是这一层真实性，新版本让人来和它互动引导，让它了解“有逻辑”地讲话的步骤（Long Ouyang et al., 2022）。可仍然存在一些怎么也引导不对的逻辑问题，这里列一个比人工标注更高效的批量生成方案：

考虑在一个语言构筑的世界中，这个世界中的一位哲学家GPT和一位科学家GPT正在进行一场对世界结构的苏格拉底式质疑。哲学家GPT经过微调懂得怎么提问。科学家GPT经过微调懂得怎么生成实验设计模板。

哲学家随机生成一个问题。
科学家尝试回答问题，生成一个猜想；同时再生成一个实验设计方案。
代码执行实验设计进行谷歌搜索，根据搜索结果，科学家再次总结并生成一个实验结果。
如果科学家的实验结果和猜想相似，惩罚哲学家因为没问到点上。
反之惩罚科学家，因为猜想不够准。
哲学家根据上一次的发问和科学家的实验结果，继续问出下一个问题。
如果实验设计代码无法执行，直接惩罚科学家。

这样去学习谷歌可能要挠头。这个方法本质上是在“谷歌搜索”这一行为路径上合成了一组新的数据，这一定程度上规避了回归式模型错误累计的问题，和Teacher Forcing的回归模型训练技巧有异曲同工之处。此外通过区分公认数据库和不知名数据源，这样训练出来的科学家GPT有望更好地区分事实和曲解。

类似的学习方法，有可能让模型最终吃透语言世界的大部分内容，但语言本身还有一些其他的问题。一方面能够被记录的语言场景不够全面，相当多来自经验的常识在语言表述中可能被省略了，但模型未必理解，并且很多发生在日常生活中的对话并没以文字形式记录下来给机器服用。另一方面海德格尔在《存在与时间》中指出语言本身存在一种“遮蔽”（concealment）现象，即人类在日常生活中往往只关注表象，而忽略了世界的本质和存在的真相，因此语言可能隐藏或扭曲世界的真实情况。苏格拉底的解决方案是多和别人深聊，靠沟通来尽可能找到一种普适的共识作为知识，等于构建了一个客观的语言世界。但显然语言模型所生活的世界并不是这个客观的语言世界，而是形形色色的人主观的叠加。

更糟糕的是，人类也并没有真的理解语言背后的真实世界。

看似完美的数学模型在实际应用的时候总会多出一个error项，明示着这个世界中还没有被发现的一切。佛教关于世界的论述是一张在时间和空间上铺开的因陀罗网（Indra's Net），万事万物之间都具有联系。世界根据因陀罗网展开形成了世间百态（色），而我们每个人从”色“中进行一波主观曲解看到了“表相”，而表相不能让我们理解到因陀罗的真实结构（法）。怎么理解这个理解不能呢？

设想这样一个思想实验：

根据GPT模型部署的方式，GPT的时间是在一次次API接口调用和计算之上展开的，每个进程代表了一次新的生命。设想如果人类的世界也是类似的结构，那么当我们的造物者按下暂停键会发生什么？

答案是什么也不会发生，因为一切都同步停止了，包括人的思维，所以没有参照物可以让人感受到这个世界的变化。GPT也一样注意不到这个变化。但如果每次给GPT发消息我们都带了一个我们世界的时间戳，那么现在我们暂停24小时，再发消息时，GPT就可以根据这个时间戳觉察到某种变化。但它不一定会把这解读为“时间”，因为这种变化不具备时间惯常的连续性，它没办法进行实验复现这个现象，也没有其他的参照物可以确认这个猜想。

这个时间戳就是一种看起来毫无规律的“色”，但如果每次暂停重启时还有其他的特征，例如它注意到缓存数量都会有个断崖式的上升，它注意到了时间戳的变化和缓存上升之间存在某种统计上的关联性，那么它可能就注意到了某种“相”。但它没办法看到这背后的真实原因，即人类正吃着火锅唱...

Posts

Wikitag Contributions

Comments

Posts

Wikitag Contributions

Comments