大型语言模型与人工智能

忻斌健 | 2023-03-13

概述
大型语言模型的工程实现
展望和挑战

概述

技术进步

新技术的出现导致社会的进步
人工智能被誉为新时代的电力
Jordan Tigani 大数据已死

科学观念的更新

三个领域发生巨大持久和深刻的变化
理解原理越深刻，应用影响越大

什么是 ChatGPT？

Chat Generative Pretrained Transformer

本质：智能转化为计算
- 计算的基本对象：内嵌空间(embedding)
- 机器学习方法
特点
- 大规模
- 单一的方法(深度学习 Transformer 架构)
- 多语言模式
- 强人工智能 (AGI?)
开源开放
- 可迁移：图像，控制
- 机缘巧合

语料，训练样本
- until 2003 5 EB ExaByte, 2013 5EB/2 days (1EB: $10^9$ GB, 1 Zettabye: $10^{12}$ GB, billions and billions Carl Sagan)
- 模型，计算量
- 训练不充分
- 规模化的必要的，但很可能不是充分的
单一的方法（人工智能，机器学习，深度学习，大型神经网络模型，计算模型）：1990s 就有，计算量，互联网的兴起
- 工程实现原理完全清楚，结果需要解释和分析，有争议
- 赌注，stake，自信，勇气，信仰
偶然 Serendipity
- 硬件彩票 GPU
  - 1990 64 个节点的计算机网络，jeff dean, Yoshua Bengio
- 专家：李飞飞, Hinton, Bengio, LeCunn
- 偶然中的必然：生命的生化起源，真核生物的起源，语言的起源（20 万年前）; 演化推动指数级增长
工程实现理解
- 可视化，动画的方式（Jay Alammar, Lilian Weng, Christopher Potts）
- 剥洋葱的方式，一层层往里看

Ilya Sutskever NIPS 2015

如果数据集够大
并且训练一个很大的神经网络
你肯定能成功!

大型语言模型

GPT 系列
- GPT2 (1.5B), GPT3 (175B), InstructGPT(Alignment, RLHF)， ChatGPT(数据收集差异), GPT4(?) 👉 NanoGPT (Andrej Karpathy)
  - ChatGPT for Slack
    神经网络做为大型语言模型

大型语言模型及训练计算量

锂电池能量密度提升

大型语言模型的能力改善

社会影响

微软入股 OpenAI
竞争:微软(Sydney),谷歌(LLaMDA,Bard)，Meta(Galactica,LlaMa),GPT4
智能(Intelligence),能动性(Agency),知觉(Sentience),意识(Conciousness),意志(Will)

ChatGPT 的虚假承诺

它可以用于解决问题, 但它的语言和知识的概念从根本上是有缺陷的。

所谓人工智能革命性的进展令人既担忧又乐观。乐观是因为智能可以用于解决问题，担忧是因为，它的语言和知识的概念从根本上是有缺陷的。

这种机器学习方法把这些内含缺陷的概念整合到我们的技术和产品中，从而贬低了我们的科学和道德伦理。 The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.

批评：Oxford Summerfield Lab:“Like others, Chomsky pits “pattern matching” vs. “understanding”. this is a sort of neo-dualism: it diminishes computation by asserting that it lacks some intangible quality (as we might diminish other minds by assuming they lacks some intangible quality (as we might diminish other minds by assuming they lack subjectivity)

从佛教角度，二元论夸大“我相”，执迷

Yoshua Bengio

ChatGPT 令人印象深刻,但在科学上只是微小的一步, 最多称得上是工程上的进展.

大型语言模型的工程实现

用例

语言编码模型：语素和 n-元语法(n-gram)

GPT 中的计算对象：内嵌(embedding)

内嵌（单词/语素的编码）
- 独立语义，在句子/文本的不同位置重复出现，可以复用的变量
- 对应于感质（Quolia）：概念（颜色）在意识中的聚类，语言只是一种接口
相互关系通过计算确认
通过训练样本学习，收集由句法确定的语义

内嵌的运算（embedding）

数据（单词）本身是有结构的,相互关系，出现的频率，相似性，交换性，位置（语法，句法)的含义。由神经网络分布式地表达：概念之间的关系，运算（神经脉冲的传导）万物都有一种模式，它是我们宇宙的一部分。它具有对称、优雅和魅力——您总能在真正的艺术家描绘的东西中发现这些品质。你可以在季节的交替中，在沙子沿着山脊的轨迹中，在杂酚油灌木丛的枝条丛中或它的叶子的图案中找到它。我们试图在我们的生活和社会中复制这些模式，寻找节奏、舞蹈和令人舒适的形式。然而，在寻找终极完美的过程中可能会看到危险。很明显，最终模式包含它自己的固定性。在这样的完美中，万物都走向死亡。 “There is in all things a pattern that is part of our universe. It has symmetry, elegance, and grace - those qualities you find always in that which the true artist captures. You can find it in the turning of the seasons, in the way sand trails along a ridge, in the branch clusters of the creosote bush or the pattern of its leaves. We try to copy these patterns in our lives and our society, seeking the rhythms, the dances, the forms that comfort. Yet, it is possible to see peril in the finding of ultimate perfection. It is clear that the ultimate pattern contains it own fixity. In such perfection, all things move toward death.” ~ Dune (1965)

内嵌的聚类（embedding）

数据（单词）本身是有结构的,相互关系，出现的频率，相似性，交换性，位置（语法，句法)的含义。由神经网络分布式地表达：概念之间的关系，运算（神经脉冲的传导）

万物都有一种模式，它是我们宇宙的一部分。它具有对称、优雅和魅力——您总能在真正的艺术家描绘的东西中发现这些品质。你可以在季节的交替中，在沙子沿着山脊的轨迹中，在杂酚油灌木丛的枝条丛中或它的叶子的图案中找到它。我们试图在我们的生活和社会中复制这些模式，寻找节奏、舞蹈和令人舒适的形式。然而，在寻找终极完美的过程中可能会看到危险。很明显，最终模式包含它自己的固定性。在这样的完美中，万物都走向死亡。 “There is in all things a pattern that is part of our universe. It has symmetry, elegance, and grace - those qualities you find always in that which the true artist captures. You can find it in the turning of the seasons, in the way sand trails along a ridge, in the branch clusters of the creosote bush or the pattern of its leaves. We try to copy these patterns in our lives and our society, seeking the rhythms, the dances, the forms that comfort. Yet, it is possible to see peril in the finding of ultimate perfection. It is clear that the ultimate pattern contains it own fixity. In such perfection, all things move toward death.” ~ Dune (1965)

图像中的内嵌

图像内嵌编码和解码，通过 DCGAN 训练得到
内嵌参数的插值：图像的连续变化（男–>女）
内嵌的向量运算：图像的修改

GPT3 训练

GPT3 样本输入

GPT3 推理

GPT3 上下文与内嵌

GPT3 与 Transformer

GPT3 应用

ChatGPT

GPT3.5: codex
监督学习，细调
强化学习(PPO)构造奖励函数
应用强化学习训练改进模型

涌现行为（Emergence Behavior)

应用和部署

提示工程(Prompt Engineering)
LLaMA 复刻 GPT (斯坦福Alpaca 7B, 100$）
- 通过 API 比对训练 ➡ 商业模式？
LLaMA (7B) 树莓派移植（4GB, 10sec/token）

变形金刚（Transformer）

结构: 归纳偏差少，通用性好
- 注意力: 内注意力，交叉注意力，多头内注意力
- MLP,多层感知机
- 残差结构
需要大量的训练样本
网络尺度和数据集

争议

ChatGPT 是现实的模糊版本

类似 jpeg 图片对原始图片的有损压缩
现实描述的不精确造成语料和信息失真
模型幻觉问题造成语料和信息的污染

GPT4 和语言的未知领域

“它们(LLM)还可能带来新的伦理、社会和文化挑战，需要认真反思和监管。我们如何使用这项技术将取决于我们如何认识到它对我们自己和他人的影响。

但是当我们让 GPT4 为我们做这件事时，我们不是在放弃我们的智能吗？难道我们没有放弃选择、挑选、阅读的能力吗？我们不是变成了语言的被动消费者而不是主动的生产者吗？”

GPT4 Response prompted by Jeremy Howard on 2023.02.23

“它们(LLM)还可能带来新的伦理、社会和文化挑战，需要认真反思和监管。我们如何使用这项技术将取决于我们如何认识到它对我们自己和他人的影响。

该技术是“人工智能”的一种形式。 “智能”一词源自 inter-（“之间”）和 legere（“选择、挑选、阅读”）。那么，智能就是能够在事物之间做出选择，挑选出重要的东西，阅读所写的东西。智力不仅仅是数量或质量；它是一种活动、一种过程、一种实践。这是我们用思想和语言做的事情。

Jeremy Howard 2023.02.23 GPT 4 and the Uncharted Territories of Language

“The limits of my language mean the limits of my world.” — Ludwig Wittgenstein

They could also create new ethical, social, and cultural challenges that require careful reflection and regulation. How we use this technology will depend on how we recognize its implications for ourselves and others.

This technology is a form of “Artificial Intelligence”. The word “intelligence” derives from inter- (“between”) and legere (“to choose, pick out, read”). To be intelligent, then, is to be able to choose between things, to pick out what matters, to read what is written. Intelligence is not just a quantity or a quality; it is an activity, a process, a practice. It is something that we do with our minds and our words.

But when we let GPT 4 do this for us, are we not abdicating our intelligence? Are we not letting go of our ability to choose, to pick out, to read? Are we not becoming passive consumers of language instead of active producers?

智能与一致性问题

越高级的智能越混乱

神经网络的条理性

展望和挑战

效率，开放，出处，有效性，合成
- 基于检索（搜索）的自然语言处理
大型语言模型的“最后一公里”
网络结构理解
- 维护，高效更新
缺点
- 长段落
- 长逻辑推理（chain-of-thought reasoning） 👉 强化学习？
- 自然语料样本空间的污染