CLIP

前段时间，我在学习文本向量化时重新读到 OpenAI 的 CLIP 论文。读着读着，我突然想起张首晟谈比特币的一场演讲。 一个是分布式账本。一个是把图像与语言放进同一套表示空间。它们解决的显然不是同一个技术问题，却让我反复想到同一个词：共识。 比特币试图让分散的节点对交易历史形成可验证的共同记录。CLIP 则从海量图文中学习：一张图片通常会和什么语言相遇。一个处理协议中的共同历史，一个处理数据里的语义对应。它们之间不存在可以直接画等号的证明，但这种距离很远的相似，改变了我理解 AI 的方式。 我开始追问：如果模型越来越擅长吸收那些已经被反复表达、记录和校验的规律，那么一个人的长期价值，究竟应该建立在哪里？ 一、共识并非没有成本，只是成本记在不同科目里 比特币白皮书要解决的核心问题，不是让世界从此不再需要信任，而是在没有单一可信第三方处理每笔支付的情况下，防止同一笔数字货币被重复花费，并让参与者形成一份共同的交易顺序。它把交易写入持续增长的工作量证明链。想改写过去，就要重做那个区块及其后续区块的工作，并追上仍在增长的有效链。1 这并没有让系统脱离一切依赖条件。它只是把对单一中心机构的依赖，换成了对公开协议、密码学证明、软件实现和诚实算力占优这一前提的依赖。 在工作量证明中，成本非常直白：CPU 时间和电力。张首晟曾用热力学中的熵来解释这件事：一个局部系统要维持有序，就必须把代价释放到别处。2 这个类比很有启发性，但我现在不会再把它写成一条由物理学证明的社会定律。热力学照亮了问题，却不能替代分布式系统的证明。 我由此得到的不是一条关于所有共识机制的定律，而是一个工程提醒：**共识成本不会凭空消失，只是不同系统把成本记在不同科目里。**有的支付计算，有的支付通信和等待，有的依赖抵押、身份，或者对部分参与者的信任。稳定的共同状态不是一句“大家同意”就会自动出现，它需要一套可以持续校验、处理分歧并约束改写的机制。 二、CLIP 学到的不是世界，而是世界留下的图文痕迹 这里也必须把比特币与 CLIP 之间的距离说清楚。比特币用协议和资源成本，让节点收敛到一份共同历史；CLIP 不建立这种协议共识，它通过统计训练，压缩人类已经留下的图文对应。两者共享的不是机制，而是一条观察：分散的信息只有被组织成可以反复调用的结构，才会从噪声变成能力。 过去的视觉模型往往依赖预先定义的标签体系。ImageNet 就建立在 WordNet 的概念层级上：研究者先按类别收集候选图片，再通过众包判断图片是否真的呈现了目标概念。它把一套经过人确认的视觉分类体系扩展到了极大的规模。3 CLIP 换了一种做法。研究团队从公开互联网来源构建了约四亿组图文配对，让模型在一批候选中判断哪段文字和哪张图片真正配对。通过这种训练，图像和文字被投射进同一套表示空间，模型由此获得了跨任务迁移的能力。4 这四亿组数据听起来像一个接近世界的规模。但它们并不是“世界本身”。公开网络、由英文 Wikipedia 词汇扩展而来的约五十万个查询词，以及后续的采样和平衡方法，共同决定了什么有机会进入训练集。CLIP 的预训练没有被锁死在 ImageNet 那样的固定类别表里，但人仍然通过语言、查询和采样方法参与塑造它的边界。 所以，我所说的“语义共识”不是 CLIP 论文里的技术术语，也不是比特币意义上的协议共识。它是我对这类模型的一种理解： CLIP 不是直接从世界读取意义。它从人类留在互联网上的图文配对里，学习视觉与语言如何相遇。 模型看到的世界，已经被人拍摄、筛选、命名、描述和上传过。它学到的不只是物体外观，也包括这些物体在特定网络语境中通常怎样被谈论。这些反复出现的对应关系，像一层沉积下来的意义基础设施。模型越能吸收它们，我们调用公共知识的成本就越低。 但一张足够大的地图，仍然不是全部领土。 三、MNIST：共识存在，却没有以模型熟悉的形状出现 CLIP 在许多自然图像任务上迁移得很好，却在机器学习入门者非常熟悉的 MNIST 手写数字上只有约 88% 的零样本准确率。论文作者检查预训练数据后发现，其中几乎没有外观类似 MNIST 的图片；甚至一个直接处理原始像素的简单逻辑回归模型，也能胜过零样本 CLIP。4 这件事最初让我兴奋，因为它似乎证明了：模型在高频区域强大，在共识稀薄的边缘失灵。 但这个说法并不够严谨。0 到 9 恰恰是人类最稳定的公共符号之一。MNIST 暴露的不是“数字缺少共识”，而是这份共识没有以黑底、低分辨率手写数字的形态，大量进入 CLIP 的训练分布。 所以，我今天所说的“共识密度”只是一把思考工具，不是一个可以从论文里直接读出的指标。它提醒我追问：一种经验有没有被记录，记录是否与语言形成了可学习的配对，最后又是否进入模型的数据分布。CLIP 的研究者在比较不同预训练数据时也谨慎推测，不同数据集上的性能差异可能反映相关数据在预训练材料中的相对密度。4 这支持了我的直觉，却没有把它变成一条普遍定律。 更准确的说法应该是：规模能够扩大模型覆盖的地图，但规模本身无法消灭地图的边界。 四、稀有不是价值，承担后果才是 张首晟在谈 AI 与数据时，设想过这样一个场景：如果一个模型已经有 90% 的准确率，要继续提高到 99%，真正需要的可能不再是更多相似样本，而是与已有数据差异足够大的信息。2 这不是一个已经被证明适用于所有模型的定律，却是一个很有力量的追问：当常规样本已经足够多，下一条重要信息会从哪里出现？ ...