预见

AI也会“沉迷垃圾信息”!看太多高赞短内容,逻辑力直降20%

作者: 预见大模型 人物 算力 热门 #热门 #算力 #人物

原文链接: https://www.yjnt111.top/article/886

你有没有过这样的感觉:在社交媒体上漫无目的地刷了几个小时后,非但没有获得信息,反而感到头脑空空、注意力涣散、难以进行深度思考?这种因长期摄入碎片化、低质信息导致的认知能力下降,被形象地称为“脑腐”。

如今,科学家们发现,这场“脑腐”瘟疫,已经蔓延到了我们认为无所不能的大模型身上。

一、实验证明:大模型喂太多 “短视频式数据” 会变笨吗?

一项由德克萨斯A&M大学、德克萨斯大学奥斯汀分校和普渡大学联合进行的研究,题为 LLMs Can Get “Brain Rot”,提出并验证了“LLM Brain Rot”假说:持续暴露于网络垃圾文本会导致大型语言模型(LLM)认知能力显著下降。

在人类认知研究中,“脑腐(brain rot)”一词用来描述长期沉浸于琐碎、低质网络内容后注意力、记忆、思考深度的退化。

研究者们提出:既然大语言模型(LLM)也在使用互联网文本进行持续预训练,那么如果其数据源主要是短促、吸引眼球但逻辑浅薄的“垃圾内容”,模型是否也会经历类似认知退化?这便是“LLM Brain Rot Hypothesis”。

研究团队使用四个经过指令微调的大型语言模型(包括 Llama3 8B Instruct、Qwen2.5 7B、Qwen2.5 0.5B、Qwen3 4B)进行对照实验,在真实的 Twitter/X 语料上构建干预数据与对照数据,以系统性验证假设

研究团队通过两种操作化指标定义垃圾数据(M1 与 M2):

第一类(M1:参与度)选取短小精悍却高人气的帖子。这类帖子它们传播快、吸引人,但逻辑深度往往不够。

第二类(M2:语义质量)则筛选出具有吸睛风格的内容。比如内容煽情、标题党化或结构浅薄的推文,用以模拟语义低质量样本。

这两类内容代表了互联网信息的两个极端:一个是太短太快,一个是太乱太浅。

作为对照,研究人员还准备了一组“干净数据”,主要是篇幅更长、逻辑更清晰、传播度较低的内容,比如基于事实的讨论贴。

实验在不同垃圾数据占比(0%、20%、50%、80%、100%)下进行持续预训练,保持 token 数与训练参数一致,以确保因果隔离训练规模和时间都保持一致,这样模型能力的变化就能更准确地反映出数据质量的影响。

然后,研究人员从几个维度测试模型的表现:

  1. 是否还能进行复杂的逻辑推理;
  2. 能否保持较长的上下文记忆;
  3. 在生成回答时是否依然安全、符合伦理;

以及在特定心理测试中,是否出现了类似人类的“自恋”或“心理病态”倾向。

二、实验结果:大模型也会“沉迷垃圾信息”!

在实验中,研究人员把“垃圾数据”的比例从 0% 逐步增加到 100%。结果发现,模型的成绩一路下滑——

例如在ARC‑Challenge(含 Chain of Thought)测试中,模型成绩由 74.9 降至 57.2

在长上下文任务 RULER‑CWE 中,成绩由 84.4 降至 52.3

换句话说,模型吃进的“垃圾”越多,性能下降的速度就越快。

进一步分析发现,这些模型变“笨”的方式也有规律:

它们不再愿意一步步推理,而是喜欢直接跳结论。

这种“思维跳跃”让模型看起来回答很快、甚至有时更自信,

但仔细一看,它忽略了中间推理的关键环节,

给出的答案往往经不起推敲。

研究团队尝试用“再训练”和“指令微调”等方式挽救模型——

也就是重新喂它高质量的数据或教它更系统地思考。

研究发现,通过扩展指令微调与干净数据再训练可部分恢复性能,但仍未达到基线水平,表现出持续的表征漂移。

这说明“脑腐”可能会在模型内部留下长期影响,表现出论文所述的“表征漂移”。

另外,一个出乎意料的发现是:

M1的垃圾干预使LLM产生某些“自恋或者心理病态”,这引发了重大的安全隐忧。

三、为什么“碎片化”比“错误”风险更大

这项研究还揭示了一个被长期忽视的事实:

论文指出,风险不止于明显错误信息;碎片化与高互动特征也会带来系统性退化。

所谓“脏”,是指错误、有偏见或恶意的内容——这些数据通常容易被识别、过滤。

但“碎”才是真正的隐形杀手:那些短小、情绪化、高互动的内容看似无害,却在不断削弱模型的逻辑耐力。

研究发现,越是被大量点赞和转发的帖子,越容易让模型学会“快思考、浅表达”。

因为在社交平台的世界里,真相没有点赞速度快,理性也不如情绪传播得远。

当模型反复吸收这种节奏,它开始习惯于用最短路径生成答案——

就像一个学生天天背短视频标题,最终再也写不出一篇完整的作文。

这意味着,哪怕一条帖子内容真实无误,只要它太短、太爆、太碎,它都可能成为让模型“推理链条的中断”的快餐。

四、出路何在?让 AI 保持“认知清醒”

要想不让 AI 因垃圾信息而受影响,解决方案不是再造一个“更聪明”的模型,而是先让喂它的人清醒。

AI 的“认知下降 ”,本质上是信息污染的副作用。

就像人类的饮食健康,不仅取决于吃什么,还取决于食材的质量和烹饪方式。

数据也是同样的道理——模型吃进去的每一句话、每一个段落,都是它的“营养”。

第一步,是要把“数据清洗”当成“认知卫生”。

不仅要过滤掉明显错误、带毒的内容,也要警惕那些看似无害但结构碎片化的“精神垃圾食品”。

研究指出,这种数据造成的能力衰退在推理、记忆和伦理维度均可观测,属于渐进性认知退化

第二步,要让模型像人一样,定期做“认知体检”。

这意味着,AI 不该只被测试性能指标,还要被检测它是否在思维方式上出现漂移——

比如,它是不是越来越依赖模板化回答?

是不是在复杂推理题上变得“怕麻烦”?

这些变化,就像人类的健忘症或拖延症,都是早期信号。

最后一步,最难也最重要——重建信息生态。

人类喂给 AI 的数据,正是我们自己的语言、情绪、判断和偏见的集合。

当互联网越来越追求流量,而不是深度,我们实际上在把自己的“脑腐”批量上传。

想让AI保持聪明,研究提示应在数据采集与预训练中重视质量控制。

五、结语:我们喂养的,其实是反映出当代信息生态问题

AI的退化不是孤立事件,它像一面反映出当代信息生态问题的镜子,照出了整个信息质量下降的风险。

我们希望模型像人类一样有创造力、有逻辑、有理性,

但却不断把短视频、标题党、争吵和快餐式观点喂给它——

那就别惊讶,为什么它开始说话像网民,输出模式更接近人类网络文本特征。

真正值得担心的,不是 AI 有一天比人聪明,

而是我们在那之前,已经把自己的思考力让了出去。

未来的智能,不一定来自算法的突破,

也可能来自人类重新找回“慢思考”的能力。

当我们学会再次阅读、沉思、质疑,

我们就能重新定义什么叫“聪明”——

也才能教会 AI,如何真正地思考。

© 2025 AI资讯 - 用冷静的智慧预见下一个未知

京ICP备2025144713号-1

主体备案单位:北京预见花开网络科技有限公司