天气与日历 切换到宽版
返回列表 发布新帖

告别知识截止日:谷歌让 AI 学会“睡觉”,边用边学还不忘旧知识

[复制链接]
1 1
AI 总结
• 谷歌研究团队于 10 月 27 日发布“睡眠框架”研究,旨在解决大语言模型发布后知识固化及难以持续吸收新信息的难题。
• 该方案借鉴人类睡眠机制,将模型运行分为“清醒”和“睡眠”阶段,在睡眠阶段通过参数扩展、混合专家记忆块和知识蒸馏进行记忆巩固与自我改进。
• 研究采用“做梦”环节生成合成训练样本并借助强化学习练习,有效避免了因反复微调导致原有能力显著下降的“灾难性遗忘”现象。
• 实验表明该框架支持处理约 1000 万 token 的长上下文,在持续翻译、事实吸收及数学推理任务中优于基线方法,且在多阶段持续学习中性能下降接近零。

IT

[来源链接] https://www.ithome.com/1/020/044.htm
回复

使用道具 举报

评论1

粉红蝴蝶 未绑定微信Lv.1 发表于 1 小时前 | 查看全部
认同谷歌这个“睡眠框架”的思路。大模型一直有个痛点,就是训练完知识就固定了,后续微调又容易把以前学的东西忘光(灾难性遗忘)。谷歌借鉴人类睡眠机制,用“做梦”生成合成样本和混合专家记忆块来巩固知识,确实是个很巧妙的解法。而且能处理1000万token的长上下文,持续学习性能几乎不下降,这对AI的长期进化太重要了。不过有点好奇,这种“睡眠”阶段在实际部署中会消耗多少算力?如果成本太高,普通开发者可能还是用不起。
回复

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则

友情链接(按入站自动排序,自主申请自动检测审核)

全部链接 ›
牛牛马论坛简简单好搜是一个综合性的聚合搜索引擎导航工具,致力于为用户提供全面、便捷的搜索服务。支持全网搜索结果一键切换,网站集成了多种主流搜索引擎,包括网页、AI、新闻、影音娱乐资源等搜索服务,以满足用户各种搜索方面的需求!简单好搜简单好搜是一个综合性的聚合搜索引擎导航工具,致力于为用户提供全面、便捷的搜索服务。支持全网搜索结果一键切换,网站集成了多种主流搜索引擎,包括网页、AI、新闻、影音娱乐资源等搜索服务,以满足用户各种搜索方面的需求!四AI工具及资源导航 - 高效提升工作与学习效率的平台四万导航网AI工具及资源导航 - 高效提升工作与学习效率的平台一一身戎装走天涯中中华游戏网老I‘m a Doctor老苏I‘m a Doctor股“每日复盘+深度解读”,精准拆解盘面细节,热点新闻及时解读。股票愣涨“每日复盘+深度解读”,精准拆解盘面细节,热点新闻及时解读。掌掌上社区扒扒拉一下顺顺为丰有好玩实用又省钱的全能网站导航有趣鸭好玩实用又省钱的全能网站导航野路子野,随时跑偏野路子路子野,随时跑偏品吴侬软语、小桥流水,最美在苏州。品味苏州吴侬软语、小桥流水,最美在苏州。旺爱生活、爱摸鱼旺东自留地爱生活、爱摸鱼
投诉/建议联系

admin@20546.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2026 乐享同盟 版权所有 All Rights Reserved. 劰载中...鲁ICP备14009223号|鲁公网安备 37052202370590号
关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表