现在只需58行代码，任何Llama 3 70b的微调版本都能自动扩展到1048k（一百万）上下文。 堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。

最近，Microsoft Research的研究人员提出了一个新模型LongRoPE，首次将预训练 LLM 的上下文窗口扩展到了2048k个token，在256k的训练长度下只需要1000个微调步骤即可，同时还能保持原始短上下文窗口的性能。

在大模型在内容生成过程中，需要先把人们对话输入的文本转化成一个个的token，然后根据对上下文中的tokens信息的理解和分析，预测接下来应该生成的tokens内容，并将这些生成的tokens转换成人们熟悉的文本内容进行输出。

本文来自微信公众号：新智元 （ID：AI_era），作者：新智元，编辑：桃子、好困，原文标题：《革命新架构掀翻Transformer！无限上下文处理，2万亿token碾压Llama 2》，题图来自：视觉中国 ...

大模型的一个重要能力是所谓的“上下文学习”。具体来说，当大模型的参数训练好之后，用户和大模型的交互方式，是通过提供上文来获得大模型的下文，这时大模型的参数是固定的。 至此，本次研究基本结束。日前，相关论文以《多头软 MAX ...

Claude、通义千问和Kimi给出的这些特质中，也都提到了马斯克冷酷无情、双重性格、戏剧化、矛盾性等“负面”特征。

如果用户与 ChatGPT 的对话超出了上下文窗口，其性能将急剧下降。目前，增加上下文长度已成为科技公司改进模型并获得竞争优势的主要努力方向 ...

在《Many-shot Jailbreaking》的研究中显示，MSJ利用了大模型在处理大量上下文信息时的潜在脆弱性。这种攻击方法的核心思想是通过提供大量的不良行为 ...

声明:本文来自微信公众号“量子位”（ID:QbitAI），作者:关注前沿科技，授权站长之家转载发布。 特斯拉机器人Optimus最新视频出炉，已经可以在厂子里打工了。 正常速度下，它分拣电池（特斯拉的4680电池）是这样的: ...

早在10多年前，参与微博打拐活动让360公司周鸿祎产生了做保护儿童安全产品的想法，儿童定位电话手表“360儿童卫士”诞生了。2024年4月，360智慧集团凭借基因里的理念传承及强大的技术积淀，推出了全球首款接入360大模型的11X AI版儿童手表。

理想L6 之所以能够获得如此高的关注度，与其强大的产品实力密不可分。作为一款大五座中大型SUV，L6 提供了两款配置车型，售价区间为24.98-27. 98 万，车身尺寸达到了49251960 1735 毫米，轴距长达 2920 ...

“安全”是AI领域经久不衰的话题，伴随着大模型的发展，隐私、伦理、输出机制等风险也一直伴随着大模型“一同升级 ...