悄无声气，羊驼家眷“最强版”来了！
与GPT-4握平，高下文长度达3.2万token的LLaMA 2 Long，崇拜登场。
一场疑似被操纵的比赛在皇冠体育上引起了轩然大波，让田径界的巨星博尔特深陷其中，引发了热议和质疑。在性能上全面越过LLaMA 2。
和竞争敌手比较，在指示微调MMLU (5-shot)等测试集上，证明越过ChatGPT。
在东谈主类评估（human evaluation）上以致优于10万token的Claude 2，这个话题还在Reddit上激发了策动。
要知谈，这些对比版块中，LLaMA 2 Long使用的最大版块也唯独70B，远小于其他大模子。
这让东谈主不禁叹惋：Meta照实照旧有两下子的。
也有东谈主以为，这才是最近Meta发布会的最大新闻啊，比Meta版ChatGPT要更令东谈主抖擞。
亚博体育平台服务差论文先容，LLaMA 2 Long使用了4000亿token语料加握下，并进行位置编码修改。
是以LLaMA 2 Long究竟是如何出生的？
只对位置编码进行了一个相等小的转换与LLaMA 2比较，LLaMA 2 Long的变化并未几。
一是执行参数上，承袭了高达4000亿token的数据源。
——违犯，原始LLaMA 2包含多个变体，但最多的版块也唯独700亿。
二是架构上，与LLaMA 2保握不变，但对位置编码进行了一个相等小的必要修改，以此完成高达3.2亿token的高下文窗口救助。
在LLaMA 2中，它的位置编码承袭的是旋转编码RoPE时刻。
它是当前大模子中行使最广的一种相对位置编码，通过旋转矩阵来罢了位置编码的外推。
骨子上来说，RoPE便是将示意单词、数字等信息的token embeddings映射到3D图表上，给出它们相干于其他token的位置——即使在旋转时也如斯。
这就或者使模子产生准确且灵验的反应，何况比其他时刻需要的信息更少，因此占用的估计存储也更小。
在此，Meta的辩论东谈主员通过对70亿限制的LLaMA 2进行实验，详情了LLaMA 2中的RoPE时刻的一个关键为止：
即，隔断着重力模块策动远方token的信息。
网络赌博为此，Meta思出了一个相等简便的破解办法：
减少每个维度的旋转角度。
具体而言便是将超参数“基频（base frequency） b”从10000加多到500000。
这一转换坐窝胜利，收缩了RoPE对远端token的衰减效应，何况在彭胀LLAMA的高下文长度上优于一项近似的名为“位置插值”的时刻（如下图所示，RoPE PI，衰减后果较为“隐含”）。
Ps. 图中RoPE示意基线时刻，皇冠打水RoPE ABF为Meta这次发明的新时刻，xPos是另一种行使了该时刻的旋转编码变体。
红利一个问题是，通过上头这个可视化散伙，Meta不雅察到RoPE在长程区域出现了较大的“触动”，这关于言语建模来说可能不是个好讯息。
皇冠官网地址不外，通过解说几种时刻在长序列困惑度和FIRST-SENTENCE-RETRIEVAL两个任务上的证明来看，问题不大。
而且，尤其在后者任务上，他们提倡的RoPE ABF是独逐一个不错长期保握性能的变体。
在附录中，Meta还通过可视化为螺旋图这一相等好奇羡慕好奇羡慕的样式，将RoPE ABF与RoPE PI的各异进行了表面分析。
散伙是，与RoPE PI比较，RoPE ABF的上风主要体当今它能以更大的粒度分派镶嵌向量（the embedded vectors），从而使模子更容易差别位置。
此外，他们还不雅察到，镶嵌向量之间的相对距离既对RoPE PI的关键参数有线性依赖性，也对RoPE ABF的关键参数也有对数依赖性。
皇冠客服飞机：@seo3687这也便是为什么咱们不错很容易地对基频这一超参数“下手”。
最终，LLaMA 2 Long凭借着这一转换，达成了3.2万的高下文token，并通过长下文连气儿预执行的共同作用，得回了起首所示的好收获：
除了全面越过LLaMA 2、在特定任务上越过Claude 2和ChatGPT，Meta也给出了它和一些开源长下文模子的对比。
散伙也非凡不赖。
One More Thing值得一提的是，这个最新的版块，是用LLaMA2生成的文本内容来进行执行的。
官方会不会崇拜发布这一版块，当今还莫得更明确的讯息，模子的网址也还莫得找到。
不外一经有东谈主提前抖擞起来了：
这对可商用微调大模子来说太有用了！
而在此之前，一经有非官方版块罢了了3.2万token高下文，亦然开源可商用。
“长颈鹿（Giraffe）”基于13B版块的LLaMA2打造。
辩论团队提倡了一种称为“截断（truncation）”的时刻，对原始RoPE编码进行变换。
llama-2-7b-32k-instruct也不错救助3.2万高下文，模子限制是7B。
论文：https://arxiv.org/pdf/2309.16039.pdf
参考相接：[1]https://venturebeat.com/ai/meta-quietly-releases-llama-2-long-ai-that-outperforms-gpt-3-5-and-claude-2-on-some-tasks/[2]https://twitter.com/_akhaliq/status/1707569241191285207[3]https://www.reddit.com/r/LocalLLaMA/comments/16v0onb/meta_has_released_a_new_paper_llama_2_long_beats/[4]https://news.ycombinator.com/item?id=37698604
— 完 —
本文来源：量子位 (ID:QbitAI)澳门捕鱼，原文标题：《最强LLaMA倏得来袭！只改一个超参数，罢了高下文3.2万token，多个任务击败ChatGPT、Claude 2》
风险教导及免责条件 阛阓有风险，投资需严慎。本文不组成个东谈主投资建议，也未商量到个别用户格外的投资目标、财务景色或需要。用户应试虑本文中的任何主见、不雅点或论断是否妥贴其特定景色。据此投资，职守餍足。