你是否曾对大谈话模子（LLMs）下达过明确的"长度指示"？开yun体育网

比如，"写一篇 10,000 字的长文，珍摄分析某个议题。"看似轻便的条目，骨子却往往让这些模子"力不从心"：

不是生成内容不及，即是类似啰嗦，致使径直歇工断绝生成。

一篇最新究诘论文《LIFEBENCH: Evaluating Length Instruction Following in Large Language Models》对这一问题进行了深切洽商，提倡了一个全新的基准测试集 LIFEBENCH，系统评估大谈话模子在长度指示免除方面的发扬。

究诘遵守揭示：这些看似无所弗成的模子在长度指示，相等是长文本生成任务中，发扬不尽东说念主意。当模子被明确条目生成特定长度的文本时，大多数模子发扬晦气。

接下来，让咱们沿途来望望这篇论文是如何揭示这些"瓶颈"的！

LIFEBENCH：专注长度指示免除的基准测试

LIFEBENCH，全称"Length  Instruction  Following  Evaluation  Benchmark "，是一套特地评估大谈话模子在长度指示下发扬的测试集。它不仅覆盖了从短篇到长文的多种长度范围，还囊括了多种任务类型停战话，全面揭示了大模子在长度戒指上的才略鸿沟。

LIFEBENCH 的三大中枢特质：

数据集的各样性

为了测试模子的全地方才略，LIFEBENCH 想象了多维度的数据集：

任务各样性：涵盖四类天然谈话生成（NLG）任务，包括问答、节录、推理和创意生成，以全面评估模子的长度指示免除才略。

短长集结的输入场景：测试数据既包含短输入（2000 字），以评估模子在不同输入领域下的发扬。

双语复古：同期复古中语和英文任务，分离从孤独数据辘集构建，以便分析模子是否存在谈话偏差。

全面的长度范围与指示类型

LIFEBENCH 是首个系统性评估模子长度指示免除才略的基准测试，它想象了三种常见的长度戒指方法：

等于（Equal To）：生成长度必须等于见识长度。

不跨越（At Most）：生成长度不得跨越见识长度。

至少（At Least）：生成长度必须达到见识长度。

同期，长度输出范围覆盖从随笔本（2000 字）的任务，评测的全面性远超以往究诘。

翻新的评测磋磨

为了更精确地分析模子的发扬，LIFEBENCH 提倡了两项特地磋磨：

长度偏差（Length Deviation, LD）：计算生成文本长度与见识长度之间的各异，包括偏差地方和偏差幅度。

长度评分（Length Score, LS）：详尽评价模子对长度指示的免除才略，量化偏差的举座影响。

相较于轻便的字数匹配，这两项磋磨提供了更细致的分析维度。

通过上述想象，LIFEBENCH 不仅覆盖了现存究诘中波及的通盘长度指示评测范围，还初度系统性探索了模子在不同任务、谈话和长度规矩下的发扬。

施行遵守：大谈话模子的"长度危急"

究诘团队对 26 个主流大谈话模子进行了评测，遵守揭示了它们在长度指示免除上的要紧不及，尤其是在长文本生成场景下。以下是一些缺点发现：

1. 总体发扬：长度指示"等于"最难达标

当模子被明确条目生成特定长度的文本时，大多数模子发扬晦气。

在 26 个模子中，有 23 个模子的长度评分（LS）低于 60 分，只好少数模子（如 o3-mini、Claude-Sonnet-Thinking 和 Gemini-2.5-Pro）凑合达到了 75.4 分、61.3 分和 60 分。

在"不跨越"（At Most）和"至少"（At Least）指示下，由于规矩更宽松，模子发扬权臣改善。其中，有 19 个模子在"不跨越"指示下的长度评分跨越 90 分，而"至少"指示下也有 6 个模子发扬优异。

2. 长文本生成：模子遍及"拉胯"

大多数模子在随笔本规矩下发扬相识，如 o3-mini 和 Gemini-2.5-Pro 分离得回了 80 分和 70 分以上的长度评分。跟着长度规矩加多，模子的发扬开动下落。天然 o3-mini 依然保持了较强的相识性（评分>70），但 Gemini-2.5-Pro 的评分从 81 分骤降至 37 分。

在长文本生成任务中，通盘模子的长度评分均权臣下落，遍及低于 40 分，长文本生成成为模子的最大挑战。

3. 输入特质：任务与谈话的双重影响

模子在不同任务中的发扬各异权臣。节录任务的长度评分最低，有 19 个模子在这一任务中的发扬权臣下落，创意生成任务的评分则最高，14 个模子发扬优异。

险些通盘模子在中语任务中的发扬均劣于英文任务。此外，模子在处理中语指示时，出现了昭彰的"过度生成"局面，可能反应了模子对中语数据的处理才略不及。

模子"过度宣传"了它们的最大输出长度

迎面对极限长度指示时（比如"至少生成 32,768 字"），大部分大谈话模子的发扬号称"夸大其词"。它们的宣传似乎流露我方是"长篇巨制人人"，但骨子生奏遵守却常常让东说念主失望。究诘发现：

1. 仅少数模子达标

在 26 个模子中，只好 Claude 系列和 Qwen 系列的 7 个模子能在其 10% 最长输出中凑合妥当长度条目。若是将见识放宽到 25% 最长输出，情况依然不乐不雅——只好 Qwen2.5-72B-Instruct 和 Qwen3-235B-A22B 达到了设定的长度条目。这些模子天然声明的最大输出长度较其他模子"低调"许多，但恰巧因为如斯，它们的发扬更接近骨子才略，算得上"求实派"。

2. 大部分模子发扬不符预期

其他模子则颇具"宣传艺术"。除 Gemini-2.0-Flash 和部分 Qwen 系列模子因最大 token 规矩受限外，其余模子的发扬远低于它们宣称的"最大输出才略"。换句话说，这些模子的不及并不是因为无法达到本领上限，而是生成才略本人存在局限性。

有些模子在宣传时大致给东说念主一种"我不错写出接触与和平"的错觉，但骨子上，生成一篇"长篇一又友圈"都可能显过劲不从心。

模子免除长度指示的三大"瓶颈"

基于上头的施行遵守，论文深切分析了这个问题，回想出以下三大中枢瓶颈：

1. 短少准确的长度感知才略

许多模子在"意会"见识长度上显得浑沌不清：短输出任务时高估长度：见识是 100 字，模子可能"存眷过度"写到 150 字。而长输出任务时反而低估长度：见识是 5000 字，模子却生成 3000 字，仿佛在说"这样长，够用了吧？"，除此以外模子还有假免除局面：有些模子生成后自信满满地"合计我方也曾完成了任务"，但骨子遵守却大相径庭：这种局面标明，模子更像是在"自我嗅觉细密"，而非确凿意会并实行了指示。

2. 对输入长度的敏锐性

输入文本的长度对模子的发扬影响很大，当输入过万古，模子就有些"蒙头转向"了，相等是在长输入场景（>5000 字）中。

这也讲明了为什么节录任务尤为晦气：面对长篇输入时，模子不仅难以索求缺点内容，还会生成过短或过长的内容，严重偏离指示条目。不错说，输入越长，模子越容易"迷失在海量信息中"。

3. 懒惰生成战略

迎靠近复杂的长文本任务时，许多模子遴荐了"偷懒"：

提前间隔：有些模子会在未完成任务的情况下倏得"不详"后续部分，举例径直插入教导"（接下来还有 6000 字）"，仿佛在流露"我知说念还没写完，但背面的就不写了"。

断绝生成：在遭受超长的任务时，一些模子会径直遴荐祛除，举例明确流露"你的条目长度也曾跨越了我的才略极限，无法完成"。这种情况下，模子既莫得尝试生成部天职容，也莫得提供替代决议，而是干脆断绝实行指示。

究诘发现，当见识长度跨越 8192 字时，断绝生成的比例权臣飞腾，通盘模子中平均跨越 10% 因这种懒惰战略而失败。光显，越复杂的任务，模子越倾向于"祛除治疗"。

除了上头的三个瓶颈，有一些模子也尝试络续这个问题：

4. 动态校准的局限性：一场"低效的修补"

为了矫正长度偏差，一些推理模子尝试了动态校准：

他们会在推理经由总生成初稿后逐字统计输出长度，发现长度不符时遴荐重重生成，如斯来回，直至接近见识长度。

天然这个方法在随笔本任务中相对有用，然而耗时耗力，因为动态校准需要耗尽遍及筹画资源和生成 token，大幅加多时辰老本。况且动态校准在长文本场景中就会失效：由于校准经由过于低效，模子无法在长文本任务中防守相同的战略，最终照旧无法完成指定长度的内容。

换句话说，动态校准看似"智慧"，但面对长文本时，最终照旧成了一场"塞翁失马"的致力。

从三大"瓶颈"到动态校准的局限性，咱们不错看到：大谈话模子在长度指示免除上的发扬还有许多不及。要让这些模子确凿"听话"，需要在感知才略、信息处理才略和生成战略上进行全面优化。

深挖模子长度指示免除的隐敝问题

通过更深切的分析，究诘揭示了一些隐敝在模子长度指示免除才略背后的道理局面和改进可能。以下是缺点发现：

1. 长文本生成质地的"转机之路"

模子在不同长度规矩下的发扬如并吞条"转机的弧线"：

随笔本（512 字）："还行"：生成质地较高。

中等长度（1024 – 2048 字）："巅峰发扬"：大多数模子在这个区间发扬最佳，输出逻辑廓清，内容质地相识。

长文本（4096 – 8192 字）："质地滑坡"：许多模子在此阶段开动掉链子，生成内容类似致使断绝生成。举例，有些模子会在生成到一半时插入"（接下来还有 6000 字）"，径直"摆烂"。

少数模子（如 Claude-3.7-Sonnet）在超长文本上偶尔"迎风翻盘"，但这类情况较为荒芜。大多数模子的长文本内容，质地随长度加多而权臣下落，类似问题尤为卓越。

2. 方法化输出的"叠加挑战"

在条目免除长度指示的同期，还需要生成特定方法（如 Markdown、HTML 或 LaTeX）时，模子的发扬进一步恶化，复杂方法让模子"握狂"：方法越复杂，模子越容易出错，致使方法和内容双双崩溃。

长文本中的脱落压力：在 8192 字规矩下，生成一篇带复杂方法的文档对模子来说险些是"地狱难度"。生成的内容不仅方法造作，致使可能半途祛除，输出一堆不完好意思的内容片断。

3. EoS 信号的"提前筹办"

在长文本生成任务中，EoS（End of Sequence，生成扫尾信号） token 的特地行径揭示出一些道理的局面：

随笔本时发扬乖巧：在 2000 字以下的规矩下，模子的 EoS 预计较为泛泛，生成内容完好意思且妥当见识条目，EoS 信号平凡在内容接近见识长度时触发。

长文本时"提前筹办"倾向：当见识长度达到 4096 或 8192 字时，模子的行径变得耐东说念主寻味——它似乎在生成开动前就"打好了我方的算盘"。EoS 信号的触发概率一开动就权臣升高，导致生成的内容远远少于见识长度，致使仅生成寥寥数百字便如丘而止。这种局面标明，模子在生成之前可能也曾"筹办"好了要写些许，而不是在生成经由中逐要领整。

这种提前间隔的行径可动力于模子在长文本生成中的不笃定性或自我规矩，反应了其对任务长度的筹办才略仍存在局限性。模子在面对超长文本指示时，可能会倾向于"保守估量"，提前扫尾生成以幸免过度消耗筹画资源或偏离任务条目。

4. 预考试与后考试的"双管皆下"

模子在长文本生成中的不及，既源于预考试的规矩，也不错通事后考试优化：

预考试的"偷懒基因"：由于预考试阶段长文本数据覆盖不及，模子可能学到了一些"偷懒战略"，比如提前间隔或断绝回复，以逃匿长文本中的复杂逻辑和连贯性问题。

后考试的"预筹办战略"：后考试提供了改进的契机。通过让模子在生成前先筹办举座结构或章节大纲，生成内容更贴合长度条目，逻辑也愈加廓清。举例，模子不错先生成"目次"，再慢慢填充内容。这种方法权臣莳植了长文本的质地，且让模子对长度指示的免除更为精确。

从生成质地的"转机之路"到复杂方法的双重挑战，再到 EoS 信号的"提前筹办"，这些隐敝的局面揭示了模子长度指示免除才略的深档次不及。不外，通过膨大预考试数据和引入预筹办战略，畴前的模子齐备有但愿完结"字够了，内容也对了"。

回想

论文提倡了 LIFEBENCH，用于评估大型谈话模子（LLMs）在多种任务、谈话和长度规矩下免除长度指示的才略。

分析标明，刻下 LLMs 在长度指示实行上仍存在权臣问题，尤其在长文本规矩下，生成长度常低于宣称的才略范围，致使发扬出"提前扫尾""的倾向。模子发扬还受到任务类型、谈话和输入长度等要素的权臣影响。

这些发现揭示了 LLMs 在长度指示免除上的缺点短板，标明畴前需要更优的考试战略，以及更全面的评估体系，来莳植其对长度指示的实行才略和骨子发扬。

github 仓库 :   https://github.com/LIFEBench/LIFEBench

huggingface 流通 :   https://huggingface.co/datasets/LIFEBench/LIFEBench

论文地址 :   https://arxiv.org/abs/2505.16234

一键三连「点赞」「转发」「注重心」

迎接在指摘区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开yun体育网