这项由新加坡国立大学研究团队完成的工作，以arXiv预印本形式于2026年7月3日公开发布，编号为arXiv:2607.02963v1，研究方向涵盖计算机视觉与视频理解领域。感兴趣的读者可通过该编号在arXiv平台上查阅完整论文。
**研究背景：一个让AI"打字员"焦头烂额的任务**
假设你是一位速记员，需要在观看一段两小时的纪录片时，不仅要把片中每一个场景发生的时间精确记录下来，还要为每个场景写一段文字描述——哪一段在什么时间、发生了什么、画面里有什么、背景音乐或人物在说什么，全部不能遗漏。这件事本就够难了，更要命的是，你必须一个字一个字地写，写完第一个字才能开始写第二个字，写完第一个场景的描述，才能开始动笔写第二个场景。
这正是当前主流视频大语言模型在处理"密集视频字幕生成"任务时面临的困境。所谓密集视频字幕生成（Dense Video Captioning，DVC），简单说就是：给一段未经剪辑的长视频，让AI自动找出其中所有有意义的事件段落，标注出每个事件的起止时间，再为每个事件生成一段自然语言描述。这项技术对视频搜索与索引、以一人称视角感知周围环境的AI代理、视频叙事自动化乃至多事件视频生成都有重要价值。
然而，现有的AI模型在完成这项任务时，都像那位只能一个字一个字打的速记员一样——严格按照从左到右、从前到后的顺序，一个词一个词地生成输出。视频越长、事件越密集，需要生成的词语就越多，等待时间也就越长。以论文中的数据为例，在LongVALE这个基准测试上，当前最强的对比方法生成一段视频字幕平均需要超过16秒，而且随着视频长度增加，这个时间还会成倍增长。
新加坡国立大学的研究团队看到了这个问题，并提出了一个精妙的解决方案：既然视频中不同事件之间的内容本来就相对独立，为什么非要让AI把所有事件的描述排成一条长队，一个接一个地生成？能不能让AI同时"开多个窗口"，分别为不同事件撰写描述，最后再汇总到一起？
**一、先规划，再并行——PadCaptioner的核心思路**
要理解这个方法，先来想一下一位餐厅厨师是怎么工作的。一个人做一桌菜，如果每道菜都等上一道菜完全做好之后再开始，效率极低。有经验的厨师会先在脑子里规划好：哪道菜需要先腌制，哪道菜可以一起下锅，哪道菜需要最后收汁。有了整体规划之后，多个炉灶同时开工，每道菜各自按节奏推进，整体上桌速度就大大提升了。
PadCaptioner的思路与此完全一致，分为两个核心阶段：先做一次"全局规划"，再进行"并行烹饪"。
在全局规划阶段，模型会先浏览整段视频（包括画面和声音），然后为视频中的每个事件生成一个紧凑的"全局事件令牌"（Global Event Token）。你可以把这些令牌理解为厨师脑子里为每道菜写下的一张便利贴——上面记录着这道菜是什么、需要什么食材、对应视频的哪个时间段。重要的是，这些便利贴是按照时间顺序依次写下的，因此每张便利贴都知道前面所有菜的情况，整体上形成了一个有序的全局时间结构。
有了这些便利贴之后，模型就进入并行生成阶段。每个事件对应的文字描述，分别在各自独立的"烹饪窗口"里同时进行，互不干扰。每个窗口里，描述的生成仍然保持从前到后的顺序（保证每个事件描述本身语言连贯），但不同事件的描述窗口之间可以并行推进——相当于多个炉灶同时开火，而不是一个炉灶用完了再开下一个。
这套思路的正式名称叫做"依赖图重构"。原本所有词语排成一条依赖链，每个词都要等前面所有词写完才能生成；新方法把这条长链拆分成多条短链，不同事件的短链可以并行推进，同一事件内部的短链仍然保持顺序。由于不同事件之间的内容本来就相关性较弱，这种拆分不会损失什么重要信息，因此被称为"无损并行生成"。
**二、全局规划：让AI先给视频"打草稿"**
全局规划阶段是整个方法的灵魂所在，值得深入了解其中的设计细节。
模型在接收视频和音频输入之后，首先会自动生成一串特殊的"全局事件令牌"，在原文中用G?、G?、G?……表示。这里有一个值得注意的细节：事件的数量并不是事先设定好的，而是由模型自己判断。模型会根据视频内容决定"这段视频大概有多少个独立事件"，然后生成相应数量的令牌。这比强行规定"每段视频分成固定N个事件"要灵活合理得多——就像厨师不会死板地规定"今天一定要做8道菜"，而是根据食材和客人的需求灵活决定菜单。
当全局规划阶段结束后，模型会生成一个特殊的"切换令牌"（Switch Token），像是厨师说"好了，规划完毕，大家开始各自做菜"的一声令下，之后模型就进入并行生成阶段。
为了保证这些全局事件令牌不只是空洞的占位符，而是真正能"代表"各自事件的丰富表示，研究团队设计了两个配套机制。
第一个机制叫做"显式事件定位约束"。训练时，模型被要求让每个全局事件令牌的表示，与它对应的那段视频画面和音频的特征尽量接近，同时与其他时间段的特征保持距离。具体的数学方式是对每个时间段计算一个相似度分数，然后用二值交叉熵损失来监督训练——相当于告诉模型："G?应该和0到6秒的画面很像，和6秒以后的画面要不像。"这样训练出来的令牌，自然就携带了事件定位的能力，推理时可以直接通过相似度匹配来确定每个事件对应视频的哪个时间段，而不需要另外生成时间戳文本。
第二个机制叫做"自适应语义聚合"。光有定位能力还不够，每个全局令牌还需要把对应事件的视觉和音频信息"吸收进来"，以便后续的并行描述生成阶段能够以此为基础，生成内容丰富的描述。研究团队探索了三种聚合方式：最直接的是均值池化，把对应时间段的所有特征向量取平均值加进令牌里；稍复杂一些的是通过一个轻量评分网络，对不同时刻的特征赋予不同的重要性权重再加权求和；最后一种则是利用模型内部的注意力权重作为评分依据，完全不需要额外参数。实验结果显示，基于注意力权重的方式效果最好，因为模型的注意力机制天然就在关注最相关的信息，这个内部信号可以直接被复用来决定"哪些片段的信息最需要被吸收进全局令牌"。
**三、并行解码：多个事件"同时开工"，但互相知道彼此在干什么**
有了全局规划阶段产生的事件令牌之后，并行解码阶段就开始了。这个阶段的核心挑战在于：既要让不同事件的描述生成互不干扰（防止一个事件的描述污染另一个事件），又要让每个事件的描述生成都能知道其他事件的大致情况（保持全局一致性）。
研究团队通过设计一套特殊的"注意力可见性规则"来解决这个矛盾。具体来说，在并行生成阶段，属于事件i的描述词语，被允许关注两类信息：一是所有全局事件令牌（G?到G?），二是同一事件内部已经生成的前序词语和对应的事件锚定令牌G?。但是，不同事件的局部描述词语之间，被明确禁止互相看到彼此。
用餐厅的比喻来说：每个炉灶前的厨师，都可以看到菜单上所有菜的总体规划（全局事件令牌），也能看到自己这道菜之前已经做好的步骤，但不会看到其他炉灶当前正在做到哪一步的细节——因为看了也没用，那些细节跟自己这道菜的下一步没什么关系，反而可能分心。
对比实验非常有力地证明了这一设计的必要性。如果简单地把标准因果注意力直接用于并行解码（即保留所有词语之间的相互可见性），F1分数会从61.8大幅下降到38.7，相似度分数也从38.8跌至19.9。原因很直观：在并行模式下，如果事件2的第一个词语能看到事件1已经生成的全部内容，它就会被事件1的内容"带跑"，不能专注于事件2自身的内容。另一方面，如果完全隔离——每个事件只能看到自己的锚定令牌，完全看不到其他事件的任何信息——相比完整方案，性能也会有所下降（F1降至59.8）。这说明全局事件令牌确实在跨事件信息传递中起到了不可或缺的桥梁作用。
此外，研究团队还处理了一个实际问题：不同事件的描述长度不一样，有的事件很简短，有的事件很复杂，生成的词语数量差异可能很大。为了让并行生成能够同步推进，训练时采用了填充策略——较短的描述会用"结束符"填充到最长描述的长度，所有子链对齐之后再训练。同时，位置编码也做了相应调整，不同事件子链中同一位置的词语共享相同的位置索引，强化了子链之间的结构独立性。推理时，某个子链一旦遇到结束符就自动停止，不会生成多余的词语，因此训练时的填充不会影响推理时的输出质量。
**四、实验结果：快了多少，准了多少？**
研究团队在多个基准测试上验证了PadCaptioner的有效性，覆盖了视觉和音频两种模态的事件理解场景。
在LongVALE基准（专门评测长视频中视觉-音频-语言事件理解能力的测试集）上，PadCaptioner以56.4的F1分数（事件定位准确性）和58.5的语义相似度（描述质量）超越了此前最强方法ChronusOmni（7B参数模型，F1为49.7，相似度为52.4），提升幅度分别达到6.7%和6.1%。值得注意的是，PadCaptioner使用的基础模型只有3B参数，比对比方法小了一倍多，却取得了更好的效果。
效率方面，对比同样在单张NVIDIA A6000 GPU上运行的结果：ChronusOmni处理一段视频平均需要约16162毫秒，每生成一个词平均需要41.3毫秒；PadCaptioner处理同一段视频平均只需4284毫秒，每个词仅需13.4毫秒。整体解码时间缩短了约3.8倍，单词生成速度提升了约3.1倍。换句话说，在生成同等信息量的情况下，新方法比旧方法快了将近四倍。
在ChronusAV基准（另一个专注于视频与音频联合理解的测试集）上，PadCaptioner同样保持了领先优势：F1达到63.2，相似度达到40.0，各项指标全面超过对比方法，总体解码时间从28093毫秒缩短至7527毫秒，单词生成速度同样提升约3倍。
研究团队还在YouCook2（一个专注于烹饪教学视频的视觉字幕生成基准）上进行了零样本测试，即不针对YouCook2专门训练，直接用训练好的模型进行评估。结果显示PadCaptioner以27.1的F1、31.7的CIDEr分数和8.2的SODA_c分数，全面超越了包括ChronusOmni在内的所有对比方法，展示了良好的泛化能力。
除了密集字幕生成之外，研究团队还在LongVALE的两个额外任务（全模态时序视频定位和音视频片段字幕生成）以及ChronusAV的六个任务（视频到时间、时间到视频、音频到时间、时间到音频、视频到音频、音频到视频）上进行了评测，PadCaptioner在几乎所有任务上都保持了竞争力或最优表现，说明这套框架不是为某个特定任务"过拟合"的，而是具备跨任务的通用视频理解能力。
**五、消融实验：每个设计选择都有其道理**
研究团队通过一系列细致的消融实验，逐一验证了每个设计选择的必要性。这类实验的逻辑很简单：去掉某个组件，看效果下降多少；换成其他替代方案，看有没有更好的选择。
基准模型（不加任何新设计，直接在原始序列结构上微调）在ChronusAV上的F1只有32.7，相似度只有17.6。加入潜在全局规划之后，F1跃升至61.5，相似度升至38.4，提升幅度非常显著。这说明"先规划、后生成"这个思路本身带来了巨大的性能增益，而不仅仅是速度上的改进。在规划阶段，如果换成"文本规划"（先用文字生成时间戳，再据此生成描述），F1只能到37.4，远不如潜在空间规划的61.5。原因在于，潜在空间表示更紧凑，能更好地捕捉事件级的语义，为后续生成提供更有表达力的锚点。
在语义聚合方式的对比中，完全不做聚合（仅靠定位约束）时F1为47.7；换成均值池化后F1升至58.5；基于评分网络的加权聚合进一步提升至61.4；基于注意力权重的聚合效果最好，达到61.8。这个渐进式的提升说明，信息的选择性聚合（聪明地决定"哪些内容更重要"）比盲目均匀汇总要有效得多，而模型自身的注意力机制恰好提供了一种免参数的高效选择手段。
并行解码阶段的贡献也被单独量化：相比仅加规划、不加并行解码的配置，加入并行解码后总体解码时间从12405毫秒降至7598毫秒，单词生成时间从22.9毫秒降至13.8毫秒，约有1.66倍的加速。同时，性能不仅没有下降，F1和相似度还略有提升（从61.5/38.4升至61.8/38.8），研究者将此归因于事件分治生成的方式有助于模型更专注地处理每个事件，减少了不相关的跨事件干扰。
**六、局限与未来方向**
研究团队对方法的局限性保持了坦诚。其一，当前的依赖图重构只考虑了事件级别的结构；未来或许可以探索更细粒度的单元（比如子事件或时空实例），并减少对人工标注事件边界的依赖。其二，自适应语义聚合在面对较长事件时仍然可能产生粒度不够细的描述，更有效的长序列信息聚合方法值得继续研究。其三，修改后的注意力模式与部分现有优化注意力内核（如FlashAttention-2）存在兼容性问题，导致训练速度相对标准方法慢约1.4到1.9倍（在4张H200 GPU、12000样本的训练设置下需要约28小时，而标准方法需要约20至15小时）。不过研究者指出，这一问题可以通过专门的内核级优化来解决，而且推理阶段的效率增益不受此影响。推理时最大GPU显存占用在30GB以内，并行解码本身不会增加KV缓存大小。
说到底，PadCaptioner做的事情，本质上是把"一个人从头到尾打字"变成了"多个人同时开工，但大家手里都拿着同一份总规划"。这个思路听起来简单，但实现起来需要精确地定义哪些内容之间可以并行、哪些必须保持顺序，以及如何在并行的各个分支之间保持信息共享。研究团队用潜在全局令牌和事件因式注意力机制把这个问题拆解得相当清晰，从实验结果来看，这套设计既快又准，两个目标并没有像很多人预期的那样相互牵制。
对于真实应用场景而言，这类技术的提速意味着更实时的视频内容分析成为可能——无论是视频平台的自动索引、无障碍字幕生成，还是AI助理对用户拍摄的长视频做事件回顾，都可以从中受益。对于想深入了解技术细节的读者，完整论文可以在arXiv平台以编号arXiv:2607.02963检索获取，代码也已在GitHub的showlab/PadCaptioner仓库公开。
Q&A
Q1：PadCaptioner为什么能在生成质量更好的同时还提升速度？
A：PadCaptioner引入了潜在全局规划阶段，让模型先对整段视频的事件结构形成整体认知，再对不同事件的描述并行生成。这种"先规划后并行"的方式一方面让每个事件的描述生成有了更丰富的语义锚点，提升了内容质量；另一方面把原本串行的多事件生成拆分为同时进行的多个子任务，大幅减少了等待时间，因此速度和质量得以同步提升。
Q2：密集视频字幕生成任务和普通视频字幕有什么本质区别？
A：普通视频字幕通常只为整段视频生成一句或几句总体描述，不需要定位具体时间段。密集视频字幕生成则要求模型自动找出视频中所有有意义的事件，精确标注每个事件的起止时间，再为每个事件单独生成描述。这要求模型同时具备时间定位能力和语言生成能力，处理的信息量和任务复杂度远高于普通字幕生成，在长视频场景下对计算效率的要求也更苛刻。
Q3：PadCaptioner的并行解码为什么不直接让所有事件描述完全独立生成，而是还要保留全局事件令牌的可见性？
A：如果不同事件的描述完全隔离、互不知情，每个事件的描述就只能基于自身的视觉和音频信息来生成，而无法感知整段视频的全局时间结构和事件之间的关系。这会导致不同事件的描述在整体叙事上缺乏连贯性，也可能在边界判断上出现混乱。全局事件令牌充当了"共享规划书"的角色，让每个并行分支都知道自己在整个视频事件序列中处于什么位置，从而生成更具全局一致性的描述。消融实验也证实，保留全局令牌可见性比完全隔离方案效果更好。