这项由香港城市大学的程俊豪、廖晶证实注解与快手科技团队的侯亮、陶昕等东说念主贯串完成的谋略，于2025年11月发表在估计机视觉界限的顶级会议上，论文编号为arXiv:2511.16669v1。有有趣深入了解的读者不错通过该编号查询完整论文。

当你正在学习怎么打领带，却在某个法子卡住了，这时如若有东说念主能准确估量你下一步该作念什么，并用视频直不雅地演示给你看，那该多好。这恰是这项始创性谋略要责罚的问题。谋略团队开发了一个名为VANS的东说念主工智能系统，它不仅能长入你面前在作念什么，还能估量接下来会发生什么，更紧迫的是，它能用视频的方式直不雅地"报恩"你的问题。

夙昔，当咱们问AI"接下来会发生什么"时，得到的等闲是翰墨形容。但翰墨时时无法完整抒发复杂的动作和空间干系。就像你很难仅凭翰墨形容学会骑自行车一样，好多手段和学问需要视觉演示才能着实掌合手。这个AI系统的冲突在于，它能将估量扫尾转动为动态视频，让谜底变得直不雅易懂。

谋略团队面对的最大挑战是怎么让两个不同的AI模子协同使命：一个负责长入和推理（视觉谈话模子），另一个负责生成视频（视频生成模子）。这就像让一个善于念念考的形而上学家与一个擅长绘制的艺术家合作完成一件作品。形而上学家疏忽深入念念考问题的实质，但无法将念念考扫尾可视化；艺术家能创造好意思妙的视觉作品，但可能无法准确长入复杂的概述意见。

为了责罚这个问题，谋略团队瞎想了一种名为"贯串GRPO"的考验计谋。这种计谋分为两个阶段进行优化。第一阶段专注于让"形而上学家"（长入模子）学会用"艺术家"（视频生成模子）疏忽长入的谈话来抒发念念想。第二阶段则让"艺术家"学会赤诚地将"形而上学家"的想法转动为视觉作品。通过这种分阶段的融合考验，两个模子渐渐学会了解析配合。

为了考验和测试这个系统，谋略团队构建了一个包含10万个样本的数据集VANS-Data-100K。这个数据集包含了万般场景：从教东说念主作念菜的设施性任务，到估量故事情节发展的创意性任务。每个样本都包含输入视频、关联问题和对应的视频谜底，为AI系统提供了丰富的学习素材。

一、让AI学会"看懂"复杂情境

当你不雅看一段制作纸风车的视频时，疏忽节略判断面前进行到哪个法子，下一步应该作念什么。但对AI来说，这个看似简便的过程本质上需要复杂的推理才气。AI需要识别视频中的物体、长入动作的含义、掌合手制作历程的逻辑规则，最终作念出准确估量。

VANS系统的中枢在于将这个复杂过程明白为两个彼此配合的部分。第一个部分是视觉谈话模子，它就像一个教育丰富的憨厚，疏忽不雅察学生确面前景况，长入学生建议的问题，然后念念考应该给出什么样的带领。这个模子不仅要长入视频内容，还要笔据用户的具体问题进行针对性念念考。

比如说，当系统看到用户正在包饺子，仍是擀好了面皮并放上了馅料，此时用户问"下一步何如办"，系统需要结合视觉信息和问题长入，推断出用户需要学习封口技巧，然青年景相应的翰墨形容动作视频生成的带领。

第二个部分是视频生成模子，它像一位身手深湛的动画师，疏忽笔据翰墨形容创造出传神的动态场景。但这个"动画师"不可简便地按照翰墨创作，还要确保生成的视频在视觉上与输入视频保持一语气性。链接包饺子的例子，生成的视频中饺子皮的心思、厚度、周围环境都应该与输入视频保持一致，这么用户才会嗅觉这是当然的下一步动作。

这种瞎想的高明之处在于各司其职又密切配合。视觉谈话模子专注于长入和推理，视频生成模子专注于视觉抒发，但两者必须在吞并个"频说念"上使命，才能产生令东说念主风景的扫尾。

二、冲突性的"贯串调优"考验方法

传统的AI考验方法等闲是折柳考验两个模子，然后简便地将它们链接起来使用。这就像考验一个翻译官和一个演员折柳掌合手各自手段，然后让他们临时合作扮演。固然各自都很专科，但缺少解析配合，常常出现翻译官的指令演员无法准确履行的情况。

谋略团队建议的贯串GRPO方法透澈改变了这种考验模式。这种方法的中枢念念想是让两个模子在考验过程中彼此感知对方的才气和限度，徐徐建造起深度的合作干系。统统这个词过程分为两个用心瞎想的阶段。

第一阶段被称为"可视化友好的视觉谈话模子调优"。在这个阶段，视频生成模子保持不变，专注考验视觉谈话模子。但考验的办法不单是是生谚语义正确的翰墨形容，还要确保这些形容疏忽被视频生成模子准确长入和履行。系统会评估视觉谈话模子生成的每个翰墨形容，不仅看其语义准确性，还会本质让视频生成模子笔据这个形容生成视频，然后评估视频质地。

这就像考验一个导演不仅要会写脚本，还要确保写出的脚本演员疏忽完整献艺。如若脚本写得冲口而出但演员无法长入或履行，那就不是好脚本。通过这种考验方式，视觉谈话模子渐渐学会了用视频生成模子"听得懂"的谈话来抒发想法。

第二阶段是"险阻文赤诚的视频生成模子适配"。此时，经过第一阶段考验的视觉谈话模子被固定下来动作"锚点"，入手考验视频生成模子。视频生成模子的任务是笔据视觉谈话模子提供的形容，生成既恰当语义条款又与输入视频在视觉上保持连贯的新视频。

这个阶段的考验罕见注重两个方面：语义一致性和视觉连贯性。语义一致性确保生成的视频准确抒发了翰墨形容的内容，而视觉连贯性确保新视频看起来像是输入视频的当然连接，而不是倏得切换到都备不同的场景。

通过这种两阶段的贯串考验，两个模子建造起了深度的合作干系。视觉谈话模子学会了沟通视频生成的可行性来组织谈话，视频生成模子学会了在长入语义的基础上保持视觉连贯性。

三、10万样本数据集的用心构建

为了让AI系统学会处理万般复杂场景，谋略团队构建了一个限度广宽且质地极高的考验数据集。这个名为VANS-Data-100K的数据集包含了10万个用心挑选和标注的样本，每个样本都包含输入视频、用户问题和对应的视频谜底。

数据集的构建过程就像筹齐统共内容丰富的百科全书。谋略团队从多个来源网罗原始视频素材，包括素养视频、活命记载片断、短剧等万般类型的内容。然后通过智能化的处理历程，将这些长视频分割成特地念念真谛的片断，确保每个片断都包含完整的动作或事件。

在设施性任务方面，数据集包含了多量的素养场景，比如烹调、手工制作、手段学习等。这些场景等闲有明确的法子规则和因果干系，AI需要长入面前进行到哪一步，然后估量下一步的具体操作。谋略团队罕见注爱重频质地，确保每个动作都明晰可见，布景环境信息完整，这么AI才能学会准确识别和效法。

在估量性任务方面，数据集涵盖了万般日常场景和故事情节，考验AI长入更复杂的因果干系和情境变化。比如一个东说念主正在准备出门，笔据他的动作和周围环境，AI需要估量他接下来可能作念什么。这类任务莫得固定的轨范谜底，需要AI具备更强的推理才气和创造性。

为了确保数据质地，谋略团队开发了一套严格的筛选和标注历程。他们使用AI助手自动生成开动的问答对，然后通过东说念主工查验确保问题合理、谜底准确。每个样本都经过多轮质地遏抑，确保输入视频、问题和谜底之间有明确的逻辑干系。

四、在确切场景中的优异阐述

为了考据VANS系统的本质恶果，谋略团队瞎想了全面的测试实验。他们将VANS与面前开首进的其他AI系统进行对比，测试内容包括设施性任务和估量性任务两大类，涵盖了翰墨准确性和视频质地等多个维度。

在设施性任务测试中，VANS展现出了显耀的上风。迎面对"怎么链接制作鸡肉帕尔马干酪"这么的问题时，其他系统时时只可给出简便的翰墨形容，或者生成的视频与输入场景脱节。而VANS疏忽准确识别面前制作进程，长入用户的具体需求，然青年景与输入视频格调一致、法子准确的带领视频。

在一个典型的测试案例中，输入视频显现用户仍是煎好了裹面包屑的鸡肉，正在淋番茄酱。其他AI系统有的建议将鸡肉从锅中取出装盘，有的建议烘烤，但都莫得准确把合手制作的具体景况。VANS则正确识别出下一步应该撒奶酪，并生成了一个明晰展示撒奶酪动作的视频，一分彩app下载奶酪的心思、撒法都与确切制作过程高度一致。

在估量性任务中，VANS相同阐述出色。面对"如若这个东说念主很骄矜，他会作念什么"这么的绽放性问题，系统需要结合视频中的视觉踪迹和情境信息，作念出合理的推测。VANS不仅疏忽长入情境的复杂性，还能生成恰当逻辑的后续情节，展现出令东说念主印象深刻的推理才气。

量化测试扫尾显现，VANS在统统主要评估目的上都彰着优于对比系统。在翰墨形容的准确性方面，VANS的得分比最强的对比系统杰出约30%。在视频质场所面，VANS生成的视频不仅视觉恶果更佳，与输入视频的连贯性也更强。

罕见值得提防的是，贯串GRPO考验计谋的恶果相称彰着。与仅使用基础考验方法的版块比较，汲取贯串考验的VANS在各风光的上都有显耀提高，充分阐述了这种创新考验方法的价值。

五、深入的期间分析和考据实验

为了深入长入VANS系统的使命机制，谋略团队进行了翔实的消融实验。这些实验就像大夫给病东说念主作念全面查验一样，一一测试系统各个组件的作用，确保每个瞎想都有明确的价值。

谋略团队领先考据了贯串考验联系于颓靡考验的上风。他们比较了三种不同的考验计谋：仅考验视觉谈话模子、仅考验视频生成模子、以及贯串考验两个模子。扫尾显现，只须贯串考验才能着实责罚两个模子之间的融合问题。仅考验其中一个模子时时导致生成的翰墨形容与视频内容不匹配，或者视频质地下落。

接着，谋略团队测试了两阶段考验计谋的必要性。他们尝试了将两个阶段合并为一次性考验，但发现这么作念会导致考验不踏实，系统难以敛迹到最优景况。这就像同期学习两种都备不同的手段，时时会彼此骚扰，影响学习恶果。分阶段考验让每个模子疏忽专注地掌合手我方的中枢才气，然后再学习与对方的配合。

在奖励机制的瞎想上，谋略团队也进行了细巧的分析。他们测试了移除不同奖励要素对系统性能的影响。扫尾显现，每个奖励要素都有其独有的作用。翰墨准确性奖励确保语义正确，视频质地奖励保证视觉恶果，语义一致性奖励退缩生成的视频偏离翰墨形容。移除任何一个要素都会导致相应方面的性能下落。

谋略团队还通过东说念主工评估进一步考据了系统的实用性。他们邀请30位评估者对不同系统生成的视频进行评分，评估维度包括语义正确性、视觉连贯性和合座风景度。扫尾显现，VANS在统统维度上都赢得了最高分，罕见是在合座风景度方面，平均得分达到4.8分（满分5分），显耀高于其他系统。

六、繁密的诈欺远景和期间拓展

VANS系统展现出的才气远不啻责罚单一问题，它开启了视频AI诈欺的全新可能性。在造就培训界限，这项期间不错改革性地改变手段学习方式。传统的视频教程是静态的，无法针对学习者的具体进程提供个性化带领。而VANS疏忽笔据学习者面前的操作景况，及时生成下一步的带领视频，就像有一位教育丰富的憨厚在身边随时提供匡助。

在工业培训中，VANS不错诈欺于复杂招引的操作带领。当工东说念主在安设出产线上遭受问题时，只需拍摄面前景况的视频并建议问题，系统就能生成具体的操作带领。这种个性化、情境化的带领比传统的操作手册愈加直不雅灵验，能显耀提高培训效用和使命质地。

谋略团队还发现，VANS具备处理多种异日可能性的才气。迎面对吞并个输入场景时，系统不错笔据不同的问题设定生成不同的后续视频。比如看到一个东说念主准备出门的场景，如若问"如若天气很冷他会作念什么"，系统可能生成穿厚外衣的视频；如若问"如若他要去看重场面"，则可能生成换正装的视频。这种万般性展示了系统的纯真性和创造性。

在创意内容制作方面，VANS为视频创作家提供了全新的器具。创作家不错拍摄一段开头，然后通过不同的问题指令系统生成多种不同的故事发展办法，快速探索创意可能性。这不仅提高了创作效用，还可能引发出出东说念主意象的创意火花。

期间层面上，VANS还展现出了粗略的泛化才气。固然主要针对视频场景考验，但系统也能处理静态图像输入，将单张图片长入为静态视频片断，然青年景相应的动态后续内容。这种跨模态的妥贴才气标明了期间架构的郑重性和潜在的扩张空间。

七、面对的挑战和异日发展办法

尽管VANS系统展现出了令东说念主印象深刻的才气，但谋略团队也憨厚地指出了面前期间面对的挑战和限度。领先是估计资源的需求。贯串考验两个大型AI模子需要多量的估计才气和考验时分，这在一定程度上限度了期间的普及和诈欺。面前的考验过程需要高性能的GPU集群赈济，广泛谋略机构可能难以承担关联本钱。

在期间精度方面，固然VANS在大多数场景下阐述优秀，但在处理罕见复杂或腌臜的情境时仍可能出现判断格外。比如当输入视频中存在多个可能的发展办法时，系统偶然会聘任相对保守或常见的估量，而不是最恰当具体情境的聘任。这反应了AI系统在复杂推理方面仍有提高空间。

数据质地的依赖性是另一个紧迫挑战。VANS的性能很大程度上取决于考验数据的质地和万般性。固然谋略团队构建了10万样本的数据集，但联系于现实宇宙的复杂性，这个限度仍显不及。罕见是在处理特定界限或文化布景的内容时，系统可能因为考验数据的局限性而阐述欠安。

在本质诈欺中，系统还面对及时性的挑战。面前的VANS系统在生成视频谜底时需要几十秒的处理时分，这关于需要即时反馈的诈欺场景来说还不够逸想。固然这个速率仍是比一些竞争系统更快，但距离着实的及时交互还有差距。

{jz:field.toptypename/}

阴事和安全问题也阻拦残酷。由于系统需要处理用户的视频输入，怎么保护用户阴事、退缩坏心使用成为紧迫沟通因素。罕见是在造就和工业诈欺中，用户上传的视频可能包含敏锐信息，需要建造完善的阴事保护机制。

谋略团队建议了几个紧迫的异日发展办法。领先是期间效用的提高，通过模子压缩、推理优化等方法镌汰估计需求，使期间更容易部署和使用。其次是扩大数据集限度和万般性，罕见是加多不同文化布景、特殊界限的考验样本，提高系统的通用性和妥贴性。

在期间创新方面，谋略团队正在探索更高效的考验计谋，但愿疏忽在保持性能的同期显耀减少考验时分和资源浪掷。他们也在谋略怎么让系统具备更强的险阻文长入才气，疏忽处理更长的视频序列和更复杂的任务链。

说到底，VANS系统代表了AI期间发展的一个紧迫里程碑。它不仅责罚了视频长入和生成的期间挑战，更紧迫的是始创了一种全新的东说念主机交互模式。通过将复杂的估量任务转动为直不雅的视频谜底，这项期间让AI变得愈加实用和迫临活命。

归根结底，这项谋略的价值不仅在于期间冲突本人，更在于它为咱们展示了AI期间就业东说念主类的新可能性。当AI疏忽像教育丰富的憨厚一样，笔据咱们的具体情况提供个性化的视觉带领时，学习和使命的方式都将发生深刻改变。

固然面前的期间还存在一些限度，但谋略团队的创新念念路和已矣方法为统统这个词界限指明了发展办法。跟着估计才气的提高、数据资源的丰富和算法的不休优化，咱们有事理期待这项期间在不久的将来疏忽走进千门万户，为东说念主们的学习、使命和活命带来更多便利。

关于有有趣深入了解这项期间的读者，不错通过论文编号arXiv:2511.16669v1查询完整的期间细节和实验数据。这项由香港城市大学和快手科技贯串完成的谋略，无疑将在AI视频长入和生成界限产生深切影响。

Q&A

Q1：VANS是什么？

A：VANS是由香港城市大学和快手科技贯串开发的AI系统，它疏忽不雅看视频并长入用户的问题，然后估量接下来会发生什么事件，并用视频的方式直不雅地报恩问题。比如你在学作念菜时卡住了，它就能生成下一步操作的带领视频。

Q2：VANS与传统AI视频系统有什么区别？

A：传统AI系统等闲只可生成翰墨报恩或者简便的视频连接，而VANS疏忽笔据具体问题进行推理，然青年景针对性的视频谜底。它结合了视觉长入和视频生成两种才气，能提供更个性化、更直不雅的带领。

Q3：VANS期间当今不错使用了吗？

A：面前VANS还处于谋略阶段，主要在学术实验环境中使用。固然期间仍是相称熟练，但要成为广泛用户不错使用的产物，还需要责罚估计效用、本钱遏抑等工程化问题。谋略团队正在野着本质诈欺的办法勤苦。