我的新论文 LGVSC：让大模型来做生成式视频语义通信
好久没更新博客了，这次不写折腾服务器的记录，聊点我自己的科研。
最近我们的一篇工作 LGVSC 被 IEEE Transactions on Vehicular Technology（SCI 二区，IF 7.1）接收了。这是北京理工大学、香港大学和上海交通大学合作的成果，我导师高镇教授是通讯作者，我作为第一作者。趁着还热乎，这里把这篇论文的思路和结果用博客的语气记一下。
先说一句话总结：传统视频编码在带宽被卡到极限时会画质崩溃，我们的做法是干脆不传像素，只传语义——文字描述、关键帧、光流这些辅助信息——然后让接收端的生成式世界模型把整段视频重新生成出来。 这样一来，整个系统的信道带宽比（CBR，简单理解就是”传一帧要占多少信道资源”）被压到了 10⁻⁴~10⁻³ 量级，大概是 H.264/H.265+LDPC 的一半、DVST 的六分之一。
先看效果
光说不练没意思，先上对比动图。下面每组都是同一段真实视频在极低带宽无线信道下的传输结果，从左到右依次是：原始视频、H.264+LDPC 重建、我们的 LGVSC 重建（SNR = 10 dB）。
再看论文里同一帧的静态对比，这张多加了 H.265 和 DVST 两条基线：
图 1 SNR = 10 dB 下各方案重建视频帧对比。H.264/H.265 已经出现明显失真和语义退化（注意：它们的 CBR 其实比 LGVSC 还高），DVST 有明显色偏，而 LGVSC 在更低带宽下连画面里的水印这种细节都还留着。
三个技术模块
整体框架是这样的：
图 2 发送端把视频编码成文本描述、关键帧和光流辅助信息，接收端用 Open-Sora 世界模型逐段重建，最后拼成完整视频。
这套框架里我们主要做了三件事。
1. 用概率给语义相似度打分（PSSS）
要挑关键帧，第一步得判断”相邻两帧语义上差了多少”。现在常见的做法是直接问大模型”这两帧一样吗”，让它回答”是/否”。但这种二值结果太粗糙了——“有点不一样”和”完全不一样”都被压成同一个”否”，没法做精细的连续比较。
我们的 PSSS（Probability-based Semantic Similarity Scoring） 干脆跳过采样这一步，直接去读大模型推理时”是”和”否”这两个词各自的生成概率，用 P("否") − P("是") 作为连续的语义相似度分数：差值越低说明两帧越像，越高说明语义分歧越大。这样不仅能区分不同程度的变化，还能通过改问题的侧重点（比如让它更关注人物动作还是背景场景）给不同的下游任务定制判断维度。
2. 语义引导的关键帧提取（SKEM）
有了 PSSS 打分，关键帧提取就顺理成章了。SKEM（Semantic-guided Key-frame Extraction Module） 逐帧扫描，一旦当前帧和上一个关键帧的语义差异超过阈值 η_th，就插一个新关键帧进去。
这里有个很实用的性质：调 η_th 就能控制关键帧密度，进而控制 CBR，而且完全不用重训模型。 想省带宽就把阈值调高，想保真度就调低。
对那些时延要求高、画面变化又比较平缓的场景，我们还留了个简化版 SKIM——固定间隔选帧，开销几乎可以忽略。
3. 动态语义自适应解码器（DSA）
这块是我个人觉得最关键的工程突破。之前的生成式视频语义通信方案都有个硬伤：只能处理固定长度的短片段（8~16 帧），因为世界模型的隐空间维度是写死的。
我们把 Open-Sora 的适配器重新设计了一下，做出 DSA（Dynamic Semantic-Adaptive decoder），让它能根据每个语义片段实际有多少帧，动态调整 VAE 的隐空间维度——于是任意长度的视频都能重建，而且同样不用重训世界模型。
两套组合各有适用场景：SKIM+SFA 适合低时延、低算力的场景；SKEM+DSA 适合对语义保真度要求更高的场景。
实验结果
数据集用的是 WebVid 和 Kinetics-400，对比 H.264、H.265、DVST 这些方案，信道条件覆盖 SNR = 0~10 dB。
图 3 左：CLIP 语义相似度（越高越好）；右：LPIPS 感知相似度（越低越好）。
几个想重点说的结论：
- 即便是只传文字描述的 Text-Only 方案，在 CBR ≈ 10⁻⁴ 这么极端的条件下，CLIP 指标居然还能跟传统方案打平甚至略胜。
- 在更贴近人眼感知的 LPIPS 指标上，LGVSC 全面碾压所有基线，其中 SKEM+DSA 在整个 SNR 范围内都是最好的。
- 悬崖效应：SNR < 6 dB 时，H.264/H.265+LDPC 直接传输失败，DVST 也出现严重色偏；而 LGVSC 在整个测试范围里都稳得住。
当然也要实话实说：PSNR 和 SSIM 这两个传统像素级指标，通常还是传统编解码方案占优，LGVSC 并不是最高的。 这其实符合预期——那些编码器本来就是奔着最小化像素误差去优化的。但结合图 1 的视觉对比就能看出来，PSNR 高不代表语义质量好，传统指标在评价语义通信这件事上是有局限的。
另外我们还做了个有意思的验证：把 SKEM+DSA 重建出来的视频，不做任何微调，直接喂给视频描述生成（PLLaVA-7B）、动作识别（TimeSformer）和深度估计（Depth-Anything-V2）三个下游模型。结果是——视频描述和动作识别任务上，LGVSC 优于或持平主要基线；深度估计里大多数指标最优，只有 AbsRel 这一项不如 DVST 和 H.265+LDPC。总体来说，重建视频在机器视觉任务上的语义可用性是不错的。
最后一个诚实的局限：目前整条管线（尤其是 SKEM 预处理和 Open-Sora 重建）算力开销挺大的，更适合离线处理或者边云协同，还没法直接上实时无线传输。
一点总结
LGVSC 最核心的洞察其实很简单：当接收端本身就具备强大的生成能力时，发送端根本没必要传完整像素，把语义送过去就够了。 围绕这个想法，PSSS、SKEM、DSA 三个模块一起把视频语义通信的 CBR 推到了 10⁻⁴~10⁻³ 量级，并且第一次支持任意长度视频的端到端重建。
实验也说明，在传统方案因为悬崖效应已经彻底罢工的极低 SNR 下，LGVSC 还能保住语义完整性；在视频描述、动作识别、深度估计三个下游任务里，重建视频不用微调就能直接用。目前的推理开销确实限制了实时部署，但我觉得这是个会随生成模型效率提升而自然收敛的工程问题。至于生成式语义通信这条路本身能不能走通——我想这篇工作已经把可行性说清楚了。
完整代码已经开源：https://github.com/TT2TER/LGVSC，欢迎来玩、来拍砖。
论文信息
- Title：LGVSC: A Large-Model-Driven Generative Video Semantic Communication Framework
- Authors：Yu Ma, Hang Yin, Li Qiao, Shuo Sun, Zhen Gao, Yin Xu, Wenjun Zhang
- Affiliations：Beijing Institute of Technology；University of Hong Kong；Shanghai Jiao Tong University
- Journal：IEEE Transactions on Vehicular Technology（Accepted, IF 7.1）
- Preprint：https://arxiv.org/abs/2606.12899
- Code：https://github.com/TT2TER/LGVSC
