基于多尺度质量感知跟踪的引用视频对象分割方法
CSTR:
作者:
作者单位:

江南大学

作者简介:

通讯作者:

中图分类号:

TP391.4

基金项目:

国家自然科学基金项目(面上项目,重点项目,重大项目)


Multi-Scale Quality-Aware Tracking for Referring Video Object Segmentation
Author:
Affiliation:

Fund Project:

The National Natural Science Foundation of China (General Program, Key Program, Major Research Plan)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    引用视频对象分割任务(R-VOS)旨在根据语言描述分割视频中的指定目标。针对复杂动态场景下视频帧质量分布不均与 DETR 类方法的时序不稳定性问题,本文提出基于多尺度质量感知跟踪的 R-VOS 方法(MSQAT)。MS-QAT 在 ReferDINO 的基础上设计了两个即插即用模块:多尺度时序质量加权融合模块(MST-QWF)通过多尺度特征质量评估与动态加权,能抑制低质量帧干扰,增强特征鲁棒性;多尺度时序跟踪平滑融合模块(MSTTSF)通过帧间目标匹配与时序平滑约束,缓解对象查询跳变与跟踪漂移问题。在 A2D-Sentences 和 JHMDBSentences 数据集上的实验表明,改进方法较基线的 mAP 分别提高 1.9% 和 0.9%。在不同基线上的消融实验表明,MS-QAT 可有效提升复杂场景下 R-VOS 的分割精度与时序稳定性,增强模型鲁棒性,为动态视频场景下语义引导的目标分割提供了有效解决方案。

    Abstract:

    Referring Video Object Segmentation (R-VOS) segments specified targets in videos according to language descriptions. However, its performance in complex dynamic scenes is hampered by uneven frame quality and the temporal instability of DETR-based methods. To tackle these challenges, a Multi-Scale Quality-Aware Tracking method (MS-QAT) is proposed. Based on ReferDINO, MS-QAT integrates two plug-and-play modules: a Multi-Scale Temporal Quality-Weighted Fusion module (MST-QWF) to suppress low-quality frame interference by dynamic weighting, and a Multi-Scale Temporal Tracking Smoothing Fusion module (MST-TSF) to mitigate tracking drift through temporal smoothing. MS-QAT boosts the mAP by 1.9% on A2D-Sentences and 0.9% on JHMDB-Sentences compared to the baseline. Ablation studies further confirm that MS-QAT effectively enhances segmentation accuracy, temporal stability, and overall robustness across different baselines, offering a potent solution for semantically guided object segmentation in dynamic videos.

    参考文献
    相似文献
    引证文献
引用本文
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2026-03-30
  • 最后修改日期:2026-05-31
  • 录用日期:2026-06-01
  • 在线发布日期: 2026-06-24
  • 出版日期:
文章二维码