9月9日， 信息工程学院宁纪锋教授课题组在计算机视觉领域的国际顶级期刊《IEEE Transactions on Image Processing》（CCF A类；中科院一区Top）发表题为“Modeling of Multiple Spatial-Temporal Relations for Robust Visual Object Tracking”的研究论文。我校信息工程学院2021级研究生王世磊、王振华副教授为共同第一作者，宁纪锋教授为通讯作者。

图1 提出跟踪模型的网络结构

在目标跟踪任务中，单流跟踪器通过利用Transformer架构同时实现特征提取和关系建模，这一设计极大地提升了跟踪器的性能。然而，单流跟踪器通常忽略了模板之外的关键跟踪线索，因此在复杂的场景中表现不佳。为了解决该问题，本研究提出了一种多线索单流跟踪器，称为MCTrack，它无缝集成了模板信息、历史轨迹、历史帧和搜索区域，以实现同步特征提取和关系建模。为了实现这一点，本研究采用两种类型的编码器将模板、历史帧、搜索区域和历史轨迹转换为Tokens，然后将这些Tokens输入到Transformer架构中。为了有效使用时间和空间线索，本研究引入了一种新颖的自适应更新机制，该机制结合阈值组件和局部多峰组件过滤不准确的跟踪线索。实验结果表明，MCTrack在多个主流基准数据集上优于当前代表性跟踪模型。

本研究得到了国家自然科学基金（61876153）、秦创原创新创业人才项目（ QCYRCXM-2022-359）和中央高校基本科研业务费（2452024410）的支持。

原文链接：https://ieeexplore.ieee.org/document/10670064