近期，信息工程学院徐超副教授团队在物联网动态智能控制研究中取得重要进展，并基于研究成果在无线网络领域TOP期刊《IEEE Transactions on Wireless Communications》发表了题为“Optimal Status Update for Caching Enabled IoT Networks: A Dueling Deep R-Network Approach”的文章，揭示了边缘缓存增强型物联网中数据获取与缓存策略对传感器能耗以及数据新鲜度的作用机理，并设计了基于深度强化学习的动态缓存算法，有效提升了终端设备所获取数据的新鲜程度。信息工程学院徐超副教授为本论文第一作者，王玺钧副教授（中山大学）和杨浩副教授（浙江大学）为本论文的通讯作者。

实时物联网中，利用边缘缓存技术可以在满足用户数据请求的同时，降低传感器的激活次数和工作时长，有效提升网络生存期（lifetime）。然而，如果无法对边缘节点所缓存的数据内容进行及时更新，用户设备所获取数据的新鲜度将会发生恶化，并最终影响相关决策的准确性和可靠性。

针对上述问题，本研究进一步综合考虑了物联网中用户数据请求以及网络传输状况难以提前预知的实际情况，并利用信息年龄（Age of Information，AoI）作为数据新鲜度的衡量指标，将边缘缓存增强型物联网中的缓存数据动态更新问题建模为一个基于非等长时间步的动态优化问题。进而，首次提出结合了已有深度强化学习算法与R-learning算法的算法设计架构，并提出了一类新型的深度强化学习算法。与以优化长期折现累积回报（discounted long-termcumulative reward）为目标的传统深度强化学习算法不同，所设计算法可以在有效解决维度灾难和环境动态未知等问题的同时，优化所获得的长期平均回报（long-termaverage reward），有效提升所关注动态决策系统的实际性能。相较于五种基于传统深度强化学习算法和策略，所设计算法在有效性、收敛性和稳定性方面均具有明显的性能提升。

该研究得到国家自然科学基金及 人才科研启动专项等项目的资助。

文章链接：https://ieeexplore.ieee.org/document/9477102

编辑：张晴

终审：徐海