题目: 强化学习中的多臂老虎机算法的Minimax率和亚高斯估计

报告专家：张慧铭，北航人工智能研究院副教授

报告时间：2023年12月8日（周五）10：00 - 11：30

报告地点：学院9-122会议室

报告摘要:

在机器学习中，为了分析学习算法在最不利情况下的表现，我们使用了一个称为Minimax速率的理论概念。我们介绍了强化学习中的多臂老虎机问题及其Minimax遗憾上界速率。讨论了两种算法的后悔率：上置信区间（UCB）算法和随机情况下的Minimax最优策略（MOSS）算法。

在非渐近统计推断中，亚高斯分布的类方差型参数至关重要。然而，使用经验矩母函数直接估计这些参数是不可行的。为了解决这个问题，我们建议使用通过最大化一系列标准化矩得到的亚高斯本质矩范数。在实践中，我们提供了一种直观的方法，使用亚高斯图检查有限样本数据的亚高斯性质。本质矩范数可以通过简单的带入方法进行稳健估计。由于现有的UCB算法包含未知的亚高斯参数，我们提出了亚高斯和小样本假设下的“Bootstrap+亚高斯估计UCB”算法。

专家简介：张慧铭，北航人工智能研究院的副教授。曾在澳门大学担任过濠江学者博士后研究员(2020-2022)；曾就读于北京大学(2016-2020)获得统计学博士。本科（2009级）与硕士（2013级）均就读于华中师大，获得数学与经济学双学士学位以及数理统计硕士学位。研究方向：非渐近推断、稳健估计、机器学习与深度学习理论、大数据子抽样算法、高维概率统计、函数型数据等。发表SCI论文22篇(包括机器学习与人工智能领域顶刊JMLR; 统计顶刊JASA,Biometrika; 精算顶刊IME; 统计、数学、与物理知名期刊Statistica Sinica, Journal of Complexity, 和Physica Scripta等；谷歌学术引用超500次)，其中两篇为Web of Science高被引论文。目前主持国自科青基一项；担任美国《数学评论》评论员，SCI期刊Mathematics (Q1区,中科院三区)的专题顾问委员会成员(Topical Advisory Panel Member)以及该刊的"高维与非渐近统计专栏"客座主编。曾担任统计、概率、人工智能与机器学习领域顶刊（AOS,AOAP,JASA,JMLR,IEEET-SP）的审稿人。

作者：罗敬；编辑：罗敬；审核：郭晖；上传：郭敏。