深度Q学习的二次主动采样方法

关键词：优先经验回放 深度q网络 累积回报 

摘要：实现深度Q学习的一种方式是深度Q网络(Deep Q-networks,DQN).经验回放方法利用经验池中的样本训练深度Q网络,构造经验池需要智能体与环境进行大量交互,这样会增加成本和风险.一种减少智能体与环境交互次数的有效方式是高效利用样本.样本所在序列的累积回报对深度Q网络训练有影响.累积回报大的序列中的样本相对于累积回报小的序列中的样本更能加速深度Q网络的收敛速度,并提升策略的质量.本文提出深度Q学习的二次主动采样方法.首先,根据序列累积回报的分布构造优先级对经验池中的序列进行采样.然后,在已采样的序列中根据样本的TD-error(Temporal-difference error)分布构造优先级对样本采样.随后用两次采样得到的样本训练深度Q网络.该方法从序列累积回报和TD-error两个方面选择样本,以达到加速深度Q网络收敛,提升策略质量的目的.在Atari平台上进行了验证.实验结果表明,用经过二次主动采样得到的样本训练深度Q网络取得了良好的效果.

自动化学报杂志要求:

{1}关键词选择贴近文义的规范性单词或组合词（3—5个）。

{2}来稿应标明第一作者的工作单位、通信地址、电话等。

{3}文稿题目及各级标题要求简短醒目,各级标题采用阿拉伯数字分级编号，即按照1；1.1；1.1.1……统一编号。

{4}参考文献应引用所有公开发表的，并与本文有关的，近年主要中外文献（以本学科或相关学科期刊为主）。

{5}多位作者的署名之间用空格隔开。英文摘要中，作者姓名的中文拼音，姓前名后，中间为空格，姓氏的全部字母均大写，名字的首字母大写。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社