通用AlphaGo诞生？MuZero在多种棋类游戏中超越人类

DeepMind的一项研讨提出了MuZero算法，该算法在不具备任何底层动态知识的情形下，通过联合基于树的搜索和学得模型，在雅达利2600游戏中到达了SOTA表示，在国际象棋、日本将棋和围棋的准确计划义务中可以匹敌AlphaZero，甚至超过了提前得知规矩的围棋版AlphaZero。

MuZero 算法在国际象棋、日本将棋、围棋和雅达利（Atari）游戏训练中的评估成果。横坐标表现训练步骤数目，纵坐标表现 Elo评分。黄色线代表 AlphaZero（在雅达利游戏中代表人类表示），蓝色线代表 MuZero。

基于前向搜索的计划算法已经在 AI 范畴取得了很大的胜利。在围棋、国际象棋、西洋跳棋、扑克等游戏中，人类世界冠军一次次被算法打败。此外，计划算法也已经在物流、化学合成等诸多现实世界范畴中发生影响。然而，这些计划算法都依附于环境的动态变更，如游戏规矩或准确的模仿器，导致它们在机器人学、工业掌握、智能助理等范畴中的运用受到限制。

基于模型的强化学习旨在通过以下步骤解决这一问题：首先学习一个环境动态模型，然后依据所学模型进行计划。一般来说，这些模型要么着眼于重建真实的环境状况，要么着眼于完全视察成果的序列。然而，之前的研讨在视觉上丰硕的范畴还远远没有到达 SOTA 水准，如雅达利 2600 游戏。

最受欢迎的办法是基于无模型强化学习的办法，即直接从智能体与环境的交互中估量优化策略和/或价值函数。但在那些须要准确和庞杂前向搜索的范畴（如围棋、国际象棋），这种无模型的算法要远远落伍于 SOTA。

研讨者在57个不同的雅达利游戏中评估了MuZero，发明该模型在雅达利2600游戏中到达了SOTA表示。此外，他们还在不给出游戏规矩的情形下，在国际象棋、日本将棋和围棋中对MuZero模型进行了评估，发明该模型可以匹敌AlphaZero超出人类的表示。而且，在该试验中，其先辈AlphaZero提前获知了规矩。

MuZero 算法概览

MuZero 基于 AlphaZero 壮大的搜索和基于搜索的策略迭代算法，但又将一个学习好的模型整合到了训练步骤中。MuZero 还将 AlphaZero 扩大到了一个更加普遍的环境聚集，包括单个智能体域和中间时光步上的非零嘉奖。

该算法的重要思路是预测那些与计划直接相干的未来行动（如下图 1 所示）。模型将吸收到的视察成果（如围棋棋盘图像或雅达利游戏截图）作为输入，然后将其转换为一个隐蔽状况。接下来，通过一个循环进程来迭代更新该隐蔽状况，该循环进程吸收前一个隐蔽状况和假设的下一步操作。

在每一个步骤上，模型会预测策略（如玩的动作）、价值函数（如预测的赢家）以及即时嘉奖。对模型进行端到端训练的唯一目的是精确估量这三个主要的量，以匹配改良的策略估量和通过搜索及视察到的嘉奖生成的值。

对于隐蔽的状况，没有直接的束缚和请求来捕获重建原始视察成果所需的信息，大大减少了模型保护和预测的信息量；也没有请求隐蔽状况匹配环境中未知、真实的状况；更没有针对状况语义的其他束缚。

相反，隐蔽状况能够地以任何与预测当前和未来值和策略相干的方法来表现状况。直观地说，智能体可以在内部创立规矩和动态，以实现最准确的计划。

图 1：用一个训练好的模型进行计划、行为和训练。（A）MuZero 应用其模型进行计划的方法；（B）MuZero 在环境中产生作用的方法；（C）MuZero 训练其模型的方法。

MuZero 算法详解

研讨者对 MuZero 算法进行了更详细的解读。在每个时光步 t 上、以过往视察成果 O_1, , O_t 和未来行动 a_t+1, , a_t+k 为条件、通过一个具有参数 的模型 _ ，为每个 k=1 K 步进行预测。该模型预测三种未来数目：策略

 

、价值函数

 

和即时嘉奖

 

，其中 u. 表现视察到的准确嘉奖， 表现用来选择实时行为的策略， 表现环境的贴现函数（discount function）。

在每个时光步 t 上，MuZero 模型由表征函数、动态函数和预测函数结合表征。在本文中，研讨者对动态函数进行了确实的表征。策略和价值函数则通过预测函数

 

并依据内部状况 s^k 来盘算，这与 AlphaZero 的结合策略和价值网络类似。

给定这样一个模型，则有可能在基于过往视察成果 O_1, , O_t 的情形下查找基于假设的未来轨迹 a^1, , a^k。例如，一个简略的搜索可以轻松地选择最大化价值函数的 k 步动作序列。更广泛地说，我们或允许以将任何 MDP（马尔科夫决策进程）计划算法运用于由动态函数推导出的内部嘉奖和状况空间。

对于每个假设的时光步 k，模型的所有参数接收结合训练，从而在 k 个实际的时光步后，对策略、价值和嘉奖与它们各自对应的目的值进行准确的匹配。与 AlphaZero 类似，晋升后的策略目的通过蒙特卡洛树（MCTS）搜索生成。第一个目的是最小化预测策略 p^k_t 和搜索策略 _t+k 之间的误差；第二个目的是最小化预测值 v^k_t 和价值目的 z_t+k 之间的误差；第三个目的是最小化预测嘉奖 r^k_t 和视察到的嘉奖 u_t+k 之间的误差。最后添加 L2 正则化项，得出以下总丧失：

 

试验成果

在试验中，研讨者将 MuZero 算法运用于围棋、国际象棋和日本将棋等经典棋盘游戏中，作为挑衅计划问题的基准；同时又运用于雅达利游戏环境中的 57 个游戏，作为视觉庞杂强化学习范畴的基准。

下图 2 展现了 MuZero 算法在每个游戏训练中的性能。在围棋游戏中，尽管搜索树中每个节点的盘算量小于 AlphaZero，但 MuZero 的性能依然略微超过 AlphaZero。这表明 MuZero 可能在搜索树中缓存自身盘算，并应用动态模型的每个附加运用来对地位发生更深的懂得。

 

图 2：MuZero 算法分离在国际象棋、日本将棋、围棋和雅达利游戏训练中的评估成果。在国际象棋、日本将棋和围棋游戏中，横坐标表现训练步骤数目，纵坐标表现 Elo 评分。

 

表 1：雅达利游戏中 MuZero 与先前智能体的比较。研讨者分离展现了大范围（表上部分）和小范围（表下部分）数据设置下 MuZero 与其他智能体的比较成果，表明 MuZero 在平均分、得分中位数、Env. Frames、训练时光和训练步骤五项评估指标（红框）取得了新的 SOTA 成果。

为了懂得 MuZero 中模型的作用，研讨者还重点在围棋和吃豆人雅达利游戏中进行了以下几项试验。他们首先在围棋的典范计划问题上测试了计划的可扩大性（下图 3A）。此外，他们还研讨了所有雅达利游戏中计划的可扩大性（下图 3B）。接着，他们将自己基于模型的学习算法与其他类似的无模型学习算法进行了比拟（下图 3C）。

 

图 3：MuZero 在围棋、57 个雅达利游戏、吃豆人游戏上的评估成果。

（原文来自机器之心编纂部，论文链接：网页链接）

下一篇：王者荣耀中拿五杀次数最多的英雄是诸葛亮吗？
上一篇：人工智能失礼？围观人机大战你该知道的围棋礼仪