斯德哥尔摩,强化学习应用于组合优化问题,卫星地图

admin 4个月前 ( 04-14 10:39 ) 0条评论
摘要: 将算法设计为自动化,可以为解决困难的COP问题可以节省大量的金钱和时间,也许可以产生比人类设计的方法更好的解决方案。...

将算法规划为自动化,能够为处理困难的夺命毒蜂COP问题能够节约很多的金钱和时刻,或许能够发作比人类规划的办法更好的处理计划,正如咱们在AlphaGo的效果中看到的那样,这些效果打败了数千年的人类经历

为什么优化很重要?

从数百万年前的人类开端,每一项技能创新和每一项改进咱们日子的创造以及我文兴摩托车行们在地球上生计和昌盛的才能,都是由聪明人的奸刁思维规划出来的。从火到车轮,从电力到量子力学,咱们对国际的了解和咱们周围事物的杂乱性现已添加到咱们常常难以直观地把握它们的程度。

现在,飞机,轿车,船只,卫星,杂乱结构等Barbapapa许多其他设备的规划者在很大程度上依赖于算法使其具有更好的才能,一般是人类底子无法完结的奇妙办法。除了规划之外,优化在日常业务中起着至关重要的效果,例如网络路由(互联网和移动),物流,广告,交际网络乃至医学。在未来,跟着咱们的技能不断改进和复行酒探案杂化,处理巨大规划的难题的才能或许会有cams4更高的需求,而且需求在优化算法方面取得打破。

组合优化问题

从广义上讲,组合优化问题是触及从有限的一组方针中找到"最佳"方针的问题。在这种状况下,"最佳"是经过给定的评价函数来丈量的,该函数将方针映射到某个分数或本钱,方针是找到值得最低本钱的方针。

最实践风趣的组合优化问题也杭文投十分困难,由于由于问题巨细的细小添加,调集中的方针数量添加得十分快,使得穷举查找变得不切实践。

为了使作业更清楚,咱们将专心于一个特定的问题,即出名的旅游商问题(TSP)。在这个问题上咱们有N个城市,咱们的销售员有必要悉数拜访它们。可是,在城市之间旅游会发作一些费用,咱们有必要找到一个旅游,在旅游到一切城市并回来开端城市时最大极限地削减总累积本钱。例如,下图显现了美国一切州所在城市的最佳旅游:

这个问题自然会呈现在许多重要的运用中,例如计划,交给效劳,制作,DNA测序和许多其他运用。寻觅更好的旅游团队有斯德哥尔摩,强化学习运用于组合优化问题,卫星地图时会发作严峻的财政影响,促进科学界和企业投入很多精力来处理这些问题。

在为K城市树立TSP实例之旅的一起,咱们在旅游建造进程茅于轼事情始末大鱼吃小鱼2011版的每个阶段都消除了一个城市,直到不再有城市停止。在榜首阶段,咱们有K个城市能够挑选开端巡演,在第二阶段咱们有K-1选项,然后是K-2选项等等。咱们能够构建的或许的旅游数量是咱们在每个阶段的选项数量的乘积,因而这个问题的杂乱沈微澜陆鹤琛性就像O(K!)。

关于小数字,这好像并不那么糟糕。假定咱们有5个城市问题,寺坪陵寝或许的旅游次数是5!= 120。可是关于7个城市,它添加到5040,关于10个城市现已是3628800,关于100个城市来说,它是高达9.332622e + 157,这比国际中9891游戏交易平台的原子数多出许多个数量级。

在实践国际中呈现的TSP的实践实例一般具有数千个城市,而且需求在很多文献中现已开发了数十年的高度杂乱的查找算法和启发式算法,以便在合理的时刻内处理(或许是数小时)。

惋惜的是,在实践国际的运用程序中呈现的许多COP(组合优化问题)具有共同的细微差别和束缚,使咱们无法仅运用最先进的处理计划处理TSP等已知问题,并要求咱们开发针对该问题的办法和启发式办法。这个进程或许是绵长而艰巨的,而且或许需求范畴专家的作业来检测特定问题的组合查找空间中的某些结构。

由于近年来深度学习在许多范畴取得了巨大成功,让机器学会怎么自己处理问题的或许性听起来十分有期望。将吴岛光实算法规划为自动化,能够为处理困难的COP问题能够节约很多的金钱和时刻,或许能够发作比人类规划的办法更好的处理计划,正如咱们在AlphaGo的效果中看到的那样,这些效果打败了数千年的人类经历。

学习图形表明

在这个问题的一个前期测验,是在2016年的阵营转化待定一篇论文《学习依据图的组合优化算法》,作者练习了一种图形神经网行酒探案络,称为structure2vec,以贪婪地构建几个硬COP的处理计划,并取得十分好的近似比率(生产本钱与最优本钱之间的比率) 。

基本思维是这样的:问题的状况能够表明为图形,神经网络构建处理计划。在处理计划构建进程的每次迭代中,小倌咱们的网络调查当时图形,并挑选要添加到处理计划的节点,之后依据该挑选更新图形,而且重复该进程直到取得完好的处理计划。

作者运用DQN算法练习他们的神经网络,并证明了学习模型能够推行到比练习更大的问题实例。他们的模型乃至能够很好地推行到1200个节点的实例,一起在大约100个节点的实例上进行练习,而且能够在12秒内生成处理计划,这些处理计划有时比商业解算器在1小星斗盘之约时内找到的更好。他们的办法的一大缺陷是他们斯德哥尔摩,强化学习运用于组合优化问题,卫星地图运用"辅佐"功用,以协助神经网络找到更好的处理计划。这个辅佐函数是人为规划的,而且特定于问题,这是咱们想要防止的。

运用依据图形的状况表明十分有意义,由于许多COP能够经过这种办法十分自然地表达,如TSP图的示例中所示:

节点代表城市,边际包含城市间间隔。能够在没有边际特点的状况下构建十分类似的图形(假如由于某种原因咱们不假定间隔的常识)。近年来,在图形上运转的神经网络模型的遍及程度令人惊奇地添加,最显着的是在自然语言处理范畴,Transformer风格模型已成为许多现状使命。

有许多优异的文章具体解说了Transformer体系结构,因而我不会深入研讨它,而是给出一个十分简略的概述。谷歌研讨人员在一篇斯德哥尔摩,强化学习运用于组合优化问题,卫星地图名为《Attention Is All You Need》的闻名论文中引入了变换器(transformer)架构,并用于处理NLP中呈现的序列问题。不同之处在于,与LSTM等递归神经网络不footfetishtube同,后者明确地输入一系列输入向量,变换器作为一组方针被输入,而且有必要采纳特别手法来协助它看到"序列"。变换器运用多个层,这些层由多头自留意子层和彻底衔接的子层组成。

与图形的联系在留意层中变得显着,留意层吾凰千岁实践上是输入"节点"之间的一种音讯传递机制。每个节点都调查其他节点并参加那些看起来更"有意义"的节点。这与中发作的进程十分类似,事实上,假如咱们运用掩码来阻挠节点将音讯传递给不相邻的节点,咱们将取得一个等效的进程。

学会处理没有人类常识的问题

在他斯德哥尔摩,强化学习运用于组合优化问题,卫星地图们的论文《留意力机制学习处理路由问题》,作者处理了几个触及在图表由署理的组合优化问题,包含咱们现在了解的旅游商问题。他们将输入视为图形并将其提供给嵌入图形节点的修改后的Transformer体系结构,然后顺次挑选要添加到斯德哥尔摩,强化学习运用于组合优化问题,卫星地图巡视的节点,直到构建完好的巡视。将输入作为图形处理是比给它一系列节点更"正确"的办法,由于它消除了对输入中给出城市的次序的依赖性,只需它们的坐标不变。这意味着不管咱们怎么对城市进行置换,给定图形神经网络的输出都将坚持不变,这与序列办法不同。

在本文提出的体系结构中,图形由变换器款式编码器嵌入,该编码器为一切节点生成嵌入,并为整个图形生成单个嵌入向量。

为了发作解洗冤重生决计划,独自的解码器网络每次赋予特别上下文向量,即由图嵌入和那些最终和榜首城市,和未拜访城市的嵌入的,而且它在未拜访的输出概率散布城市,其被抽样以发作下一个要拜访的城市。

解码器次序发作城市直到旅游完结,然后依据旅游的长度给出奖赏。

作者运用称为REINFORCE的强化学习算法练习他们的模型,该算法是依据战略梯度的算法。其版别的伪代码能够在这里看到:

他们运用转出网络确认性地评价实例的难度,并运用战略网络的参数定时更新转出网络。运用这种办法,作者在几个问题上取得了优异的效果,逾越了我在前面几节中说到的其他办法。可是,他们依然在小型实例上练习和评价他们的办法,最多有100个节点。尽管这些成果很有期望,但与实践国际比较,这种状况微乎其微。

扩展到十分大的问题

最近《经过深度强化学习进行大图的启发式学习》(《Learnin斯德哥尔摩,强化学习运用于组合优化问题,卫星地图g Heuristics Over Large Graphs Via Deep Reinforcement Learning》一文,朝着实在国际巨细的问题迈出了重要的一步。在本文中,作者练习了一个图形卷积网络来处理大型问题,如最小极点掩盖(MVC)和最大掩盖问题(MCP)。他们运用盛行的贪婪算法来练习神经网络嵌入图形并猜测下一个节点在每个阶段进行挑选,然后运用DQN算法进一步练习它。

他们在具有数百万个节点的图表上评价了他们的办法,而且取得了比当时斯德哥尔摩,强化学习运用于组合优化问题,卫星地图规范算法更好和更快的成果。尽管他们的确使用手艺的启发式办法来协助练习他们的模型,但未来的作业或许会消除这种约束。

总的来说,我以为在很多查找空间问题中寻觅结构的探究是强化学习的一个重要而有用的研讨方向。强化学习的许多批评者宣称,到目前停止,它只用于处理游戏和简略的操控问题,而且将其转移到实践国际的问题依然很悠远。尽管这些说法或许是正确的,但我以为我在本文中概述的办法代表了十分实在的用处,能够在近期内为强化学习的运用带来优点。

文章版权及转载声明:

作者:admin本文地址:http://www.bidjapon.com/articles/891.html发布于 4个月前 ( 04-14 10:39 )
文章转载或复制请以超链接形式并注明出处日本劣势分析,全面阐述现代日本问题