机器人
研究人员利用深度增强学习教会木棍“机器人”如何行走
设计机器人是一个非常挑剔的过程，需要花费很多心思。通常，你有必要非常清楚地知道你想让机器人做什么，以及你想让它怎么做，然后据此建造一个原型机，找出来这种设计的所有不足之处，改进不足让它变得更好，然后重复这一过程，直到你用完了你的时间和(或)金钱。
其实造机器人不一定非要这么复杂，只要你降低对他们所能做到事情的期望值。在去年12月NeurIPS大会的研讨会上发表的一篇论文中，来自Preferred Networks的一组研究人员尝试了利用几个通用伺服电机，加上一些你可以随便在地上找到的东西(如树枝)，来构建移动机器人的实验。
这些“机器人”首先在仿真环境中通过深度增强学习学会如何行走。论文中介绍了具体的实现方式：首先挑选一些木棍，对其进行称重，然后对其进行3D扫描，并在仿真中搭建整个机器人系统，然后对在仿真过程中走出最远距离的步态给予奖励。在上述过程中，还涉及到一些手工调参过程。这些手工调参用来避免可能“对真实机器人造成磨损和消耗”的行为。
总体而言，这可能不是你能在大多数应用场景中使用的一种设计策略，但我们可以推测像这样的机器人可以怎样、在何种场合下变得更实际一点。这种拿随手拈来的材料(当然可能还得额外加上几个电机和一两个传感器)来建造机器人的想法非常有趣，让人难以抗拒。另外，看起来你也可以从零开始为实际机器人设计一种步态来，你需要的只是试错和一些来自传感器的基本反馈信息。
用这种材料做成的机器人可能不会像传统精心设计的机器人一样技有所长，因此他们可能仅在某些特殊场合下才有用武之地。你不必再担心结构材料的运输问题，还能基于一套通用性的硬件按需创造大量不同的设计。用附近就能找到材料构建机器人意味着出了任何问题你都很容易修复，即使你不得不重新教会它如何移动。
本文译自 IEEE Spectrum，由 荔枝冰糖葫芦 编辑发布。