开放人工智能和优步创建虚拟培养皿来寻找任务的最佳人工智能模型

优步人工智能和开放人工智能的研究人员提出了一种新的神经架构搜索方法，包括评估数百个人工智能模型，以确定最佳表现者。在预印的论文中，他们声称他们的技术被称为合成培养皿(Synthetic Petri Dish)，它可以加快计算量最大的NAS步骤，并以比以前方法更高的精度预测模型性能。

NAS通过测试候选模型的整体性能而无需手动微调，消除了任务的顶层模型体系结构。但是这需要大量的计算和数据，这意味着最好的架构将在可用的资源范围内进行训练。合成Petri Dish从生物学的角度解决了这个问题：它使用候选架构创建小模型，并使用生成的数据样本对其进行评估，使相对性能代表整体性能。

研究人员解释说：“生物学中“体外”(试管)实验背后的总体动机是，在更简单、更可控的环境中，研究解释更复杂系统中吸引人们注意力的现象的关键因素。”“本文讨论了是否有可能通过创建一种新的替代方法来提高NAS的计算效率，这种方法可以受益于小型化训练，并且仍然可以扩展到现场评估的分布范围之外。[w] e可以通过机器学习来学习数据，因此对所学习数据的[架构]训练可以产生显示[架构]实际性能的性能。”

合成培养皿只需一点点性能评估和训练，就可以“非常快速”地测试新架构。最初，评估用于训练培养皿模型，并通过现成的NAS方法生成一组体系结构。然后，一个训练有素的培养皿模型预测新架构的相对性能，并选择一组架构进行性能评估。

重复此过程，直到NAS方法确定最佳体系结构。

在一台配备了20个NVIDIA 1080 Ti显卡(用于地面训练和评估)和MacBook(用于推理)的PC上进行的实验中，研究人员试图在Penn Tree Bank(PTB)数据集上确定合成培养皿的性能。这是一个流行的语言建模和NAS基准测试。从拥有2700万个参数(变量)的真实模型开始，Synthetic Petri Dish生成了100个新架构，并评估了前20个架构。

研究人员表示，在搜索的最后，他们的技术在性能上找到了一个“有竞争力”的模型，可以通过常规NAS找到，并将种子模型的复杂度从2700万个参数(变量)降低到140个参数。他们还报告称，合成培养皿只需要原网络连接存储的十分之一，在计算量相同的情况下，其性能超过了原网络连接存储。

“通过以这种方式搜索架构，作为关于某些主题或因素将如何影响最终结果的问题，我们获得了一个有趣的优势，即预测模型不再是一个黑盒。相反，它实际上包含了它试图预测的更大世界的一个关键部分。”合著者写道。“[B]由于微观模型包含了真实网络的一部分(因此可以测试关于其功能的各种假设)，预测是基于高度相关的先验基础，其结果比空白黑盒模型更准确。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！