OpenAI的Procgen Benchmark防止AI模型过拟合

 
在机器学习模型的训练方面，总是存在过度拟合(或过于接近)特定数据集的风险。实际上，流行的机器学习基准(例如Arcade Learning Environment)鼓励过拟合并不是不可行的，因为它们对泛化的重视程度较低。
这就是为什么OpenAI(由CTO Greg Brockman，首席科学家Ilya Sutskever和其他人共同创立的旧金山研究公司)今天发布了Procgen Benchmark，Procgen Benchmark是一组16种程序生成的环境(CoinRun，StarPilot，CaveFlyer，Dodgeball，FruitBot，Chaser ，矿工，跳线，Leaper，迷宫，BigFish，Heist，Climber，Plunder，Ninja和BossFight)来衡量模型学习通用技能的速度。它建立在初创公司的CoinRun工具集之上，该工具集使用过程生成来构建训练和测试水平集。
OpenAI在博客中写道：“我们希望两全其美：一个包含许多不同环境的基准，每个环境从根本上都需要泛化。” “为了满足这一需求，我们创建了Procgen Benchmark…[致力于]以下所有方面：实验便利性，环境内的高度多样性以及环境之间的高度多样性…CoinRun现在作为Procgen Benchmark的首创环境，为其多样性做出了贡献整体而言。”
 
根据OpenAI，Procgen环境的设计具有很大的自由度(受基本设计约束)，从而为AI驱动的代理带来了“有意义的”通用化挑战。还对它们进行了校准，以确保基准代理在训练了2亿个时间步之后可以取得显着进步，并且每秒仅用一个处理器内核就可以执行数千步。
此外，Procgen环境支持两个“经过良好校准”的难度设置：简单和困难。 (前者的目标用户是计算能力有限的用户，因为这需要大约八分之一的资源进行训练。)并且他们模仿了许多Atari和Gym Retro游戏的风格，与先例保持一致。
 
根据OpenAI，随着训练集的增长，AI模型的性能通常会提高。博客作者解释说：“我们认为，培训绩效的提高来自不同级别的隐性课程。” “如果座席学会在训练集中的各个级别进行概括，那么更大的训练集可以提高训练效果。”
OpenAI让未来的工作更加复杂，它相信这将为更强大，更高效的AI模型提供参考。 “ [培训和测试表现之间的巨大差距值得一提。它揭示了在按照固定级别的顺序进行环境的培训中一个关键的隐藏缺陷。” OpenAI写道。
 
OpenAI先前发布了Neural MMO，这是一个“大规模多代理人”虚拟培训场，可以在类似于RPG的世界中欺骗特工;而Gym是增强学习算法的试验场(涉及训练机根据试验和训练来做事)错误)。最近，它提供了SafetyGym，这是用于开发AI的工具套件，该AI在训练时尊重安全约束，并用于比较算法的“安全性”以及这些算法在学习过程中避免错误的程度。