谷歌开源AI模型“搜索引擎”,NLP、CV都能用

萧箫发自凹非寺

量子位报道公众号 QbitAI

好消息,谷歌将 AutoML 算法库开源了!

这个名为“模型搜索”(Model Search)的平台,不仅可以用多个 AutoML 算法自动写出你想要的 AI 模型,还能帮你选出写得最好的那个。

最重要的是,各个领域都能用

也就是说,以往只支持 NLP、图像分类等等单一领域模型搜索的 AutoML 算法,现在被整合到了一个平台上,可以帮你构建任何 AI 模型。

现在,无需再重新设计参数、或反复微调,“AI 设计师”就能帮你写出想要的模型。

“模型搜索”是个什么平台

此前,AutoML 算法已经被应用到了各个领域,用来减轻神经网络设计专家的负担。

这种算法,目的是让 AI 来设计神经网络,自动对网络深度、层类型、结构、优化算法等因素进行合理搭配,效果通常比人工直接设计更好。

然而,这种由 AI 来设计 AI 模型的方法,会面临两个问题。

其一,这些算法通常只能针对某一特定领域,无法被应用到其他领域中。

例如针对 NLP 的 AutoML 算法,就无法设计出图像分类的 AI 模型。

其二,计算量很

之前的 NAS 和 PNAS 算法,往往需要训练数千个模型,才能找到效果最好的。

针对这两个问题,谷歌现在推出了“模型搜索”开源平台,致力于解决它们。

这个系统由多个训练器(trainer)、1 个搜索算法、1 个迁移学习算法和 1 个包含多种评估模型的数据库构成。

过程中,每个训练器都会独立地构建模型、进行试验,但这些训练器能共享数据,并采用横向搜索,决定下一步尝试什么样的模型。

“模型搜索”能根据一组预定义模块,来构建神经网络模型,每个模块包含一个经典微结构,包括 LSTM、ResNet 或是 Transformer 中的某些层等等。

这种微结构的模式,也减少了搜索规模,因为它探索的是这些模型的结构,而非更详细的基本部分。

而为了进一步提高效率和准确性,这一算法还能在训练器完成各种实验时,进行迁移学习。主要通过知识提取和参数分配两种方法。

通过知识提取,新模型可以从高性能模型中借鉴损失函数,提高自身准确性;而通过参数分配,新模型采用之前训练模型中的部分参数,并初始化剩余的参数,就能训练得更快。

在逐渐迭代的过程中,最好的模型就被“搜索”出来了。

谷歌表示,“模型搜索”是个具有自适应性、贪婪性、而且比强化学习算法收敛速度更快的算法。

这个算法,目前具有如下功能:

  • 可以在数据上运行多个 AutoML 算法,可以自动搜索合适的模型结构、模型融合方法,并选择最佳模型。

  • 可以比较在搜索时发现的不同模型;

  • 可以自行设计特殊的神经网络层并应用。

目前,“模型搜索”支持Tensorflow框架。

也就是说,各模块都能实现任何以张量为输入的函数。

比人类设计得好,比 PNAS 更高效

经过实验,“模型搜索”平台搞出来的 AI 模型,确实还不错。

作者们用“模型搜索”平台,试着写了个语音 AI 模型,主要功能是关键字检测和语言识别。

下图中,实线是 AI 写出来的模型迭代精度,虚线则是此前人工设计出的 SOTA 模型。

显然,无论是最小迭代次数、还是最后的迭代精度,“模型搜索”平台用 AI 写出的模型,都比人工设计的要好得多。

也就是说,设计所用的参数量更少了(相比于人工设计的 31.5 万,AI 只需要 18.4 万),精度反而还上升了。

那么,这个“模型搜索”框架的搜索效果,相比于其他用 AI 写 AI 模型的搜索算法,哪个效果更好?

作者们用 CIFAR-10 数据集试了试图像分类模型。

测试发现,用 AutoML 尝试写了209个模型后,最好的模型就已经达到了91. 83%的精确度。

而此前,NasNet 需要尝试5807 次、PNAS 需要尝试1160 次,才能达到相同的精度。

也就是说,用这个平台设计的 AI 模型,不仅能达到在某些领域达到比人类设计更好的效果,还比其他“AI 设计师”速度更快。

不想辛苦调参的话,这绝对是个非常理想的模型设计平台了。

不包含全部 AutoML 算法

所以,谷歌当真就把自己之前的收费项目开源了?

不不不。

更高级的 AutoML 算法,目前还是要收费的。

这是个名为 AutoML Tables 的项目,无需写代码,它就能帮你自动构建和部署最先进的机器学习模型。

而性能最优的 AutoML 算法,目前都包含在这里面了。

目前,谷歌已经将 AutoML、MLOps、AI Platform 整合到一起,成为了一个更大的 AI Platform 平台。

当然,也是要付费的。

也就是说,目前开源的这个“模型搜索”平台,只包含一部分 AutoML 算法。

作者介绍

Hanna Mazzawi,谷歌研究工程师,研究方向是机器学习、算法设计和分析、数学软件。

Xavi Gonzalvo,硕博均毕业于西班牙拉蒙尤以大学(Ramon Llull University),目前在谷歌任研究科学家,从事机器智能相关的工作。

如果想快速写出需要的 AI 模型,可以上手这个项目了~

项目地址:

https://github.com/google/model_search

参考链接:

https://cloud.google.com/automl-tables

https://ai.googleblog.com/2021/02/introducing-model-search-open-source.html

本文链接

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注