Google 开源语言模型 Switch Transformer,但不包括权值

Google Brain 的研究人员开源了他们最新的 AI 语言模型 Switch Transformer,包括 1.6 万亿个参数,相比上一代的 T5 模型,在精度相似的情况下训练时间只要七分之一。

但 Google 并没有开源预训练的权值,而权值对于语言模型是至关重要,因此这一开源被认为打了折扣。权值代表 AI 模型模拟的人脑神经元之间的连接强度,需要反复调整到输出结果与正确答案相同。

本文链接

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注