2017年提出的Transformer架构相比RNN的革命性改进是什么?()



2017年提出的Transformer架构相比RNN的革命性改进是什么?()

A.首次实现了中文处理能力

B.参数量增加到万亿级别

C.可以并行处理整个句子,且通过自注意力机制直接建立任意两词间的联系

D.训练成本降低到几千美元

正确答案:C

答案解析:

选项A:Transformer架构并非首次实现中文处理能力。在Transformer架构提出之前,无论是RNN还是其他模型,都已经能够处理包括中文在内的多种语言。处理何种语言取决于数据的多样性和模型训练的方式,并非Transformer架构独有的特性,所以A选项错误。

选项B:参数量增加到万亿级别并不是Transformer架构相较于RNN的革命性改进。参数量的增加更多是随着技术发展在不同阶段的一种表现,且参数量大小与架构本身的核心优势并无直接关联。即使是RNN在发展过程中也可以通过增加参数来提升某些性能,所以B选项不符合。

选项C:Transformer架构的自注意力机制允许模型并行处理整个句子,不再像RNN那样按顺序逐个处理序列元素,大大提高了训练效率。同时,自注意力机制能够直接建立序列中任意两个词之间的联系,有效解决了RNN在处理长序列时难以捕捉长距离依赖关系的问题。这两点是Transformer架构相对RNN的革命性改进,C选项正确。

选项D:虽然Transformer架构在一定程度上优化了计算过程,但训练成本降低到几千美元并非其相较于RNN的核心区别。训练成本受到多种因素影响,包括硬件设备、数据规模等,不能简单归结为架构带来的变化,所以D选项错误。


Tag:动手学AI人工智能通识与实践 时间:2025-11-16 11:27:08