ChatGPT 将海量训练数据与 Transformer 框架结合,在 GPT 模型的基础上通过 RLHF 模型提升交互聊天能力,实现了对自然语言的深度建模,Transformer 有望在未来 较长时间内成为 AIGC 语言领域的核心技术框架。
Transformer 架构为自然语言理解领域带来颠覆性变革,应用到 NLP、CV、生物、化 学等多领域。2017 年,谷歌跳出 RNN 和 CNN 的结构,提出了完全基于 Self-Attention 机 制的 Transformer 架构,当时在机器翻译任务上取得了颠覆性的进步。Transformer 由一个 编码器和一个解码器组成,且各自由若干个编码/解码模块堆叠而成,每个模块包含 MultiHead Attention 层、全连接层等功能不同的工作层。
Transformer 架构优势突出,计算效率、并行度、解释性均实现突破。相比于之前的 框架 Transformer 架构除了在计算的时间复杂度更优外,还有 3 大优势:
(1)可直接计算点乘结果,并行度高:对于数据序列 x1,x2……xn ,self-attention 可 以直接计算任意两节点的点乘结果,而 RNN 必须按照顺序从 x1 计算到 xn。
(2)一步计算,解决长时依赖问题:处理序列信息使,通常用要经过的路径长度衡量 性能,CNN 需要增加卷积层数来扩大视野,RNN 只能逐个进行计算,而 self-attention 只需 要一步矩阵计算就可以,更好地解决长时依赖问题。
(3)模型更可解释:self-attention 模型更可解释,attention 结果的分布可反映该模型 学习到了一些语法和语义信息。
商用机器人 Disinfection Robot 展厅机器人 智能垃圾站 轮式机器人底盘 迎宾机器人 移动机器人底盘 讲解机器人 紫外线消毒机器人 大屏机器人 雾化消毒机器人 服务机器人底盘 智能送餐机器人 雾化消毒机 机器人OEM代工厂 消毒机器人排名 智能配送机器人 图书馆机器人 导引机器人 移动消毒机器人 导诊机器人 迎宾接待机器人 前台机器人 导览机器人 酒店送物机器人 云迹科技润机器人 云迹酒店机器人 智能导诊机器人 |