transfomer这个框架和其他的深度学习是一个层次的东西吗？

simonw

请教下AI大佬

以前的AI好像都是搞些识图什么的

jxpal

可以说吊打
GPT中的T就是Transformer

u104b230

Transformer是模型，框架一般是指Pytorch或TensorFlow，而且Transformer通常是用在自然語言，後來有圖像領域的變體叫Vision Transformer(ViT)，通常圖像用的後來都是ViT在延伸變體。所以你是還沒學過？ 如果你已經學一陣子，還問這基本問題，是不太及格表現

u104b230

以前AI發展比較早確實是影像，因為影像分類相對語言是比較簡單東西。而語言比較傳統就是Word2vec,Seq2Seq，這能做到功能有限，後來出了Transformer，才勉強算讓機器能了解字意思。
已做的難度來說: 分類<生成,影像<文字

Tankie

我个外行的理解

以前AI主要突破在图像领域，什么人脸识别啊，监控啊之类的，说的最多的就是什么卷积神经网络就是这个。

但在语言理解上，AI的进展不直不如人意，然后就创造出来了transformer。原来的语言理解的处理流程是尊重语句中单词的顺序，这和我们正常的理解语言类似。但这个顺序处理效果不好，同时因为要等待上个词处理完才处理下个词，导致不好并行处理。

transformer说不用这样搞，attention is all you need。你把整个句子丢进去，训练多了，AI会自己找到关键词和关键的联系。结果证明，transformer是对的。