学习人工智能

2024/9/2 11:55:18

学习人工智能-点积dot product，计算transformer模型里面的attention

因为transformer模型里面计算attention用到了点积dot product来计算相似度 or 距离，所以补充一下点积的知识。点积的代数定义： 点积在数学中，又称数量积（dot product; scalar product），是指接受在实数R上…

学习transformer模型-Input Embedding 嵌入层的简明介绍

今天介绍transformer模型的Input Embedding 嵌入层。背景嵌入层的目标是使模型能够更多地了解单词、标记或其他输入之间的关系。从头开始嵌入Embeddings from Scratch 嵌入序列需要分词器tokenizer、词汇表和索引，以及词汇表中每个单词的三维嵌入。Embedding a s…