一、激活函数演变史&输出层机制
二、感知机（Perceptron，1958）：单层线性分类器
三、多层感知机（MLP，1986）
四、卷积神经网络（CNN，1989）
五、循环神经网络（RNN，1990）
1、语言模型（预测下一个词）
2、情感分析（分类）
3、翻译（用两个RNN）
六、长短期记忆网络（LSTM，1997）
1、门控循环单元（GRU，2014）
七、Transformer
1、多头注意力机制
矩阵变换过程
2、GQA(Grouped Query Attention)或MQA(Multi-Query Attention)
详细内容请关注我的个人公众号查看
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。