多层感知机（MLP, Multilayer Perceptron）

Fully Connected Layer

时延神经网络(TDNN, Time-Delay Neural Networks)

TDNN是一个常用于语音信号处理领域卷积神经网络，使用 FFT 预处理的语音信号作为输入，其隐含层由2个一维卷积核组成，以提取频率域上的平移不变特征。

卷积神经网络（CNN, Convolutional Neural Networks）

内积 (dot product, scalar product)

Architect

1. Convolution
2. Pooling
3. Flatten

Property

1. Some of patterns are much smaller than the whole image
2. The smae pattterns appear in different regions
3. Subsampling the pixels will not change the object

1 x 1 Convolution

1 x 1 的卷积核用来实现降通道数的操作

循环神经网络（RNN, Recurrent Neural Networks）

长短期记忆网络（LSTM, Long Short-Term Memorys）

参考

[1] B站-李宏毅讲解卷积神经网络（带字幕