生成式模型 VS 判别式模型

Discriminative models learn the classification (hard or soft) boundary between classes. A discriminative model learns the conditional probability distribution p(y|x) - which you should read as “the probability of y given x”.

Generative models model the distribution of individual classes. A generative model learns the joint probability distribution p(x,y)

生成模型是模拟这个结果是如何产生的,然后算出产生各个结果的概率。判别模型是发现各个结果之间的不同,不关心产生结果的过程。

avatar

典型代表模型

生成式模型

  1. 朴素贝叶斯
  2. K紧邻(KNN)
  3. 混合高斯模型
  4. 隐马尔科夫模型(HMM)
  5. 贝叶斯网络
  6. Sigmoid Belief Networks
  7. 马尔科夫随机场(Markov Random Fields)
  8. 深度信念网络(DBN)

判别式模型

  1. 线性回归(Linear Regression)
  2. 逻辑斯蒂回归(Logistic Regression)
  3. 神经网络(NN)
  4. 支持向量机(SVM)
  5. 高斯过程(Gaussian Process)
  6. 条件随机场(CRF)
  7. CART(Classification and Regression Tree)

参考

[1] On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes

[2] The difference between a generative and a discriminative algorithm?

[3] 判别式模型与生成式模型