高效灵活的概率建模方法基于Python

前言

在今天给大家介绍一个研究工具：pomegranate。它比其他软件包更加灵活，更快，直观易用，并且可以在多线程中并行完成。

 

The API

主要模型介绍

• 一般混合模型

• 隐马尔可夫模型

• 贝叶斯网络

• 贝叶斯分类器

 

所有模型使用做多的方法

model.log_probability(X) / model.probability(X)
model.sample()
model.fit(X, weights, inertia)
model.summarize(X, weights)
model.from_summaries(inertia)
model.predict(X)
model.predict_proba(X)
model.predict_log_proba(X)
model.from_samples(X, weights)

 

支持很多分布函数

单变量分布
    1. UniformDistribution
    2. BernoulliDistribution
    3. NormalDistribution
    4. LogNormalDistribution
    5. ExponentialDistribution
    6. BetaDistribution
    7. GammaDistribution
    8. DiscreteDistribution
    9. PoissonDistribution

 

内核密度

    1. GaussianKernelDensity
    2. UniformKernelDensity
    3. TriangleKernelDensity

 

多变量分布

    1. IndependentComponentsDistribution
    2. MultivariateGaussianDistribution
    3. DirichletDistribution
    4. ConditionalProbabilityTable
    5. JointProbabilityTable

 

模型可以从已知值中创建

 

模型也可以从数据直接学习

 

pomegranate 比 numpy 快

 

只需要一次数据集（适用于所有模型）。以下是正态分布统计示例：

 

支持核心学习

由于使用了足够多的统计数据，因此可以支持外核/在线学习。

 

pomegranate 比 scipy 快

 

The API

主要模型介绍

• 一般混合模型

• 隐马尔可夫模型

• 贝叶斯网络

• 贝叶斯分类器

 

通用混合模型（GMM）可以对多组分布进行建模

 

GMM使用期望最大化（EM）来拟合

    1、使用kmeans ++或kmeans ||初始化集群

    2、对于等于后P（M | D）（E步）的所有点分配权重

    3、使用加权点更新分布（M步）

    4、重复2和3，直到收敛

 

model = GeneralMixtureModel.from_samples(NormalDistribution, 2, X)
 

GMM不限于高斯分布

 

单个指数分布不能很好的数据进行建模

 

model = ExponentialDistribution.from_samples(X)

 

两个指数混合使数据更好的模拟

 

model = GeneralMixtureModel.from_samples(ExponentialDistribution, 2, X)

 

Heterogeneous mixtures are natively supported

 

model = GeneralMixtureModel.from_samples([ExponentialDistribution, UniformDistribution], 2, X)

 

一般混合模型比sklearn快

 

The API

主要模型介绍

• 一般混合模型

• 隐马尔可夫模型

• 贝叶斯网络

• 贝叶斯分类器

 

CG enrichment detection HMM

GACTACGACTCGCGCTCGCGCGACGCGCTCGACATCATCGACACGACACTC

 

 

 

GMM-HMM

 

HMM比hmmlearn快

 

The API

主要模型介绍

• 一般混合模型

• 隐马尔可夫模型

• 贝叶斯网络

• 贝叶斯分类器

 

P(M|D)= P(D|M)P(M) / P(D)
Posterior = Likelihood * Prior / Normalization

 

基于数据建立一个简单的分类器

 

似然函数本身忽略了类不平衡

 

先验概率可以模拟分类不平衡

 

后验模型更真实地对原始数据进行建模

 

后者的比例是一个很好的分类器

 

model = NaiveBayes.from_samples(NormalDistribution, X, y)
posteriors = model.predict_proba(idxs)

 

P(M|D)= ∏P(D|M) P(M) / P(D)
Posterior = Likelihood * Prior / Normalization

 

Naive Bayes does not need to be homogenous

 

 

不同的功能属于不同的分布

 

Gaussian Naive Bayes: 0.798
sklearn Gaussian Naive Bayes: 0.798
Heterogeneous Naive Bayes: 0.844

 

与sklearn一样快

 

P(M|D)= P(D|M) P(M) / P(D)
Posterior = Likelihood * Prior / Normalization

 

mc_a = MarkovChain.from_samples(X[y == 0])
mc_b = MarkovChain.from_samples(X[y == 1])
model_b = BayesClassifier([mc_a, mc_b], weights=numpy.array([1-y.mean(), y.mean()]))

hmm_a = HiddenMarkovModel…
hmm_b = HiddenMarkovModel...
model_b = BayesClassifier([hmm_a, hmm_b], weights=numpy.array([1-y.mean(), y.mean()]))

bn_a = BayesianNetwork.from_samples(X[y == 0])
bn_b = BayesianNetwork.from_samples(X[y == 1])
model_b = BayesClassifier([bn_a, bn_b], weights=numpy.array([1-y.mean(), y.mean()]))

 

并行