EM算法及其推广
背景EM算法是一种迭代算法，它的每次迭代由两步组成：E步，求期望；M步，求极大，所以称为期望极大算法(Expectation Maximization)，简称EM算法。
在概率模型有时既含有观测变量，又含有隐变量或者潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接使用极大似然估计或者
...
提升方法-1：Adaboost
前言集成学习是将已有的弱的分类器或者回归模型通过一定的方法组合起来形成强的分类器或者回归模型的一种学习方法，它的思想就是“三个臭皮匠顶个诸葛亮”，综合得到的结论比单独的判断好，以袋套法(bagging)和提升法(boosting)为代表。
袋套法(bagging) vs 提升法(boosting)：
...
支持向量机(SVM)-2:非线性支持向量机
非线性svm与核函数当分类问题是非线性，可以使用非线性svm，主要的特点是利用核函数。
核技巧非线性分类问题😵对于训练数据集，能用一个超曲面将正负例正确分开，则称该问题为非线性可分问题非线性问题往往不好求解，所以进行非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题求解原来的非线性问题
...
支持向量机(SVM)-1：线性支持向量机
前言SVM是一种二分类模型，是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机，SVM还包括核技巧，使它成为非线性分类器，而间隔最大的策略使得形式化为一个求解凸二次规划，等价于正则化的合页损失函数的最小化问题。
SVM学习方法包含构建由简到繁的模型：线性可分支持向量机【训练集线性可分
...
贝叶斯分类: 朴素贝叶斯法
前言贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
而朴素贝叶斯分类是基于贝叶斯定理与特征条件独立假设的分类方法，是贝叶斯分类中最简单，也是常见的一种分类方法。对于给定的训练集，首先基于特征独立假设学习输入\输出的联合概率分布，然后基于此模型，对给定的输入$x$，
...
Linux 常用命令大全
关机 (系统的关机、重启以及登出 )shutdown -h now 关闭系统(1)init 0 关闭系统(2)telinit 0 关闭系统(3)shutdown -h hours:minutes & 按预定时间关闭系统shutdown -c 取消按预定时间关闭系统shutdown -r no
...
k近邻法
简介k近邻(KNN)是一种基本的分类和回归的方法。KNN的输入为实例的特征向量，输出为实例的类别，不需要训练【实际上利用训练集对特征向量空间进行划分】，给定一个训练集，其中的实例类别已定，分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过投票等方式进行预测。
三个基本要素：$k$值的选择、距
...
感知机
感知机是什么？感知机是一个二分类的线性分类模型，输入特征向量，输出为实例的类别$\lbrace +1,-1\rbrace$。感知机模型旨在求出将训练数据进行线性划分的超平面，求解过程中使用误分类的损失函数，利用梯度下降法对损失函数进行极小化。特点：简单易实现
概念：什么叫线性可分(linearly
...
CART的理解与应用
本博客接上一篇博客《决策树的理解与运用》。
背景分类与回归树(Classification AND Regression tree,CART)同样是由特征选择、树的生成和剪枝三部分组成，它的特点是既可以用于分类又可以用于回归。
CART是在给定输入随机变量为$X$条件下输出随机变量Y的条件概率分布的
...
决策树的理解与应用
背景决策树🌲是一种基本的分类和回归的方法【以前总是下意识以为决策树只能用于分类，事实上还可以用于回归】。在分类问题中，决策树基于特征对实例进行分类，这个分类过程可以认为是if-then的规则集合，也可以认为是特征空间与类空间上的条件概率分布。
NOTE:if—then规则集合具有一个重要的特征：互
...