机器学习的数学基础
我们知道，机器学习涉及到很多的工具，其中最重要的当属数学工具了，因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面小编就会好好给大家介绍一下机器学习中涉及到的数学基础知道，让大家在日常的机器学习中可以更好地运用数学工具。
首先我们给大家介绍一下线性代数，线性代数起到的一个最主要的作用就是把具体的事物转化成抽象的数学模型。不管我们的世界当中有多么纷繁复杂，我们都可以把它转化成一个向量，或者一个矩阵的形式。这就是线性代数最主要的作用。所以，在线性代数解决表示这个问题的过程中，我们主要包括这样两个部分，一方面是线性空间理论，也就是我们说的向量、矩阵、变换这样一些问题。第二个是矩阵分析。给定一个矩阵，我们可以对它做所谓的SVD分解，也就是做奇异值分解，或者是做其他的一些分析。这样两个部分共同构成了我们机器学习当中所需要的线性代数。
然后我们说一下概率统计，在评价过程中，我们需要使用到概率统计。概率统计包括了两个方面，一方面是数理统计，另外一方面是概率论。一般来说数理统计比较好理解，我们机器学习当中应用的很多模型都是来源于数理统计。像最简单的线性回归，还有逻辑回归，它实际上都是来源于统计学。在具体地给定了目标函数之后，我们在实际地去评价这个目标函数的时候，我们会用到一些概率论。当给定了一个分布，我们要求解这个目标函数的期望值。在平均意义上，这个目标函数能达到什么程度呢？这个时候就需要使用到概率论。所以说在评价这个过程中，我们会主要应用到概率统计的一些知识。
最后我们说一下最优化理论，其实关于优化，就不用说了，我们肯定用到的是最优化理论。在最优化理论当中，主要的研究方向是凸优化。凸优化当然它有些限制，但它的好处也很明显，比如说能够简化这个问题的解。因为在优化当中我们都知道，我们要求的是一个最大值，或者是最小值，但实际当中我们可能会遇到一些局部的极大值，局部的极小值，还有鞍点这样的点。凸优化可以避免这个问题。在凸优化当中，极大值就是最大值，极小值也就是最小值。但在实际当中，尤其是引入了神经网络还有深度学习之后，凸优化的应用范围越来越窄，很多情况下它不再适用，所以这里面我们主要用到的是无约束优化。同时，在神经网络当中应用最广的一个算法，一个优化方法，就是反向传播。
㈡ 机器学习应补充哪些数学基础
机器学习理论是统计学、概率学、计算机科学以及算法的交叉领域，是通过从数据中的迭代学习去发现能够被用来构建智能应用的隐藏知识。尽管机器学习和深度学习有着无限可能，然而为了更好地掌握算法的内部工作机理和得到较好的结果，对大多数这些技术有一个透彻的数学理解是必要的。
最后整理这些，看你要学哪些知识
知识是永远不会觉得多的，活到老学到老。
㈢ 机器学习对数学功底的要求到底有多高
豆瓣的话题：
研究机器学习需要什么样的数学基础？
来自: 求真 2013-07-11 13:44:22
我是小硕一枚，研究方向是机器学习。通过阅读一些机器学习的教科书，发现机器学习对于数学基础要求比较高。
我想问一下：一般研究机器学习需要怎样的数学基础？
我们大学学习的高等数学、线性代数和概率论之类的数学基础课程能够用吗？
skynet 2013-07-12 15:30:26
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同时在两个坑里挣扎。
赞 (3) 回应
skynet 2013-07-12 15:30:26
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同时在两个坑里挣扎。
赞 (3) 回应
求真 2013-07-12 16:07:20
看方向，不过任何方向都基本上不够。缺什么补什么吧，数学是个坑，机器学习也是个坑，人不可能同 ... skynet
嗯啊，好的。
赞 回应
frce 2014-06-09 15:39:55
说得好，我喜欢。
赞 回应
opera 2014-06-09 15:43:56
高等数学、线性代数和概率论肯定是要用到的。除了它们可能还有别的。
赞 回应
Mr. L (Live long and prosper) 2014-06-09 20:51:39
应用域呢？
赞 回应
泡泡龙 2014-07-03 17:16:37
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧
赞 回应
求真 2014-07-06 10:46:35
具体点应该是微积分、概率论、线性代数、随机分布、凸优化吧泡泡龙
谢谢！
----------------------------------------------------------------------------------------------------
知乎的话题：
如果对机器学习仅是以应用为目的的话，到底需要多少数学…，比如说微分流形，代数拓扑，泛函之类的需要懂吗？
“仅是以应用为目的”有点含糊。。乍一看题主好像想说是在公司里用，但后面又出来一大票高大上课程，看起来又好像偏学界。。前面的大大们提到的感觉更偏学界。我补充一些工业界的情况。
总的来说我偏向匿名用户的回答。如果对机器学习仅是以应用为目的的话，到底需要多少数学…，比如说微分流形，代数拓扑，泛函之类的需要懂吗？ - 匿名用户的回答
在思考这个问题之前，要先搞清楚公司花钱雇你来干啥的。我的经验是，这有两种情况。一是公司原来没有一项业务，现在要把一些机器学习这个东西跑起来（从无到有）。二是在你接手的时候公司已经有一定基础了，现在要把性能调上去（从差到优）。前者完全不用任何数学，先用别人有的模块/代码把系统撸起来是王道。后者看具体问题，大多数情况不用数学。
从无到有的情况，比如我原来在facebook做place deplication，大概就是说非死不可上面超多可以签到的地点，要判断里面有哪些是重复的地点。类似知乎上面有很多重复的问题，如何鉴别和重定向这些问题。这个问题从机器学习的角度来看并不难，有很多已有工作。但公司更关心的其实是怎么把随便一个系统在fb数十TB的数据上日起来。所以我们的绝大多数时间根本不是花在评估哪个机器学习模型更好，这个流形有什么性质，那个系统有什么下限，而是——撸hadoop用几千个核先把feature抽出来。有了feature以后后台分类器是特妈随便找的这种事我会乱说？这种情况跟数学完全没鸟关系好吗。
从有到优的情况，我也参与了这个项目的调优。基本经验是——分类器啊模型啊再复杂精巧数学性质再好没吊用，关键还是看feature。弄一个有效的feature出来精度呼呼的往上涨，各种分类器瞎JB换啊调啊基本没差别。。（当然deep learning这种模型的质变除外，但这个和不搞科研的人就没啥关系了）所以你要问数学有没有用，我说有用，根据数学才能提出有效的模型——但这特妈是学界人家十年磨一剑的人用的。放公司里用数学拱KPI分分钟被nen死。隔壁王二狗整俩新feature奖金拿得多多的，这边你要死磕泛函产品狗咬死你。。
当然在偏研究的地方比如Google X的某些部门还是有用的，但我觉得这还是偏学界。
总的来说，我的建议是，如果想去公司的话就不要纠结逼格过高的事情了。学好线性代数，统计和凸优化就出门打怪吧，攒系统经验和dirty trick才是王道。当然我也不是说就不要搞数学，只是如果你去公司的话，在学好线代统计凸优化的前提下，同样的时间花在学计算机系统的构建和系统性的思考方法上，比学习数学更划算。
编辑于 2015-04-09 35 条评论 感谢
这里有个80-20原则的应用。
只要20%的机器学习知识，其实已经可以在80%的商业应用里取得满意的效果。
但，如果公司精益求精，或者说是专注于机器学习算法的公司，可能要投入指数级别的努力来达到性能的提升。
不请自来，我本人就是从数学转到数据科学上来的，是完全以应用为目的学的机器学习。本科加PHD九年中，数学方面的课程大概学过：数学分析（微积分），线性代数，概率论，统计，应用统计，数值分析，常微分方程，偏微分方程，数值偏微分方程，运筹学，离散数学，随机过程，随机偏微分方程，抽象代数，实变函数，泛函分析，复变函数，数学建模，拓扑，微分几何，渐近分析等等
从我个人的学习过程中，觉得对机器学习的应用有帮助的数学学科有（重要性从高到低）：
1， 线性代数（或叫高等代数）：必需，所有的算法最后都会向量化表示，线性代数不熟的话，算法都看不懂啊
2，微积分：这个是所有高等数学的基础，不细说了
3，统计：这里包括统计理论基础，和应用统计（主要就是线性模型）。很多机器学习内容的前身就是统计啊。
3.5， 凸优化： 经 @徐文浩 补充，原因跟6相似
前三个感觉是想要学好机器学习所必需的，后面的虽然不必需，但是适当了解之后，帮助也很大：
4,概率论：基础概率论就够了，以测度为基础的高级概率论对机器学习帮助不大
5，数值分析：数值分析的一部分包括了插值，拟合，数值求解各种方程，数值积分，这些小技术虽然没有跟机器学习直接扯上关系，但是可能在你处理复杂问题时的一些小地方起到奇效。数值分析的另一大块就是数值线性代数了，包括怎么矩阵求逆了，矩阵的各种分解了，矩阵特征根奇异值什么了，这里面很多算法都会被机器学习的书法直接使用的。比如SVD就被Principal Component Analysis直接调用了啊。
6，运筹学：运筹就是做优化，说白了就是把问题表示成数学公式和限制条件，然后求最大值或最小值。所以不少机器学习里面先进的优化算法，最先都是在运筹里面出现的
暂时就想到这么多，至于题主说的泛函，微分流形，代数拓扑啥的，完全不需要了解啊。
编辑于 2015-04-28 26 条评论 感谢
我就是从数学转ML的。我就知道，肯定有人要扯很多纯数学的“基础背景”。我说一些实在的，微分几何，流形，代数拓扑这些知识，只要你去找相关的研究论文，总能找得到和Ml有交集的地方。但是，不代表你必须掌握它们。在大部分的ML研究里，还是微积分和线性代数、概率统计的功底最重要。不要太小看微积分和线性代数，很多时候做研究时要用的推导还是需要很多熟练的技巧才可以胜任。至于其他知识，可以用到时再补充。
----------------------------------------------------------------------------------------------
CSDN的TOPIC:
机器学习需要学习哪些数学知识 [问题点数：20分，结帖人hanyahui88]
收藏
关注
hanyahui88
大眼的小眼
本版等级：
结帖率：100%
楼主发表于： 2014-10-16 11:07:37
机器学习数学数据分析算法
最近公司做数据分析，但是以前都没有接触过，看了一下所有的算法，很多都是跟数学有关，看不懂很多数学符号，所以问问我应该学习什么数学 好像离散数学是必须的
更多0分享到：
相关推荐：
阿里云机器学习算法应用实践
统计机器学习入门——重抽样方法
统计机器学习入门——分类2
统计机器学习入门——线性模型选择与正则化2
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
回复次数：9
关注
OrthocenterCh...
Kenney_Qin
本版等级：
#1 得分：3回复于： 2014-10-16 13:18:23
以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
hanyahui88
大眼的小眼
本版等级：
#2 得分：0回复于： 2014-10-17 09:12:48
引用 1 楼 OrthocenterChocolate 的回复:以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。
我最近在研究均值漂移算法，里面的核函数，好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等 这些是什么数学中的？？
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
longburulin
longburulin
本版等级：
#3 得分：2回复于： 2014-10-17 09:51:41
引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。我最近在研究均值漂移算法，里面的核函数，好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等 这些是什么数学中的？？
数值分析里面好像除了拉格朗日对偶没有 其他好像有
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
OrthocenterCh...
Kenney_Qin
本版等级：
#4 得分：0回复于： 2014-10-19 21:38:16
引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。我最近在研究均值漂移算法，里面的核函数，好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等 这些是什么数学中的？？
求导，求梯度，拉格朗日乘子法是高等数学里面的，拉格朗日对偶，牛顿迭代法你可以看看凸优化，其实凸优化应该包含了你想看的很多机器学习中的数学知识，只不过它们是建立在一些更为基础的数学知识上（如求导）。
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
hanyahui88
大眼的小眼
本版等级：
#5 得分：0回复于： 2014-10-21 14:40:54
引用 4 楼 OrthocenterChocolate 的回复:Quote: 引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。我最近在研究均值漂移算法，里面的核函数，好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等 这些是什么数学中的？？求导，求梯度，拉格朗日乘子法是高等数学里面的，拉格朗日对偶，牛顿迭代法你可以看看凸优化，其实凸优化应该包含了你想看的很多机器学习中的数学知识，只不过它们是建立在一些更为基础的数学知识上（如求导）。
也就是看高等数学 和凸优化 基本就可以了？？？
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
OrthocenterCh...
Kenney_Qin
本版等级：
#6 得分：5回复于： 2014-10-23 14:32:40
引用 5 楼 hanyahui88 的回复:Quote: 引用 4 楼 OrthocenterChocolate 的回复:Quote: 引用 2 楼 hanyahui88 的回复:Quote: 引用 1 楼 OrthocenterChocolate 的回复: 以我平时接触到的机器学习算法来说，与其相关的的数学知识有：求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等，数学知识是基础，很多机器学习算法是建立在数学的基础上，是数值计算的比较多，和离散数学关系不是特别大，如果你要做图算法，那离散数学就很重要了。我最近在研究均值漂移算法，里面的核函数，好多公式都看不懂 我也不知道学什么数学可以看懂这些公式。
你说的求导，求梯度，拉格朗日乘子法，拉格朗日对偶，牛顿迭代法等 这些是什么数学中的？？求导，求梯度，拉格朗日乘子法是高等数学里面的，拉格朗日对偶，牛顿迭代法你可以看看凸优化，其实凸优化应该包含了你想看的很多机器学习中的数学知识，只不过它们是建立在一些更为基础的数学知识上（如求导）。
也就是看高等数学 和凸优化 基本就可以了？？？
对，还有些矩阵运算，如果不熟悉的话再看看线性代数，建议你碰到不会的再去查，而不是事先全部看完， 不然太多了。
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
q243021856
狼痕
本版等级：
#7 得分：5回复于： 2014-10-23 14:58:16
微积分、线性代数、概率论、离散数学、统计学
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
shaowei213
Tracysw
本版等级：
#8 得分：5回复于： 2014-10-23 15:38:32
引用 7 楼 q243021856 的回复:微积分、线性代数、概率论、离散数学、统计学
专业
对我有用[0] 丢个板砖[0] 引用 | 举报 | 管理
关注
hanyahui88
大眼的小眼
本版等级：
#9 得分：0回复于： 2014-10-28 11:45:36
好的 谢谢大家㈣ 如何快速掌握机器学习中的数学知识
我们学习的诸多技术中都离不开数学知识，而机器学习中涉及到很多知识，其中最重要的就是数学知识。当然，很多人认为数学是比较难的知识，不过确实是这样的。现在有很多人都开始关注机器学习，而学习机器学习离不开数学内容，你是否开始纳闷，要如何快速地掌握机器学习的知识呢？下面我们就给大家解答一下这个问题。
快速掌握机器学习中的数学知识需要从三个方向进行，第一就是掌握核心概念，掌握核心概念。我们需要掌握核心概念，比如说在线性代数当中核心概念是什么？就是线性空间，向量矩阵以及对于向量矩阵的度量，包括范数、包括内积这些，这些就是它的核心概念。那么在概率统计当中，频率学派，还有贝叶斯学派，他们两者之间的区别是一个核心概念，同时呢，像期望方差这些指标，还有条件概率，这样的一些概念，条件概率联合概率这样一些概念也是核心概念。那么在最优化当中，这些算法，这个梯度下降法，或者牛顿法，这就是核心概念。
然后就是以点带面。具体就是在时间有限的情况下，我们一定要把有限的精力集中在重要的知识上。先把这些核心概念搞清楚，再通过这些核心的概念，来以点代面，从这些关键的问题去铺开，慢慢地去接触其他的问题。这样做有利于增加我们的数学知识储备。
最后就是问题导向，也就是结合着我们实际的需求，结合我们实际的问题，来决定我们去学什么。因为毕竟学习机器学习当中的数学都是为了解决问题。如果不能解决问题的话，你学到的这个东西的价值就没有能够解决问题的这个知识的价值大。当然我们也不能说一点价值都没有。在学习的时候，大家可以尝试着以问题为导向。带着问题去探索这些知识，带着问题去学习知识，那时候我们就会发现，这样会得到更高的效率。
在这篇文章中我们给大家介绍了关于机器学习中数学的相关内容，通过这些内容我们可以更好地掌握到机器学习的要领，要知道数学知识是一个十分重要的知识体系，我们只有学好了数学才能够为机器学习奠定基础，希望这篇文章能够更好的帮助大家。㈤ 关于机器学习的数学基础问题
机器学习背后的数学基础，假设有了高中数学基础，正常再学习也要5年，所以如果一个人真的零基础，补起来实在太久，成本大到不应该入这行。
至于教的时候是否使用形象比喻生活例子，其实不重要，因为数学就是脱离现实的，只有靠笔头计算才能掌握起来。
如果只有编程基础，但搞不了数学，也可以做点其他的事，比如开发系统，虽然人工智能核心是算法，但相关系统的基础设施建设也是很缺的，可以考虑给它们做系统。㈥ 机器学习需要什么数学基础，学习这些数学需要会哪些
高数、线性代数、概率论，深度学习里面一些矩阵运算比较多，还涉及一些梯度、求导之类的基础知识。真要学的很精的话还是需要很扎实的数学基础的。
㈦ 机器学习的需要什么数学基础
最基础的部分包括抄基本的高等数学袭，比如分析、代数（尤其是矩阵论）、数值优化算法、概率论与数理统计等。
更进阶的需要掌握实分析（比如测度论）、图论、时间序列、回归分析等等。
再深入的你还可以掌握微分方程、流形几何等等基础机器学习涉及不到的内容，这个时候你就可以挖别人挖不出来的坑了。
另外虽然严格来说不属于数学，但是算法的概念和数据结构的相关知识也是一定要掌握的㈧ 机器学习应补充哪些数学基础
线性代数、概率与数理统计等吧
我目前在研究机器学习的算法，发现用的比专较多的数学知识有：属
1、矩阵相关计算，因为机器学习处理的是多特征多样本，涉及矩阵是不可避免的，而且在降维时用到PCA、奇异值等。
2、微积分求导，例如求梯度方向，求极大极小值时
3、贝叶斯公式，很多模型基于贝叶斯原理
4、统计分布，特别是高斯分布应用很广。㈨ 机器学习需要哪些数学基础
我们知道，机器学习涉及到很多的工具，其中最重要的当属数学工具了，因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面小编就会好好给大家介绍一下机器学习中涉及到的数学基础知道，让大家在日常的机器学习中可以更好地运用数学工具。
首先我们给大家介绍一下线性代数，线性代数起到的一个最主要的作用就是把具体的事物转化成抽象的数学模型。不管我们的世界当中有多么纷繁复杂，我们都可以把它转化成一个向量，或者一个矩阵的形式。这就是线性代数最主要的作用。所以，在线性代数解决表示这个问题的过程中，我们主要包括这样两个部分，一方面是线性空间理论，也就是我们说的向量、矩阵、变换这样一些问题。第二个是矩阵分析。给定一个矩阵，我们可以对它做所谓的SVD分解，也就是做奇异值分解，或者是做其他的一些分析。这样两个部分共同构成了我们机器学习当中所需要的线性代数。
然后我们说一下概率统计，在评价过程中，我们需要使用到概率统计。概率统计包括了两个方面，一方面是数理统计，另外一方面是概率论。一般来说数理统计比较好理解，我们机器学习当中应用的很多模型都是来源于数理统计。像最简单的线性回归，还有逻辑回归，它实际上都是来源于统计学。在具体地给定了目标函数之后，我们在实际地去评价这个目标函数的时候，我们会用到一些概率论。当给定了一个分布，我们要求解这个目标函数的期望值。在平均意义上，这个目标函数能达到什么程度呢？这个时候就需要使用到概率论。所以说在评价这个过程中，我们会主要应用到概率统计的一些知识。
最后我们说一下最优化理论，其实关于优化，就不用说了，我们肯定用到的是最优化理论。在最优化理论当中，主要的研究方向是凸优化。凸优化当然它有些限制，但它的好处也很明显，比如说能够简化这个问题的解。因为在优化当中我们都知道，我们要求的是一个最大值，或者是最小值，但实际当中我们可能会遇到一些局部的极大值，局部的极小值，还有鞍点这样的点。凸优化可以避免这个问题。在凸优化当中，极大值就是最大值，极小值也就是最小值。但在实际当中，尤其是引入了神经网络还有深度学习之后，凸优化的应用范围越来越窄，很多情况下它不再适用，所以这里面我们主要用到的是无约束优化。同时，在神经网络当中应用最广的一个算法，一个优化方法，就是反向传播。
㈩ 机器学习需要哪些数学基础
扫描各种算法数据集，并给定正确的答案。使机器得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断而实现分类的目的，那么这个最优模型也就具有了对未知数据进行分类的能力。