KBlog

蔡康的博客

机器学习 · 总览篇 VII

三要素之策略-正则化

上一篇文章和本文主要介绍三要素的第二要素-策略：上一篇文章中已经介绍了策略中平衡经验风险和结构风险的正则化系数，衡量经验风险的代价函数和损失函数；本文继续介绍最后一个重要的内容，衡量结构风险的正则化项。文章首发于我的博客，转载请保留链接 ;) 在上一篇文章中提到过，策略部分就是评判“最优模型”（最优参数的模型）的准则和方法，图1是目标函数的函数形式，图1 机器...

Posted by Kang Cai on November 30, 2018

机器学习 · 总览篇 VI

三要素之策略-损失函数

上一篇文章介绍了机器学习三要素中的第一个要素-模型，模型部分限制了预测模型函数的假设空间。本文将要介绍的第二个要素-策略，策略部分就是要定量判断不同参数下模型的优劣，为第三步求解最优模型做基础。由于策略部分想要介绍的内容较多，所以分成了两篇，这是第一篇，主要是对正则化系数和损失函数的介绍。本文首发于我的知乎专栏《机器怎么学习》中机器学习·总览篇(6) 三要素之策略 - 损失...

Posted by Kang Cai on November 21, 2018

机器学习 · 总览篇 V

三要素之模型

上一篇文章介绍了机器学习的三要素-模型、策略、算法，但只是比较粗略地介绍，本文将着重介绍三要素之模型，视角主要放在不同模型间的区别上本文首发于我的知乎专栏《机器怎么学习》中机器学习·总览篇(5) 三要素之模型，转载请保留链接 ;) 机器学习首要考虑的问题是学习什么样的模型，如在《机器学习·总览篇(4) 机器学习的三要素》中描述的，模型就是所要学习的条件概率分布或决策函...

Posted by Kang Cai on November 16, 2018

机器学习 · 总览篇 IV

机器学习的三要素

从基本理论上看，如前一篇介绍统计推断的文章所说，统计推断是机器学习十分重要的理论基础，所以机器学习狭义上就是指代统计学习方法；从方法框架上看，机器学习（统计学习方法）的组成有三个要素：模型、策略和算法。我们通常接触到的所谓“深度学习”、“支持向量机”、“罗吉斯蒂克回归”、“决策树”等等，都离不开这三要素。毫不夸张的说，学习机器学习的关键，就是掌握它这三个要素。本文首发于我的...

Posted by Kang Cai on November 8, 2018

机器学习 · 总览篇 III

统计推断: 频率学派和贝叶斯学派

统计推断作为重要的机器学习基础，对它的了解十分必要，否则我们做机器学习只是在黑盒操作，对其原理和结果难以解释本文首发于我的知乎专栏《机器怎么学习》中机器学习·总览篇(3) 统计推断: 频率学派和贝叶斯学派，转载请保留链接 ;) 一、机器学习和统计推断的关系这一小节谈到的机器学习是狭义上的概念，特指归纳学习，也是现在通常意义上的机器学习. 机器学习领域中的一...

Posted by Kang Cai on November 4, 2018

机器学习 · 总览篇 II

机器学习的发展历程

学习任何领域，”了解”总是第一步，而认识该领域的发展历程是”了解”一个领域十分有效的方法本文首发于我的知乎专栏《机器怎么学习》中机器学习·总览篇(2) 机器学习的定义和类别，转载请保留链接 ;) 机器学习的发展历程机器学习的发展和人工智能发展是离不开的，机器学习是人工智能研究发展到一定阶段的必然产物。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为...

Posted by Kang Cai on October 30, 2018

机器学习 · 总览篇 I

机器学习的定义和类别

天下难事，必作于易。机器学习作为一个有广泛研究范围和应用范围的领域，要在整个领域有很深的造诣是十分困难的一件事情，一个好的途径是先去了解和掌握概况，然后再去选择感兴趣的研究方向。要做到前面这一点，根据我一贯认同的“总览-掌握-超越”三步走的方法，应该是能相对容易地达成，所以也就首先有了这个机器学习的总览篇第一篇文章，后续会继续分享有监督学习篇、深度学习篇（由于内容丰富故单独一篇）、强化...

Posted by Kang Cai on October 24, 2018