蔡康的博客 | Kang's Blog

机器学习 · 监督学习篇 IV

K近邻算法

K近邻(k-Nearest Neighbor，KNN)分类算法，是一种很 “直白” 的算法，由美国学者 Cover 和 Hart 于1968年在 IEEE 发表。该算法算法思路很简单，对于一个样本的类别判定，只需要在特征空间中找与它最相似的 K 个样本，这些样本大多数属于哪一类别，该样本就判定成哪一类别。文章首发于我的博客，转载请保留链接 ;) 一、概念 K最近邻(k...

Posted by Kang Cai on June 15, 2019

机器学习 · 监督学习篇 III

逻辑回归与广义线性模型

在机器学习中，逻辑回归模型是一种十分常用且有效的线性分类器，它在1958年被 Cox 正式命名，当时被用于解决美国人口普查任务。本文将从公式推导、代码实现以及它的 “家族” 广义线性模型三个方面对逻辑回归模型进行介绍。文章首发于我的博客，转载请保留链接 ;) 一、逻辑回归（Logistic regression) 逻辑回归，即 Logistic Regress...

Posted by Kang Cai on April 14, 2019

机器学习 · 监督学习篇 II

朴素贝叶斯

在机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下，运用贝叶斯定理为基础的简单概率分类器。朴素贝叶斯模型虽然简单，但仍然是文本分类的一种热门（基准）方法。算法。文章首发于我的博客，转载请保留链接 ;) 对于文本相关分类任务，比如过滤恶意留言、过滤垃圾邮件等任务，一种十分常用的方法就是使用朴素贝叶斯分类模型。本文将会从基本原理、代码实现、应用等角度详细介...

Posted by Kang Cai on February 11, 2019

机器学习 · 监督学习篇 I

监督学习是什么

本篇章是监督学习篇，本文作为监督学习篇的第一篇文章，主要是对监督学习进行概括性介绍。算法。文章首发于我的博客，转载请保留链接 ;) 总览篇介绍完后，接下来就是在监督学习、深度学习、强化学习、无监督学习、半监督学习中选一个主题作为第二个大篇章，首先深度学习跟其它四类不在一个位面上：深度学习是根据模型的结构上的差异化形成的机器学习的一个分支，而其它四类是连接主义学习的四大类...

Posted by Kang Cai on February 9, 2019

机器学习 · 总览篇 XI

特征工程

总览篇第4篇到第10篇主要是围绕着模型来介绍的，具体讲述的是机器学习模型的构建和学习的过程；本文是总览篇的最后一篇文章，介绍特征工程，准确来说特征工程是独立与机器学习存在的一个主题，但却是机器学习应用中不可缺少的一环。特征工程在2006年深度学习大热之前，是与“模型”处于同等地位的内容，随着深度学习的兴起，特征工程一部分工作由深度学习的深度网络完成，使特征工程的地位明显降低，然而特征工...

Posted by Kang Cai on January 4, 2019

机器学习 · 总览篇 X

可学习性 & VC理论

VC 理论中 VC维和 VC界作为机器学习可学习性的最重要的理论基础，对于机器学习方法的研究和使用具有十分重要的指导意义。比如对于一个任务，我准备使用的机器学习方法是否合理、数据量至少需要多少，这些问题如何在进行实验之前就能被解答？答案就在本文中。文章首发于我的博客，转载请保留链接 ;) 机器学习主要研究的是怎么去学习解决一个问题，这里面包含了一个隐含的前提条件：对...

Posted by Kang Cai on December 24, 2018

机器学习 · 总览篇 IX

三要素之算法 - 牛顿法与拟牛顿法

在机器学习中，与梯度下降法一样，牛顿法与拟牛顿法在解决目标函数的最优化问题方面也起着重要的作用。本篇是机器学习三要素之算法的第二篇，也是三要素介绍的最后一篇。最近的5篇文章完整地介绍了机器学习的三要素，对三要素的掌握对于机器学习的学习至关重要，所有机器学习方法的想法和实现都离不开这三个要素。算法。文章首发于我的博客，转载请保留链接 ;) 与梯度下降法一样，在解决机器学习...

Posted by Kang Cai on December 17, 2018

游戏AI参考 II

DOTA2 5v5 AI - OpenAI Five

该系列是利用业余时间里观摩一下目前国际上最高水平游戏AI是怎么做的，以此来了解高水平游戏AI开发。本文的内容是2018年上半年颇受关注的 OpenAI 团队做的 DOTA2 5v5 AI，名为 OpenAI-Five。OpenAI 团队在2017年年中做的 DOTA2 影魔 solo AI 能够完胜职业选手，而2018年的 AI 也达到了平均6500天梯分（最近情况不清楚了...

Posted by Kang Cai on December 12, 2018

机器学习 · 总览篇 VIII

三要素之算法 - 梯度下降法及其变种

机器学习最后一个要素-算法，准确来说是优化算法，特别是数值优化（Numerical Optimization）或凸优化（Convex Optimization），属于运筹学（最优化理论）的一部分。机器学习中广泛使用的凸优化方法主要分为梯度下降法和拟牛顿法，这两类方法都派生出大量的变种，本文将介绍梯度下降法及其变种。文章首发于我的博客，转载请保留链接 ;) 一、运筹学和凸...

Posted by Kang Cai on December 10, 2018

游戏AI参考 I

星际争霸AI比赛AIIDE

该系列是利用业余时间里观摩一下目前国际上最高水平游戏AI是怎么做的，以此来了解高水平游戏AI开发。本文的内容是世界著名星际AI比赛AIIDE（Artificial Intelligence and Interactive Digital Entertainment Conference），尝试发掘一些可供参考的有效信息。文章首发于我的博客，转载请保留链接 ;) AIID...

Posted by Kang Cai on December 5, 2018

ABOUT ME

KBlog