frontop137's blog

多分类任务

上一讲中涉及到的Logistic回归是二分类问题，即每一次分类只能完成0-1分类的任务，但是我们也提到过，如果有k个种类，我们可以采用Logistic方法分割四次来解决问题，例如这个分类任务:

Logistic回归

Logistic回归（Logistic Regression）虽然名字叫“回归”，但实际是一种最经典的二元分类算法。在分类问题中，我们的输出是一个类别，例如收到的邮件是否是垃圾邮件，肿瘤是否是阳性的等等。

Logistic回归最大的特点在于引入了sigmoid函数（又称为logistic函数）：

sigmoid函数能将输入变量展平到（0，1）的区间，我们很容易联想到概率，即划分为两个子类（1和0）的概率可以用sigmoid函数的输出值来表示。因此，我们可以拟合一条分割曲线，将输入数据喂入分割曲线，得到的数值作为sigmoid函数的自变量，即大于0代表分类为1，否则分类为0。我们采用sigmoid函数的另一大优势是sigmoid函数的导数形式很简洁。

线性回归

线性回归（Linear Regression）是回归问题，回归是一种最常见的监督学习的方式，目的是预测，即给定数据集和对应的标签，训练一个回归函数，当喂进来新的数据时，利用我们训练好的函数来计算输出结果。而线性回归就是用直线去拟合数据。

需要注意的是，并非所有的数据都可以用直线来拟合对于某些数据，我们做出大致的散点图可以看出并非是一条直线，但是我们可以通过对于特征的变化将其变为直线拟合，例如输出值是关于特征a的二次函数（近似），我们可以采用二次函数来拟合，也可以构建输出值与$a^2$的关系，这样就可以用直线来拟合。

写在开头

趁着四月即将到来，补了一波老番《四月是你的谎言》，看完之后感触颇深，结合前不久看过的一部催泪番《我们仍未知道那天所看见的花的名字》（以下写作《未闻花名》），谈谈感受。

写在开头

最近读论文读累了总想找点其他事情做，知乎上推荐了一本《算法图解》，比较适合之前没有接触过算法的人入门，内容很少，读起来很轻松，茶余饭后读的话大概读2天就能读完。以下是这本书的读书笔记和里面一些算法的实现。

《寄生兽》是90年代连载的漫画，年代算是比较久远，2014年做了动漫《寄生兽：生命的准则》，2015年被中国文化部在大陆地区全网封禁。动漫画风比较写实，类似《千与千寻》，没有花花绿绿的发色和发型，没有奇装异服，所以从一开始就给人一种压抑的感觉。全番讲述了少年泉新一在被寄生兽寄生于右手之后发生的一系列故事。

动态规划方法用来解决强化学习中的规划问题（planning）。规划是指已知状态空间、行为空间、奖励函数与状态转移矩阵（即已知MDP模型）的情况下，判断一个给定策略的价值函数，或判断一个策略的优劣，并找到最优的策略和最优的价值函数。

背景

强化学习的最根本目的是在agent和环境的交互中最大化累计奖励。而多数情况下，环境状态并不是完全可观测的，无数学者经过探索，提出了一套可以解决绝大多数强化学习问题的框架，即马尔可夫决策过程（Markov Decision Process, MDP）。

写在开头

《东京喰种》（又称《东京食尸鬼》），2014年的漫改作品，在当时名震一时，一度出圈，甚至惊动中国广电总局，因为黑暗、残忍、血腥、猎奇、“三观不正”（这点不敢苟同）惨遭封杀，有这个封杀待遇的都是什么作品？是《死亡笔记》，是《进击的绝人》，由此可见，《东京喰种》是什么热度的作品。具体的数据和分析，可见下面这个知乎回答：
为什么曾经很火的《东京喰种》现在几乎销声匿迹?（回答的前半部分有数据支撑，具体介绍了《东京喰种》在当时的火爆程度）

概念初探

从小开始，我们就在和环境的互动中学习，我们通过周围环境的反馈来判断我们的行为和选择（统称为决策）是否正确或者合理。将这种思想数学化后，就产生了强化学习，这种方法相比于机器学习中的其他方法，更注重于交互中的学习。用一句话来概括强化学习所解决的问题，就是智能决策问题，更确切的说是序贯决策问题，即需要不断做出决策才能实现目标的问题。