Evan Hou的博客 | Evan Hou's Blog

语言模型与词向量

词向量

Deeping Learning算法已经在图像和音频领域取得了惊人的成果，但是在NLP领域中尚未见到如此激动人心的结果。关于这个原因，引一条我比较赞同的微博。 @王威廉：Steve Renals算了一下icassp录取文章题目中包含deep learning的数量，发现有44篇，而naacl则有0篇。有一种说法是，语言（词、句子、篇章等）属于人类认知过程中产生的高层认知抽象实体，...

Posted by Wwt on June 9, 2017

卷积神经网络

深度学习

1.概述什么是卷积整篇博客都会探讨这个问题，但先把握行文脉络很有帮助。那么粗略来讲，什么是卷积呢？你可以把卷积想象成一种混合信息的手段。想象一下装满信息的两个桶，我们把它们倒入一个桶中并且通过某种规则搅拌。也就是说卷积是一种混合两种信息的流程。卷积也可以形式化地描述，事实上，它就是一种数学运算，跟加减乘除没有本质的区别。虽然这种运算本身很复杂，但它非常有助于简化更...

Posted by Wwt on May 16, 2017

后向传播

后向传播算法

最近在看张重生著的《深度学习》这本书，看到神经网络这一章，顿时恍然大悟，发现自己对神经网络这一块有了新的理解和感受。于是写下这篇笔记，加深自己的体会。神经网络的神经网络是一种经典的机器学习算法，随着对神经网络研究的不断深入，目前，它在模式识别、物体检测、视频分析和图像识别领域等领域发挥着越来越重要的作用。 1.神经元的概念神经元是构成神经网络的基本单元，其基本模型如图(...

Posted by Wwt on May 15, 2017

线性单元与梯度下降

线性单元

线性单元感知器有一个问题，当面对的数据集不是线性可分的时候，感知器法则可能无法收敛，这意味着我们永远无法完成一个感知器的训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。为了简单起见，我们可以设置线性单元的激活函数f为 \(f(x)=x\) 这样的线性...

Posted by Wwt on May 11, 2017

感知器

感知器训练法则

1.深度学习在人工智能领域，有一个方法叫机器学习。在机器学习这个方法里，有一类算法叫神经网络。神经网络如下图所示：上图中每个圆圈都是一个神经元，每条线表示神经元之间的连接。我们可以看到，上面的神经元被分成了多层，层与层之间的神经元有连接，而层内之间的神经元没有连接。最左的层叫做输入层，这层负责接收输入数据，最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输...

Posted by Wwt on May 6, 2017

支持向量机

SVM

1.什么是支持向量SVM 要明白什么是SVM，便得从分类说起。分类作为数据挖掘领域中一项非常重要的任务，它的目的是学会一个分类函数或是分类模型(或者叫做分类器)，而支持向量机本身便是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置...

Posted by Wwt on April 19, 2017

条件随机场

CRF

随机场随机场是一个随机推广过程的推广，使得底层的参数不再是一个简单的实数或整型“时间”，而是多维向量或点。在离散的情况下，随机场可以被认为是一组被确定在某个空间(如n维欧几里得空间)的离散点(随机数)列表。在统计学中，随机场可以看成一组随机变量的集合，而这组随机变量对应同一个样本空间。当然，这些随机变量之间常有某种依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独...

Posted by Wwt on April 14, 2017

Logistic回归

分类算法

Logistic 回归(Logistic Regression,LR)是一种常用的处理分类问题的线性模型。逻辑回归模型仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星。逻辑回归模型回归是一种极易理解的模型，假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。利用Log...

Posted by Wwt on April 11, 2017

隐马尔科夫模型

HMM

隐马尔科夫模型是一个并不复杂的数学模型，到目前为止，他一直被认为是解决大多数的自然语言处理问题最为快速、有效的方法。它成功地解决了复杂的语音识别、机器翻译等问题。 1.马尔科夫链马尔科夫过程是俄国数学家A.A.马尔科夫提出的，其原始模型为马尔科夫链。马尔科夫链是指时间和状态都是离散的马尔科夫过程。该过程具有如下特性：在已知系统当前状态的条件下，它未来的演变不依赖于过去的演变。也...

Posted by Wwt on March 22, 2017

Spring-SpringMVC-MyBatis

SSM

上次我学习了一下SpringMVC ,并做了一个简单的示例程序。之后看到网上有很多ssm(springmvc,spring,maven)集成的学习示例，于是，我也打算自己动手集成ssm框架，加深一下理解。 1.基本概念 1.1、Spring spring是一个开源框架，spring是于2003年兴起的一个轻量级的Java开发框架。Spring是一个轻量级的控制反转(IOC)和面...

Posted by Wwt on March 12, 2017

Blog of Evan Hou