tcnn

7 0 2018-09-10

tcnn的介绍和描述,卷积神经网络

<p><br />嵌入的方法把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。让计算机在一定程度上可以\"理解\"文本,并提供有直接可以处理的材料<br /></p><p>TCNN</p><p>Embedding<br />词向量嵌入</p><p>Convolutional Neural Networks</p><p>卷积神经网络中的\"卷积\"是引援于数字图像处理的一个名词,它的处理过程如图</p><p>拉普拉斯算子</p><p>数学公式</p><p>处理前</p><p><br /><br /></p><p>处理后</p><p>选用卷积核</p><p>在数字图像处理中的边缘提取处理</p><p>池化层的主要作用是缩小维度,其实就是采样(sampling)</p><p>全连接层</p><p>RNN</p><p>word2vecs</p><p>Gradient Descent</p><p>神经网络</p><p>卷积层</p><p>激活函数</p><p>activate function</p><p>sigmoid</p><p>softmax</p><p>关键词提取</p><p>文本预处理</p><p>特征提取</p><p>不同次数的卷积之后图像特征<br />提取的情况</p><p>损失函数:衡量误差的函数</p><p>感受器:单层的神经网络</p><p>Key Words</p><p>学习率:优化步长的参数</p><p>感受器:单层的神经网络</p><p>NN<br />Neural Network</p><p>Full connected </p><p>Momentum</p><p>SGD without momentum</p><p> SGD with momentum</p><p>SGD</p><p>随机梯度下降</p><p>优点:1. 简单而且有保障地到达局部最优解<br /> 2. 是其他优化方法的基础</p><p>缺点: 1. 不聪明,效率低<br /> 2. 会卡在局部最优解里面</p><p>Adagrad</p><p>动量</p><p>自适应地为各个参数分配不同学习率的算法</p><p>CNN和RNN区别<br /><br />CNN主要用于图像;RNN主要用于时序和NLP。<br /><br />当CNN、RNN都用于NLP时,它们的区别在于:<br /><br />RNN(循环神经网络),当前节点的输入包含之前所有节点信息。<br /><br />CNN(卷积神经网络),当前节点的输入以树结构形式仅包含上一层节点信息。</p><p>循环神经网络,Recurrent Neural Network</p><p>Pooling layer</p><p>学习率:优化步长</p><p></p>