毕业设计说明书中文摘要本文主要讲述深度学习在自然语言处理中的一项重要应用：训练词嵌入。首先介绍与训练词嵌入相关的基础知识。然后提出情感词嵌入的思想和训练算法，情感词嵌入是唐都钰的一篇论文中提出的，本文则是对情感词嵌入的复现与验证。现有词嵌入学习算法通常只使用单词的上下文,而忽视文本的情感，这种词嵌入应用在情感分析中是有问题的,因为对于那些有相同上下文但情感极性相反的词语,比如good和bad,将被被映射到相邻的词向量，在情感词嵌入中，通过同时对单词的上下文和文本的情感信息进行编码来解决这个问题。80435

毕业论文关键词  词嵌入  神经网络  语言模型  情感分析

毕业设计说明书外文摘要

Title    Research on Sentiment Analysis Method Based on Deep Learning                     

Abstract This paper focuses on an important application of deep learning in Natural Language Processing: training word embeddings。 Firstly ,this paper will introduce the basic knowledge related to training word embeddings。Then,the idea and algorithm of training sentiment embedding will be proposed。 Sentiment embedding was proposed in a paper of Duyu Tang, and this paper is a repetition and verification of sentiment embedding。 Existing word embedding learning algorithms typically only use the contexts of words but ignore the sentiment of texts。 It is problematic for sentiment analysis because the words with similar contexts but opposite sentiment polarity, such as good and bad, are mapped to neighboring word vectors。 This paper addresses this issue by encoding sentiment information of texts together with contexts of words in sentiment embeddings。

Keywords  word embeddings ,neural networks,language model,sentiment analysis 

目   次

1  引言 1

2  研究现状 2

2。1词嵌入背景 2

2。2文本情感分析 3

2。3深度学习 4

2。4前馈神经网络 5

2。5词向量和语言模型 8

3  面向情感分析任务的词嵌入模型 11

3。1基于单词上下文的模型 11

3。2 基于句子情感极性的模型 12

3。3 基于单词上下文和句子情感极性的模型 14

3。4 训练数据和参数学习 15

4  实验验证 16

4。1训练数据 16

4。2参数设置 16

4。3结果评估 16

结论  20

致谢  21

参考文献22

1  引言

随着深度学习在语音识别和图像分类任务上的巨大成功，越来越多的人开始关注深度学习领域。相较于语音识别和图像分类，最初在自然语言处理领域中的深度学习应用效果似乎并不明显（这可以从早期naacl收录的deep learning论文数目看出）。后来深度学习在自然语言处理中出现了第一个应用：训练词嵌入（比较出名的就是google的word2vec）。通过词嵌入的词表示方式，大量的nlp领域的任务都得到了提升。此外，几乎所有的深度学习在自然语言处理中的应用都使用了词嵌入，所以，词嵌入可谓是深度学习应用于自然语言处理的一个核心技术。

词嵌入尝试表示词的意思，如“cellphone”会表示到以下含义：电子产品；有电池和屏幕；用于和其他人聊天等等。大多数词嵌入学习方法都是基于分布式假设，分布式假设是说词语的表示反映了它们的上下文。因此,具有类似语法用法和语义意义的词,如white和black,在词嵌入空间中将被映射到相邻的向量。论文网