文本表示作为自然语言处理领域的主要任务之一，具有广阔的应用前景。传统文本表 示方法往往伴随着劳动密集型的特征工程，这种做法阻滞了文本信息抽取和潜在价值挖 掘的进度。近年来，深度学习的热潮为解决这一问题提供了新的思路。本文从介绍典型的 神经网络模型及其基础理论知识开始，进而分别从词、句子和文档级别三个角度介绍当前 深度学习中常见的文本表示模型，最后针对文本情感分类任务改进了 Conv-GRNN 模型， 并建立了自底向上的文本表示模型 GRNN-GRNN 和 GRNN-Average。实验结果表明，GRNN- GRNN 模型和改进后的 Conv-GRNN 模型相比于原始的 Conv-GRNN 模型都有一定的性能增 益。 77207

毕业论文关键词  深度学习  文本表示  神经网络  情感分类

毕 业 设 计 说 明 书 外 文 摘 要

Title Text Representation Model Based on Deep Learning 

Abstract As one of the main tasks of Natural Language Processing, text representation has broad application prospects。 Traditional text representation tends to be accompanied with labour-intensive feature engineering, which slows down the progress of extracting information and mining potential value from text。 In recent years, the popular deep learning provides a new way to solve the problem。 In this paper, we begin with introducing the basic theoretical knowledge of neural network。 Afterwards, nowadays common text representation model of deep learning in terms of word, sentence and document are showed。 Finally, we improve the Conv-GRNN model for sentiment classification and develop the GRNN-GRNN model and the GRNN-GRNN model to learn vector-based document representation in bottom-up fashion。 Experiment results shows that: Compared with original Conv- GRNN, improved Conv-GRNN and new model GRNN-GRNN has superior performances。

Keywords Deep Learning, Text Representation, Neural Network,    Sentimental Classification

本科毕业设计说明书 第 I 页

目 次

1  绪论 。。 1 

1。1  研究背景 。。 1 

1。2  论文结构 。。 2 

2  深度学习的理论基础  4 

2。1  感知机 。 4 

2。2  前馈神经网络 。 5 

2。3  卷积神经网络 。 6 

2。4  循环神经网络 。 7 

2。5  长短期记忆(LSTM)  7 

3  基于深度学习的文本表示技术  10 

3。1  词向量  10 

3。2  句子建模 。 12 

3。3  文档表示 。 13 

4  基于门限循环神经网络的文档表示模型 。 14 

4。1  引言 。。 14 

4。2  相关工作 。 14 

4。3  Conv-GRNN(Maxpooling&ReLU) 。 17 

4。4  GRNN-GRNN  17 

4。5  GRNN-Average  18 

5  实验评估  20 

5。1  情感分类数据集 。 20 

5。2  实验设置 。 21 

5。3  结果与分析 。。 21 

结  论 。。 23 

致  谢 。。 24 

参 考 文 献  25 

本科毕业设计说明书 第 II 页

1