WO2021109671A1 - 一种支持跨语言迁移的细粒度情感分析方法 - Google Patents

一种支持跨语言迁移的细粒度情感分析方法 Download PDF

Info

Publication number
WO2021109671A1
WO2021109671A1 PCT/CN2020/115300 CN2020115300W WO2021109671A1 WO 2021109671 A1 WO2021109671 A1 WO 2021109671A1 CN 2020115300 W CN2020115300 W CN 2020115300W WO 2021109671 A1 WO2021109671 A1 WO 2021109671A1
Authority
WO
WIPO (PCT)
Prior art keywords
semantic
text
fine
sentiment
topic
Prior art date
Application number
PCT/CN2020/115300
Other languages
English (en)
French (fr)
Inventor
胡勇军
Original Assignee
广州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州大学 filed Critical 广州大学
Priority to JP2021542358A priority Critical patent/JP7253848B2/ja
Publication of WO2021109671A1 publication Critical patent/WO2021109671A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to the field of text data mining, in particular to a fine-grained sentiment analysis method supporting cross-language migration.
  • Sentiment analysis can automatically mine and extract people's opinions, attitudes and emotions from a large number of unstructured review texts.
  • Traditional sentiment analysis is mainly to conduct coarse-grained polarity analysis on the entire document or sentence.
  • a multi-level (different fine-grained) sentiment analysis method is proposed. Through the analysis of the explicit and implicit characteristics of each level of the product, the relationship between each level and the emotional word is found.
  • the existing sentiment analysis methods can be roughly divided into supervised learning methods and unsupervised learning methods.
  • Early multi-level sentiment analysis (MASA) based on supervised learning mainly used traditional tools such as naive Bayes, maximum entropy classification and support vector machines.
  • Deep learning has achieved remarkable results in many fields, and has also been applied in MASA.
  • MASA multi-level sentiment analysis
  • These methods usually require a predefined sentiment dictionary and rely on the position of words. These requirements inevitably lead to a lot of manual marking work. In addition, they may not be able to handle challenging e-commerce scenarios with a large number of comments and irregular text.
  • ASUM Unified Model of Levels and Emotions
  • JMTS The key advantage of the JMTS model over LDA and ASUM is that it improves the performance of sentiment classification.
  • problems such as the sparsity of emotional words and the asymmetry of semantic distribution have not been well resolved. This is because the JMTS model also relies on pre-set hyperparameters.
  • embodiments of the present invention provide a fine-grained sentiment analysis method with accurate analysis results and supporting cross-language transfer.
  • an embodiment of the present invention provides a fine-grained sentiment analysis method supporting cross-language transfer, including the following steps:
  • the embedding vector and the topic feature are feature-fused, and the result of sentiment classification of the text is obtained.
  • the step of putting the labeled data set into the semantic-long-short-term memory network for training to obtain the semantic group of the text includes the following steps:
  • the semantic distance is measured by the cosine distance between the embedding vectors of the words trained by the semantic-long-short-term memory network.
  • step of constructing the layer-based emotion model includes the following steps:
  • the word characteristics including semantic word characteristics and emotional word characteristics
  • the polarity distribution at the sentiment level and the topic model distribution are generated.
  • it also includes the step of pre-training the semantic-long-short-term memory network.
  • step of pre-training the semantic-long-short-term memory network includes the following steps:
  • the unsupervised semantic layer is constructed through the energy function
  • the present invention takes into account the asymmetry of polarity distribution, sparse layer and uneven distribution of emotional words in product reviews, and proposes a new weakly supervised cross-domain and cross-language
  • the multi-level sentiment analysis model is trained on the semantic group and sampled text through the level-based sentiment model, and finally determines the result of sentiment classification according to the embedding vector obtained by fine-tuning network training, which improves the accuracy of sentiment analysis.
  • Figure 1 is a flow chart of the overall steps of an embodiment of the present invention.
  • FIG. 2 is a flowchart of pre-training steps of the semantic-long-short-term memory network according to an embodiment of the present invention
  • Fig. 3 is a schematic diagram of an emotion analysis process according to an embodiment of the present invention.
  • the invention discloses a fine-grained sentiment analysis method supporting cross-language migration, which belongs to the field of information technology.
  • the invention aims to establish an emotional analysis technology that adopts a fine-grained topic model method that can meet the needs of cross-domain and cross-language migration, and is used for fine-grained mining and analysis of user comments in an e-commerce environment.
  • user online product review information has grown rapidly. This information implies consumers' attitudes towards products and has great commercial value.
  • Due to the massive amount of information, extremely irregular language, and constant new words, etc. It is difficult for merchants to obtain useful information directly through manual analysis.
  • the model represented by deep neural networks is limited by the influence of artificially labeled data, which makes its application greatly limited; on the other hand, the traditional topic model represented by LDA is cross-domain, The ability to transfer across languages is quite limited.
  • the present invention takes into account the asymmetry of polarity distribution, sparse layer and uneven distribution of emotional words in product reviews, and proposes a new weakly supervised cross-domain and cross-language multi-level sentiment analysis model, which adopts the proposed semantic -LSTM model is used as a pre-training, which leads a fine-grained topic model for fine-tuning, and realizes the ability of sentiment analysis of product reviews across languages and fields.
  • sL-ASM emotional semantic model transfer learning method of semantic distance
  • This model consists of two parts, semantic Long-Short-Term Memory (semantic-lstm) for semantic cliqs pre-training and aspect-based sentiment model (Aspect-based Sentiment Model, ASM) level combined with emotion capture , This method can better get the effect of text sentiment classification.
  • a fine-grained sentiment analysis method supporting cross-language transfer includes the following steps:
  • Step 1 Randomly sample the e-commerce review text, manually label the sampled text, and obtain the subject sentiment labeling data set of the text;
  • Step 2 Put the labeled data set into the Semantic-LTSM (Semantic-LTSM) for training to obtain the semantic cliques (cliqs) of the text;
  • Step 3 Train the obtained semantic group together with the original text data through the level-based emotion model (ASM) to obtain the topic features of the semantic text;
  • ASM level-based emotion model
  • Step 4 Train the original data and the topic features obtained in step 3 through the fine-tuning network (Fine-tuning) to obtain the embedding vector (embedding) of the original data;
  • Step 5 Combine the embedding vector obtained in Step 4 and the topic feature obtained in Step 3 by performing Feature Funsion between the embedding vector and the topic feature to obtain the sentiment classification result of the text.
  • the embodiment of the present invention also provides a pre-training method for the semantic-long-short-term memory network, which includes the following steps:
  • the unsupervised semantic layer is constructed through the energy function
  • this embodiment introduces unsupervised semantic relations into the guided LSTM, and designs a training method for embedded words, that is, semantic-long-short-term Memory network (semantic-lstm).
  • semantic-lstm is used to capture semantic cliques (cliqs). This function is called pre-training Semantic-LSTM.
  • the (semantic-lstm) network will be fine-tuned in a fine-tuning task.
  • the energy allocated to the word w can be expressed as:
  • ⁇ w represents the word vector corresponding to this word
  • ⁇ represents the weight of the word vector
  • b w is the compensation parameter
  • the energy function is introduced, and the unsupervised semantic layer is designed to maximize the probability distribution of the energy function.
  • a backward activation function is designed:
  • the optimization goal becomes to minimize the output of the backward activation function.
  • the corresponding loss function C s can be expressed as:
  • semantic-lstm not only can we obtain better semantically related word embedding vectors, but also can obtain well-distributed positive and negative emotional features.
  • short text classification there is a center cliq, which can well represent the center of each short text.
  • the semantic distance between each document and the corresponding cliq of each class can be used to modify the distribution hyperparameters of the documents in each class.
  • ⁇ is the threshold set in the experiment
  • p(w v ) represents the probability that the word w v appears on the v-th level or emotional feature, Represents the extracted high-frequency words.
  • semantic distance is measured by the cosine distance between word embedding vectors trained by semantic-lstm:
  • cliq v stands for semantic group; Represents the word vector corresponding to the semantic group cliq v.
  • the embodiment of the present invention also provides a step for constructing a layer-based emotion model, and the step specifically includes:
  • the word characteristics including semantic word characteristics and emotional word characteristics
  • the polarity distribution at the sentiment level and the topic model distribution are generated.
  • the objective of this embodiment is to extract topics of level and emotion levels.
  • this embodiment introduces feature selection to adjust the probability of emotion words and other words.
  • the semantic distance of its asymmetric hyperparameters can be obtained by text and cliq v :
  • Aspect stands for level; sentiment stands for positive and negative emotions.
  • the word generation process of ASM is as follows:
  • N d is the total number of words in document d
  • ⁇ 0 and ⁇ 0 are the initial hyperparameter values.
  • D file number
  • T topic number
  • V level/emotion polarity number
  • W the number of the word in all documents
  • N d the number of words in document d
  • V d,n comes from the nth document in d
  • Z d,n,v the probability that the emotional polarity of the word n from the document d is assigned to the topic Z
  • Represents the probability that the emotional polarity v corresponding to the word w in the dictionary is assigned to the topic k
  • ⁇ and ⁇ represent the prior hyperparameters.
  • the embodiment of the present invention also provides a comparison of results to illustrate the beneficial effects of the method of the present invention:
  • the Semantic-LSTM of the present invention can provide a better word segmentation effect.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种支持跨语言迁移的细粒度情感分析方法，方法包括以下步骤：对电商评论文本进行随机抽样，并对抽样文本进行人工标注，获得该文本的主题情感标注数据集；把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团；把得到的语义团与抽样文本一同通过基于层面的情感模型进行训练，得到该文本的主题特征；通过微调网络对标注数据集与主题特征进行训练，得到抽样文本的嵌入向量；将嵌入向量与主题特征进行特征融合，得到该文本的情感分类结果。所述方法考虑到产品评论中极性分布不对称、层面稀疏和情感词分布不均匀的情况，提高了情感分析的准确度，可广泛应用于文本数据挖掘领域。

Description

一种支持跨语言迁移的细粒度情感分析方法 技术领域
本发明涉及文本数据挖掘领域，尤其是一种支持跨语言迁移的细粒度情感分析方法。
背景技术
情感分析能够从大量的非结构化评论文本中自动挖掘和提取人们的观点、态度和情感。传统的情感分析主要是对整个文档或句子进行粗粒度的极性分析。然而，仅考虑极性是不可能充分表征评论文本的多个层面的细粒度态度。基于对产品不同维度的考量，提出了多层面(不同细粒度)情感分析方法，通过对产品各层面的显式和隐式特征的分析，发现各层面与情感词之间的关系。
现有的情感分析方法大致可分为监督学习方法和非监督学习方法。早期基于监督学习的多层面情感分析(MASA)主要应用朴素贝叶斯、最大熵分类和支持向量机等传统工具。深度学习在很多领域都取得了显著的成果，在MASA中也得到了应用，这些方法通常需要预定义的情感词典，并且依赖于对词的位置表示。这些要求不可避免地导致大量的手工标记工作。此外，他们可能无法处理具有挑战性的电子商务场景与大量的评论和不规则的文字。
在无监督学习中，概率潜在语义分析(PLSA)、隐含狄利克雷分布(LDA)等统计主题模型引入先验知识，在情感分析中取得了良好的效果。然而，这些现有的模型不能直接应用于MASA。因为其掌握的主题不能直接与情感或层面联系起来。因此，研究人员开发了层面与情感统一模型(ASUM)，将层面与情感集成到一个主题模型中，使无监督学习更加灵活。虽然ASUM通常会显示一些全球性的特征，比如知名品牌，但它不太可能从不知名产品的评论中发现本土的特征。为了解决这一问题，通过引入了本地因素和全局因素，建立了联合多粒话题情绪(JMTS)模型。JMTS模型相对于LDA和ASUM的关键优势在于改进了情绪分类的性能。然而，在JMTS中，情感词的稀疏性和语义分布的不对称性等问题一直没有得到很好的解决。这是因为JMTS模型还依赖于预先设置的超参数。
现有的监督和非监督学习情感分析工作主要集中在英语语料库方面。值得注意的是，其他一些语言，如汉语，有自己的语言结构，如字母表，音系，词汇和语法。汉语语料库中常用省略和缩略语。与此同时，电子商务领域不断出现新的中文词汇。在这种背景下，英语的情感分析方法可能不再适用于汉语的情感分析。这就需要一种全新的多语言情感分析方法，以应对跨领域和跨语言MASA的迁移学习的挑战。
发明内容
有鉴于此，本发明实施例提供一种分析结果准确的，支持跨语言迁移的细粒度情感分析方法。
第一方面，本发明实施例提供了一种支持跨语言迁移的细粒度情感分析方法，包括以下步骤：
对电商评论文本进行随机抽样，并对抽样文本进行人工标注，获得该文本的主题情感标注数据集；
把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团；
把得到的语义团与抽样文本一同通过基于层面的情感模型进行训练，得到该文本的主题特征；
通过微调网络对标注数据集与主题特征进行训练，得到抽样文本的嵌入向量；
将嵌入向量与主题特征进行特征融合，得到该文本的情感分类结果。
进一步，所述把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团这一步骤，包括以下步骤：
提取对应层面和情感常用词汇；
删除同时属于两个或两个以上特征类的词；
对于每个特征分类，将每个特征分类中与其他常用词之间语义距离最小的词作为中心语义；
确定所有特征分类的词的中心语义，得到语义团。
进一步，所述语义距离由经过语义-长短时记忆网络训练的词的嵌入向量之间的余弦距离来度量。
进一步，还包括基于层面的情感模型的构建步骤。
进一步，所述基于层面的情感模型的构建步骤这一步骤，包括以下步骤：
确定词语特征，所述词语特征包括语义词语特征和情感词语特征；
生成每个词语特征的主题单词；
确定文档的情感层面词和主题分布；
确定文档的单词后，生成情感层面的极性分布以及主题模型分布。
进一步，还包括预训练语义-长短时记忆网络的步骤。
进一步，所述预训练语义-长短时记忆网络这一步骤，包括以下步骤：
根据每个单词的能量来确定语义-长短时记忆网络中的无监督语义关系；
基于无监督语义相似模型，通过能量函数构建无监督语义层；
构建向后激活函数；
通过长短时记忆网络的交叉熵代价函数和向后激活代价，构建语义-长短时记忆网络的优化目标。
上述本发明实施例中的技术方案具有如下优点：本发明考虑到产品评论中极性分布不对称、层面稀疏和情感词分布不均匀的情况，提出了一个新的弱监督的跨领域、跨语言的多层面情感分析模型，通过基于层面的情感模型对语义团与抽样文本进行训练，最终根据微调网络训练得到的嵌入向量来确定情感分类结果，提高了情感分析的准确度。
附图说明
图1为本发明实施例的整体步骤流程图；
图2为本发明实施例的语义-长短时记忆网络的预训练步骤流程图；
图3为本发明实施例的情感分析流程示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明公开了一种支持跨语言迁移的细粒度情感分析方法，属于信息技术领域。本发明旨在建立一种采用细粒度主题模型方法，可以满足跨领域、跨语言迁移需要的情感分析技术，用于电子商务环境下用户评论的细粒度挖掘分析。随着电子商务的爆炸式增长，用户在线商品评论信息飞速增长，这些信息隐含了消费者对商品的态度，有着巨大的商业价值，但由于信息海量、用语极不规范、新词不断等因素，商家难以直接通过人工分析到有用信息。而现有的模型，一方面以深度神经网络为代表的模型受限于人工标注数据的影响，使得其应用受到很大局限；另一方面，传统的以LDA为代表的主题模型其跨领域、跨语言迁移能力有较大局限。本发明考虑到产品评论中极性分布不对称、层面稀疏和情感词分布不均匀的情况，提出了一个新的弱监督的跨领域、跨语言的多层面情感分析模型，采用了所提出的semantic-LSTM模型作为预训练，牵引细粒度的主题模型进行微调(fine-tuning)，实现了跨语言、跨领域的商品评论情感分析能力。其中，我们设计了一种新的多层面主题模型迁移学习方法的语义距离，称为基于情感语义模型(sL-ASM)。这个模型由两部分组成，语义长短时记忆(semantic Long-Short-Term Memory,semantic-lstm)用于语义cliqs预训练和基于层面的情感模型(Aspect-based Sentiment Model,ASM)层面与情感结合捕捉，该方法能更好地得到文 本情感分类效果。
参照图1和图3，本发明实施例的一种支持跨语言迁移的细粒度情感分析方法，包括以下步骤：
步骤1：对电商评论文本进行随机抽样，对抽样文本进行人工标注，获得该文本的主题情感标注数据集；
步骤2：把标注数据集放进语义-长短时记忆网络(Semantic-LTSM)进行训练，得到文本的语义团(cliqs)；
步骤3：把得到的语义团与原始文本数据一同通过基于层面的情感模型(ASM)进行训练得到该语义文本的主题特征；
步骤4：把原始数据与根据步骤3得到的主题特征经过微调网络(Fine-tuning)训练，得到原始数据的嵌入向量(embedding)；
步骤5：把步骤4得到的嵌入向量与步骤3得到的主题特征通过把该嵌入向量与主题特征进行特征融合(Feature Funsion)得到该文本的情感分类结果。
如图2所示，本发明的实施例还提供了语义-长短时记忆网络的预训练方法，包括以下步骤：
根据每个单词的能量来确定语义-长短时记忆网络中的无监督语义关系；
基于无监督语义相似模型，通过能量函数构建无监督语义层；
构建向后激活函数；
通过长短时记忆网络的交叉熵代价函数和向后激活代价，构建语义-长短时记忆网络的优化目标。
具体的，由于不同领域的多样性，原来的LSTM不适用于跨领域情感分析，因此本实施例将无监督语义关系引入导LSTM中，设计了一种嵌入词的训练方法，即语义-长短时记忆网络(semantic-lstm)。在预训练阶段使用语义-长短时记忆网络(semantic-lstm)来捕获语义团(cliqs)，该功能称为预训练语义-长短时记忆网络(pre-training Semantic-LSTM)。在ASM的指导下，(semantic-lstm)网络将在一个微调任务中进行微调。
对上述方法中，通过引入每个单词的能量来引入LSTM网络中无监督语义关系，分配给单词w的能量可以表示为：
E(θ,w,φ w,b w)＝-θ Tφ w-b w  (1)
其中w表示某一个单词，φ w表示这个单词对应的词向量，θ表示词向量的权重,b w是补偿参数。
基于无监督语义相似模型，引入能量函数，设计无监督语义层，使能量函数的概率分布最大化，在此基础上，设计一个向后激活函数：
Figure PCTCN2020115300-appb-000001
优化目标变成最小化向后激活函数的输出。相应损失函数C s可以表示为：
Figure PCTCN2020115300-appb-000002
通过统一LSTM的交叉熵代价函数和向后激活代价，提出了语义LSTM的优化目标C：
C＝c s+c LSTM   (4)
通过semantic-lstm，不仅可以获得更好的语义相关词嵌入向量，而且可以获得分布良好的正面和负面情绪特征。在短文本分类中，存在一个中心cliq，可以很好地表示每个短文本的中心。每个文档与每个类对应的cliq之间的语义距离可以用来修改每个类中文档的分布超参数。
本发明实施例还提供了把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团的具体实施步骤：
提取对应层面和情感常用词汇；
删除同时属于两个或两个以上特征类的词；
对于每个特征分类，将每个特征分类中与其他常用词之间语义距离最小的词作为中心语义；
确定所有特征分类的词的中心语义，得到语义团。
本实施例具体为：
(1)提取对应层面和情感常用词汇：
Figure PCTCN2020115300-appb-000003
其中，δ为实验中设置的阈值，p(w v)表示w v词出现在第v个层面或情感特征上的概率，
Figure PCTCN2020115300-appb-000004
表示提取到的高频词。
(2)删除同时属于两个或两个以上特征类的词W，其中:
Figure PCTCN2020115300-appb-000005
表示同时属于层面、情感的常用词汇。
(3)对于每个特征分类，选择本身与其他常用词语义距离最小的词作为中心语义cliq。参照公式(7)和公式(8)，语义距离由经过semantic-lstm训练的词嵌入向量之间的余弦距离来度量：
Figure PCTCN2020115300-appb-000006
Figure PCTCN2020115300-appb-000007
其中，cliq v代表语义团；
Figure PCTCN2020115300-appb-000008
代表语义团cliq v所对应的词向量。
本发明实施例还提供了基于层面的情感模型的构建步骤，该步骤具体包括：
确定词语特征，所述词语特征包括语义词语特征和情感词语特征；
生成每个词语特征的主题单词；
确定文档的情感层面词和主题分布；
确定文档的单词后，生成情感层面的极性分布以及主题模型分布。
具体的，本实施例的目标是：提取层面级别和情感级别的主题，为区分词和其他词之间的不同情绪和层面，本实施例引入特征选择调整情绪词和其他词的概率。其不对称超参数的语义距离可以通过文本和cliq v求得：
Figure PCTCN2020115300-appb-000009
其中，
Figure PCTCN2020115300-appb-000010
代表第d个文档中第n个词w d,n的词向量，
Figure PCTCN2020115300-appb-000011
代表语义团cliq v的词向量。aspect代表层面；sentiment代表情感正负面极性。
在本实施例中，ASM的单词生成过程如下：
1、选择相应的语义、情感等词语特征。
2、从每个相应的特征类型中选择的主题生成一个单词。
在本实施例中，ASM生成过程的形式化定义如下：
1、对于每个文档d中的情感/层面词v:
a.由(9)式得到其特征值d、v
b.选择主题分布θ d,c～Dir(α d,v)
2、对文档d中的每个单词n：
a.绘制层面/情感极性分布V d,n～Multi(π d,v)
b.绘制主题模型分布Z d,n～Multi(θ d,n)
c.从概率P(W d,n|V d,n,Z d,n,Φ v)中选择词W d,n，其中Φ v服从θ v～Dir(β w,v)
对于ASM的超参数α d,v和β w,v，本实施例通过以下计算公式计算得到：
Figure PCTCN2020115300-appb-000012
Figure PCTCN2020115300-appb-000013
其中N d为文档d中的单词总数，α 0和β 0为初始超参数值。
另外，本实施例中提及的ASM的参数如下：
D:文件编号；T：主题编号；V：层面/情感极性编号；W：该词在所有文档中的数量；N d文档d中的单词数量；V d,n来自d文档中第n个词被分配到层面/情感的概率；Z d,n,v：来自文档d的单词n的情感极性被指定到主题Z的概率；
Figure PCTCN2020115300-appb-000014
代表文档d的情感极性v被指向到主题k的概率；
Figure PCTCN2020115300-appb-000015
代表字典中的词w对应的情感极性v被指定到主题k的概率；α，β代表先验超参数。
另外，本发明实施例还提供了结果对比，来说明本发明的方法具有的有益效果：
首先，LSTM情绪分类中不同特征表示的性能如下表1所示：
表1
Method BOW ASM L-ASM SL-ASM
Train Err 0.183 0.170 0.148 0:118
Valid Err 0.391 0.170 0:142 0.164
Test Err 0.391 0.180 0.169 0:160
然后，将基于龙井茶数据LSTM与Semantic-LSTM的Cliqs比较，得到表2所示的比较结果：
表2
Aspect LSTM Semantic-LSTM
Package 看着/appearance 看着/appearance
Quality 质量/quality 清香/fragrance
Price 性价比/cost performance 性价比/cost performance
Service 一个/single 服务态度/service attitude
Logistics 速度/speed 快递/express
Positive 好喝/good-tasting 挺好/fine
Negative 一般/so so 一般/so so
由此可见，对于不同层面的分割，本发明的Semantic-LSTM能提供更好的词语分割效果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

  1. 一种支持跨语言迁移的细粒度情感分析方法，其特征在于：包括以下步骤：
    对电商评论文本进行随机抽样，并对抽样文本进行人工标注，获得该文本的主题情感标注数据集；
    把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团；
    把得到的语义团与抽样文本一同通过基于层面的情感模型进行训练，得到该文本的主题特征；
    通过微调网络对标注数据集与主题特征进行训练，得到抽样文本的嵌入向量；
    将嵌入向量与主题特征进行特征融合，得到该文本的情感分类结果。
  2. 根据权利要求1所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：所述把标注数据集放进语义-长短时记忆网络进行训练，得到文本的语义团这一步骤，包括以下步骤：
    提取对应层面和情感常用词汇；
    删除同时属于两个或两个以上特征类的词；
    对于每个特征分类，将每个特征分类中与其他常用词之间语义距离最小的词作为中心语义；
    确定所有特征分类的词的中心语义，得到语义团。
  3. 根据权利要求2所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：所述语义距离由经过语义-长短时记忆网络训练的词的嵌入向量之间的余弦距离来度量。
  4. 根据权利要求1所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：还包括基于层面的情感模型的构建步骤。
  5. 根据权利要求4所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：所述基于层面的情感模型的构建步骤这一步骤，包括以下步骤：
    确定词语特征，所述词语特征包括语义词语特征和情感词语特征；
    生成每个词语特征的主题单词；
    确定文档的情感层面词和主题分布；
    确定文档的单词后，生成情感层面的极性分布以及主题模型分布。
  6. 根据权利要求1-5任一项所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：还包括预训练语义-长短时记忆网络的步骤。
  7. 根据权利要求6所述的一种支持跨语言迁移的细粒度情感分析方法，其特征在于：所述预训练语义-长短时记忆网络这一步骤，包括以下步骤：
    根据每个单词的能量来确定语义-长短时记忆网络中的无监督语义关系；
    基于无监督语义相似模型，通过能量函数构建无监督语义层；
    构建向后激活函数；
    通过长短时记忆网络的交叉熵代价函数和向后激活代价，构建语义-长短时记忆网络的优化目标。
PCT/CN2020/115300 2019-12-02 2020-09-15 一种支持跨语言迁移的细粒度情感分析方法 WO2021109671A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021542358A JP7253848B2 (ja) 2019-12-02 2020-09-15 言語間遷移を支援する細粒度感情解析方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911214600.7A CN111160037B (zh) 2019-12-02 2019-12-02 一种支持跨语言迁移的细粒度情感分析方法
CN201911214600.7 2019-12-02

Publications (1)

Publication Number Publication Date
WO2021109671A1 true WO2021109671A1 (zh) 2021-06-10

Family

ID=70556324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/115300 WO2021109671A1 (zh) 2019-12-02 2020-09-15 一种支持跨语言迁移的细粒度情感分析方法

Country Status (3)

Country Link
JP (1) JP7253848B2 (zh)
CN (1) CN111160037B (zh)
WO (1) WO2021109671A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553445A (zh) * 2021-07-28 2021-10-26 北京理工大学 一种生成视频描述的方法
CN113641788A (zh) * 2021-08-06 2021-11-12 人民网股份有限公司 一种基于无监督的长短影评细粒度观点挖掘方法
CN113792142A (zh) * 2021-09-07 2021-12-14 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN114201605A (zh) * 2021-11-23 2022-03-18 上海大学 一种基于联合属性建模的图像情感分析方法
CN114238627A (zh) * 2021-11-22 2022-03-25 西北工业大学 一种基于albert和lda的跨域情感分类方法
CN115099241A (zh) * 2022-06-30 2022-09-23 郑州信大先进技术研究院 一种基于模型融合的海量旅游网络文本语义分析方法
CN115374281A (zh) * 2022-08-30 2022-11-22 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115577707A (zh) * 2022-12-08 2023-01-06 中国传媒大学 一种多语言新闻主题词的分词方法
CN117688185A (zh) * 2024-02-04 2024-03-12 华东交通大学 一种用户信息增强的长文本细粒度情感分析方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160037B (zh) * 2019-12-02 2021-10-26 广州大学 一种支持跨语言迁移的细粒度情感分析方法
US11694042B2 (en) * 2020-06-16 2023-07-04 Baidu Usa Llc Cross-lingual unsupervised classification with multi-view transfer learning
CN112199503B (zh) * 2020-10-28 2023-04-28 南京信息工程大学 一种基于特征增强的非平衡Bi-LSTM的中文文本分类方法
CN113032559B (zh) * 2021-03-15 2023-04-28 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法
CN113901208B (zh) * 2021-09-15 2022-07-29 昆明理工大学 融入主题特征的中越跨语言评论情感倾向性分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN109710761A (zh) * 2018-12-21 2019-05-03 中国标准化研究院 基于注意力增强的双向lstm模型的情感分析方法
CN110046353A (zh) * 2019-04-22 2019-07-23 重庆理工大学 一种基于多语言层次机制的方面级情感分析方法
CN110083833A (zh) * 2019-04-18 2019-08-02 东华大学 中文字词向量和方面词向量联合嵌入情感分析方法
CN110517121A (zh) * 2019-09-23 2019-11-29 重庆邮电大学 基于评论文本情感分析的商品推荐方法及商品推荐装置
CN111160037A (zh) * 2019-12-02 2020-05-15 广州大学 一种支持跨语言迁移的细粒度情感分析方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949211B2 (en) * 2011-01-31 2015-02-03 Hewlett-Packard Development Company, L.P. Objective-function based sentiment
US10304036B2 (en) * 2012-05-07 2019-05-28 Nasdaq, Inc. Social media profiling for one or more authors using one or more social media platforms
JP6529133B2 (ja) 2016-01-29 2019-06-12 Kddi株式会社 複数地域でのトピックの評価を分析する装置、プログラム及び方法
CN105912525A (zh) * 2016-04-11 2016-08-31 天津大学 基于主题特征的半监督学习情感分类方法
CN106202200B (zh) * 2016-06-28 2019-09-27 昆明理工大学 一种基于固定主题的文本情感倾向性分类方法
RU2657173C2 (ru) 2016-07-28 2018-06-08 Общество с ограниченной ответственностью "Аби Продакшн" Сентиментный анализ на уровне аспектов с использованием методов машинного обучения
CN107943800A (zh) * 2016-10-09 2018-04-20 郑州大学 一种微博话题舆情计算与分析的方法
CN106776581B (zh) * 2017-02-21 2020-01-24 浙江工商大学 基于深度学习的主观性文本情感分析方法
CN107066446B (zh) * 2017-04-13 2020-04-10 广东工业大学 一种嵌入逻辑规则的循环神经网络文本情感分析方法
CN107357899B (zh) * 2017-07-14 2020-05-22 吉林大学 基于和积网络深度自动编码器的短文本情感分析方法
CN108038205B (zh) * 2017-12-15 2021-12-21 福州大学 针对中文微博的观点分析原型系统
CN108345587B (zh) * 2018-02-14 2020-04-24 广州大学 一种评论的真实性检测方法与系统
CN108536870B (zh) * 2018-04-26 2022-06-07 南京大学 一种融合情感特征和语义特征的文本情感分类方法
CN108874768B (zh) 2018-05-16 2019-04-16 山东科技大学 一种基于主题情感联合概率的电子商务虚假评论识别方法
CN109086357B (zh) * 2018-07-18 2021-06-22 深圳大学 基于变分自动编码器的情感分类方法、装置、设备及介质
CN109472031B (zh) * 2018-11-09 2021-05-04 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109543039B (zh) * 2018-11-23 2022-04-08 中山大学 一种基于深度网络的自然语言情感分析方法
CN109977413B (zh) * 2019-03-29 2023-06-06 南京邮电大学 一种基于改进cnn-lda的情感分析方法
CN110046580A (zh) * 2019-04-16 2019-07-23 广州大学 一种基于情绪识别的人机交互方法及系统
CN110263154A (zh) * 2019-05-17 2019-09-20 广州艾媒数聚信息咨询股份有限公司 一种网络舆情情感态势量化方法、系统及存储介质
CN110516067B (zh) * 2019-08-23 2022-02-11 北京工商大学 基于话题检测的舆情监控方法、系统及存储介质
CN110516245A (zh) 2019-08-27 2019-11-29 蓝盾信息安全技术股份有限公司 细粒度情感分析方法、装置、计算机设备及存储介质
CN110502757B (zh) * 2019-08-29 2023-01-10 西安邮电大学 一种自然语言情感分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN109710761A (zh) * 2018-12-21 2019-05-03 中国标准化研究院 基于注意力增强的双向lstm模型的情感分析方法
CN110083833A (zh) * 2019-04-18 2019-08-02 东华大学 中文字词向量和方面词向量联合嵌入情感分析方法
CN110046353A (zh) * 2019-04-22 2019-07-23 重庆理工大学 一种基于多语言层次机制的方面级情感分析方法
CN110517121A (zh) * 2019-09-23 2019-11-29 重庆邮电大学 基于评论文本情感分析的商品推荐方法及商品推荐装置
CN111160037A (zh) * 2019-12-02 2020-05-15 广州大学 一种支持跨语言迁移的细粒度情感分析方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553445A (zh) * 2021-07-28 2021-10-26 北京理工大学 一种生成视频描述的方法
CN113641788B (zh) * 2021-08-06 2024-02-23 人民网股份有限公司 一种基于无监督的长短影评细粒度观点挖掘方法
CN113641788A (zh) * 2021-08-06 2021-11-12 人民网股份有限公司 一种基于无监督的长短影评细粒度观点挖掘方法
CN113792142A (zh) * 2021-09-07 2021-12-14 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN113792142B (zh) * 2021-09-07 2024-02-27 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN114238627A (zh) * 2021-11-22 2022-03-25 西北工业大学 一种基于albert和lda的跨域情感分类方法
CN114238627B (zh) * 2021-11-22 2024-04-12 西北工业大学 一种基于albert和lda的跨域情感分类方法
CN114201605A (zh) * 2021-11-23 2022-03-18 上海大学 一种基于联合属性建模的图像情感分析方法
CN115099241A (zh) * 2022-06-30 2022-09-23 郑州信大先进技术研究院 一种基于模型融合的海量旅游网络文本语义分析方法
CN115099241B (zh) * 2022-06-30 2024-04-12 郑州信大先进技术研究院 一种基于模型融合的海量旅游网络文本语义分析方法
CN115374281A (zh) * 2022-08-30 2022-11-22 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115374281B (zh) * 2022-08-30 2024-04-05 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115577707A (zh) * 2022-12-08 2023-01-06 中国传媒大学 一种多语言新闻主题词的分词方法
CN117688185A (zh) * 2024-02-04 2024-03-12 华东交通大学 一种用户信息增强的长文本细粒度情感分析方法
CN117688185B (zh) * 2024-02-04 2024-04-12 华东交通大学 一种用户信息增强的长文本细粒度情感分析方法

Also Published As

Publication number Publication date
JP7253848B2 (ja) 2023-04-07
JP2022517845A (ja) 2022-03-10
CN111160037B (zh) 2021-10-26
CN111160037A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2021109671A1 (zh) 一种支持跨语言迁移的细粒度情感分析方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
Zhou et al. Compositional recurrent neural networks for chinese short text classification
CN109902177B (zh) 基于双通道卷积记忆神经网络的文本情感分析方法
CN109325231B (zh) 一种多任务模型生成词向量的方法
CN107590177B (zh) 一种结合监督学习的中文文本分类方法
CN109977413A (zh) 一种基于改进cnn-lda的情感分析方法
CN109670039B (zh) 基于三部图和聚类分析的半监督电商评论情感分析方法
CN109002473B (zh) 一种基于词向量与词性的情感分析方法
US20160180247A1 (en) Latency-Efficient Multi-Stage Tagging Mechanism
US10915707B2 (en) Word replaceability through word vectors
CN110825850B (zh) 一种自然语言主题分类方法及装置
CN109101490B (zh) 一种基于融合特征表示的事实型隐式情感识别方法和系统
Mai et al. Aspect-based sentiment analysis of vietnamese texts with deep learning
Kandhro et al. Sentiment analysis of students’ comment using long-short term model
CN110750646B (zh) 一种旅店评论文本的属性描述提取方法
CN110647919A (zh) 一种基于k-均值聚类和胶囊网络的文本聚类方法及系统
CN101714135A (zh) 一种跨领域文本情感倾向性分析方法
Chen et al. Sentiment classification of tourism based on rules and LDA topic model
CN107729509B (zh) 基于隐性高维分布式特征表示的篇章相似度判定方法
Thuy et al. Leveraging foreign language labeled data for aspect-based opinion mining
Sun Research on product attribute extraction and classification method for online review
Sun et al. Chinese microblog sentiment classification based on deep belief nets with extended multi-modality features
Weiss et al. Sense classification of shallow discourse relations with focused RNNs
KARAYİĞİT et al. A Review of Turkish Sentiment Analysis and Opinion Mining

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895911

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021542358

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895911

Country of ref document: EP

Kind code of ref document: A1