WO2019128124A1 - 一种文本质量指标获取方法及装置 - Google Patents

一种文本质量指标获取方法及装置 Download PDF

Info

Publication number
WO2019128124A1
WO2019128124A1 PCT/CN2018/090878 CN2018090878W WO2019128124A1 WO 2019128124 A1 WO2019128124 A1 WO 2019128124A1 CN 2018090878 W CN2018090878 W CN 2018090878W WO 2019128124 A1 WO2019128124 A1 WO 2019128124A1
Authority
WO
WIPO (PCT)
Prior art keywords
sentence
text
words
vector
sentences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/090878
Other languages
English (en)
French (fr)
Inventor
王琪
何东杰
杨洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of WO2019128124A1 publication Critical patent/WO2019128124A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Definitions

  • the embodiments of the present invention relate to the field of statement analysis technologies, and in particular, to a method and an apparatus for acquiring a text quality indicator.
  • the widespread use of open source software has become a trend.
  • the financial industry is cautious about the application of open source software for reasons of technology maturity and security compliance. Therefore, before using an open source software, the software should be fully and scientifically evaluated.
  • the open source software is usually evaluated by establishing a evaluation model. Based on the model evaluation of open source software such as kakfa, rabbitmq, rootwrap, etc., in the process, we found the following problems: First of all, due to the lack of automated processes and tools, some steps are manually captured, and each evaluation indicator and corresponding content selection is very time consuming and relatively subjective. Secondly, the number of open source software evaluation indicators is large, and the sensitivity of different software to different index evaluations is not the same. Effectively selecting evaluation indicators can effectively evaluate the software.
  • the existing automatic software classification method generally uses texts including web pages, logs, and the like to represent objects, automatically classifies software texts by data mining technology, and clusters software text collections according to topics, and the result of clustering is each text. Automatically attributed to a topic, indirectly enabling automatic classification of objects such as terms.
  • the data source under the existing scheme is simply clustering with keywords, and does not contain semantics and context association, so that the isolated classification has a poor classification effect on objects that are more abstract or more meaningful, and it is difficult to Longer amounts such as sentences are used to identify and classify.
  • the embodiment of the invention provides a method and a device for acquiring a text quality indicator, which are used for automatically obtaining quality indicators of text and improving accuracy.
  • a method for obtaining a text quality indicator includes:
  • the using the preset neural network language model to train the entry in the text data source to obtain a word vector of the plurality of words including:
  • Each term is traversed to obtain a word vector for multiple words.
  • the determining, according to the word vector of the plurality of words and the plurality of statements of the text, the sentence vector of the plurality of sentences including:
  • the word vector after the word segmentation is traversed using the word vector of the plurality of words the words in the plurality of sentences are converted into word vectors, and the sentence vectors of the plurality of sentences are determined.
  • the sentence vector of the multiple sentences is deduplicated and is classified into a P-class quality indicator, including:
  • the two sentence vectors whose Euclidean distance is less than the first threshold are determined as the same type of quality index, and the two sentence vectors whose Euclidean distance is less than the second threshold are determined as the same sentence vector, and de-weighted to obtain the P-class quality index.
  • the determining, according to the random forest, the importance value of the P-type quality indicator including:
  • the importance value of each quality index is obtained.
  • the embodiment of the present invention further improves a text quality indicator obtaining apparatus, including:
  • a generating unit configured to obtain a name and a keyword of the text, and extract a term in the search engine according to the name and the keyword of the text, and generate a text data source;
  • a determining unit configured to train a term in the text data source using a preset neural network language model to obtain a word vector of the plurality of words; and a word vector according to the plurality of words and the text a statement that determines a sentence vector of the plurality of statements;
  • a de-weighting unit configured to de-weight the sentence vector of the plurality of sentences, divide the P-class quality indicator, save the content corresponding to the sentence vector of the P-type quality indicator, and determine the P-class quality based on the random forest
  • the importance value of the indicator, P is a positive integer
  • the processing unit is configured to obtain, according to the content corresponding to the sentence vector of the P-type quality indicator and the importance value of the P-type quality indicator, the order of importance and importance of the quality indicator to be evaluated.
  • the determining unit is specifically configured to:
  • Each term is traversed to obtain a word vector for multiple words.
  • the determining unit is specifically configured to:
  • the word vector after the word segmentation is traversed using the word vector of the plurality of words the words in the plurality of sentences are converted into word vectors, and the sentence vectors of the plurality of sentences are determined.
  • the deduplication unit is specifically configured to:
  • the two sentence vectors whose Euclidean distance is less than the first threshold are determined as the same type of quality index, and the two sentence vectors whose Euclidean distance is less than the second threshold are determined as the same sentence vector, and de-weighted to obtain the P-class quality index.
  • the deduplication unit is specifically configured to:
  • the importance value of each quality index is obtained.
  • the embodiment of the present invention further provides a computing device, including:
  • a memory for storing program instructions
  • a processor configured to invoke a program instruction stored in the memory, and execute the text quality indicator acquiring method according to the obtained program.
  • an embodiment of the present invention further provides a computer storage medium storing computer executable instructions for causing a computer to execute the text quality indicator acquisition method.
  • an embodiment of the present invention provides an electronic device, including: a processor, a memory, a transceiver, and a bus interface, wherein a processor, a memory, and a transceiver are connected by using a bus interface;
  • the transceiver is configured to obtain a name and a keyword of the text
  • the processor is configured to extract a term in a search engine according to a name and a keyword of the text, and generate a text data source;
  • the memory is configured to store one or more executable programs, and may store data used by the processor when performing operations;
  • the bus interface is for providing an interface.
  • an embodiment of the present invention provides a non-transitory computer readable storage medium, where the non-transitory computer readable storage medium stores computer instructions, where the computer instructions are used to cause the computer to execute the first aspect.
  • an embodiment of the present invention provides a computer program product, the computer program product comprising a computing program stored on a non-transitory computer readable storage medium, the computer program comprising program instructions, when the program instruction is When the computer is executed, the computer is caused to perform the text quality indicator acquisition method according to any one of the above first aspects.
  • the embodiment of the invention shows that by obtaining the name and keyword of the text, the entry is extracted in the search engine, the text data source is generated, and the entry in the text data source is trained by using the preset neural network language model to obtain multiple a word vector of a word, determining a sentence vector of the plurality of sentences according to a word vector of the plurality of words and a plurality of sentences of the text, de-duplicating the sentence vector of the plurality of sentences, and dividing into a P-class quality indicator, The content corresponding to the sentence vector of the P-type quality indicator is saved, and the importance degree value of the P-type quality index is determined based on the random forest, and the content of the sentence vector corresponding to the P-class quality indicator and the importance value of the P-class quality index are obtained.
  • the breakdown of the quality indicators of importance and importance By quantifying the textual statement into a vector, the quality index set is obtained, and the accuracy of the subsequent sorting is improved. Based on the importance value of the quality index obtained by the random forest, the obtained quality index result is more accurate and detailed.
  • FIG. 1 is a schematic flowchart of a method for acquiring a text quality indicator according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of generating a word vector according to an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a text quality indicator acquiring apparatus according to an embodiment of the present disclosure
  • FIG. 4 is a schematic structural diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 1 exemplarily shows a flow of a text quality indicator acquiring method provided by an embodiment of the present invention, which may be executed by a text quality indicator acquiring apparatus.
  • the distributed open source software kaska is taken as an example to describe the process of obtaining the text quality indicator.
  • the process specifically includes:
  • Step 101 Obtain a name and a keyword of the text, and extract a term in the search engine according to the name and keyword of the text to generate a text data source.
  • the text may include various software and the like for expressing content using text.
  • open source software by inputting the name and keyword of the open source software to be evaluated in the search engine, the entry may be extracted.
  • Form a text data source For example, a search engine searches for key words such as open source software "Kafka” and "kafka function" to obtain search results.
  • the first N terms of the search results by the common crawler technology (assuming 1000, the more the entries, the more comprehensive the indicators), the HTML (HyperText Markup Language) tags that get the result information such as title ), text (text), etc., save the result as a text file.
  • the manner in which the text data source is obtained is not limited to the Title tag obtained by the search engine, or may be obtained by analyzing the webpage, performing cluster analysis, and the like.
  • Step 102 Train a term in the text data source using a preset neural network language model to obtain a word vector of the plurality of words.
  • the terminology in the text data source may be trained using a preset neural network language model, and the word vector of the current word is predicted by the context words of the current word in the entry statement. Then traversing each term, you can get the word vector of multiple words.
  • the preset neural network language model (such as CBOW (Continuous Bagof-Words) model) may be a neural network language model with preset parameters.
  • the above CBOW model can also be replaced with a model that improves the CBOW model or other similar functions.
  • Step 103 Determine a sentence vector of the plurality of sentences according to the word vector of the plurality of words and the plurality of sentences of the text.
  • the words of the open source software can be segmented first, and then the words of the plurality of words are used to traverse the words after the word segmentation, and the words in the plurality of sentences are converted into words.
  • Step 104 De-duplicate the sentence vector of the plurality of sentences, divide the P-class quality indicator, save the content corresponding to the sentence vector of the P-type quality indicator, and determine the importance degree value of the P-type quality indicator based on the random forest.
  • P is a positive integer.
  • Completing the sentence vectors of the plurality of sentences obtained in step 103, traversing other sentence vectors for any one of the plurality of sentence vectors, calculating the Euclidean distance between the vectors, and the Euclidean distance may be less than the first threshold
  • the two sentence vectors are determined as the same type of quality index, and the two sentence vectors whose Euclidean distance is less than the second threshold are determined as the same sentence vector, and de-duplicated to obtain the P-class quality index.
  • the first threshold and the second threshold may be set empirically, wherein the first threshold is greater than the second threshold. For example, the first threshold may be set to 1 and the second threshold may be set to 0.1.
  • the classification, de-duplication, and determination quality indicators of the sentence vector are obtained by the method provided by the embodiment of the present invention, and the approximated processing result can be obtained by the improved clustering process.
  • the number of samples used for each decision tree and the number of trees constructing the forest can be determined according to the P-class quality index, and the decision is made according to the number of samples and the number of trees constructing the forest.
  • the tree then traverses the characteristics of the quality indicators in all the decision trees. In one cycle, the feature appears once plus 1 to get the number of times the feature appears in the forest, and finally according to the number of times each feature appears in the forest. The importance value of various quality indicators can be obtained.
  • the training sample is obtained from the P-type sentence vector by resampling by generating a decision tree training set strategy from the random forest. Repeat S times to generate the S tree. Then use the following process to calculate the results:
  • Q n is the importance value of the quality index
  • S is the number of trees in the forest
  • P is the number of quality indicators
  • n is the depth of the sentence vector corresponding to each quality indicator
  • f i is The selected feature
  • M is the selected feature number (P*n).
  • the value of Q corresponding to the quality index of each evaluation the larger the value, the more important the quality index of the evaluation.
  • the value of Q corresponding to the quality index of each evaluation in Table 1 is the statistical result. The larger the value, the more important the quality index is. If some values are far less than other values, the quality indicator of this evaluation can be ignored. Excluding.
  • Step 105 Obtain a detail and importance order of the quality indicators to be evaluated according to the content corresponding to the sentence vector of the P-type quality indicator and the importance degree value of the P-type quality indicator.
  • the names corresponding to each feature of each quality indicator p n are found, and finally the details of the quality indicators to be evaluated are obtained according to the p n screening and sorting. And sort of importance.
  • the detail of the quality indicator is also the content corresponding to the sentence vector of the quality indicator.
  • the above embodiment shows that by obtaining the name and keyword of the text, the entry is extracted in the search engine, the text data source is generated, and the entry in the text data source is trained using the preset neural network language model to obtain a plurality of words.
  • the word vector according to the word vector of the plurality of words and the plurality of sentences of the text, determining the sentence vector of the plurality of sentences, de-duplicating the sentence vector of the plurality of sentences, and dividing into the P-class quality indicator, saving The content corresponding to the sentence vector of the P-type quality indicator, and the importance degree value of the P-class quality index is determined based on the random forest.
  • the evaluation needs to be obtained.
  • the breakdown of the quality indicators and their importance By quantifying the textual statement into a vector, the quality index set is obtained, and the accuracy of the subsequent sorting is improved. Based on the importance value of the quality index obtained by the random forest, the obtained quality index result is more accurate and detailed.
  • FIG. 3 exemplarily shows a text quality index obtaining apparatus improved by an embodiment of the present invention, which can execute a flow of text quality index acquisition.
  • the device comprises:
  • a generating unit 301 configured to acquire a name and a keyword of the text, and extract a term in the search engine according to the name and the keyword of the text, and generate a text data source;
  • a determining unit 302 configured to train a term in the text data source by using a preset neural network language model to obtain a word vector of a plurality of words; and a word vector according to the plurality of words and the text a plurality of sentences to determine a sentence vector of the plurality of sentences;
  • the de-weighting unit 303 is configured to de-weight the sentence vector of the plurality of sentences, divide the P-class quality indicator, save the content corresponding to the sentence vector of the P-type quality indicator, and determine the P-class based on the random forest.
  • the importance value of the quality indicator, P is a positive integer;
  • the processing unit 304 is configured to obtain the detail and importance order of the quality indicators to be evaluated according to the content corresponding to the sentence vector of the P-type quality indicator and the importance level value of the P-type quality indicator.
  • the determining unit 302 is specifically configured to:
  • Each term is traversed to obtain a word vector for multiple words.
  • the determining unit 302 is specifically configured to:
  • the word vector after the word segmentation is traversed using the word vector of the plurality of words the words in the plurality of sentences are converted into word vectors, and the sentence vectors of the plurality of sentences are determined.
  • the deduplication unit 303 is specifically configured to:
  • the two sentence vectors whose Euclidean distance is less than the first threshold are determined as the same type of quality index, and the two sentence vectors whose Euclidean distance is less than the second threshold are determined as the same sentence vector, and de-weighted to obtain the P-class quality index.
  • the deduplication unit 303 is specifically configured to:
  • the importance value of each quality index is obtained.
  • the present invention further provides an electronic device, as shown in FIG. 4, including a processor 401, a memory 402, a transceiver 403, and a bus interface 404, wherein the processor 401, the memory 402, and the transceiver 403 pass through Bus interface 404 is connected;
  • the transceiver 403 is configured to obtain a name and a keyword of the text
  • the processor 401 is configured to extract a term in a search engine according to the name and keyword of the text, and generate a text data source;
  • the memory 402 is configured to store one or more executable programs, and may store data used by the processor when performing operations;
  • the bus interface 404 is configured to provide an interface.
  • the processor 401 is specifically configured to: use a preset neural network language model to train an entry in the text data source, and predict a word vector of the current word by using a contextual word of a current word in the entry statement;
  • Each term is traversed to obtain a word vector for multiple words.
  • the processor 401 is specifically configured to:
  • the word vector after the word segmentation is traversed using the word vector of the plurality of words the words in the plurality of sentences are converted into word vectors, and the sentence vectors of the plurality of sentences are determined.
  • the processor 401 is specifically configured to:
  • the two sentence vectors whose Euclidean distance is less than the first threshold are determined as the same type of quality index, and the two sentence vectors whose Euclidean distance is less than the second threshold are determined as the same sentence vector, and de-weighted to obtain the P-class quality index.
  • the processor 401 is specifically configured to:
  • the importance value of each quality index is obtained.
  • An embodiment of the present invention provides a non-transitory computer readable storage medium storing computer instructions for causing the computer to perform any of the above first embodiments.
  • the text quality indicator acquisition method is not limited to:
  • Embodiments of the present invention provide a computer program product, the computer program product comprising a computing program stored on a non-transitory computer readable storage medium, the computer program comprising program instructions, when the program instructions are executed by a computer, The computer is caused to perform the text quality indicator acquisition method according to any one of the above first aspects.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种文本质量指标获取方法及装置，该方法包括获取文本的名称和关键词，生成文本数据源，使用预设的神经网络语言模型对文本数据源中的词条进行训练，得到多个词语的词向量，确定出多个语句的句子向量，对多个语句的句子向量进行去重，分为P类质量指标，保存P类质量指标的句子向量对应的内容，并基于随机森林确定P类质量指标的重要程度值，根据P类质量指标的句子向量对应的内容和P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。通过将开源软件的语句量化为向量，得到质量指标集合，提高了后续排序的准确率，基于随机森林得到质量指标的重要程度值，使得获取的质量指标结果更加准确和细化。

Description

一种文本质量指标获取方法及装置
本申请要求在2017年12月29日提交中国专利局、申请号为201711484243.7、发明名称为“一种文本质量指标获取方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及语句分析技术领域，尤其涉及一种文本质量指标获取方法及装置。
背景技术
开源软件的广泛应用已经成为一种趋势。金融行业出于技术成熟度和安全合规方面的考虑，对开源软件的应用保持审慎的态度。所以在使用一个开源软件之前应对软件进行完备科学的评估，通常通过建立评测模型对开源软件进行评测，基于模型评测诸如kakfa，rabbitmq，rootwrap等开源软件，在此过程中，我们发现了如下问题：首先，由于缺乏自动化的过程和工具，部分步骤通过人工抓取，每个评测指标及相应内容选取非常耗时并相对主观。其次，开源软件评测指标数量大，不同软件对于不同指标评测的敏感度不尽相同，有效地选取评测指标才能有效地评估软件。
现有的软件自动分类方法通常利用包含网页，日志等内容的文本来表征对象，通过数据挖掘技术对软件文本进行自动分类，将软件文本集合按照主题进行聚类，聚类的结果是每个文本自动归属于某个主题，从而间接实现对词条等对象的自动分类。现有方案下的数据源只是简单利用关键词进行聚类，不包含语义以及和上下文的关联，这样孤立的分类对更加抽象或者是表征含义更丰富的对象进行分类效果很差，同时很难对更长的量如句子进行识别分类。
发明内容
本发明实施例提供一种文本质量指标获取方法及装置，用以实现自动化获取文本的质量指标，提高了准确性。
第一方面，本发明实施例提供的一种文本质量指标获取方法，包括：
获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；
根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
可选的，所述使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量，包括：
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
对每个词条进行遍历，得到多个词语的词向量。
可选的，所述根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量，包括：
将所述文本的多个语句进行分词；
使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
可选的，所述对多个语句的句子向量进行去重，分为P类质量指标，包括：
将所述多个语句的句子向量进行补齐；
针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
可选的，所述基于随机森林确定所述P类质量指标的重要程度值，包括：
根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
根据所述样本个数和构建森林的树的棵数构建决策树；
遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
第二方面，，本发明实施例还提高了一种文本质量指标获取装置，包括：
生成单元，用于获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
确定单元，用于使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；以及根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
去重单元，用于对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
处理单元，用于根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
可选的，所述确定单元具体用于：
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
对每个词条进行遍历，得到多个词语的词向量。
可选的，所述确定单元具体用于：
将所述文本的多个语句进行分词；
使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
可选的，所述去重单元具体用于：
将所述多个语句的句子向量进行补齐；
针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
可选的，所述去重单元具体用于：
根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
根据所述样本个数和构建森林的树的棵数构建决策树；
遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
相应的，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述文本质量指标获取方法。
相应的，本发明实施例还提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述文本质量指标获取方法。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、 收发机、总线接口，其中处理器、存储器与收发机之间通过总线接口连接；
所述收发机，用于获取文本的名称和关键词；
所述处理器，用于根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；
根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序；
所述存储器，用于存储一个或多个可执行程序，可以存储所述处理器在执行操作时所使用的数据；
所述总线接口，用于提供接口。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任一实施例所述文本质量指标获取方法。
第五方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述第一方面中任一实施例所述文本质量指标获取方法。
本发明实施例表明，通过获取文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源，使用预设的神经网络语言模型对文本数据源中的词条进行训练，得到多个词语的词向量，根据多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量，对多个语句的句子向量进行去 重，分为P类质量指标，保存P类质量指标的句子向量对应的内容，并基于随机森林确定P类质量指标的重要程度值，根据P类质量指标的句子向量对应的内容和P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。通过将文本的语句量化为向量，得到质量指标集合，提高了后续排序的准确率，基于随机森林得到质量指标的重要程度值，使得获取的质量指标结果更加准确和细化。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文本质量指标获取方法的流程示意图；
图2为本发明实施例提供的一种生成词向量的示意图；
图3为本发明实施例提供的一种文本质量指标获取装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供的一种文本质量指标获取方法的流程，该流程可以由文本质量指标获取装置执行。在本发明实施例中，为了更好的解释本发明实施例所提供的文本质量指标获取方法，下面将以分布式开源软件kaska为例，来描述该文本质量指标获取的流程。
如图1所示，该流程具体包括：
步骤101，获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源。
在本发明实施例中，文本可以包括各种软件等使用文本来表达内容的事物，以开源软件为例，通过在搜索引擎中输入需要评测的开源软件的名称和关键词，提取词条，可以形成文本数据源。例如，通过搜索引擎搜索开源软件“Kafka”“kafka功能”等关键词组合，得到搜索结果。通过通用的爬虫技术对搜索结果的前N个词条(假设为1000条，词条越多，指标越全面)，获取结果信息的HTML(HyperText Markup Language，超文本标记语言)标签如title(标题)、text(文本)等，将结果存为一个文本文件。
可选的，文本数据源的获取方式不限于通过搜索引擎获取词条的Title标签，也可以通过解析网页，进行聚类分析等更多复杂预处理方式得到。
步骤102，使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量。
具体的，可以使用预设的神经网络语言模型对文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测当前词语的词向量。然后对每个词条进行遍历，就可以得到多个词语的词向量。该预设的神经网络语言模型(如CBOW(Continuous Bagof-Words，连续词袋)模型)可以是预设了一些参数的神经网络语言模型。
举例来说，使用基于神经网络语言模型对文本数据源中的词条进行训练，得到每个词语的词向量，通过词条语句中前后文单词如w t-2,w t-1,w t+1,w t+2来预测当前单词w t的向量表示。例如，其中一个单词为“发布”，则通过其前后文的单词如“版本”、“发布”、“时间”、“周期”、“产品”、“活跃度”等前后文，具体的可以如图2所示的预测词向量的流程。
可选的，上述CBOW模型也可以替换为改进CBOW模型或其他类似功能的模型。
步骤103，根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量。
在得到多个词语的词向量之后，就可以先将开源软件的多个语句进行分词，然后使用该多个词语的词向量对分词后的语句进行遍历，将多个语句中的词语转换为词向量，确定出多个语句的句子向量。
针对开源软件中的每一个语句进行分词，并使用步骤102中得到的词向量对分词后的结果进行遍历，得到每一个语句的句子向量(共N个句子向量，N为正整数)。例如，其中一个语句的内容为“软件的贡献者人数”，则提取“软件”、“贡献者”、“人数”三个词的对应向量为V 1,V 2,V 3，那么对应的句子向量就可以得到V＝(V 1,V 2,V 3)。
步骤104，对所述多个语句的句子向量进行去重，分为P类质量指标，保存P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数。
将步骤103中得到的多个语句的句子向量进行补齐，针对该多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离，可以将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。该第一阈值和第二阈值可以依据经验设置，其中，第一阈值大于第二阈值。例如，第一阈值可以设置为1，第二阈值可以设置为0.1。
对得到的N个句子向量进行补齐(以最长的向量长度为准)。对每一个句子向量，遍历其他句子向量，计算向量之间的欧式距离，如果距离小于阈值(假设取值为1)，那么两个句子向量可以认为是同一类。如果两个向量之间的距离小于0.1，说明两个句子几乎相同，保留其中之一即可，完成去重。最终，所有的语句在去掉相同句子向量的基础上被分为P类，也就是P类质量指标。完成分类后，保存每一类的句子向量对应的内容。
可选的，上述句子向量的分类、去重、确定质量指标除了本发明实施例 所示提供的方法得到外，也能通过改进算法，分类聚类过程得到近似处理结果。
得到该P类质量指标之后，可以根据该P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数，根据样本个数和构建森林的树的棵数构建决策树，然后遍历所有的决策树中质量指标的特征，在一次循环中，特征出现一次计数值加1，得到特征在森林中出现的次数，最后再根据每个特征在森林中出现的次数，就可以得到各类质量指标的重要程度值。
经过去重后的P类质量指标集合，经过补齐后的向量深度相同为n，则所有的特征数为P*n。通过随机森林生成决策树训练集的策略，从P类句子向量中通过重采样来获得训练样本。重复S次，产生S棵树。然后采用下述的流程对结果进行统计：
Figure PCTCN2018090878-appb-000001
其中，需要说明的是，Q n为质量指标的重要程度值；S是森林中树的个数；P为质量指标的个数；n为每个质量指标对应的句子向量的深度；f i为选取的特征；M为选取的特征数(P*n)。
首先，确定每次形成决策树利用的样本个数以及构建森林的树的棵树S(随机选取)，根据确定的每次随机选取的样本个数和树的棵树构建决策树。然后，遍历所有的决策树中的特征，在一次循环中，特征数出现过一次就在计数值上加1，θ i＝θ i+1。特征遍历结束后，得到每一个特征在森林中出现的 次数。最后，对P类质量指标进行排序计算。根据每个特征在整个森林中出现的次数，得到针对某一类指标的重要程度值。即各个评测的质量指标对应的Q的值，值越大说明评测的质量指标越重要。如表1所示，表1中各个评测的质量指标对应的Q的值即为统计结果，值越大说明质量指标越重要，如果一些值远远小于其他值，那么这个评测的质量指标可以忽略不计。
表1
Figure PCTCN2018090878-appb-000002
步骤105，根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
具体的，根据步骤104中保存P类质量质量的句子向量对应的内容，找出各类质量指标p n的每个特征对应的名称，最终根据p n筛选和排序得到需要评测的质量指标的明细，以及重要性排序。该质量指标的明细也就是该质量指标的句子向量对应的内容。
上述实施例表明，通过获取文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源，使用预设的神经网络语言模型对文本数据源中的词条进行训练，得到多个词语的词向量，根据多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量，对多个语句的句子向量进行去重，分为P类质量指标，保存P类质量指标的句子向量对应的内容，并基于随机森林确定P类质量指标的重要程度值，根据P类质量指标的句子向量对应的 内容和P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。通过将文本的语句量化为向量，得到质量指标集合，提高了后续排序的准确率，基于随机森林得到质量指标的重要程度值，使得获取的质量指标结果更加准确和细化。
基于相同的技术构思，图3示例性的示出了本发明实施例提高的一种文本质量指标获取装置，该装置可以执行文本质量指标获取的流程。
如图3所示，该装置包括：
生成单元301，用于获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
确定单元302，用于使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；以及根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
去重单元303，用于对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
处理单元304，用于根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
可选的，所述确定单元302具体用于：
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
对每个词条进行遍历，得到多个词语的词向量。
可选的，所述确定单元302具体用于：
将所述文本的多个语句进行分词；
使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
可选的，所述去重单元303具体用于：
将所述多个语句的句子向量进行补齐；
针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
可选的，所述去重单元303具体用于：
根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
根据所述样本个数和构建森林的树的棵数构建决策树；
遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
基于相同的构思，本发明还提供一种电子设备，如图4所示，包括处理器401、存储器402、收发机403、总线接口404，其中处理器401、存储器402与收发机403之间通过总线接口404连接；
所述收发机403，用于获取文本的名称和关键词；
所述处理器401，用于根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；
根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序；
所述存储器402，用于存储一个或多个可执行程序，可以存储所述处理器在执行操作时所使用的数据；
所述总线接口404，用于提供接口。
所述处理器401具体用于，使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
对每个词条进行遍历，得到多个词语的词向量。
所述处理器401具体用于：
将所述文本的多个语句进行分词；
使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
所述处理器401具体用于：
将所述多个语句的句子向量进行补齐；
针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
可选的，所述处理器401具体用于：
根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
根据所述样本个数和构建森林的树的棵数构建决策树；
遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述 第一方面中任一实施例所述文本质量指标获取方法。
本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述第一方面中任一实施例所述文本质量指标获取方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要 求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (17)

  1. 一种文本质量指标获取方法，其特征在于，包括：
    获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
    使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；
    根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
    对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
    根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
  2. 如权利要求1所述的方法，其特征在于，所述使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量，包括：
    使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
    对每个词条进行遍历，得到多个词语的词向量。
  3. 如权利要求1所述的方法，其特征在于，所述根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量，包括：
    将所述文本的多个语句进行分词；
    使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
  4. 如权利要求1所述的方法，其特征在于，所述对多个语句的句子向量进行去重，分为P类质量指标，包括：
    将所述多个语句的句子向量进行补齐；
    针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
    将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
  5. 如权利要求1所述的方法，其特征在于，所述基于随机森林确定所述P类质量指标的重要程度值，包括：
    根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
    根据所述样本个数和构建森林的树的棵数构建决策树；
    遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
    根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
  6. 一种文本质量指标获取装置，其特征在于，包括：
    生成单元，用于获取文本的名称和关键词，并根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
    确定单元，用于使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；以及根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语句的句子向量；
    去重单元，用于对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
    处理单元，用于根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序。
  7. 如权利要求6所述的装置，其特征在于，所述确定单元具体用于：
    使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
    对每个词条进行遍历，得到多个词语的词向量。
  8. 如权利要求6所述的装置，其特征在于，所述确定单元具体用于：
    将所述文本的多个语句进行分词；
    使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
  9. 如权利要求6所述的装置，其特征在于，所述去重单元具体用于：
    将所述多个语句的句子向量进行补齐；
    针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
    将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
  10. 如权利要求6所述的装置，其特征在于，所述去重单元具体用于：
    根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
    根据所述样本个数和构建森林的树的棵数构建决策树；
    遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
    根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
  11. 一种电子设备，其特征在于，包括处理器、存储器、收发机、总线接口，其中处理器、存储器与收发机之间通过总线接口连接；
    所述收发机，用于获取文本的名称和关键词；
    所述处理器，用于根据所述文本的名称和关键词，在搜索引擎中提取词条，生成文本数据源；
    使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，得到多个词语的词向量；
    根据所述多个词语的词向量和所述文本的多个语句，确定出所述多个语 句的句子向量；
    对所述多个语句的句子向量进行去重，分为P类质量指标，保存所述P类质量指标的句子向量对应的内容，并基于随机森林确定所述P类质量指标的重要程度值，P为正整数；
    根据所述P类质量指标的句子向量对应的内容和所述P类质量指标的重要程度值，获取需要评测的质量指标的明细和重要性排序；
    所述存储器，用于存储一个或多个可执行程序，可以存储所述处理器在执行操作时所使用的数据；
    所述总线接口，用于提供接口。
  12. 如权利要求11所述的设备，其特征在于，所述处理器具体用于：
    使用预设的神经网络语言模型对所述文本数据源中的词条进行训练，通过词条语句中当前词语的前后文词语预测所述当前词语的词向量；
    对每个词条进行遍历，得到多个词语的词向量。
  13. 如权利要求11所述的设备，其特征在于，所述处理器具体用于：
    将所述文本的多个语句进行分词；
    使用所述多个词语的词向量对分词后的语句进行遍历，将所述多个语句中的词语转换为词向量，确定出多个语句的句子向量。
  14. 如权利要求11所述的设备，其特征在于，所述处理器具体用于：
    将所述多个语句的句子向量进行补齐；
    针对所述多个句子向量中任意一个句子向量，遍历其他的句子向量，计算向量之间的欧式距离；
    将欧式距离小于第一阈值的两个句子向量确定为同一类质量指标，将欧式距离小于第二阈值的两个句子向量确定为相同的句子向量，进行去重，得到P类质量指标。
  15. 如权利要求11所述的设备，其特征在于，所述处理器具体用于：
    根据所述P类质量指标，确定每次形成决策树利用的样本个数和构建森林的树的棵数；
    根据所述样本个数和构建森林的树的棵数构建决策树；
    遍历所有的决策树中质量指标的特征，在一次循环中，所述特征出现一次计数值加1，得到所述特征在森林中出现的次数；
    根据每个特征在森林中出现的次数，得到各类质量指标的重要程度值。
  16. 一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至5任一项所述的方法。
  17. 一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1～5任一所述方法。
PCT/CN2018/090878 2017-12-29 2018-06-12 一种文本质量指标获取方法及装置 Ceased WO2019128124A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711484243.7A CN108182175B (zh) 2017-12-29 2017-12-29 一种文本质量指标获取方法及装置
CN201711484243.7 2017-12-29

Publications (1)

Publication Number Publication Date
WO2019128124A1 true WO2019128124A1 (zh) 2019-07-04

Family

ID=62549266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/090878 Ceased WO2019128124A1 (zh) 2017-12-29 2018-06-12 一种文本质量指标获取方法及装置

Country Status (3)

Country Link
CN (1) CN108182175B (zh)
TW (1) TWI689825B (zh)
WO (1) WO2019128124A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858898A (zh) * 2020-07-30 2020-10-30 中国科学院自动化研究所 基于人工智能的文本处理方法、装置及电子设备
KR20210037934A (ko) * 2019-09-30 2021-04-07 한국과학기술원 개인정보보호 정책서 분석 기반 개인정보 수집/활용자의 신뢰도 평가 방법 및 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984675B (zh) * 2018-07-02 2019-08-13 北京百度网讯科技有限公司 基于评价的数据查询方法和装置
CN109472305A (zh) * 2018-10-31 2019-03-15 国信优易数据有限公司 答案质量确定模型训练方法、答案质量确定方法及装置
CN110032723B (zh) * 2018-12-17 2023-06-02 创新先进技术有限公司 句子分类的测试方法、装置、服务器及可读存储介质
US11080317B2 (en) * 2019-07-09 2021-08-03 International Business Machines Corporation Context-aware sentence compression
CN111144546B (zh) * 2019-10-31 2024-01-02 平安创科科技(北京)有限公司 评分方法、装置、电子设备及存储介质
CN110853649A (zh) * 2019-11-05 2020-02-28 集奥聚合(北京)人工智能科技有限公司 基于智能语音技术的标签提取方法、系统、设备及介质
CN111259665B (zh) * 2020-01-14 2023-05-30 成都潜在人工智能科技有限公司 一种基于神经网络的交互式歌词生成方法及系统
CN111414748A (zh) * 2020-03-17 2020-07-14 集奥聚合(北京)人工智能科技有限公司 话务数据处理方法及装置
CN112287664B (zh) * 2020-12-28 2021-04-06 望海康信(北京)科技股份公司 文本指标数据解析方法、系统及相应设备和存储介质
TWI844473B (zh) * 2023-09-11 2024-06-01 卡米爾股份有限公司 利用線上大語言模型處理機密資料之系統及方法
CN119202248B (zh) * 2024-09-02 2025-04-29 浙江有数数智科技有限公司 一种预测模型的获取方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110173191A1 (en) * 2010-01-14 2011-07-14 Microsoft Corporation Assessing quality of user reviews
CN106021410A (zh) * 2016-05-12 2016-10-12 中国科学院软件研究所 一种基于机器学习的源代码注释质量评估方法
CN106326346A (zh) * 2016-08-06 2017-01-11 上海高欣计算机系统有限公司 文本分类方法及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241330B1 (ko) * 2010-11-17 2013-03-11 한국과학기술정보연구원 술어-논항구조 기반의 관계 식별 방법 및 장치
TWI446283B (zh) * 2010-12-31 2014-07-21 104 Corp 履歷分析方法
CN103150303B (zh) * 2013-03-08 2016-01-20 北京理工大学 汉语语义格分层识别方法
CN103744984B (zh) * 2014-01-15 2017-01-25 北京理工大学 一种利用语义信息检索文档的方法
CN104573046B (zh) * 2015-01-20 2018-07-31 成都品果科技有限公司 一种基于词向量的评论分析方法及系统
CN105975555A (zh) * 2016-05-03 2016-09-28 成都数联铭品科技有限公司 一种基于双向递归神经网络的企业简称提取方法
CN107423304A (zh) * 2016-05-24 2017-12-01 百度在线网络技术（北京）有限公司 检索词分类方法及装置
CN107404473A (zh) * 2017-06-06 2017-11-28 西安电子科技大学 基于Mshield机器学习多模式Web应用防护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110173191A1 (en) * 2010-01-14 2011-07-14 Microsoft Corporation Assessing quality of user reviews
CN106021410A (zh) * 2016-05-12 2016-10-12 中国科学院软件研究所 一种基于机器学习的源代码注释质量评估方法
CN106326346A (zh) * 2016-08-06 2017-01-11 上海高欣计算机系统有限公司 文本分类方法及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037934A (ko) * 2019-09-30 2021-04-07 한국과학기술원 개인정보보호 정책서 분석 기반 개인정보 수집/활용자의 신뢰도 평가 방법 및 장치
KR102296420B1 (ko) * 2019-09-30 2021-09-01 한국과학기술원 개인정보보호 정책서 분석 기반 개인정보 수집/활용자의 신뢰도 평가 방법 및 장치
CN111858898A (zh) * 2020-07-30 2020-10-30 中国科学院自动化研究所 基于人工智能的文本处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN108182175A (zh) 2018-06-19
TW201931164A (zh) 2019-08-01
CN108182175B (zh) 2021-01-05
TWI689825B (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI689825B (zh) 一種文件品質指標獲取方法及裝置
AU2017243270B2 (en) Method and device for extracting core words from commodity short text
WO2022110637A1 (zh) 问答对话评测方法、装置、设备及存储介质
CN104572958B (zh) 一种基于事件抽取的敏感信息监控方法
WO2019200806A1 (zh) 文本分类模型的生成装置、方法及计算机可读存储介质
US20180357302A1 (en) Method and device for processing a topic
US20180260860A1 (en) A computer-implemented method and system for analyzing and evaluating user reviews
CN109471942B (zh) 基于证据推理规则的中文评论情感分类方法及装置
CN110287409B (zh) 一种网页类型识别方法及装置
CN108021651B (zh) 一种网络舆情风险评估方法及装置
CN105279277A (zh) 知识数据的处理方法和装置
CN104598535A (zh) 一种基于最大熵的事件抽取方法
CN109615001B (zh) 一种识别相似文章的方法和装置
CN105354327A (zh) 一种基于大数据分析的接口api推荐方法及系统
CN106649276A (zh) 标题中核心产品词的识别方法以及装置
CN103559174A (zh) 语义情感分类特征值提取方法及系统
CN108228612B (zh) 一种提取网络事件关键词以及情绪倾向的方法及装置
CN118606462A (zh) 一种文档相似度计算查重方法及系统
CN110888983A (zh) 一种正负面情感分析方法、终端设备及存储介质
CN117372094A (zh) 基于画像系统的信息推荐方法、装置、电子设备及介质
CN105786929B (zh) 一种信息监测方法及装置
CN106815209B (zh) 一种维吾尔文农业技术术语识别方法
CN107368464B (zh) 一种获取招标产品信息的方法及装置
CN110727767B (zh) 一种扩展文本样本的方法及系统
CN115481240B (zh) 一种数据资产质量检测方法和检测装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18896541

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18896541

Country of ref document: EP

Kind code of ref document: A1