WO2017107696A1 - 带权重的文章标识方法和装置 - Google Patents

带权重的文章标识方法和装置 Download PDF

Info

Publication number
WO2017107696A1
WO2017107696A1 PCT/CN2016/105354 CN2016105354W WO2017107696A1 WO 2017107696 A1 WO2017107696 A1 WO 2017107696A1 CN 2016105354 W CN2016105354 W CN 2016105354W WO 2017107696 A1 WO2017107696 A1 WO 2017107696A1
Authority
WO
WIPO (PCT)
Prior art keywords
words
article
weight
value
title
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/105354
Other languages
English (en)
French (fr)
Inventor
张伸正
魏少俊
陈培军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Publication of WO2017107696A1 publication Critical patent/WO2017107696A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering

Definitions

  • the present invention relates to the field of computers, and in particular, to a weighted article identification method and apparatus.
  • the present invention has been made in order to provide a weighted article identification method and apparatus that overcomes the above problems or at least partially solves the above problems.
  • a weighted article identification method comprising: segmenting a title corresponding to an article to obtain a plurality of words; calculating a weight value of the plurality of words; and weight values of the plurality of words Responding to the degree of importance of the plurality of words in the article; expanding the number of at least one of the plurality of words in the title corresponding to the article according to the weight value of the plurality of words, so that the plurality of words The number of words corresponds to the weight value of the plurality of words; the article is identified with the expanded title.
  • the foregoing method calculating a weight value of the plurality of words, specifically: counting a word frequency of the plurality of words in the article, and calculating a word frequency according to the plurality of words in the article The weight value of the plurality of words.
  • the foregoing method before expanding the number of at least one of the plurality of words in the title corresponding to the article according to the weight value of the plurality of words, further comprising: the plurality of words The weight value is adjusted such that the weight values of the plurality of words are integer multiples of the preset value.
  • the foregoing method after adjusting the weight value of the plurality of words, such that the weight values of the plurality of words are all integer multiples of the preset value, further comprising: according to the plurality of words The minimum value in the weight value sets the preset value.
  • the foregoing method by using the extended title to identify the article, specifically includes: identifying the article by taking a minimum hash value of the extended title.
  • a weighted article identification device comprising: a word segmentation module adapted to perform word segmentation on a title corresponding to an article to obtain a plurality of words; a weight value calculation module adapted to calculate the plurality of words a weight value of the word; a weight value of the plurality of words reflects an importance degree of the plurality of words in the article; an extension module adapted to expand a title corresponding to the article according to a weight value of the plurality of words The number of at least one of the plurality of words, the number of the plurality of words is corresponding to the weight value of the plurality of words; and the identification module is adapted to identify the article with the expanded title.
  • the weight value calculation module calculates a word frequency of the plurality of words in the article, and calculates a weight of the plurality of words according to a word frequency of the plurality of words in the article. value.
  • the foregoing apparatus further includes: a weight adjustment module, configured to adjust weight values of the plurality of words such that weight values of the plurality of words are integer multiples of preset values.
  • the foregoing apparatus further includes: a setting module, configured to set the preset value according to a minimum value of the weight values of the plurality of words.
  • the identifier module identifies the article by taking a minimum hash value of the extended title.
  • a computer program comprising computer readable code, when said computer readable code is run on a computing device, causing said computing device to perform said weighted article identification method.
  • a computer readable medium wherein the computer program is stored.
  • the weight value is calculated for each word according to the importance degree of each word in the article title, and the corresponding word in the article title is expanded according to the weight value, and the weight value in the expanded title is larger.
  • the proportion of words increases, which is equivalent to the expanded title can also reflect the importance of multiple words in the article, so when you need to analyze the problem according to the importance of multiple words in the article, you can use the expanded title instead of the article to use. .
  • FIG. 1 is a flow chart schematically showing a weighted article identification method according to an embodiment of the present invention
  • FIG. 2 is a block diagram schematically showing a weighted article identification device in accordance with one embodiment of the present invention
  • FIG. 3 is a block diagram schematically showing a weighted article identification device in accordance with one embodiment of the present invention.
  • FIG. 4 is a block diagram schematically showing a computing device for performing a weighted article identification method in accordance with the present invention
  • Fig. 5 schematically shows a storage unit for holding or carrying program code implementing the weighted article identification method according to the present invention.
  • a weighted article identification method in an embodiment of the present invention includes:
  • step 110 word segmentation is performed on the title corresponding to the article to obtain a plurality of words. For example, corresponding to the headline of a certain news, "The Star New Film Scale", the word segmentation is divided into several words: star, new film, scale, and big.
  • Step 120 Calculate weight values of multiple words; weight values of multiple words reflect the importance of multiple words in the article.
  • the weight value is calculated. For example, if a word matches the current hotspot event, the word is given a higher weight value.
  • Step 130 Expand the number of at least one of the plurality of words in the title corresponding to the article according to the weight value of the plurality of words, so that the number of the plurality of words corresponds to the weight value of the plurality of words.
  • the star has a weight value of 0.2
  • the new film has a weight value of 0.1
  • the expanded title may be "Star Star New Film Scale”. It can be seen that in the expanded title, the important words are relatively large, so the expanded title can reflect which words in the news are more important.
  • step 140 the article is identified by the expanded title.
  • the words with high weights in the expanded title are repeated more frequently, and the number of repeated words with low weight is less, which can reflect the importance of multiple words of the article, so it is important to need multiple words according to the article.
  • a weighted article identification method is provided.
  • the step 120 includes:
  • the word frequency of multiple words in the article is counted, and the weight values of multiple words are calculated according to the word frequency of multiple words in the article.
  • the more important the word appears in the article the higher the frequency, so the weight of the plurality of words can be judged according to the word frequency.
  • a weighted article identification method is provided.
  • the weighted article identification method of the present embodiment, before the step 130, further includes:
  • the weight values of the plurality of words are adjusted such that the weight values of the plurality of words are integer multiples of the preset values.
  • the number of words in the title can only be increased by an integer, it is necessary to adjust the weight values of the multiple words, so that the ratio of the weight values of the multiple words is not too complicated, resulting in expansion in the title. A large number of words, which affect the briefness of the title.
  • a weighted article identification method is provided.
  • the weighted article identification method of the present embodiment, before the step 130, further includes:
  • the preset value is set according to the minimum value among the weight values of the plurality of words.
  • the minimum value among the weight values of the plurality of words is set to a preset value such that at least one word in the title appears only once, so that the length of the title can be guaranteed not to be too long.
  • a weighted article identification method is provided.
  • the step 140 includes:
  • the article is identified by taking the minimum hash value of the expanded title.
  • the value may be related to "European style clothing”
  • the weight of the "star” can be calculated according to the weight such as (tfidf, word frequency). For example, the weight of "star” in this article is 0.4, the weight of "new film” is 0.2, and the weight of other words is 0.1.
  • the title will be expanded to "star star star star new film new film scale big workplace sorcerer fan has to wear this", and then calculate the minimum hash value, then the value can reflect the different importance of multiple words.
  • a weighted article identification device in an embodiment of the present invention includes:
  • the word segmentation module 210 is adapted to segment the title corresponding to the article to obtain a plurality of words. For example, corresponding to the headline of a certain news, "The Star New Film Scale", the word segmentation is divided into several words: star, new film, scale, and big.
  • the weight value calculation module 220 is adapted to calculate weight values of the plurality of words; the weight values of the plurality of words reflect the importance of the plurality of words in the article.
  • the weight value is calculated. For example, if a word matches the current hotspot event, the word is given a higher weight value.
  • the expansion module 230 is adapted to expand the number of at least one of the plurality of words in the title corresponding to the article according to the weight value of the plurality of words, so that the number of the plurality of words corresponds to the weight value of the plurality of words.
  • the star has a weight value of 0.2
  • the new film has a weight value of 0.1
  • the expanded title may be "Star Star New Film Scale”. It can be seen that in the expanded title, the important words are relatively large, so the expanded title can reflect which words in the news are more important.
  • the identification module 240 is adapted to identify the article with the expanded title.
  • the words with high weights in the expanded title are repeated more frequently, and the number of repeated words with low weight is less, which can reflect the importance of multiple words in the article, so the importance of multiple words according to the article is needed.
  • a weighted article identification device is provided.
  • the weight value calculation module 220 is adapted to count multiple The word frequency of the word in the article, based on the word frequency of multiple words in the article, calculate the weight value of multiple words.
  • the more important the word appears in the article the higher the frequency, so the weight of the plurality of words can be judged according to the word frequency.
  • another embodiment of the present invention provides a weighted article identification device.
  • the weighted article identification device of the present embodiment further includes:
  • the weight adjustment module 310 is adapted to adjust the weight values of the plurality of words such that the weight values of the plurality of words are integer multiples of the preset value.
  • the weight values of the plurality of words are integer multiples of the preset value.
  • a weighted article identification device in another embodiment of the present invention, is provided.
  • the weighted article identification device of the embodiment further includes:
  • the setting module 320 is adapted to set a preset value according to a minimum value among the weight values of the plurality of words.
  • the minimum value among the weight values of the plurality of words is set to a preset value such that at least one word in the title appears only once, so that the length of the title can be guaranteed not to be too long.
  • a weighted article identification device is provided.
  • the identification module 140 is adapted to take the expanded title.
  • the minimum hash value identifies the article.
  • the weight of the "star” can be calculated according to the weight such as (tfidf, word frequency).
  • the weight of "star” in this article is 0.4, the weight of "new film” is 0.2, and the weight of other words is 0.1. Then, the title will be expanded to "star star star star new film new film scale big workplace sorcerer fan has to wear this", and then calculate the minimum hash value, then the value can reflect the different importance of multiple words.
  • modules in the devices of the embodiments can be adaptively changed and placed in one or more devices different from the embodiment.
  • the modules or units or components of the embodiments may be combined into one module or unit or component, and further they may be divided into a plurality of sub-modules or sub-units or sub-components.
  • any combination of the present specification including accompanying claims, abstracts and drawings) may be employed. All features of the invention, as well as all processes or units of any method or device so disclosed, are combined.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the functionality of some or all of the components of the weighted article identification device in accordance with embodiments of the present invention.
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 4 illustrates a computing device that can implement a weighted article identification method in accordance with the present invention.
  • the computing device conventionally includes a processor 410 and a computer program product or computer readable medium in the form of a memory 420.
  • the memory 420 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • Memory 420 has a memory space 430 for program code 431 for performing any of the method steps described above.
  • storage space 430 for program code may include various program code 431 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • These computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks. Such computer program products are typically portable or fixed storage units as described with reference to FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to memory 420 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit includes computer readable code 431', ie, code readable by a processor, such as 410, that when executed by a computing device causes the computing device to perform each of the methods described above step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种带权重的文章标识方法和装置，该方法包括：对文章对应的标题进行分词得到多个词（110）；计算多个词的权重值，多个词的权重值反应多个词在文章中的重要程度（120）；根据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应（130）；以扩展后的标题对文章进行标识（140）。该方法，根据文章标题中各个词的重要程度为各个词计算了权重值，并根据权重值大小对文章标题中相应的词进行了扩展，扩展后的标题中权重值较大的词占比增大，这相当于扩展后的标题也能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。

Description

带权重的文章标识方法和装置 技术领域
本发明涉及计算机领域，尤其涉及一种带权重的文章标识方法和装置。
背景技术
在互联网领域中，对于互联网中存在的文章，由于其文章往往包括较多内容不适合直接记录或使用，通常取文章的标题来代表整篇文章，因为标题通常具有文章的简要内容。
上述方案的缺陷在于：由于文章中的内容重要程度不同，而文章内容的重要程度无法在标题中反映出来，如何需要按文章重要程度分析问题时，则文章标题无法使用。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的带权重的文章标识方法和装置。
根据本发明的一个方面，提供了一种带权重的文章标识方法，包括：对文章对应的标题进行分词得到多个词；计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；以扩展后的标题对所述文章进行标识。
可选地，前述的方法，计算所述多个词的权重值，具体包括：统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。
可选地，前述的方法，在根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量之前，还包括：对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。
可选地，前述的方法，在对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍之前，还包括：根据所述多个词的权重值中的最小值设置所述预设值。
可选地，前述的方法，以扩展后的标题对所述文章进行标识，具体包括：取所述扩展后的标题的最小哈希值对所述文章进行标识。
根据本发明的另一个方面，提供了一种带权重的文章标识装置，包括：分词模块，适于对文章对应的标题进行分词得到多个词；权重值计算模块，适于计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；扩展模块，适于根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；标识模块，适于以扩展后的标题对所述文章进行标识。
可选地，前述的装置，所述权重值计算模块统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。
可选地，前述的装置，还包括：权值调整模块，用于对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。
可选地，前述的装置，还包括：设置模块，用于根据所述多个词的权重值中的最小值设置所述预设值。
可选地，前述的装置，所述标识模块取所述扩展后的标题的最小哈希值对所述文章进行标识。
根据本发明的又一个方面，提供了一种计算机程序，其包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行所述的带权重的文章标识方法。
根据本发明的再一个方面，提供了一种计算机可读介质，其中存储了所述的计算机程序。
本发明的有益效果为：
在本发明的技术方案中，根据文章标题中各个词的重要程度为各个词计算了权重值，并根据权重值大小对文章标题中相应的词进行了扩展，扩展后的标题中权重值较大的词占比增大，这相当于扩展后的标题也能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示意性示出了根据本发明的一个实施例的带权重的文章标识方法的流程图；
图2示意性示出了根据本发明的一个实施例的带权重的文章标识装置的框图；
图3示意性示出了根据本发明的一个实施例的带权重的文章标识装置的框图；
图4示意性地示出了用于执行根据本发明的带权重的文章标识方法的计算设备的框图；以及
图5示意性地示出了用于保持或者携带实现根据本发明的带权重文章标识方法的程序代码的存储单元。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步的描述。
虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的一个实施例中一种带权重的文章标识方法，包括：
步骤110，对文章对应的标题进行分词得到多个词。例如，对应某个新闻的标题《明星新片尺度大》，对其分词得到多个词为：明星、新片、尺度、大。
步骤120，计算多个词的权重值；多个词的权重值反应多个词在文章中的重要程度。在本实施例中，对于计算权重值的方式不进行限制，例如，假设某个词与当前的热点事件匹配，则赋予该词较高的权重值。
步骤130，据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应。在本实施例中，例如，对于标题《明星新片尺度大》，明星的权重值为0.2，新片的权重值为0.1，则扩展的标题可以是《明星明星新片尺度大》。可见，扩展后的标题中，重要的词占比较大，所以扩展后的标题中可以体现出新闻中哪些词的重要程度较大。
步骤140，以扩展后的标题对文章进行标识。在本实施例中，扩展后的标题中权重高的词重复的次数多，权重低的词重复次数少，其能体现文章的多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。
本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法中，步骤120，具体包括：
统计多个词在文章中的词频，根据多个词在文章中的词频，计算多个词的权重值。在本实施例中，越重要的词在文章中出现的频率就越高，所以根据词频可以判断多个词的权重。
本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，在步骤130之前，还包括：
对多个词的权重值进行调整，使得多个词的权重值均为预设值的整数倍。在本实施例中，由于标题中词的个数只能够按整数进行增加，所以需要对多个词的权重值进行调整，使得多个词的权重值的比值不至过于复杂，导致标题中扩展了大量的词，从而影响了标题的简要性。
本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法，在步骤130之前，还包括：
根据多个词的权重值中的最小值设置预设值。在本实施例中，将多个词的权重值中的最小值设置预设值，使得标题中的至少一个词只出现一次，从而可以保证标题的长度不至过长。
本发明的另一实施例中提供了一种带权重的文章标识方法，相比于前述的实施例，本实施例的带权重的文章标识方法中，步骤140，具体包括：
取扩展后的标题的最小哈希值对文章进行标识。根据本实施例的技术方案，例如对于一篇文章《明星新片尺度大职场御姐范儿就得这么穿》，如果直接用标题的最小哈希值标识文章，则该值可能与《欧美风服饰搭配晋级职场御姐范儿》这些文章对应的值相近，但两篇文章的重点并不相同。本实施例中，可以根据权重比如(tfidf，词频)算出“明星”的权重比较高，比如这篇文章中“明星”的权重为0.4，“新片”的权重为0.2，其他词的权重为0.1，那么将标题扩展为《明星明星明星明星新片新片尺度大职场御姐范儿就得这么穿》，再计算最小哈希值，则得到的值能够反映多个词的不同重要程度。
如图2所示，本发明的一个实施例中一种带权重的文章标识装置，包括：
分词模块210，适于对文章对应的标题进行分词得到多个词。例如，对应某个新闻的标题《明星新片尺度大》，对其分词得到多个词为：明星、新片、尺度、大。
权重值计算模块220，适于计算多个词的权重值；多个词的权重值反应多个词在文章中的重要程度。在本实施例中，对于计算权重值的方式不进行限制，例如，假设某个词与当前的热点事件匹配，则赋予该词较高的权重值。
扩展模块230，适于根据多个词的权重值，扩展文章对应的标题中多个词中至少一个词的数量，使多个词的数量与多个词的权重值相对应。在本实施例中，例如，对于标题《明星新片尺度大》，明星的权重值为0.2，新片的权重值为0.1，则扩展的标题可以是《明星明星新片尺度大》。可见，扩展后的标题中，重要的词占比较大，所以扩展后的标题中可以体现出新闻中哪些词的重要程度较大。
标识模块240，适于以扩展后的标题对文章进行标识。在本实施例中，扩展后的标题中权重高的词重复的次数多，权重低的词重复次数少，其能体现文章多个词的重要程度，所以在需要根据文章多个词的重要程度分析问题时，可以使用扩展后的标题替代文章进行使用。
本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置中，权重值计算模块220，适于统计多个词在文章中的词频，根据多个词在文章中的词频，计算多个词的权重值。在本实施例中，越重要的词在文章中出现的频率就越高，所以根据词频可以判断多个词的权重。
如图3所示，本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，还包括：
权值调整模块310，适于对多个词的权重值进行调整，使得多个词的权重值均为预设值的整数倍。在本实施例中，由于标题中词的个数只能够按整数进行增加，所以需要对多个词的权重值进行调整，使得多个词的权重值的比值不至过于复杂，导致标题中扩展了大量的词，从而影响了标题的简要性。
本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置，还包括：
设置模块320，适于根据多个词的权重值中的最小值设置预设值。在本实施例中，将多个词的权重值中的最小值设置预设值，使得标题中的至少一个词只出现一次，从而可以保证标题的长度不至过长。
本发明的另一实施例中提供了一种带权重的文章标识装置，相比于前述的实施例，本实施例的带权重的文章标识装置中，标识模块140，适于取扩展后的标题的最小哈希值对文章进行标识。根据本实施例的技术方案，例如对于一篇文章《明星新片尺度大职场御姐范儿就得这么穿》，如果直接用标题的最小哈希值标识文章，则该值可能与《欧美风服饰搭配晋级职场御姐范儿》这些文章对应的值相近，但两篇文 章的重点并不相同。本实施例中，可以根据权重比如(tfidf，词频)算出“明星”的权重比较高，比如这篇文章中“明星”的权重为0.4，“新片”的权重为0.2，其他词的权重为0.1，那么将标题扩展为《明星明星明星明星新片新片尺度大职场御姐范儿就得这么穿》，再计算最小哈希值，则得到的值能够反映多个词的不同重要程度。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公 开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的带权重的文章标识装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图4示出了可以实现根据本发明的带权重的文章标识方法的计算设备。该计算设备传统上包括处理器410和以存储器420形式的计算机程序产品或者计算机可读介质。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有用于执行上述方法中的任何方法步骤的程序代码431的存储空间430。例如，用于程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个程序代码431。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图5所述的便携式或者固定存储单元。 该存储单元可以具有与图4的计算设备中的存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码431'，即可以由例如诸如410之类的处理器读取的代码，这些代码当由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (12)

  1. 一种带权重的文章标识方法，包括：
    对文章对应的标题进行分词得到多个词；
    计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；
    根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述多个词的权重值相对应；
    以扩展后的标题对所述文章进行标识。
  2. 根据权利要求1所述的方法，其中，计算所述多个词的权重值，具体包括：
    统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。
  3. 根据权利要求1-2任一项所述的方法，其中，在根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量之前，还包括：
    对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。
  4. 根据权利要求1-3任一项所述的方法，其中，在对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍之前，还包括：
    根据所述多个词的权重值中的最小值设置所述预设值。
  5. 根据权利要求1-4任一项所述的方法，其中，以扩展后的标题对所述文章进行标识，具体包括：
    取所述扩展后的标题的最小哈希值对所述文章进行标识。
  6. 一种带权重的文章标识装置，包括：
    分词模块，适于对文章对应的标题进行分词得到多个词；
    权重值计算模块，适于计算所述多个词的权重值；所述多个词的权重值反应所述多个词在所述文章中的重要程度；
    扩展模块，适于根据所述多个词的权重值，扩展所述文章对应的标题中所述多个词中至少一个词的数量，使所述多个词的数量与所述 多个词的权重值相对应；
    标识模块，适于以扩展后的标题对所述文章进行标识。
  7. 根据权利要求6所述的装置，其中，所述权重值计算模块，适于统计所述多个词在所述文章中的词频，根据所述多个词在所述文章中的词频，计算所述多个词的权重值。
  8. 根据权利要求6-7任一项所述的装置，其中，还包括：
    权值调整模块，适于对所述多个词的权重值进行调整，使得所述多个词的权重值均为预设值的整数倍。
  9. 根据权利要求6-8任一项的装置，其中，还包括：
    设置模块，适于根据所述多个词的权重值中的最小值设置所述预设值。
  10. 根据权利要求6-9任一项所述的装置，其中，所述标识模块，适于取所述扩展后的标题的最小哈希值对所述文章进行标识。
  11. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-5中的任一个所述的带权重的文章标识方法。
  12. 一种计算机可读介质，其中存储了如权利要求11所述的计算机程序。
PCT/CN2016/105354 2015-12-22 2016-11-10 带权重的文章标识方法和装置 Ceased WO2017107696A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510976010.3 2015-12-22
CN201510976010.3A CN105589847B (zh) 2015-12-22 2015-12-22 带权重的文章标识方法和装置

Publications (1)

Publication Number Publication Date
WO2017107696A1 true WO2017107696A1 (zh) 2017-06-29

Family

ID=55929437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/105354 Ceased WO2017107696A1 (zh) 2015-12-22 2016-11-10 带权重的文章标识方法和装置

Country Status (2)

Country Link
CN (1) CN105589847B (zh)
WO (1) WO2017107696A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589847B (zh) * 2015-12-22 2019-02-15 北京奇虎科技有限公司 带权重的文章标识方法和装置
KR101797234B1 (ko) 2016-12-07 2017-11-13 서강대학교 산학협력단 온라인 커뮤니티에서 동일 사용자의 닉네임 목록을 추출하는 장치 및 방법
CN108509545B (zh) * 2018-03-20 2021-11-23 北京云站科技有限公司 一种文章的评论处理方法及系统
CN108959263B (zh) * 2018-07-11 2022-06-03 北京奇艺世纪科技有限公司 一种词条权重计算模型训练方法及装置
CN110287280B (zh) * 2019-06-24 2023-09-29 腾讯科技（深圳）有限公司 一种分析文章中词的方法和装置、存储介质以及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
CN101079031A (zh) * 2006-06-15 2007-11-28 腾讯科技（深圳）有限公司 一种网页主题提取系统和方法
CN104978320A (zh) * 2014-04-02 2015-10-14 东华软件股份公司 一种基于相似度的知识推荐方法和设备
CN105103153A (zh) * 2013-03-06 2015-11-25 汤姆逊许可公司 视频的图像概要
CN105589847A (zh) * 2015-12-22 2016-05-18 北京奇虎科技有限公司 带权重的文章标识方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348222A (ja) * 2003-05-20 2004-12-09 Matsushita Electric Ind Co Ltd 自動販売機の商品収納装置
CN100520782C (zh) * 2007-11-09 2009-07-29 清华大学 一种基于词频和多元文法的新闻关键词抽取方法
CN102193936B (zh) * 2010-03-09 2013-09-18 阿里巴巴集团控股有限公司 一种数据分类的方法及装置
CN102831198A (zh) * 2012-08-07 2012-12-19 人民搜索网络股份公司 一种基于文档签名技术的相似文档识别装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
CN101079031A (zh) * 2006-06-15 2007-11-28 腾讯科技（深圳）有限公司 一种网页主题提取系统和方法
CN105103153A (zh) * 2013-03-06 2015-11-25 汤姆逊许可公司 视频的图像概要
CN104978320A (zh) * 2014-04-02 2015-10-14 东华软件股份公司 一种基于相似度的知识推荐方法和设备
CN105589847A (zh) * 2015-12-22 2016-05-18 北京奇虎科技有限公司 带权重的文章标识方法和装置

Also Published As

Publication number Publication date
CN105589847A (zh) 2016-05-18
CN105589847B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
JP6741110B2 (ja) イベント発見方法、装置、機器及びプログラム
CN104090912B (zh) 信息推送方法及装置
CN104464726B (zh) 一种相似音频的确定方法及装置
WO2019128526A1 (zh) 一种训练风控模型和风控的方法、装置及设备
WO2016015621A1 (zh) 人脸图片人名识别方法和系统
CN106571146B (zh) 噪音信号确定方法、语音去噪方法及装置
WO2014000536A1 (zh) 一种钓鱼网站识别系统及方法
WO2015184992A1 (zh) 一种识别重复图片的方法、图片搜索去重方法及其装置
CN103093761A (zh) 音频指纹检索方法及装置
WO2017107843A1 (zh) 周期性任务的处理方法和装置及计算机程序和可读介质
CN108197777A (zh) 一种调整风控规则的方法、装置及设备
CN107679186B (zh) 基于实体库进行实体搜索的方法及装置
CN105608143A (zh) 多副本数据一致性的检测方法及装置
US9390719B1 (en) Interest points density control for audio matching
CN105589847A (zh) 带权重的文章标识方法和装置
WO2016058520A1 (zh) 人脸图片人名识别方法和装置
CN106599247B (zh) LSM-tree结构中数据文件的合并方法及装置
CN106598997B (zh) 一种计算文本主题归属度的方法及装置
CN110609966A (zh) 一种页面显示方法、装置及其设备
WO2018113728A1 (zh) 公共WiFi钓鱼风险的检测方法和装置
CN105653546A (zh) 一种目标主题的检索方法和系统
WO2022134683A1 (zh) 在创作过程中生成已创作内容的脉络信息的方法与设备
WO2017107679A1 (zh) 一种历史信息展示方法及装置
US10109298B2 (en) Information processing apparatus, computer readable storage medium, and information processing method
WO2015176624A1 (zh) 突发时效性查询词识别方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16877507

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16877507

Country of ref document: EP

Kind code of ref document: A1