WO2023202170A1 - 产品词的消歧方法和装置 - Google Patents

产品词的消歧方法和装置 Download PDF

Info

Publication number
WO2023202170A1
WO2023202170A1 PCT/CN2023/071668 CN2023071668W WO2023202170A1 WO 2023202170 A1 WO2023202170 A1 WO 2023202170A1 CN 2023071668 W CN2023071668 W CN 2023071668W WO 2023202170 A1 WO2023202170 A1 WO 2023202170A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
word
ambiguous
words
product word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/071668
Other languages
English (en)
French (fr)
Inventor
李鹏
李勇
包勇军
颜伟鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Publication of WO2023202170A1 publication Critical patent/WO2023202170A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Definitions

  • Similarity comparison is made between the feature vector of the ambiguous product word and the entry vector of the candidate disambiguation entry to determine a replacement word for the ambiguous product word, and the replacement word is used to replace the ambiguous product word to perform product wording disambiguation processing.
  • an electronic device for product word disambiguation is provided.
  • a computer-readable medium has a computer program stored thereon.
  • the program is executed by a processor, the product word disambiguation method provided by the embodiment of the present disclosure is implemented.
  • Figure 1 is a schematic diagram of the main steps of a product word disambiguation method according to an embodiment of the present disclosure
  • Figure 5 is a schematic diagram of the entry structure of the ambiguity dictionary according to the embodiment of the present disclosure.
  • Figure 6 is a schematic diagram of the main modules of a product word disambiguation device according to an embodiment of the present disclosure
  • This disclosure does not require syntactic analysis and is suitable for text with weak structure such as product titles on e-commerce platforms;
  • Ambiguous word marking Traverse the product words in the product title. If it appears in the ambiguous dictionary, then the word is marked as an ambiguous product word;
  • Word meaning disambiguation Use the product title to calculate the vector representation of the product word, calculate the similarity with the entry vector in the ambiguity dictionary, and select the entry with the greatest similarity as the alternative word.
  • Figure 1 is a schematic diagram of the main steps of a product word disambiguation method according to an embodiment of the present disclosure.
  • the product word disambiguation method according to the embodiment of the present disclosure mainly includes the following steps S101 to S104.
  • Step S101 Traverse the list of product words to be disambiguated, and determine the product words appearing in the ambiguity dictionary as ambiguous product words.
  • the list of product words to be disambiguated can be determined by filtering after word segmentation based on description sentences.
  • the description sentences include multiple stacked but unrelated words, such as product titles in the e-commerce field.
  • the product title is such as "04 Stainless Steel Traction Pet Supplies Large Dog Golden Retriever German Shepherd Anti-Bite Leash 3mm Thick - 1.6 Meters Long", then the word list obtained after segmenting it is as follows in Table 1 Shown in the left column.
  • the right column shows the word tag corresponding to each word obtained after word segmentation.
  • Specific product words can be filtered out based on the word tag.
  • the label B-Product represents the beginning of the product word
  • the label I-Product represents the middle of the product word
  • the label O represents the non-product word.
  • Product words can be extracted through tags: start with the word corresponding to the tag B-Product, and continue to splice the words corresponding to the tag I-Product until you encounter the O tag. According to Table 1, it can be determined that the product words corresponding to the product title include "pet supplies" and "dog leash".
  • the ambiguous product words can be determined by comparing the product words in the product word list to be disambiguated with the pre-built ambiguity dictionary.
  • the ambiguity dictionary is built based on the synonym dictionary of product words.
  • the method of constructing a synonym dictionary is, for example, to mine candidate synonyms for product words, and then manually annotate the candidate synonyms to build a synonym dictionary.
  • Figure 2 is a schematic structural diagram of a thesaurus according to an embodiment of the present disclosure. As shown in Figure 2, each entry in the thesaurus includes an entry key and a synonym list of the entry. Entries can be expressed as key-value pairs, where the entry key is a single word and the entry value is a word list.
  • Each word in the word list is a synonym of the entry key.
  • the entry key is “Pet supplies” and the entry value is "Dog leash, dog leash, harness, litter pad, dog mat”.
  • “Mat” means "dog leash, dog leash, harness, nest mat, dog mat” and is a synonym for "pet supplies”. Entry keys are unique within the thesaurus.
  • Step S301 Train the description sentences included in the training set to build a product word encoding model
  • Step S302 Use the product word coding model to extract the feature vector of each product word in the synonym dictionary
  • Step S303 Determine whether the entry in the thesaurus is an ambiguous word according to the feature vector of the product word, where each entry includes no less than one product word;
  • Step S304 Segment the entries determined to be ambiguous words to build an ambiguity dictionary.
  • Figure 4 is a schematic flow diagram of the construction process of the product word encoding model according to the embodiment of the present disclosure.
  • the description sentences in the training set are trained to build a product word encoding model, which may specifically include:
  • Step S401 For each description sentence in the training set, extract product words from the description sentence to obtain a product word list.
  • the product title as a description sentence as an example, when extracting product words from the product title, it can be extracted through a pre-trained entity recognition model.
  • the entity recognition model is based on each product title in the training set and then annotated after word segmentation. Extracting product words;
  • the obtained feature vectors corresponding to all description sentences of the product word are averaged to obtain the feature vector of the product word.
  • step S304 the entries determined to be ambiguous words are segmented to construct an ambiguity dictionary, including:
  • Each cluster of the entries determined to be ambiguous words is treated as a new entry to construct an ambiguity dictionary.
  • the corresponding clusters can be obtained.
  • the average value of the feature vectors of the product words included in the cluster is used as the cluster vector for subsequent use.
  • the entries judged to be ambiguous words can be segmented, the product words included in each cluster cluster are used as a new entry, and the cluster vector of the cluster cluster corresponding to the new entry is As the entry vector of the new entry, the ambiguity dictionary is constructed by combining the entry vector.
  • FIG. 5 is a schematic diagram of the entry structure of the ambiguity dictionary according to the embodiment of the present disclosure.
  • each entry in the ambiguity dictionary includes four fields: entry key, synonym list of the entry, old entry key, and entry vector.
  • the entry key is obtained by combining the old entry key and the number of the cluster cluster; the old entry key uses the entry key of the synonym dictionary before splitting; the entry vector uses the cluster vector.
  • the old entry key "Pet Supplies”, its corresponding entry keys include “Pet Supplies-0" and “Pet Supplies-1”, and the entry key "Pet Supplies-0" is the same as the entry key "Pet Supplies-
  • the synonym lists for the terms included in 1" are different and are obtained based on the clustering results.
  • the entry vector corresponding to each entry key is also different.
  • Step S102 Obtain the candidate disambiguation entry corresponding to the ambiguous product word and the entry vector of the candidate disambiguation entry according to the ambiguity dictionary.
  • the product word is marked as an ambiguous product word, and accordingly , the corresponding entry in the ambiguity dictionary is used as a candidate disambiguation entry.
  • Step S103 Calculate the feature vector of the ambiguous product word according to the description sentence in which the ambiguous product word is located.
  • the description sentence includes multiple unrelated words that are stacked together.
  • the feature vector of the ambiguous product word can be calculated according to the description sentence where the ambiguous product word is located.
  • Step S104 Similarity comparison is made between the feature vector of the ambiguous product word and the entry vector of the candidate disambiguation entry to determine a replacement word for the ambiguous product word, and the replacement word is used to replace the ambiguous product word to Perform product word disambiguation processing.
  • the candidate disambiguation entry with the greatest similarity is selected as the replacement word for the ambiguous product word. For example, "pet supplies” is an ambiguous product word, and the related terms "pet supplies-0" and "pet supplies-1" in the ambiguity dictionary are candidate disambiguation terms.
  • the ambiguity dictionary building module (not shown in the figure) is also used to: for each description sentence in the training set, Extract product words from the description sentences to obtain a product word list; train a semantic representation model based on the product word list, and construct a product word encoding model to characterize each product word in the product word list extract.
  • each cluster of the entries determined to be ambiguous words is also used to: treat each cluster of the entries determined to be ambiguous words as a new entry to build an ambiguity dictionary.
  • the ambiguity dictionary building module (not shown in the figure) is also used to: use the cluster vector of the cluster cluster corresponding to the new term as the term vector of the new term , the cluster vector is the average value of the feature vectors of the product words included in the cluster cluster.
  • Candidate disambiguation terms and term vectors of the candidate disambiguation terms calculate the feature vector of the ambiguous product word according to the description sentence where the ambiguous product word is located, the description sentence includes multiple stacked but Irrelevant words; performing a similarity comparison between the feature vector of the ambiguous product word and the entry vector of the candidate disambiguation entry to determine a replacement word for the ambiguous product word, and using the replacement word to replace the ambiguous product Word processing, etc., and the processing results (such as disambiguation processing results - only examples) are fed back to the terminal device.
  • the computer-readable medium shown in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • the computer-readable storage medium may be, for example, but is not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or any combination thereof. More specific examples of computer readable storage media may include, but are not limited to: an electrical connection having one or more wires, a portable computer disk, a hard drive, random access memory (RAM), read only memory (ROM), removable Programmd read-only memory (EPROM or flash memory), fiber optics, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program for use by or in connection with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave, carrying computer-readable program code therein. Such propagated data signals may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the above.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium that can send, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device .
  • Program code embodied on a computer-readable medium may be transmitted using any suitable medium, including but not limited to: wireless, wire, optical cable, RF, etc., or any suitable combination of the foregoing.
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of code that contains one or more logic functions that implement the specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown one after another may actually execute substantially in parallel, or they may sometimes execute in the reverse order, depending on the functionality involved.
  • each block in the block diagram or flowchart illustration, and combinations of blocks in the block diagram or flowchart illustration can be implemented by special purpose hardware-based systems that perform the specified functions or operations, or may be implemented by special purpose hardware-based systems that perform the specified functions or operations. Achieved by a combination of specialized hardware and computer instructions.
  • the units or modules described in the embodiments of the present disclosure may be implemented in software or hardware.
  • the described unit or module can also be provided in a processor.
  • a processor includes an ambiguous product word determination module, a candidate disambiguation term determination module, a feature vector calculation module and an ambiguous product word replacement module.
  • the names of these units or modules do not constitute a limitation on the unit or module itself under certain circumstances.
  • the ambiguous product word determination module can also be described as “used to traverse the list of product words to be disambiguated and classify the ambiguities into Product words appearing in the dictionary are determined as modules of ambiguous product words.”
  • the ambiguous product words can be determined based on the built ambiguity dictionary without performing syntactic analysis. Determining ambiguous product words is more suitable for texts with less structure. The word disambiguation effect is good and the accuracy is high, which improves the accuracy of product matching results and web page information retrieval results; build an ambiguous dictionary based on the synonym dictionary of product words , using synonyms in the thesaurus as replacement words for disambiguation, avoiding the use of hyponyms for disambiguation, making the text understanding after disambiguation simple, and the output result is more specific and clear in meaning, and the output result is consistent with The original title product words are in the same space, making it easier to adapt to downstream applications; at the same time, because the construction cost of the product word ambiguity dictionary is low, it is conducive to the rapid inclusion of new product words and the dictionary expansion is fast.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了产品词的消歧方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；根据歧义词典获取歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；根据歧义产品词所在的描述语句计算歧义产品词的特征向量，描述语句包括多个堆叠在一起但不相关的词语；将歧义产品词的特征向量与候选消歧词条的词条向量进行相似比较以确定歧义产品词的替换词，使用替换词替换歧义产品词以进行产品词的消歧处理。

Description

产品词的消歧方法和装置
相关申请的交叉引用
本申请要求享有2022年4月21日提交的发明名称为“一种产品词的消歧方法和装置”的中国专利申请No.202210421185.8的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分或全部。
技术领域
本公开涉及计算机技术领域，尤其涉及一种产品词的消歧方法和装置。
背景技术
现有的词语消歧的方法，句法分析一般针对普通自然语言句子，并不适用于由多个词语堆叠、且不存在相关词的场景，例如电商平台的商品标题、网页描述标签词等场景，在这些场景下的词语消歧效果差、精确度低，使得商品匹配结果和网页信息的检索结果不够准确。
发明内容
有鉴于此，本公开实施例提供一种产品词的消歧方法和装置。
根据公开明实施例的一个方面，提供了一种产品词的消歧方法，包括：
遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；
根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；
根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；
将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
根据本公开的一个或多个实施例，所述歧义词典是通过以下方式来构建的：对训练集包括的描述语句进行训练以构建产品词编码模型；使用所述产品词编码模型提取同义词典中每个产品词的特征向量；根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，其中，每个词条包括不少于一个产品词；对判定为歧义词的词条进行切分构建歧义词典。
根据本公开的一个或多个实施例，对训练集中的描述语句进行训练以构建产品词编码模型，包括：对训练集中的每个描述语句，从所述描述语句中抽取产品词，得到产品词列表；基于所述产品词列表对语义表示模型进行训练，构建产品词编码模型，用于对所述产品词列表中的每个产品词进行特征提取。
根据本公开的一个或多个实施例，使用所述产品词编码模型提取同义词典中每个产品词的特征向量，包括：对同义词典中的每个产品词，从训练集包括的描述语句中，提取包含所述产品词的描述语句集合；对所述描述语句集合中的每个描述语句，利用所述产品词编码模型计算<描述语句，所述产品词>的特征向量，作为所述描述语句对应的特征向量；对得到的所述产品词的所有描述语句对应的特征向量取平均值，得到所述产品词的特征向量。
根据本公开的一个或多个实施例，根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，包括：对所述同义词典中的每个词条，获取所述词条包括的产品词及产品词的特征向量；根据所述产品词的特征向量进行产品词聚类，并获取聚类类簇的个数；在所述聚类类簇的个数大于1的情况下，判定所述词条为歧义词；并且， 对判定为歧义词的词条进行切分构建歧义词典，包括：将判定为歧义词的词条的每个聚类类簇作为一个新词条，构建歧义词典。
根据本公开的一个或多个实施例，根据所述产品词的特征向量进行产品词聚类，包括：构建产品词的全连通图，所述全连通图的顶点为产品词，边为两个产品词之间的相似度，所述相似度根据产品词的特征向量来计算；使用图切分方法对所述全连通图进行切分，得到类簇以进行产品词聚类。
根据本公开的一个或多个实施例，还包括：将所述新词条对应的聚类类簇的类簇向量作为所述新词条的词条向量，所述类簇向量为所述聚类类簇中包括的产品词的特征向量的平均值。
根据本公开实施例的另一方面，提供了一种产品词的消歧装置，包括：
歧义产品词确定模块，用于遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；
候选消歧词条确定模块，用于根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；
特征向量计算模块，用于根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；
歧义产品词替换模块，用于将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
根据本公开实施例的又一方面，提供了一种产品词消歧的电子设备。
一种产品词消歧的电子设备，包括：一个或多个处理器；存储装 置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例所提供的产品词的消歧方法。
根据本公开实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例所提供的产品词的消歧方法。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本公开，不构成对本公开的不当限定。其中：
图1是根据本公开实施例的产品词的消歧方法的主要步骤示意图；
图2是本公开实施例的同义词典的结构示意图；
图3是本公开实施例的歧义词典的构建流程示意图；
图4是本公开实施例的歧义词典的构建流程示意图；
图5是本公开实施例的歧义词典的词条结构示意图；
图6是根据本公开实施例的产品词的消歧装置的主要模块示意图；
图7是本公开实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本公开实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
现有技术的词语消歧的方法，多是针对逻辑性较强的文本来进行的，对于由多个堆叠在一起但不相关的词语所构成的描述语句(例如，电商平台的商品标题)的词语消歧，效果并不好，会存在以下几个缺陷：
1)现有句法分析对电商平台的商品标题不太适用，电商平台的商品标题是一些词的堆砌，现有句法分析模型在电商平台的商品标题上产出结果可用性不高；
2)消歧使用相关词以及相关词的上下位词来表示词义，但相关词以及上下位词对标题中产品词的描述可能并不精确，消歧结果对于用户理解存在难度；
3)构建上下位词典的成本较高，词典新词扩充速度较慢。
为了解决上述技术问题，本公开提供了一种产品词的消歧方法，面向电商平台的商品标题等由多个堆叠在一起但不相关的词语所构成的描述语句进行产品词消歧。消歧包括两部分处理：一是进行歧义词标记，二是对歧义词进行词义消歧。其中，歧义词标记：对电商平台的商品标题的每个产品词，输出产品词否是歧义词的标签；词义消歧：使用同义替换词来表示歧义词，替换词代表歧义产品词在标题中的含义。本公开的技术方案具有以下的优点：
1、本公开不需要做句法分析，适合电商平台的商品标题这类结构性不强的文本；
2、消歧使用产品词在同义词典中的同义词作为替代词，不使用上下位词典。同义产品词词典构建成本(包括标注成本)要低于上下位词典，低成本有利于快速收录新产品词；
3、使用同义替换词进行消歧相比使用上下位词典进行消歧，输出结果在表意上更具体明确，输出结果与原始标题产品词在同一空间，更容易适配下游应用。
以对商品标题进行词语消歧为例，本公开实施例的技术方案主要 包括两部分：
1、歧义产品词词典构建。使用产品词同义词典以及商品标题库作为输入，遍历同义词典中的词条，判断词条是否为歧义词，如果词条是歧义词，那么对词条进行拆分，放入到歧义词典中，同时计算拆分后的词条的向量表示；
2、商品标题产品词消歧。主要包括：
(1)歧义词标记：遍历商品标题中的产品词，如果出现在歧义词典中，那么该词被标记为歧义产品词；
(2)词义消歧：使用商品标题计算产品词的向量表示，与歧义词典中的词条向量进行相似度计算，选择相似度最大的词条作为替代词。
图1是根据本公开实施例的产品词的消歧方法的主要步骤示意图。如图1所示，本公开实施例的产品词的消歧方法主要包括如下的步骤S101至步骤S104。
步骤S101：遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词。其中，待消歧产品词列表可以是基于描述语句进行分词后筛选确定的，描述语句包括多个堆叠在一起但不相关的词语，例如电商领域的商品标题等。在本公开的一个实施例中，商品标题例如“04不锈钢牵引宠物用品大型犬金毛德牧防咬栓狗绳3mm粗-长1.6米”，则对其进行分词后得到的词列表如下表1中左边列所示。
表1
分词后的词列表 词标签(人工标注)
04 O
不锈钢 O
牵引 O
宠物 B-Product
用品 I-Product
大型犬 O
金毛 O
德牧 O
防咬 O
栓狗绳 B-Product
3mm O
粗 O
- O
长 O
1.6 O
米 O
在表1中，右边列示出了分词后得到的每个词对应的词标签，根据词标签可以筛选出具体的产品词。在表1中，标签B-Product表示产品词的开始，标签I-Product表示产品词的中间，标签O表示非产品词。通过标签可以提取产品词：以标签B-Product对应的词作为开始，不断拼接标签I-Product对应的词，直到遇到O标签为止。根据表1可以确定，该商品标题对应的产品词包括“宠物用品”和“拴狗绳”。
之后，通过将待消歧产品词列表中的产品词与预先构建的歧义词典进行比较即可确定歧义产品词。歧义词典是基于产品词的同义词典构建的。其中，同义词典的构建方法例如是挖掘产品词的候选同义词，然后人工对候选同义词进行标注，以构建同义词典。图2是本公开实施例的同义词典的结构示意图，如图2中所示，同义词典中每个词条包括词条键，以及词条的同义词列表两部分。词条可以表示为键值对的形式，词条键是单个词，词条值是词列表，词列表的每个词都是词条键的同义词。比如词条“宠物用品：狗绳、狗链、胸背带、窝垫、狗垫子”，词条键是“宠物用品”，词条值是“狗绳、狗链、胸背带、窝垫、狗垫子”，表示“狗绳、狗链、胸背带、窝垫、狗垫子”是“宠物用品”的同义词。词条键在同义词典中是唯一的。
图3是本公开实施例的歧义词典的构建流程示意图。在本公开的一个实施例中，歧义词典是通过以下方式来构建的：
步骤S301：对训练集包括的描述语句进行训练以构建产品词编码模型；
步骤S302：使用所述产品词编码模型提取同义词典中每个产品词 的特征向量；
步骤S303：根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，其中，每个词条包括不少于一个产品词；
步骤S304：对判定为歧义词的词条进行切分构建歧义词典。
图4是本公开实施例的产品词编码模型的构建流程示意图。在本公开的一个实施例中，步骤S301中对训练集中的描述语句进行训练以构建产品词编码模型，具体可以包括：
步骤S401：对训练集中的每个描述语句，从所述描述语句中抽取产品词，得到产品词列表。以商品标题作为描述语句为例，从商品标题中抽取产品词时，可以通过预先训练的实体识别模型来进行抽取，其中，实体识别模型是基于训练集中的每个商品标题进行分词后进行标注来进行产品词抽取的；
步骤S402：基于所述产品词列表对语义表示模型进行训练，构建产品词编码模型，用于对所述产品词列表中的每个产品词进行特征提取。使用商品标题的产品词列表构建产品词编码模型，编码模型可以使用预训练模型(比如语义表示模型ELMo)，输入是商品标题的产品词列表，输出是每个产品词的向量表示。
根据本公开的技术方案，在构建产品词编码模型时，也可以使用描述语句中除产品词外的其他信息，只要对于判断产品词词义有帮助的信息都可以使用。本公开对此不作限定。
在构建产品词编码模型之后，即可对每个产品词进行特征提取以得到特征向量。具体地，在本公开的另一个实施例中，步骤S302中使用所述产品词编码模型提取同义词典中每个产品词的特征向量，具体可以包括：
对同义词典中的每个产品词，从训练集包括的描述语句中，提取包含所述产品词的描述语句集合；
对所述描述语句集合中的每个描述语句，利用所述产品词编码模 型计算<描述语句，所述产品词>的特征向量，作为所述描述语句对应的特征向量；
对得到的所述产品词的所有描述语句对应的特征向量取平均值，得到所述产品词的特征向量。
根据本公开的又一个实施例，步骤S303中根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，具体可以包括：
对所述同义词典中的每个词条，获取所述词条包括的产品词及产品词的特征向量；
根据所述产品词的特征向量进行产品词聚类，并获取聚类类簇的个数；其中，在进行聚类时，可以基于图进行聚类；
在所述聚类类簇的个数大于1的情况下，判定所述词条为歧义词；
并且，步骤S304中对判定为歧义词的词条进行切分构建歧义词典，包括：
将判定为歧义词的词条的每个聚类类簇作为一个新词条，构建歧义词典。
在本公开的一个实施例中，在判定所述词条为歧义词之后，还可以对判定的歧义词进行人工校验，以进一步验证判定结果的正确性。
在本公开的又一个实施例中，在根据所述产品词的特征向量进行产品词聚类时，具体可以包括：
构建产品词的全连通图，所述全连通图的顶点为产品词，边为两个产品词之间的相似度，所述相似度根据产品词的特征向量来计算。具体地，可以通过计算两个产品词的特征向量的余弦距离来计算产品词之间的相似度；
使用图切分方法对所述全连通图进行切分，得到类簇以进行产品词聚类。其中，图切分方法例如社区发现算法等，通过图切分方法进行全连通图的切分，即可将相似度高的产品词作为一个类簇进行切分，从而实现了产品词聚类。
根据本公开的技术方案，在进行聚类时，也可选用其他的聚类方法，本公开对此不作限定。
在产品词聚类之后，即可得到相应的类簇，对于每个聚类类簇，将所述聚类类簇中包括的产品词的特征向量的平均值作为类簇向量，以用于后续在构建歧义词典时作为词条向量。之后，即可对判定为歧义词的词条进行切分，将每个聚类类簇包括的产品词作为一个新词条，并将所述新词条对应的聚类类簇的类簇向量作为所述新词条的词条向量，结合词条向量来构建歧义词典。
图5是本公开实施例的歧义词典的词条结构示意图。如图5所示，歧义词典中每个词条包括词条键、词条的同义词列表、旧词条键、词条向量4个字段。其中，词条键使用旧词条键和聚类类簇的编号组合得到；旧词条键使用拆分前的同义词词典的词条键；词条向量使用类簇向量。例如，旧词条键“宠物用品”，其对应的词条键包括“宠物用品-0”和“宠物用品-1”，且词条键“宠物用品-0”与词条键“宠物用品-1”中包括的词条的同义词列表是不同的，是根据聚类结果得到的。相应地，每个词条键对应的词条向量也就不同。
在本公开的实施例中，通过遍历待消歧产品词列表，将每个产品词与歧义词典中的词条的旧词条键进行比较，如果产品词与歧义词典中词条的旧词条键相同，那么该产品词即被标记为歧义产品词。
步骤S102：根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量。在将产品词与歧义词典中的词条的旧词条键进行比较时，如果产品词与歧义词典中词条的旧词条键相同，那么该产品词即被标记为歧义产品词，相应地，歧义词典中对应的词条即作为候选消歧词条。例如，商品标题分词结果为“304不锈钢，牵引，宠物用品，大型犬，金毛德牧，防咬，栓狗绳，3mm粗- 长1.6米”，抽取的待消歧产品词列表为“宠物用品，栓狗绳”。遍历待消歧产品词列表，发现“宠物用品”出现在歧义词典的旧词条键字段，那么“宠物用品”被标记为歧义产品词。歧义词典中相关词条“宠物用品-0”、“宠物用品-1”作为候选消歧词条。
步骤S103：根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语。根据步骤401和步骤S402中构建的产品词编码模型，即可根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量。
步骤S104：将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。根据歧义产品词的特征向量，和候选消歧词条的词条向量，通过计算两个的向量相似度，选择相似度最大的候选消歧词条作为该歧义产品词的替换词。例如，“宠物用品”为歧义产品词，歧义词典中相关词条“宠物用品-0”、“宠物用品-1”为候选消歧词条，那么，分别计算“宠物用品”的特征向量与“宠物用品-0”、“宠物用品-1”的词条向量之间的相似度，从而从中筛选出“宠物用品”的替换词。假设“宠物用品”与“宠物用品-0”的相似度更高，那么替换词即为“宠物用品-0”。“宠物用品-0”这个词条键对应的词条的同义词列表包括了“狗绳、狗链、胸背带”等信息，可以很好的反映产品词“宠物用品”的含义。
图6是根据本公开实施例的产品词的消歧装置的主要模块示意图。如图6所示，本公开实施例的产品词的消歧装置600主要包括歧义产品词确定模块601、候选消歧词条确定模块602、特征向量计算模块603和歧义产品词替换模块604。
歧义产品词确定模块601，用于遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；
候选消歧词条确定模块602，用于根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；
特征向量计算模块603，用于根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；
歧义产品词替换模块604，用于将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
根据本公开的一个实施例，产品词的消歧装置600包括歧义词典构建模块(图中未示出)，用于构建歧义词典，并且，所述歧义词典是通过以下方式来构建的：对训练集包括的描述语句进行训练以构建产品词编码模型；使用所述产品词编码模型提取同义词典中每个产品词的特征向量；根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，其中，每个词条包括不少于一个产品词；对判定为歧义词的词条进行切分构建歧义词典。
根据本公开的另一个实施例，歧义词典构建模块(图中未示出)在对训练集中的描述语句进行训练以构建产品词编码模型时，还用于：对训练集中的每个描述语句，从所述描述语句中抽取产品词，得到产品词列表；基于所述产品词列表对语义表示模型进行训练，构建产品词编码模型，用于对所述产品词列表中的每个产品词进行特征提取。
根据本公开的又一个实施例，歧义词典构建模块(图中未示出)在使用所述产品词编码模型提取同义词典中每个产品词的特征向量时，还用于：对同义词典中的每个产品词，从训练集包括的描述语句中，提取包含所述产品词的描述语句集合；对所述描述语句集合中的每个描述语句，利用所述产品词编码模型计算<描述语句，所述产品词>的特征向量，作为所述描述语句对应的特征向量；对得到的所述产品词的所有描述语句对应的特征向量取平均值，得到所述产品词的特征 向量。
根据本公开的又一个实施例，歧义词典构建模块(图中未示出)在根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词时，还用于：对所述同义词典中的每个词条，获取所述词条包括的产品词及产品词的特征向量；根据所述产品词的特征向量进行产品词聚类，并获取聚类类簇的个数；在所述聚类类簇的个数大于1的情况下，判定所述词条为歧义词；
并且，在对判定为歧义词的词条进行切分构建歧义词典时，还用于：将判定为歧义词的词条的每个聚类类簇作为一个新词条，构建歧义词典。
根据本公开的又一个实施例，歧义词典构建模块(图中未示出)在根据所述产品词的特征向量进行产品词聚类时，还用于：构建产品词的全连通图，所述全连通图的顶点为产品词，边为两个产品词之间的相似度，所述相似度根据产品词的特征向量来计算；使用图切分方法对所述全连通图进行切分，得到类簇以进行产品词聚类。
根据本公开的又一个实施例，歧义词典构建模块(图中未示出)还用于：将所述新词条对应的聚类类簇的类簇向量作为所述新词条的词条向量，所述类簇向量为所述聚类类簇中包括的产品词的特征向量的平均值。
根据本公开实施例的技术方案，通过遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；根据歧义词典获取歧义产品词对应的候选消歧词条及候选消歧词条的词条向量；根据歧义产品词所在的描述语句计算歧义产品词的特征向量，描述语句包括多个堆叠在一起但不相关的词语；将歧义产品词的特征向量与候选消歧词条的词条向量进行相似比较以确定歧义产品词的替换词，使用替换词替换歧义产品词以进行产品词的消歧处理，可以基于构建的歧义词典 来确定歧义产品词，无需进行句法分析即可确定歧义产品词，更适合结构性不强的文本，词语消歧效果好、精确度高，提高了商品匹配结果和网页信息的检索结果的准确度；基于产品词的同义词典来构建歧义词典，使用同义词典中的同义词作为替换词来进行消歧，避免了使用上下位词来进行消歧，使得消歧后的文本理解变得简单，输出结果在表意上更具体明确，输出结果与原始标题产品词在同一空间，更容易适配下游应用；同时由于产品词歧义词典的构建成本低，故而利于快速收录新产品词，词典扩充速度快。
图7示出了可以应用本公开实施例的产品词的消歧方法或产品词的消歧装置的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、电商平台、文本消歧类应用等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所发来的文本消歧请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的标签词消歧请求等数据进行遍历待消歧产品词列表，将歧义词典中出现的产品词确定为 歧义产品词；根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词等处理，并将处理结果(例如消歧处理结果--仅为示例)反馈给终端设备。
需要说明的是，本公开实施例所提供的产品词的消歧方法一般由服务器705执行，相应地，产品词的消歧装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本公开实施例的终端设备或服务器的计算机系统800的结构示意图。图8示出的终端设备或服务器仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由 指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括歧义产品词确定模块、候选消歧词条确定模块、特征向量计算模块和歧义产品词替换模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，歧义产品词确定模块还可以被描述为“用于遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词的模块”。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧 义产品词；根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
根据本公开实施例的技术方案，通过遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；根据歧义词典获取歧义产品词对应的候选消歧词条及候选消歧词条的词条向量；根据歧义产品词所在的描述语句计算歧义产品词的特征向量，描述语句包括多个堆叠在一起但不相关的词语；将歧义产品词的特征向量与候选消歧词条的词条向量进行相似比较以确定歧义产品词的替换词，使用替换词替换歧义产品词以进行产品词的消歧处理，可以基于构建的歧义词典来确定歧义产品词，无需进行句法分析即可确定歧义产品词，更适合结构性不强的文本，词语消歧效果好、精确度高，提高了商品匹配结果和网页信息的检索结果的准确度；基于产品词的同义词典来构建歧义词典，使用同义词典中的同义词作为替换词来进行消歧，避免了使用上下位词来进行消歧，使得消歧后的文本理解变得简单，输出结果在表意上更具体明确，输出结果与原始标题产品词在同一空间，更容易适配下游应用；同时由于产品词歧义词典的构建成本低，故而利于快速收录新产品词，词典扩充速度快。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

  1. 一种产品词的消歧方法，包括：
    遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；
    根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；
    根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；
    将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
  2. 根据权利要求1所述的方法，其中，所述歧义词典是通过以下方式来构建的：
    对训练集包括的描述语句进行训练以构建产品词编码模型；
    使用所述产品词编码模型提取同义词典中每个产品词的特征向量；
    根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，其中，每个词条包括不少于一个产品词；
    对判定为歧义词的词条进行切分构建歧义词典。
  3. 根据权利要求2所述的方法，其中，对训练集中的描述语句进行训练以构建产品词编码模型，包括：
    对训练集中的每个描述语句，从所述描述语句中抽取产品词，得到产品词列表；
    基于所述产品词列表对语义表示模型进行训练，构建产品词编码模型，用于对所述产品词列表中的每个产品词进行特征提取。
  4. 根据权利要求2所述的方法，其中，使用所述产品词编码模型提取同义词典中每个产品词的特征向量，包括：
    对同义词典中的每个产品词，从训练集包括的描述语句中，提取包含所述产品词的描述语句集合；
    对所述描述语句集合中的每个描述语句，利用所述产品词编码模型计算<描述语句，所述产品词>的特征向量，作为所述描述语句对应的特征向量；
    对得到的所述产品词的所有描述语句对应的特征向量取平均值，得到所述产品词的特征向量。
  5. 根据权利要求2所述的方法，其中，根据所述产品词的特征向量判断所述同义词典中的词条是否为歧义词，包括：
    对所述同义词典中的每个词条，获取所述词条包括的产品词及产品词的特征向量；
    根据所述产品词的特征向量进行产品词聚类，并获取聚类类簇的个数；
    在所述聚类类簇的个数大于1的情况下，判定所述词条为歧义词；
    并且，对判定为歧义词的词条进行切分构建歧义词典，包括：
    将判定为歧义词的词条的每个聚类类簇作为一个新词条，构建歧义词典。
  6. 根据权利要求5所述的方法，其中，根据所述产品词的特征向量进行产品词聚类，包括：
    构建产品词的全连通图，所述全连通图的顶点为产品词，边为两个产品词之间的相似度，所述相似度根据产品词的特征向量来计算；
    使用图切分方法对所述全连通图进行切分，得到类簇以进行产品词聚类。
  7. 根据权利要求5所述的方法，进一步包括：
    将所述新词条对应的聚类类簇的类簇向量作为所述新词条的词条 向量，所述类簇向量为所述聚类类簇中包括的产品词的特征向量的平均值。
  8. 一种产品词的消歧装置，包括：
    歧义产品词确定模块，用于遍历待消歧产品词列表，将歧义词典中出现的产品词确定为歧义产品词；
    候选消歧词条确定模块，用于根据所述歧义词典获取所述歧义产品词对应的候选消歧词条及所述候选消歧词条的词条向量；
    特征向量计算模块，用于根据所述歧义产品词所在的描述语句计算所述歧义产品词的特征向量，所述描述语句包括多个堆叠在一起但不相关的词语；
    歧义产品词替换模块，用于将所述歧义产品词的特征向量与所述候选消歧词条的词条向量进行相似比较以确定所述歧义产品词的替换词，使用所述替换词替换所述歧义产品词以进行产品词的消歧处理。
  9. 一种产品词消歧的电子设备，包括：
    一个或多个处理器；
    存储装置，用于存储一个或多个程序，
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
  10. 一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
PCT/CN2023/071668 2022-04-21 2023-01-10 产品词的消歧方法和装置 Ceased WO2023202170A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210421185.8A CN116976324A (zh) 2022-04-21 2022-04-21 一种产品词的消歧方法和装置
CN202210421185.8 2022-04-21

Publications (1)

Publication Number Publication Date
WO2023202170A1 true WO2023202170A1 (zh) 2023-10-26

Family

ID=88419081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/071668 Ceased WO2023202170A1 (zh) 2022-04-21 2023-01-10 产品词的消歧方法和装置

Country Status (2)

Country Link
CN (1) CN116976324A (zh)
WO (1) WO2023202170A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744650A (zh) * 2023-11-23 2024-03-22 中国邮政储蓄银行股份有限公司 文本分词方法、装置及电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102989A (zh) * 2017-05-24 2017-08-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN108073570A (zh) * 2018-01-04 2018-05-25 焦点科技股份有限公司 一种基于隐马尔可夫模型的词义消歧方法
CN111428486A (zh) * 2019-01-08 2020-07-17 北京沃东天骏信息技术有限公司 物品信息数据处理方法、装置、介质及电子设备
CN111986007A (zh) * 2020-10-26 2020-11-24 北京值得买科技股份有限公司 一种商品聚合并计算相似度的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102989A (zh) * 2017-05-24 2017-08-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN108073570A (zh) * 2018-01-04 2018-05-25 焦点科技股份有限公司 一种基于隐马尔可夫模型的词义消歧方法
CN111428486A (zh) * 2019-01-08 2020-07-17 北京沃东天骏信息技术有限公司 物品信息数据处理方法、装置、介质及电子设备
CN111986007A (zh) * 2020-10-26 2020-11-24 北京值得买科技股份有限公司 一种商品聚合并计算相似度的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744650A (zh) * 2023-11-23 2024-03-22 中国邮政储蓄银行股份有限公司 文本分词方法、装置及电子设备、存储介质

Also Published As

Publication number Publication date
CN116976324A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US11016966B2 (en) Semantic analysis-based query result retrieval for natural language procedural queries
CN109325201B (zh) 实体关系数据的生成方法、装置、设备及存储介质
CN110909550B (zh) 文本处理方法、装置、电子设备和可读存储介质
CN109840321B (zh) 文本推荐方法、装置及电子设备
US9536522B1 (en) Training a natural language processing model with information retrieval model annotations
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN111611807A (zh) 一种基于神经网络的关键词提取方法、装置及电子设备
US20240111956A1 (en) Nested named entity recognition method based on part-of-speech awareness, device and storage medium therefor
CN113761190B (zh) 文本识别方法、装置、计算机可读介质及电子设备
WO2020259280A1 (zh) 日志管理方法、装置、网络设备和可读存储介质
CN110347790B (zh) 基于注意力机制的文本查重方法、装置、设备及存储介质
CN105095204A (zh) 同义词的获取方法及装置
CN109472022B (zh) 基于机器学习的新词识别方法及终端设备
US20220365956A1 (en) Method and apparatus for generating patent summary information, and electronic device and medium
CN113988085B (zh) 文本语义相似度匹配方法、装置、电子设备及存储介质
CN114138936A (zh) 一种文本摘要的生成方法、装置、电子设备和存储介质
CN111859974B (zh) 一种结合知识图谱的语义消歧方法和装置、智能学习设备
CN112599211B (zh) 一种医疗实体关系抽取方法及装置
CN112633007A (zh) 一种语义理解模型构建方法及装置、语义理解方法及装置
CN111444712B (zh) 一种关键词提取方法、终端、计算机可读存储介质
CN114742062B (zh) 文本关键词提取处理方法及系统
CN115798661A (zh) 临床医学领域的知识挖掘方法和装置
CN116150497A (zh) 文本信息推荐方法、装置、电子设备及存储介质
CN114416990A (zh) 对象关系网络的构建方法、装置和电子设备
CN112036186A (zh) 语料标注方法、装置、计算机存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23790834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.01.2025)

122 Ep: pct application non-entry in european phase

Ref document number: 23790834

Country of ref document: EP

Kind code of ref document: A1