WO2021189951A1 - 文本搜索方法、装置、计算机设备和存储介质 - Google Patents

文本搜索方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021189951A1
WO2021189951A1 PCT/CN2020/135243 CN2020135243W WO2021189951A1 WO 2021189951 A1 WO2021189951 A1 WO 2021189951A1 CN 2020135243 W CN2020135243 W CN 2020135243W WO 2021189951 A1 WO2021189951 A1 WO 2021189951A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
search
searched
word
expanded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/135243
Other languages
English (en)
French (fr)
Inventor
李志韬
王健宗
吴天博
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021189951A1 publication Critical patent/WO2021189951A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms

Definitions

  • This application relates to the field of artificial intelligence, and in particular to a text search method, device, computer equipment and storage medium.
  • This application provides a text search method, the method includes:
  • search engine includes an indexed text library that has been expanded by similar words
  • a search result list is generated according to the target phrase, and the search result list is displayed on the search page.
  • This application also provides a text search device, which includes:
  • the to-be-searched text obtaining module is configured to determine the to-be-searched text according to the text search operation when a text search operation in a preset search page is detected;
  • the similar word matching module is used to perform similar word matching on the text to be searched based on a preset search engine to obtain the target phrase corresponding to the text to be searched, wherein the search engine includes an index that has been expanded by similar words Text library
  • the search result generation module is configured to generate a search result list according to the target phrase, and display the search result list on the search page.
  • the application also provides a computer device, which includes a memory and a processor;
  • the memory is used to store a computer program
  • the processor is configured to execute the computer program and implement the following steps when the computer program is executed:
  • search engine includes an indexed text library that has been expanded by similar words
  • a search result list is generated according to the target phrase, and the search result list is displayed on the search page.
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the following steps:
  • search engine includes an indexed text library that has been expanded by similar words
  • a search result list is generated according to the target phrase, and the search result list is displayed on the search page.
  • FIG. 1 is a schematic flowchart of a text search method provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of sub-steps of similar word expansion processing on an indexed text library provided by an embodiment of the present application;
  • FIG. 3 is a schematic flowchart of determining keywords in a text to be expanded according to an embodiment of the present application
  • FIG. 4 is a schematic flowchart of the sub-steps of determining similar words corresponding to each keyword word vector provided by an embodiment of the present application;
  • FIG. 5 is a schematic flowchart of the sub-steps of matching similar words in the text to be searched according to an embodiment of the present application
  • FIG. 6 is a schematic diagram of a scene of a user's text selection operation on a search result list provided by an embodiment of the present application
  • FIG. 7 is a schematic block diagram of a text search device provided by an embodiment of the present application.
  • FIG. 8 is a schematic block diagram of the structure of a computer device provided by an embodiment of the present application.
  • the embodiments of the present application provide a text search method, device, computer equipment, and storage medium.
  • the text search method can be applied to a server or a terminal.
  • a search engine containing an indexed text library processed by similar word expansion processing By matching similar words to search texts according to a search engine containing an indexed text library processed by similar word expansion processing, the accuracy of search results can be improved.
  • the server can be an independent server or a server cluster.
  • the terminal can be an electronic device such as a smart phone, a tablet computer, a notebook computer, and a desktop computer.
  • the text search method includes steps S10 to S30.
  • Step S10 When a text search operation in a preset search page is detected, the text to be searched is determined according to the text search operation.
  • the preset search page may be a page in a server or a terminal, where a search engine is provided in the server or the terminal.
  • the server or terminal can call the search engine to match similar words to the search text, thereby obtaining search results corresponding to the search text.
  • search engine refers to a system that automatically collects information from the Internet, organizes the information and provides it to users for inquiries.
  • the text to be searched is determined according to the text search operation.
  • the text search operation may include a text input operation and a voice input operation.
  • determining the text to be searched according to the text search operation may include: when the text search operation is a text input operation, obtaining the text to be searched according to the input text information.
  • the text information input by the user in the input box of the search page can be obtained, and the input text information can be used as the text to be searched.
  • determining the text to be searched according to the text search operation may include: when the text search operation is a voice input operation, performing voice recognition on the input voice information to obtain the text to be searched.
  • the terminal may also be a telemarketing robot.
  • the voice information input by the user can be received through the microphone array of the telemarketing robot.
  • voice recognition is performed on the input voice information, and the voice information may be recognized according to a pre-stored and trained voice recognition model.
  • the speech recognition model may include, but is not limited to, a hidden Markov model, a convolutional neural network, a restricted Boltzmann machine, a recurrent neural network, and a long and short-term memory network.
  • noise reduction processing may also be performed on the voice information to obtain the voice information after noise reduction.
  • the noise reduction can be performed according to methods such as adaptive filter, spectral subtraction, Wiener filtering, or wavelet analysis. The specific noise reduction process and speech recognition process will not be repeated here.
  • the text to be searched input by the user can be easily determined, and a more convenient and flexible text search method can also be provided for the user.
  • similar word expansion processing may be performed on the indexed text library in the search engine in advance, so that the search engine includes the indexed text library subjected to similar word expansion processing. Therefore, through the search engine, similar word matching can be performed on the user's search text, thereby improving the accuracy of the search results.
  • similar word expansion processing refers to supplementing similar words to the text in the indexed text library.
  • similar words include synonyms and synonyms.
  • the indexed text library contains more semantically identical or similar words.
  • FIG. 2 is a schematic flowchart of a sub-step of similar word expansion processing on an indexed text library provided by an embodiment of the present application, which may specifically include the following steps S101 to S103.
  • Step S101 Use each text in the index text library as a text to be expanded in turn, and determine at least one keyword in the text to be expanded.
  • the indexed text library includes at least one text.
  • each text in the indexed text library may be used as the text to be expanded in turn, so that similar word expansion processing can be performed on the expanded text to obtain an indexed text library after similar word expansion processing.
  • FIG. 3 is a schematic flowchart of the sub-steps of determining at least one keyword in the text to be expanded according to an embodiment of the present application, which may specifically include the following steps S1011 and S1012.
  • Step S1011 performing word segmentation processing on each sentence in the text to be expanded to obtain multiple phrases corresponding to the text to be expanded.
  • the text to be expanded may include multiple sentences. During word segmentation, each sentence in the expanded text can be segmented separately.
  • the Viterbi algorithm and Hidden Markov Model can be combined to perform word segmentation for each sentence in the text to be expanded to obtain multiple phrases corresponding to the text to be expanded .
  • the Viterbi algorithm is a commonly used algorithm in the word segmentation processing of the HMM model.
  • the Viterbi algorithm is used to determine the most likely hidden sequence of the known observation sequence under the HMM model.
  • the five major elements of the HMM model can be obtained: the initial probability matrix, the transition probability matrix, the emission probability matrix, the observation value set and the state value set.
  • the word segmentation problem of the HMM model is transformed into the problem of solving the optimal solution of the hidden state sequence, and the Viterbi algorithm is most often used to solve this problem.
  • the Viterbi algorithm adopts the idea of dynamic programming, using backward pointers to recursively calculate the most likely (local optimal) path to the current state path, so as to solve the problem of solving the optimal solution of the hidden state sequence.
  • each sentence in the text to be expanded may be separately input into the trained HMM model for word segmentation processing to obtain one or more phrases corresponding to each sentence.
  • multiple phrases corresponding to the text to be expanded can be obtained.
  • Step S1012 Perform keyword extraction on the multiple phrases according to a preset keyword extraction algorithm to obtain at least one keyword corresponding to the text to be expanded.
  • the preset keyword extraction algorithm may include a term frequency-inverse document (TF-IDF) algorithm.
  • TF-IDF term frequency-inverse document
  • TF term frequency
  • IDF Inverse Document Frequency
  • the TF-IDF algorithm is a commonly used weighting technique for information retrieval and data mining. It can evaluate the importance of a word to a document in a document set or a corpus.
  • n represents the number of occurrences of a word in the document
  • m represents the total number of words in the document.
  • w represents the total number of documents in the corpus; W represents the number of documents containing the word.
  • the process of extracting keywords can be understood as calculating the TF-IDF value corresponding to each word in the text, and then sorting each word in descending order according to the TF-IDF value, and using the first few words as keywords.
  • the TF-IDF value corresponding to each phrase in the text to be expanded can be calculated according to the TF-IDF algorithm, and the phrase with the corresponding TF-IDF value greater than the preset TF-IDF threshold is determined as the phrase to be expanded Keywords corresponding to the text.
  • the words surrounding the keywords can also be set as keywords together.
  • the verbs and/or nouns around the keywords can be set as keywords together.
  • Step S102 Invoking the word vectorization model to vectorize each keyword to obtain a keyword word vector corresponding to the text to be expanded.
  • the trained word vectorization model is called to vectorize each keyword to obtain the keyword word vector corresponding to the text to be expanded.
  • the word vectorization model may include a BERT (Bidirectional Encoder Representations from Transformer) model.
  • BERT Bidirectional Encoder Representations from Transformer
  • the initial word vectorization model before calling the word vectorization model, may also be trained to obtain the trained word vectorization model.
  • a large-scale text corpus that is not related to a specific NLP (Natural Language Processing, natural language processing) task may be used to train the BERT model in advance to obtain a trained word vectorized model.
  • the BERT model can use the Attention mechanism to take the semantic vector representation of the target word and each word in the context as input.
  • the vector representation of the target word, the vector representation of each word in the context, and the target word and context are obtained through linear transformation.
  • the original value of each word is expressed, and then the similarity between the vector of the target word and the vector of each context word is calculated as the weight, and the vector of the target word and the vector of each context word are weighted and merged as the output of Attention, that is, the enhanced semantic vector of the target word Express.
  • the word vectorization model after training can also be stored in a node of a blockchain.
  • the trained word vectorization model can be called from the nodes of the blockchain.
  • the BERT model can extract the semantic information around the keyword and integrate the semantic information into the word vector, it can obtain the keyword word vector with enhanced semantics, so that more can be obtained later Similar words with the same or similar semantics as the keywords.
  • Step S103 Determine at least one similar word corresponding to each of the keyword word vectors in the index text library, and add the at least one similar word to the text to be expanded.
  • the indexed text library includes multiple phrases. It can be understood that the indexed text library includes at least one text, and each text includes multiple sentences. Therefore, the indexed text library includes multiple phrases.
  • the similarity between each keyword word vector and all the phrases in the index text database can be calculated to determine the similar words corresponding to each keyword word vector.
  • FIG. 4 is a schematic flowchart of the sub-steps of determining at least one similar word corresponding to each keyword word vector in the index text library in step S103, which specifically may include the following steps S1031 to S1033.
  • Step S1031 based on a preset similarity algorithm, calculate the first similarity between each of the keyword word vectors and the word vectors corresponding to multiple phrases in the index text library.
  • the preset similarity algorithms may include but are not limited to similarity algorithms such as Euclidean distance, cosine similarity, Manhattan distance, and Chebyshev distance.
  • the similarity between each keyword word vector and the word vector corresponding to multiple phrases in the index text library can be calculated according to the cosine similarity algorithm, of course, it can also be calculated according to other similarity algorithms. The specific process will not be repeated here.
  • the cosine similarity algorithm uses the cosine value of the angle between two vectors in the vector space as a measure of the degree of similarity between the two vectors.
  • the formula for calculating the cosine of the included angle is:
  • ⁇ represents the angle between the vector V 1 and the vector V 2
  • n represents the dimension of the vector V 1 and the vector V 2
  • the value range of the cosine of the angle cos ⁇ is [0, 1].
  • the multiple phrases in the indexed text library may be vectorized. Get word vectors corresponding to multiple phrases.
  • each keyword word vector can be represented as V 0 ; the word vectors corresponding to multiple phrases in the indexed text library can be represented as v 1 , v 2 ,..., v k , where k represents the number of word vectors number.
  • the cosine of the angle between the keyword word vector V 0 and the word vector v 1 , v 2 ,..., v k in the index text library can be calculated separately to obtain the keyword word vector V 0 and the word vector in the index text library.
  • Step S1032 Determine the corresponding target word vector whose first similarity is greater than the first preset similarity threshold.
  • the first preset similarity threshold may be set according to actual conditions, and the specific value is not limited here.
  • Step S1033 Determine the phrase corresponding to the target word vector as a similar word corresponding to each of the keyword word vectors.
  • the word vectors in the indexed text library are obtained by vectorizing multiple phrases in the indexed text library, the word vectors in the indexed text library have corresponding phrases.
  • the phrase corresponding to the target word vector of the keyword word vector is determined as a similar word corresponding to each keyword word vector.
  • each keyword word vector has at least one target word vector, so that at least one similar word of each keyword word vector can be obtained.
  • At least one similar word may be added to the text to be expanded. Adding similar words processing to each text in the indexed text library in turn can obtain an indexed text library with similar words expansion processing.
  • the index text library for the similar word expansion process can also be stored in a node of a blockchain.
  • the indexed text library can be enriched The number of similar words in each text.
  • Step S20 Perform similar word matching on the text to be searched based on a preset search engine to obtain a target phrase corresponding to the text to be searched, wherein the search engine includes an indexed text library that has been expanded by similar words.
  • similar word matching can be performed on the text to be searched based on a preset search engine to obtain the target phrase corresponding to the text to be searched.
  • the search engine includes an indexed text library that has undergone similar word expansion processing.
  • similar word expansion processing process please refer to the detailed description of the foregoing embodiment, which will not be repeated here.
  • the target phrase with similar semantics of the text to be searched can be matched, which can effectively improve the accuracy of search results.
  • FIG. 5 is a schematic flowchart of the sub-steps of performing similar word matching on the text to be searched in step S20 to obtain the target phrase corresponding to the text to be searched, which may specifically include the following steps S201 to S203.
  • Step S201 Perform word segmentation processing on the text to be searched to obtain a set of phrases corresponding to the text to be searched.
  • the phrase set corresponding to the text to be searched is obtained as (A, B, C).
  • Step S202 Calculate a second degree of similarity between the phrase set and multiple phrases in the index text library.
  • the second similarity between the phrase set and multiple phrases in the indexed text library may be calculated according to the cosine similarity algorithm.
  • the indexed text library includes phrase A1, phrase A2, phrase A3, and phrase A4, calculate the second similarity between the phrase set (A, B, C) and phrase A1, phrase A2, phrase A3, and phrase A4, respectively , Obtain the second similarity ⁇ 1 corresponding to the phrase A1, the second similarity ⁇ 2 corresponding to the phrase A2, the second similarity ⁇ 3 corresponding to the phrase A3, and the second similarity ⁇ 4 corresponding to the phrase A4.
  • Step S203 Use at least one phrase with a second similarity greater than a second preset similarity threshold as a target phrase corresponding to the phrase set.
  • the phrase with the second similarity greater than the second preset similarity threshold includes the phrase A1, the phrase A2, and the phrase A3, it can be determined that the target phrase corresponding to the phrase set (A, B, C) is the phrase A1, the phrase A2 and phrase A3.
  • the second preset similarity threshold may be set according to actual conditions, and the specific value is not limited here.
  • Step S30 Generate a search result list according to the target phrase, and display the search result list on the search page.
  • generating the search result list according to the target phrase may include: obtaining the target text corresponding to the target phrase; and sorting the target text according to the second similarity corresponding to the target phrase to obtain the search result list.
  • the target phrase corresponding to the phrase set includes the phrase A1, the phrase A2, and the phrase A3, the text where the phrase A1, the phrase A2, and the phrase A3 are located can be used as the target text.
  • the target text includes text 1, text 2, and text 3.
  • the target text may be sorted in descending order according to the second similarity corresponding to the target phrase. If the magnitude of the second similarity corresponding to the phrase A1, the phrase A2, and the phrase A3 is ⁇ 1 > ⁇ 2 > ⁇ 3 , the search result list obtained is shown in Table 1.
  • one of the repeated texts can be kept, and the other repeated texts can be eliminated.
  • the search result list may be displayed on the search page.
  • the search result list may be rendered on the search page to display the search result list on the search page.
  • after displaying the search result list on the search page it further includes: when a text selection operation on the search result list is received, determining the selected text according to the text selection operation; determining the ranking of the selected text in the search result list Value, when the ranking value is not the preset ranking value, similar words expansion processing is performed on the indexed text library.
  • FIG. 6 is a schematic diagram of a scene of a user's text selection operation on a search result list provided by an embodiment of the present application.
  • the user's text selection operation on the search result list in the search page can be received, and the user's selected text can be determined according to the text selection operation; and then the ranking value of the selected text in the search result list can be judged.
  • the preset ranking value can be set according to actual conditions.
  • the preset ranking value may include the first ranking, and may also include the first ranking and the second ranking.
  • the ranking value of the selected text is the first ranking, indicating that the search result is accurate.
  • the selected text is a non-preset ranking value
  • similar word expansion processing is performed on the indexed text library.
  • Similar word expansion processing is performed on the indexed text library.
  • the indexed text library By receiving the user's text selection operation in the search result list, according to the text selection operation, it is determined whether the indexed text library needs to be expanded again for similar words, and the indexed text library can be expanded for similar words again, which further improves the search of the search engine accuracy.
  • the text search method provided in the above embodiment can determine the text to be searched according to the text input operation and voice input operation of the user in the preset search page, which can conveniently determine the text to be searched by the user, and can also provide the user with more convenience , Flexible text search methods; by adding similar words to the text in the indexed text library, the indexed text library contains more words with the same or similar semantics. When similar words are matched to the user’s search text, it can be semantically Perform matching, thereby improving the accuracy of matching; by extracting keywords from multiple phrases according to the word frequency-inverse document algorithm, you can take full advantage of the fast speed advantage of the word frequency-inverse document algorithm and improve the efficiency of keyword extraction; Use the BERT model to vectorize each keyword.
  • the BERT model can extract the semantic information around the keyword and integrate the semantic information into the word vector, it can obtain the keyword word vector with enhanced semantics, so that more semantics can be obtained later Similar words that are the same or similar to the keywords; by calculating the similarity between each keyword word vector and the word vector in the index text library according to the similarity algorithm, the similar words corresponding to each keyword word vector are added to the In the expanded text, the number of similar words in each text in the indexed text library can be enriched; the search engine based on the indexed text library that has been expanded by similar words is used to match similar words to the text to be searched by the user.
  • Searching for target phrases with similar semantics in the text can effectively improve the accuracy of the search results; by receiving the user's text selection operation in the search result list, according to the text selection operation, it is possible to determine whether the index text library needs to be expanded for similar words again.
  • the similar word expansion processing is performed on the indexed text library again, which further improves the search accuracy of the search engine.
  • FIG. 7 is a schematic block diagram of a text search device 1000 according to an embodiment of the present application.
  • the text search device is used to execute the aforementioned text search method.
  • the text search device can be configured in a server or a terminal.
  • the text search device 1000 includes: a text to be searched acquisition module 1001, a similar word matching module 1002, and a search result generation module 1003.
  • the to-be-searched text acquisition module 1001 is configured to determine the to-be-searched text according to the text search operation when a text search operation in a preset search page is detected;
  • the similar word matching module 1002 is configured to perform similar word matching on the text to be searched based on a preset search engine to obtain the target phrase corresponding to the text to be searched, wherein the search engine includes a similar word expansion process Index text library;
  • the search result generation module 1003 is configured to generate a search result list according to the target phrase, and display the search result list on the search page.
  • the above-mentioned apparatus can be implemented in the form of a computer program, and the computer program can be run on the computer device as shown in FIG. 8.
  • FIG. 8 is a schematic block diagram of a structure of a computer device provided by an embodiment of the present application.
  • the computer equipment can be a server or a terminal.
  • the computer device includes a processor and a memory connected through a system bus, where the memory may include a non-volatile storage medium and an internal memory.
  • the processor is used to provide computing and control capabilities and support the operation of the entire computer equipment.
  • the internal memory provides an environment for the operation of the computer program in the non-volatile storage medium.
  • the processor can execute any text search method.
  • the processor may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), and application specific integrated circuits (Application Specific Integrated Circuits). Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the processor is used to run a computer program stored in a memory to implement the following steps:
  • the text to be searched is determined according to the text search operation; based on the preset search engine, similar word matching is performed on the text to be searched to obtain the text to be searched
  • Corresponding target phrases where the search engine includes an indexed text library that has been expanded by similar words; a search result list is generated according to the target phrase, and the search result list is displayed on the search page.
  • the indexed text library includes at least one text; when the processor detects a text search operation in a preset search page, before determining the text to be searched according to the text search operation, it also Used to achieve:
  • the processor when the processor realizes the determination of at least one keyword in the text to be expanded, it is configured to realize:
  • the indexed text library includes a plurality of phrases; the processor determines at least one similar word corresponding to each of the keyword word vectors in the indexed text library in the implementation, and is used to implement:
  • the text search operation includes a text input operation and a voice input operation; when the processor realizes the determination of the text to be searched according to the text search operation, it is used to realize:
  • the text search operation is a text input operation
  • the text to be searched is obtained according to the input text information
  • voice recognition is performed on the input voice information to obtain the to-be searched text.
  • the processor when the processor implements similar word matching on the text to be searched to obtain the target phrase corresponding to the text to be searched, the processor is used to implement:
  • the processor when the processor realizes generating a search result list according to the target phrase, it is configured to realize:
  • the processor after the processor realizes the display of the search result list on the search page, the processor is further configured to realize:
  • the selected text is determined according to the text selection operation; the ranking value of the selected text in the search result list is determined, when the ranking value is not preset When the ranking value is used, similar word expansion processing is performed on the index text library.
  • the embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the computer-readable storage medium stores a computer program.
  • the computer program includes program instructions, and the processor executes the program instructions to implement any text search method provided in the embodiments of the present application.
  • the computer-readable storage medium may be the internal storage unit of the computer device described in the foregoing embodiment, for example, the hard disk or memory of the computer device.
  • the computer-readable storage medium may also be an external storage device of the computer device, such as a plug-in hard disk, a smart media card (SMC), or a secure digital card equipped on the computer device. , SD Card, Flash Card, etc.
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function, etc.; the storage data area may store Data created by the use of nodes, etc.
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

涉及人工智能领域及区块链技术，通过根据包含经相似词扩充处理的索引文本库的搜索引擎对待搜索文本进行相似词匹配，可以提高搜索结果的准确度，索引文本库可存储于区块链中。一种文本搜索方法、装置、计算机设备和存储介质，该文本搜索方法包括：当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本（S10）；基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库（S20）；根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表（S30）。

Description

文本搜索方法、装置、计算机设备和存储介质
本申请要求于2020年10月21日提交中国专利局、申请号为2020111339880，发明名称为“文本搜索方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域，尤其涉及一种文本搜索方法、装置、计算机设备和存储介质。
背景技术
随着互联网内容的爆炸性增长，如何从海量的网络信息中搜索到需要的文本成为信息处理技术关注的热点。
现有的搜索引擎大多数都基于词频-逆文档算法实现文本搜索，词频-逆文档算法在文本搜索时，可以实现根据数据库中的文本对搜索文本进行精确匹配。但是，发明人意识到当用户的搜索文本与数据库中的词语存在偏差时，词频-逆文档算法难以准确匹配到用户期待的搜索结果，从而降低了用户的体验度。
因此如何提高文本搜索时的准确性成为亟需解决的问题。
发明内容
本申请提供了一种文本搜索方法，所述方法包括：
当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
本申请还提供了一种文本搜索装置，所述装置包括：
待搜索文本获取模块，用于当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
相似词匹配模块，用于基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
搜索结果生成模块，用于根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下步骤：
当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种文本搜索方法的示意流程图；
图2是本申请实施例提供的对索引文本库进行相似词扩充处理的子步骤的示意性流程图；
图3是本申请实施例提供的确定待扩充文本中的关键词的示意性流程图；
图4是本申请的实施例提供的确定每个关键词词向量对应的相似词的子步骤的示意性流程图；
图5是本申请实施例提供的对待搜索文本进行相似词匹配的子步骤的示意性流程图；
图6是本申请实施例提供的用户对搜索结果列表的文本选中操作的场景示意图；
图7是本申请实施例提供的一种文本搜索装置的示意性框图；
图8是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种文本搜索方法、装置、计算机设备和存储介质。其中，该文本搜索方法可以应用于服务器或终端中，通过根据包含经相似词扩充处理的索引文本库的搜索引擎对待搜索文本进行相似词匹配，可以提高搜索结果的准确度。
其中，服务器可以为独立的服务器，也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图1所示，文本搜索方法包括步骤S10至步骤S30。
步骤S10、当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本。
需要说明的是，预设的搜索页面可以是服务器或终端中的页面，其中，服务器或终端中设有搜索引擎。当用户在搜索页面输入搜索文本时，服务器或终端可以调搜索引擎对搜索文本进行相似词匹配，从而得到搜索文本对应的搜索结果。
其中，搜索引擎指自动从因特网搜集信息，对信息整理后提供给用户进行查询的系统。
在本申请实施例中，当检测到用户在搜索页面中的文本搜索操作时，根据文本搜索操作确定待搜索文本。示例性的，文本搜索操作可以包括文字输入操作和语音输入操作。
在一些实施例中，根据文本搜索操作确定待搜索文本，可以包括：当文本搜索操作为文字输入操作时，根据输入的文字信息获得待搜索文本。
示例性的，可以获取用户在搜索页面的输入框输入的文字信息，将输入的文字信息作为待搜索文本。
在另一些实施例中，根据文本搜索操作确定待搜索文本，可以包括：当文本搜索操作为语音输入操作时，对输入的语音信息进行语音识别，得到待搜索文本。
需要说明的是，本申请实施例提供的文本搜索方法应用于终端时，该终端还可以是电销机器人。当用户可以在电销机器人的搜索页面输入语音信息时，可以通过电销机器人的麦克风阵列接收用户输入的语音信息。
在一些实施方式中，对输入的语音信息进行语音识别，可以根据预先存储训练好的语音识别模型对语音信息进行语音识别。
示例性的，语音识别模型可以包括但不限于隐马尔可夫模型、卷积神经网络、受限玻尔兹曼机、循环神经网络以及长短时记忆网络等。示例性的，在对语音信息进行语音识别之前，还可以对语音信息进行降噪处理，得到降噪后的语音信息。例如，可以根据自适应滤波器、谱减法、维纳滤波法或小波分析等方法进行降噪处理。具体的降噪过程与语音识别过程，在此不作赘述。
通过根据用户在预设的搜索页面中的文字输入操作和语音输入操作确定待搜索文本，可以便捷地确定用户输入的待搜索文本，还可以为用户提供更加方便、灵活的文本搜索方式。
在本申请实施例中，可以预先对搜索引擎中的索引文本库进行相似词扩充处理，使得搜索引擎包含经相似词扩充处理的索引文本库。因此，通过该搜索引擎，可以对用户的搜索文本进行相似词匹配，从而提高了搜索结果的准确性。
可以理解的是，相似词扩充处理是指对索引文本库中的文本补充相似词。其中，相似词包括近义词和同义词。通过对索引文本库中的文本补充相似词，使得索引文本库包含更多语义相同或相似的词语，后续在对用户的搜索文本进行相似词匹配时，可以从语义上进行匹配，进而提高了匹配的准确度。
请参阅图2，图2是本申请实施例提供的一种对索引文本库进行相似词扩充处理的子步骤的示意性流程图，具体可以包括以下步骤S101至步骤S103。
步骤S101、依次将所述索引文本库中的每个文本作为待扩充文本，并确定所述待扩充文本中的至少一个关键词。
示例性的，索引文本库包括至少一个文本。在本申请实施例中，可以依次将索引文本库中的每个文本作为待扩充文本，从而可以对待扩充文本进行相似词扩充处理，得到相似词扩充处理后的索引文本库。
在对每个待扩充文本进行相似词扩充处理时，需要确定每个待扩充文本中的至少一个关键词。请参阅图3，图3是本申请实施例提供的确定待扩充文本中的至少一个关键词的子步骤的示意性流程图，具体可以包括以下步骤S1011和步骤S1012。
步骤S1011、对所述待扩充文本中每个语句进行分词处理，得到所述待扩充文本对应的多个词组。
示例性的，待扩充文本可以包括多个语句。在分词处理时，可以对待扩充文本中的每个语句分别进行分词。
在一些实施例中，可以通过Viterbi(维特比)算法与隐马尔可夫模型(Hidden Markov Model，HMM)进行结合，对待扩充文本中每个语句进行分词处理，得到待扩充文本对应的多个词组。
需要说明的是，Viterbi算法是HMM模型在分词处理时常用的一种算法，Viterbi算法用于确定已知观察序列在HMM模型下最可能的隐藏序列。其中，在HMM模型的分词处理过程中，通过对语料库进行统计，可以得到HMM模型中五大要素：起始概率矩阵，转移概率矩阵，发射概率矩阵，观察值集合以及状态值集合。有了这三个矩阵和两个集合后，HMM模型的分词问题转化成求解隐藏状态序列最优解的问题，而求解这个问题最常使用Viterbi算法。Viterbi算法采用了动态规划的思想，利用后向指针递归地计算到达当前状态路径中的最 可能(局部最优)路径，从而可以解决求解隐藏状态序列最优解的问题。
示例性的，可以将待扩充文本中每个语句分别输入训练后的HMM模型中进行分词处理，得到每个语句对应的一个或多个词组。从而可以得到待扩充文本对应的多个词组。
步骤S1012、根据预设的关键词提取算法对所述多个词组进行关键词提取，得到所述待扩充文本对应的至少一个所述关键词。
示例性的，预设的关键词提取算法可以包括词频-逆文档(TF-IDF)算法。
需要说明的是，在TF-IDF算法中，TF表示词频(Term Frequency)，IDF表示逆向文档频率(Inverse Document Frequency)。TF-IDF算法是一种用于信息检索与数据挖掘的常用加权技术，可以评估一个词在一个文件集或者一个语料库中对某个文件的重要程度。
示例性的，词频TF的计算公式，如下所示：
Figure PCTCN2020135243-appb-000001
式中，n表示某个词在文档中的出现次数；m表示文档的总词数。
在一个语料库中，逆文档频率的计算公式，如下所示：
Figure PCTCN2020135243-appb-000002
式中，w表示语料库的文档总数；W表示包含该词的文档数。
示例性的，TF-IDF值的计算公式，如下所示：
Figure PCTCN2020135243-appb-000003
需要说明的是，TF-IDF值与一个词在文档中的出现次数成正比，与该词在整个语料库中的出现次数成反比。因此，提取关键词的过程可以理解为计算出文本的每个词对应的TF-IDF值，然后根据TF-IDF值对每个词降序排列，将排在最前面的几个词作为关键词。
在本申请实施例中，可以根据TF-IDF算法计算待扩充文本中的各词组对应的TF-IDF值，将对应的TF-IDF值大于预设的TF-IDF阈值的词组，确定为待扩充文本对应的关键词。
在一些实施例中，在提取待扩充文本的关键词时，还可以将关键词周围的词一起设为关键词。示例性的，可以将关键词周围的动词和/或名词一起设为关键词。通过将关键词周围的词一起设为关键词，可以提高关键词的语义丰富度，进而提高了关键词的可读性。
通过根据词频-逆文档算法对多个词组进行关键词提取，可以充分利用词频-逆文档算法的速度快的优势，提高了提取关键词的效率。
步骤S102、调用词向量化模型，对每个所述关键词进行向量化，得到所述待扩充文本对应的关键词词向量。
在一些实施例中，调用训练后的词向量化模型对每个关键词进行向量化，得到待扩充文本对应的关键词词向量。
示例性的，词向量化模型可以包括BERT(Bidirectional Encoder Representations from Transformer)模型。
在本申请实施例中，在调用词向量化模型之前，还可以对初始的词向量化模型进行训练，得到训练后的词向量化模型。
示例性的，可以预先采用大规模、与特定NLP(Natural Language Processing，自然语言处理)任务无关的文本语料对BERT模型进行训练，得到训练后的词向量化模型。在训练时，BERT模型可以通过Attention(注意力)机制将目标字和上下文各个字的语义向量表示作为输入，首先通过线性变换获得目标字的向量表示、上下文各个字的向量表示以及目标字与上下文各个字的原始值表示，然后计算目标字的向量与上下文各个字的向量的相似度作为权重，加权融合目标字的向量和各个上下文字的向量，作为Attention的输出，即目标字的增强语义向量表示。
需要强调的是，为进一步保证上述训练后的词向量化模型的私密和安全性，上述训练后 的词向量化模型还可以存储于一区块链的节点中。在对每个关键词进行向量化时，可以从区块链的节点中调用训练后的词向量化模型。
通过使用BERT模型对每个关键词进行向量化，由于BERT模型可以提取关键词周围的语义信息并将语义信息融入词向量中，因此可以得到增强语义的关键词词向量，从而后续可以得到更多语义与关键词相同或相似的相似词。
步骤S103、确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，并将所述至少一个相似词添加至所述待扩充文本中。
示例性的，索引文本库包括多个词组。可以理解的是，索引文本库包括至少一个文本，其中每个文本包括多个语句，因此，索引文本库包括多个词组。
在本申请实施例中，可以将每个关键词词向量与索引文本库中的全部词组进行相似度的计算，以确定每个关键词词向量对应的相似词。
请参阅图4，图4是步骤S103中确定每个关键词词向量在索引文本库中对应的至少一个相似词的子步骤的示意性流程图，具体可以包括以下步骤S1031至步骤S1033。
步骤S1031、基于预设的相似度算法，计算每个所述关键词词向量与所述索引文本库中的多个词组对应的词向量之间的第一相似度。
示例性的，预设的相似度算法可以包括但不限于欧式距离、余弦相似度、曼哈顿距离以及切比雪夫距离等相似度算法。
在本申请实施例中，可以根据余弦相似度算法计算每个关键词词向量与索引文本库中的多个词组对应的词向量之间的相似度，当然也可以根据其它相似度算法来计算，具体过程在此不作赘述。
需要说明的是，余弦相似度算法用向量空间中两个向量的夹角余弦值作为衡量两个向量间相似程度的大小。示例性的，夹角余弦值的计算公式为：
Figure PCTCN2020135243-appb-000004
式中，θ表示向量V 1和向量V 2之间的夹角，n表示向量V 1和向量V 2中的维数；夹角余弦值cosθ的值域为[0，1]。
在一些实施例中，计算每个关键词词向量与索引文本库中的多个词组对应的词向量之间的第一相似度之前，可以先对索引文本库中的多个词组进行向量化，得到多个词组对应的词向量。
示例性的，每个关键词词向量可以表示为V 0；索引文本库中的多个词组对应的词向量可以表示为v 1,v 2,…,v k，其中，k表示词向量的个数。
例如，可以分别计算关键词词向量V 0与索引文本库中的词向量v 1,v 2,…,v k之间的夹角余弦值，得到关键词词向量V 0与索引文本库中的各词向量之间的第一相似度。
步骤S1032、确定对应的第一相似度大于第一预设相似度阈值的目标词向量。
示例性的，第一预设相似度阈值可以根据实际情况设定，具体数值在此不作限定。
示例性的，在得到关键词词向量V 0与索引文本库中的各词向量之间的第一相似度后，将对应的第一相似度大于第一预设相似度阈值的词向量，确定为关键词词向量V 0的目标词向量。
步骤S1033、将所述目标词向量对应的词组，确定为每个所述关键词词向量对应的相似词。
可以理解的是，由于索引文本库中的词向量是对索引文本库的多个词组进行向量化得到的，因此索引文本库中的词向量都有对应的词组。
在一些实施例中，将关键词词向量的目标词向量所对应的词组，确定为每个关键词词向量对应的相似词。
其中，每个关键词词向量的目标词向量有至少一个，从而可以得到每个关键词词向量的至少一个相似词。
在本申请实施例中，在确定每个关键词词向量在索引文本库中对应的至少一个相似词之后，可以将至少一个相似词添加至待扩充文本中。依次对索引文本库中的每个文本进行添加相似词处理，可以得到相似词扩充处理的索引文本库。
需要强调的是，为进一步保证上述相似词扩充处理的索引文本库的私密和安全性，上述相似词扩充处理的索引文本库还可以存储于一区块链的节点中。
通过根据相似度算法计算每个关键词词向量与索引文本库中的词向量之间的相似度，将每个关键词词向量对应的相似词添加至待扩充文本中，可以丰富索引文本库中的每个文本的相似词数量。
步骤S20、基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库。
在本申请实施例中，在根据文本搜索操作确定待搜索文本之后，可以基于预设的搜索引擎，对待搜索文本进行相似词匹配，得到待搜索文本对应的目标词组。
其中，搜索引擎包含经相似词扩充处理的索引文本库，具体的相似词扩充处理过程，可以参见上述实施例的详细说明，在此不再赘述。
通过基于包含经相似词扩充处理的索引文本库的搜索引擎对用户输入的待搜索文本进行相似词匹配，可以匹配到待搜索文本语义相似的目标词组，可以有效提高了搜索结果的准确性。
请参阅图5，图5是步骤S20中对待搜索文本进行相似词匹配，得到待搜索文本对应的目标词组的子步骤的示意性流程图，具体可以包括以下步骤S201至步骤S203。
步骤S201、对所述待搜索文本进行分词处理，得到所述待搜索文本对应的词组集合。
示例性的，若待搜索文本包括语句ABC，则在对语句ABC分词处理后，得到待搜索词文本对应的词组集合为(A，B，C)。
步骤S202、计算所述词组集合与所述索引文本库中的多个词组之间的第二相似度。
示例性的，可以根据余弦相似度算法计算词组集合与索引文本库中的多个词组之间的第二相似度。
例如，若索引文本库包括词组A1、词组A2、词组A3以及词组A4，则分别计算词组集合(A，B，C)与词组A1、词组A2、词组A3以及词组A4之间的第二相似度，得到，词组A1对应的第二相似度α 1，词组A2对应的第二相似度α 2，词组A3对应的第二相似度α 3以及词组A4对应的第二相似度α 4。
步骤S203、将第二相似度大于第二预设相似度阈值的至少一个词组作为所述词组集合对应的目标词组。
示例性的，若第二相似度大于第二预设相似度阈值的词组包括词组A1、词组A2和词组A3，则可以确定词组集合(A，B，C)对应的目标词组为词组A1、词组A2和词组A3。
示例性的，第二预设相似度阈值可以根据实际情况设定，具体数值在此不作限定。
步骤S30、根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
在一些实施例中，根据目标词组生成搜索结果列表，可以包括：获取目标词组对应的目标文本；按照目标词组对应的第二相似度对目标文本进行排序，得到搜索结果列表。
示例性的，若词组集合对应的目标词组包括词组A1、词组A2和词组A3，则可以将词组A1、词组A2和词组A3所在的文本作为目标文本。例如，目标文本包括文本1、文本2和文本3。
示例性的，在生成搜索结果列表时，可以按照目标词组对应的第二相似度对目标文本进行降序排列。若词组A1、词组A2和词组A3对应的第二相似度的大小为α 1>α 2>α 3，则得到的搜索结果列表，如表1所示。
表1
文本1
文本2
文本3
示例性的，当目标文本中存在重复的文本时，可以将保留其中的一个重复的文本，其他重复的文本剔除。
在一些实施例中，在生成搜索结果列表之后，可以在搜索页面上显示搜索结果列表。示例性的，可以将搜索结果列表渲染至搜索页面上，以在搜索页面显示搜索结果列表。
在一些实施例中，在搜索页面上显示搜索结果列表之后，还包括：当接收到对搜索结果列表的文本选中操作时，根据文本选中操作确定选中文本；确定选中文本在搜索结果列表中的排名值，当排名值不为预设排名值时，对索引文本库进行相似词扩充处理。
请参阅图6，图6是本申请实施例提供的用户对搜索结果列表的文本选中操作的场景示意图。如图6所示，用户在搜索页面输入想要搜索的文本后，可以选中搜索结果列表中的文本，以阅读文本中的内容信息。因此，可以接收到用户在搜索页面中对搜索结果列表的文本选中操作，根据文本选中操作确定用户的选中文本；然后判断选中文本在搜索结果列表中的排名值。
示例性的，预设的排名值可以根据实际情况设定。例如，预设排名值可以包括第一排名，也可以包括第一排名和第二排名。
例如，当选中文本为预设排名值时，例如，选中文本的排名值为第一排名，说明搜索结果是准确的。
例如，当选中文本为非预设排名值时，则说明搜索结果的效果不够好，并没有将用户想要的文本排在搜索结果列表的前列。
在一些实施例中，当排名值不为预设排名值时，对索引文本库进行相似词扩充处理。对索引文本库进行相似词扩充处理的具体过程，可以参见上述实施例的详细说明，在此不再赘述。
通过接收用户在搜索结果列表中的文本选中操作，根据文本选中操作确定是否需要再次对索引文本库进行相似词扩充处理，可以再次对索引文本库进行相似词扩充处理，进一步提高了搜索引擎的搜索准确性。
上述实施例提供的文本搜索方法，通过根据用户在预设的搜索页面中的文字输入操作和语音输入操作确定待搜索文本，可以便捷地确定用户输入的待搜索文本，还可以为用户提供更加方便、灵活的文本搜索方式；通过对索引文本库中的文本补充相似词，使得索引文本库包含更多语义相同或相似的词语，后续在对用户的搜索文本进行相似词匹配时，可以从语义上进行匹配，进而提高了匹配的准确度；通过根据词频-逆文档算法对多个词组进行关键词提取，可以充分利用词频-逆文档算法的速度快的优势，提高了提取关键词的效率；通过使用BERT模型对每个关键词进行向量化，由于BERT模型可以提取关键词周围的语义信息并将语义信息融入词向量中，因此可以得到增强语义的关键词词向量，从而后续可以得到更多语义与关键词相同或相似的相似词；通过根据相似度算法计算每个关键词词向量与索引文本库中的词向量之间的相似度，将每个关键词词向量对应的相似词添加至待扩充文本中，可以丰富索引文本库中的每个文本的相似词数量；通过基于包含经相似词扩充处理的索引文本库的搜索引擎对用户输入的待搜索文本进行相似词匹配，可以匹配到待搜索文本语义相似的目标词组，可以有效提高了搜索结果的准确性；通过接收用户在搜索结果列表中的文本选中操作，根据文本选中操作确定是否需要再次对索引文本库进行相似词扩充处理，可以再次对索引文本库进行相似词扩充处理，进一步提高了搜索引擎的搜索准确性。
请参阅图7，图7是本申请的实施例还提供一种文本搜索装置1000的示意性框图，该文本搜索装置用于执行前述的文本搜索方法。其中，该文本搜索装置可以配置于服务器或终端中。
如图7所示，该文本搜索装置1000，包括：待搜索文本获取模块1001、相似词匹配模块1002和搜索结果生成模块1003。
待搜索文本获取模块1001，用于当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
相似词匹配模块1002，用于基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
搜索结果生成模块1003，用于根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
请参阅图8，该计算机设备包括通过系统总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种文本搜索方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
在一个实施例中，所述索引文本库包括至少一个文本；所述处理器在实现当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本之前，还用于实现：
依次将所述索引文本库中的每个文本作为待扩充文本，并确定所述待扩充文本中的至少一个关键词；调用词向量化模型，对每个所述关键词进行向量化，得到所述待扩充文本对应的关键词词向量；确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，并将所述至少一个相似词添加至所述待扩充文本中。
在一个实施例中，所述处理器在实现确定所述待扩充文本中的至少一个关键词时，用于实现：
对所述待扩充文本中每个语句进行分词处理，得到所述待扩充文本对应的多个词组；根据预设的关键词提取算法对所述多个词组进行关键词提取，得到所述待扩充文本对应的至少一个所述关键词。
在一个实施例中，所述索引文本库包括多个词组；所述处理器在实现确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，用于实现：
基于预设的相似度算法，计算每个所述关键词词向量与所述索引文本库中的多个词组对应的词向量之间的第一相似度；确定对应的第一相似度大于第一预设相似度阈值的目标词向量；将所述目标词向量对应的词组，确定为每个所述关键词词向量对应的相似词。
在一个实施例中，所述文本搜索操作包括文字输入操作和语音输入操作；所述处理器在实现根据所述文本搜索操作确定待搜索文本时，用于实现：
当所述文本搜索操作为文字输入操作时，根据输入的文字信息获得所述待搜索文本；当所述文本搜索操作为语音输入操作时，对输入的语音信息进行语音识别，得到所述待搜索文本。
在一个实施例中，所述处理器在实现对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组时，用于实现：
对所述待搜索文本进行分词处理，得到所述待搜索文本对应的词组集合；计算所述词组集合与所述索引文本库中的多个词组之间的第二相似度；将第二相似度大于第二预设相似度阈值的至少一个词组作为所述词组集合对应的目标词组。
在一个实施例中，所述处理器在实现根据所述目标词组生成搜索结果列表时，用于实现：
获取所述目标词组对应的目标文本；按照所述目标词组对应的所述第二相似度对所述目标文本进行排序，得到所述搜索结果列表。
在一个实施例中，所述处理器在实现在所述搜索页面上显示所述搜索结果列表之后，还用于实现：
当接收到对所述搜索结果列表的文本选中操作时，根据所述文本选中操作确定选中文本；确定所述选中文本在所述搜索结果列表中的排名值，当所述排名值不为预设排名值时，对所述索引文本库进行相似词扩充处理。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项文本搜索方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种文本搜索方法，其特征在于，包括：
    当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
    基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
    根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
  2. 根据权利要求1所述的文本搜索方法，其特征在于，所述索引文本库包括至少一个文本；所述当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本之前，包括：
    依次将所述索引文本库中的每个文本作为待扩充文本，并确定所述待扩充文本中的至少一个关键词；
    调用词向量化模型，对每个所述关键词进行向量化，得到所述待扩充文本对应的关键词词向量；
    确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，并将所述至少一个相似词添加至所述待扩充文本中。
  3. 根据权利要求2所述的文本搜索方法，其特征在于，所述确定所述待扩充文本中的至少一个关键词，包括：
    对所述待扩充文本中每个语句进行分词处理，得到所述待扩充文本对应的多个词组；
    根据预设的关键词提取算法对所述多个词组进行关键词提取，得到所述待扩充文本对应的至少一个所述关键词。
  4. 根据权利要求2所述的文本搜索方法，其特征在于，所述索引文本库包括多个词组；所述确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，包括：
    基于预设的相似度算法，计算每个所述关键词词向量与所述索引文本库中的多个词组对应的词向量之间的第一相似度；
    确定对应的第一相似度大于第一预设相似度阈值的目标词向量；
    将所述目标词向量对应的词组，确定为每个所述关键词词向量对应的相似词。
  5. 根据权利要求1所述的文本搜索方法，其特征在于，所述文本搜索操作包括文字输入操作和语音输入操作；所述根据所述文本搜索操作确定待搜索文本，包括：
    当所述文本搜索操作为文字输入操作时，根据输入的文字信息获得所述待搜索文本；
    当所述文本搜索操作为语音输入操作时，对输入的语音信息进行语音识别，得到所述待搜索文本。
  6. 根据权利要求1所述的文本搜索方法，其特征在于，所述对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，包括：
    对所述待搜索文本进行分词处理，得到所述待搜索文本对应的词组集合；
    计算所述词组集合与所述索引文本库中的多个词组之间的第二相似度；
    将第二相似度大于第二预设相似度阈值的至少一个词组作为所述词组集合对应的目标词组；
    所述根据所述目标词组生成搜索结果列表，包括：
    获取所述目标词组对应的目标文本；
    按照所述目标词组对应的所述第二相似度对所述目标文本进行排序，得到所述搜索结果列表。
  7. 根据权利要求1-6任一项所述的文本搜索方法，其特征在于，所述在所述搜索页面上显示所述搜索结果列表之后，还包括：
    当接收到对所述搜索结果列表的文本选中操作时，根据所述文本选中操作确定选中文本；
    确定所述选中文本在所述搜索结果列表中的排名值，当所述排名值不为预设排名值时， 对所述索引文本库进行相似词扩充处理。
  8. 一种文本搜索装置，其特征在于，包括：
    待搜索文本获取模块，用于当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
    相似词匹配模块，用于基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
    搜索结果生成模块，用于根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
  9. 一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
    当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
    基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
    根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
  10. 根据权利要求9所述的计算机设备，其特征在于，所述索引文本库包括至少一个文本；所述当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本之前，包括：
    依次将所述索引文本库中的每个文本作为待扩充文本，并确定所述待扩充文本中的至少一个关键词；
    调用词向量化模型，对每个所述关键词进行向量化，得到所述待扩充文本对应的关键词词向量；
    确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，并将所述至少一个相似词添加至所述待扩充文本中。
  11. 根据权利要求10所述的计算机设备，其特征在于，所述确定所述待扩充文本中的至少一个关键词，包括：
    对所述待扩充文本中每个语句进行分词处理，得到所述待扩充文本对应的多个词组；
    根据预设的关键词提取算法对所述多个词组进行关键词提取，得到所述待扩充文本对应的至少一个所述关键词。
  12. 根据权利要求10所述的计算机设备，其特征在于，所述索引文本库包括多个词组；所述确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，包括：
    基于预设的相似度算法，计算每个所述关键词词向量与所述索引文本库中的多个词组对应的词向量之间的第一相似度；
    确定对应的第一相似度大于第一预设相似度阈值的目标词向量；
    将所述目标词向量对应的词组，确定为每个所述关键词词向量对应的相似词。
  13. 根据权利要求9所述的计算机设备，其特征在于，所述文本搜索操作包括文字输入操作和语音输入操作；所述根据所述文本搜索操作确定待搜索文本，包括：
    当所述文本搜索操作为文字输入操作时，根据输入的文字信息获得所述待搜索文本；
    当所述文本搜索操作为语音输入操作时，对输入的语音信息进行语音识别，得到所述待搜索文本。
  14. 根据权利要求9所述的计算机设备，其特征在于，所述对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，包括：
    对所述待搜索文本进行分词处理，得到所述待搜索文本对应的词组集合；
    计算所述词组集合与所述索引文本库中的多个词组之间的第二相似度；
    将第二相似度大于第二预设相似度阈值的至少一个词组作为所述词组集合对应的目标词组；
    所述根据所述目标词组生成搜索结果列表，包括：
    获取所述目标词组对应的目标文本；
    按照所述目标词组对应的所述第二相似度对所述目标文本进行排序，得到所述搜索结果列表。
  15. 根据权利要求9-14任一项所述的计算机设备，其特征在于，所述在所述搜索页面上显示所述搜索结果列表之后，还包括：
    当接收到对所述搜索结果列表的文本选中操作时，根据所述文本选中操作确定选中文本；
    确定所述选中文本在所述搜索结果列表中的排名值，当所述排名值不为预设排名值时，对所述索引文本库进行相似词扩充处理。
  16. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下步骤：
    当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本；
    基于预设的搜索引擎，对所述待搜索文本进行相似词匹配，得到所述待搜索文本对应的目标词组，其中，所述搜索引擎包含经相似词扩充处理的索引文本库；
    根据所述目标词组生成搜索结果列表，并在所述搜索页面上显示所述搜索结果列表。
  17. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述索引文本库包括至少一个文本；所述当检测到预设的搜索页面中的文本搜索操作时，根据所述文本搜索操作确定待搜索文本之前，包括：
    依次将所述索引文本库中的每个文本作为待扩充文本，并确定所述待扩充文本中的至少一个关键词；
    调用词向量化模型，对每个所述关键词进行向量化，得到所述待扩充文本对应的关键词词向量；
    确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，并将所述至少一个相似词添加至所述待扩充文本中。
  18. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述确定所述待扩充文本中的至少一个关键词，包括：
    对所述待扩充文本中每个语句进行分词处理，得到所述待扩充文本对应的多个词组；
    根据预设的关键词提取算法对所述多个词组进行关键词提取，得到所述待扩充文本对应的至少一个所述关键词。
  19. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述索引文本库包括多个词组；所述确定每个所述关键词词向量在所述索引文本库中对应的至少一个相似词，包括：
    基于预设的相似度算法，计算每个所述关键词词向量与所述索引文本库中的多个词组对应的词向量之间的第一相似度；
    确定对应的第一相似度大于第一预设相似度阈值的目标词向量；
    将所述目标词向量对应的词组，确定为每个所述关键词词向量对应的相似词。
  20. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述文本搜索操作包括文字输入操作和语音输入操作；所述根据所述文本搜索操作确定待搜索文本，包括：
    当所述文本搜索操作为文字输入操作时，根据输入的文字信息获得所述待搜索文本；
    当所述文本搜索操作为语音输入操作时，对输入的语音信息进行语音识别，得到所述待搜索文本。
PCT/CN2020/135243 2020-10-21 2020-12-10 文本搜索方法、装置、计算机设备和存储介质 Ceased WO2021189951A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011133988.0A CN112256822A (zh) 2020-10-21 2020-10-21 文本搜索方法、装置、计算机设备和存储介质
CN202011133988.0 2020-10-21

Publications (1)

Publication Number Publication Date
WO2021189951A1 true WO2021189951A1 (zh) 2021-09-30

Family

ID=74263686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/135243 Ceased WO2021189951A1 (zh) 2020-10-21 2020-12-10 文本搜索方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN112256822A (zh)
WO (1) WO2021189951A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118082A (zh) * 2021-11-26 2022-03-01 北京金山数字娱乐科技有限公司 一种简历检索方法及装置
CN114222000A (zh) * 2021-12-13 2022-03-22 中国平安财产保险股份有限公司 信息推送方法、装置、计算机设备和存储介质
CN114282241A (zh) * 2021-12-24 2022-04-05 杭州天宽科技有限公司 一种基于数据分析的数据加密系统
CN114416961A (zh) * 2021-12-27 2022-04-29 北京百度网讯科技有限公司 文本匹配方法及其装置
CN114492371A (zh) * 2022-02-11 2022-05-13 网易传媒科技（北京）有限公司 文本处理方法及装置、存储介质、电子设备
CN114780673A (zh) * 2022-03-28 2022-07-22 西安远诺技术转移有限公司 基于领域匹配的科技成果管理方法和科技成果管理平台
CN114970545A (zh) * 2022-05-25 2022-08-30 北京三快在线科技有限公司 一种模型训练、语义相似度确定方法及装置
CN114996215A (zh) * 2022-06-16 2022-09-02 中国联合网络通信集团有限公司 文件搜索方法、装置、设备及存储介质
CN115357605A (zh) * 2022-10-19 2022-11-18 湖南创亚信息科技有限公司 一种客户信息检索方法、装置、电子设备及存储介质
CN115659046A (zh) * 2022-11-10 2023-01-31 果子(青岛)数字技术有限公司 基于ai大数据的技术交易推荐系统及方法
CN116150336A (zh) * 2023-01-12 2023-05-23 深圳市优必选科技股份有限公司 新闻检索方法、装置、电子装置及存储介质
CN116756151A (zh) * 2023-08-17 2023-09-15 公安部信息通信中心 一种知识搜索与数据处理系统
CN117076694A (zh) * 2023-08-16 2023-11-17 北京蜂巢世纪科技有限公司 一种信息片段存储和搜索的方法、装置、设备和存储介质
CN117251521A (zh) * 2022-06-10 2023-12-19 深圳市腾讯计算机系统有限公司 内容搜索方法、装置、计算机设备、存储介质和产品
CN117290522A (zh) * 2023-09-26 2023-12-26 中国银行股份有限公司 文本检索方法、装置、电子设备及存储介质
CN118537053A (zh) * 2024-07-26 2024-08-23 云景文旅科技有限公司 基于业务中台的电商数据资产管控方法及系统
CN119739682A (zh) * 2025-03-05 2025-04-01 龙图腾网科技(合肥)股份有限公司 一种专利文件检索方法、装置、可读存储介质
CN120873173A (zh) * 2025-09-26 2025-10-31 统信软件技术有限公司 检索方法及装置、电子设备、存储介质、计算机程序产品

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988753B (zh) * 2021-03-31 2022-10-11 中国建设银行股份有限公司 一种数据搜索方法和装置
CN114021552B (zh) * 2021-11-04 2025-06-13 山东库睿科技有限公司 词向量模型的评测方法、装置、电子设备和介质
CN114005012A (zh) * 2021-11-05 2022-02-01 北京市商汤科技开发有限公司 多模态预训练模型的训练方法、装置、设备及存储介质
CN115858742A (zh) * 2022-09-02 2023-03-28 北京中关村科金技术有限公司 问题文本扩充方法、装置、设备及存储介质
CN115408491B (zh) * 2022-11-02 2023-01-17 京华信息科技股份有限公司 一种历史数据的文本检索方法及系统
CN116245085A (zh) * 2023-01-06 2023-06-09 建信金融科技有限责任公司 保函开立方法、装置、设备及存储介质
CN116401255A (zh) * 2023-04-17 2023-07-07 超聚变数字技术有限公司 搜索方法及计算设备
CN117421418A (zh) * 2023-11-08 2024-01-19 中国工商银行股份有限公司 基于关键词的文本搜索方法、装置以及电子设备
CN117972097B (zh) * 2024-03-29 2024-08-06 长城汽车股份有限公司 文本的分类方法、分类装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184946A1 (en) * 2010-01-28 2011-07-28 International Business Machines Corporation Applying synonyms to unify text search with faceted browsing classification
CN102483757A (zh) * 2009-08-21 2012-05-30 米科·韦内宁 用于数据搜索和语言翻译的方法和装置
CN102999569A (zh) * 2012-11-09 2013-03-27 同济大学 用户需求分析定位器和分析及定位方法
US20180181988A1 (en) * 2016-12-26 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for pushing information
CN108509474A (zh) * 2017-09-15 2018-09-07 腾讯科技（深圳）有限公司 搜索信息的同义词扩展方法及装置
CN111930880A (zh) * 2020-08-14 2020-11-13 易联众信息技术股份有限公司 一种文本编码检索的方法、装置及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402619B (zh) * 2011-12-23 2013-10-30 广东威创视讯科技股份有限公司 一种搜索方法和装置
CN103177122B (zh) * 2013-04-15 2017-04-26 天津理工大学 一种基于同义词的个人桌面文件搜索方法
CN105373529B (zh) * 2015-10-28 2018-04-20 甘肃智呈网络科技有限公司 一种基于隐马尔科夫模型的智能分词方法
CN107885874B (zh) * 2017-11-28 2020-09-29 上海智臻智能网络科技股份有限公司 数据查询方法和装置、计算机设备及计算机可读存储介质
CN108182173A (zh) * 2017-12-27 2018-06-19 福建中金在线信息科技有限公司 一种提取关键词的方法、装置及电子设备
CN108776901B (zh) * 2018-04-27 2021-01-15 微梦创科网络科技（中国）有限公司 基于搜索词的广告推荐方法及系统
US10459962B1 (en) * 2018-09-19 2019-10-29 Servicenow, Inc. Selectively generating word vector and paragraph vector representations of fields for machine learning
CN110377778A (zh) * 2019-07-11 2019-10-25 北京字节跳动网络技术有限公司 基于标题图相关性的图排序方法、装置及电子设备
CN111291195B (zh) * 2020-01-21 2021-08-10 腾讯科技（深圳）有限公司 一种数据处理方法、装置、终端及可读存储介质
CN111611807B (zh) * 2020-05-18 2022-12-09 北京邮电大学 一种基于神经网络的关键词提取方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483757A (zh) * 2009-08-21 2012-05-30 米科·韦内宁 用于数据搜索和语言翻译的方法和装置
US20110184946A1 (en) * 2010-01-28 2011-07-28 International Business Machines Corporation Applying synonyms to unify text search with faceted browsing classification
CN102999569A (zh) * 2012-11-09 2013-03-27 同济大学 用户需求分析定位器和分析及定位方法
US20180181988A1 (en) * 2016-12-26 2018-06-28 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for pushing information
CN108509474A (zh) * 2017-09-15 2018-09-07 腾讯科技（深圳）有限公司 搜索信息的同义词扩展方法及装置
CN111930880A (zh) * 2020-08-14 2020-11-13 易联众信息技术股份有限公司 一种文本编码检索的方法、装置及介质

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118082A (zh) * 2021-11-26 2022-03-01 北京金山数字娱乐科技有限公司 一种简历检索方法及装置
CN114222000A (zh) * 2021-12-13 2022-03-22 中国平安财产保险股份有限公司 信息推送方法、装置、计算机设备和存储介质
CN114222000B (zh) * 2021-12-13 2024-02-02 中国平安财产保险股份有限公司 信息推送方法、装置、计算机设备和存储介质
CN114282241A (zh) * 2021-12-24 2022-04-05 杭州天宽科技有限公司 一种基于数据分析的数据加密系统
CN114416961A (zh) * 2021-12-27 2022-04-29 北京百度网讯科技有限公司 文本匹配方法及其装置
CN114492371A (zh) * 2022-02-11 2022-05-13 网易传媒科技（北京）有限公司 文本处理方法及装置、存储介质、电子设备
CN114780673A (zh) * 2022-03-28 2022-07-22 西安远诺技术转移有限公司 基于领域匹配的科技成果管理方法和科技成果管理平台
CN114780673B (zh) * 2022-03-28 2024-04-30 西安远诺技术转移有限公司 基于领域匹配的科技成果管理方法和科技成果管理平台
CN114970545A (zh) * 2022-05-25 2022-08-30 北京三快在线科技有限公司 一种模型训练、语义相似度确定方法及装置
CN117251521A (zh) * 2022-06-10 2023-12-19 深圳市腾讯计算机系统有限公司 内容搜索方法、装置、计算机设备、存储介质和产品
CN117251521B (zh) * 2022-06-10 2025-10-31 深圳市腾讯计算机系统有限公司 内容搜索方法、装置、计算机设备、存储介质和产品
CN114996215A (zh) * 2022-06-16 2022-09-02 中国联合网络通信集团有限公司 文件搜索方法、装置、设备及存储介质
CN115357605B (zh) * 2022-10-19 2023-02-10 湖南创亚信息科技有限公司 一种客户信息检索方法、装置、电子设备及存储介质
CN115357605A (zh) * 2022-10-19 2022-11-18 湖南创亚信息科技有限公司 一种客户信息检索方法、装置、电子设备及存储介质
CN115659046A (zh) * 2022-11-10 2023-01-31 果子(青岛)数字技术有限公司 基于ai大数据的技术交易推荐系统及方法
CN116150336A (zh) * 2023-01-12 2023-05-23 深圳市优必选科技股份有限公司 新闻检索方法、装置、电子装置及存储介质
CN117076694A (zh) * 2023-08-16 2023-11-17 北京蜂巢世纪科技有限公司 一种信息片段存储和搜索的方法、装置、设备和存储介质
CN116756151A (zh) * 2023-08-17 2023-09-15 公安部信息通信中心 一种知识搜索与数据处理系统
CN116756151B (zh) * 2023-08-17 2023-11-24 公安部信息通信中心 一种知识搜索与数据处理系统
CN117290522A (zh) * 2023-09-26 2023-12-26 中国银行股份有限公司 文本检索方法、装置、电子设备及存储介质
CN118537053A (zh) * 2024-07-26 2024-08-23 云景文旅科技有限公司 基于业务中台的电商数据资产管控方法及系统
CN119739682A (zh) * 2025-03-05 2025-04-01 龙图腾网科技(合肥)股份有限公司 一种专利文件检索方法、装置、可读存储介质
CN120873173A (zh) * 2025-09-26 2025-10-31 统信软件技术有限公司 检索方法及装置、电子设备、存储介质、计算机程序产品

Also Published As

Publication number Publication date
CN112256822A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
WO2021189951A1 (zh) 文本搜索方法、装置、计算机设备和存储介质
US11017178B2 (en) Methods, devices, and systems for constructing intelligent knowledge base
CN113505196B (zh) 基于词性的文本检索方法、装置、电子设备及存储介质
US20220261545A1 (en) Systems and methods for producing a semantic representation of a document
CN111797214A (zh) 基于faq数据库的问题筛选方法、装置、计算机设备及介质
US20130060769A1 (en) System and method for identifying social media interactions
US20230119161A1 (en) Efficient Index Lookup Using Language-Agnostic Vectors and Context Vectors
CN109299280B (zh) 短文本聚类分析方法、装置和终端设备
WO2019091026A1 (zh) 知识库文档快速检索方法、应用服务器及计算机可读存储介质
CN109885813B (zh) 一种基于词语覆盖度的文本相似度的运算方法及系统
WO2017101342A1 (zh) 情感分类方法及装置
CN111737997A (zh) 一种文本相似度确定方法、设备及储存介质
CN114880447A (zh) 信息检索方法、装置、设备及存储介质
WO2020232898A1 (zh) 文本分类方法、装置、电子设备及计算机非易失性可读存储介质
US12073299B2 (en) Systems and methods for using contrastive pre-training to generate text and code embeddings
CN107885717B (zh) 一种关键词提取方法及装置
CN110008474B (zh) 一种关键短语确定方法、装置、设备及存储介质
CN113761125B (zh) 动态摘要确定方法和装置、计算设备以及计算机存储介质
CN118035487A (zh) 视频索引生成和检索方法、装置、电子设备及存储介质
CN118797005A (zh) 智能问答方法、装置、电子设备、存储介质及产品
US20250181620A1 (en) Fine-grained attribution for document question answering
CN111126084A (zh) 数据处理方法、装置、电子设备和存储介质
CN114048742B (zh) 文本信息的知识实体和关系抽取方法及文本质量评估方法
US20260093779A1 (en) Method of retrieving data, method of training deep learning model, electronic device and storage medium
CN109918661B (zh) 同义词获取方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926753

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926753

Country of ref document: EP

Kind code of ref document: A1