WO2021072892A1 - 基于神经网络混合模型的法律条文检索方法及相关设备 - Google Patents

基于神经网络混合模型的法律条文检索方法及相关设备 Download PDF

Info

Publication number
WO2021072892A1
WO2021072892A1 PCT/CN2019/119314 CN2019119314W WO2021072892A1 WO 2021072892 A1 WO2021072892 A1 WO 2021072892A1 CN 2019119314 W CN2019119314 W CN 2019119314W WO 2021072892 A1 WO2021072892 A1 WO 2021072892A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector
text
normalized
feature
neural network
Prior art date
Application number
PCT/CN2019/119314
Other languages
English (en)
French (fr)
Inventor
于修铭
雷骏峰
刘嘉伟
陈晨
李可
汪伟
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021072892A1 publication Critical patent/WO2021072892A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of artificial intelligence, and in particular to a method for searching legal provisions based on a neural network hybrid model and related equipment.
  • Knowledge graph technology has increasingly become the foundation of artificial intelligence, and it is an important method for machines to understand natural language and construct knowledge networks.
  • knowledge graphs in the judicial field has quietly emerged.
  • the rapid retrieval system of legal provisions can rely on the legal knowledge graphs to quickly retrieve legal provisions online based on the text content input by users, improving the quality and efficiency of court trials.
  • the system mainly includes There are two types of quick search functions, one is to search related legal provisions based on legal provisions, and the other is to search related legal provisions based on case element information.
  • the legal provision retrieval system is usually used by legal practitioners to search relevant legal provisions based on the information in the case to improve the efficiency of case processing, without the need to manually browse and find relevant legal provisions; while the current legal provision retrieval is usually processed by natural language Technology, the methods used are mostly text similarity, keyword matching and other methods.
  • the most typical one is the transformer algorithm, which is based on the transformer model. Through this model, you can obtain the relevant legal provisions in the case. During the training process, only the text above or below can be learned, so the prediction accuracy is not high and it takes a long time.
  • the purpose of this application is to address the shortcomings of the prior art and provide a method and related equipment for retrieving legal provisions based on a neural network hybrid model.
  • a stack embedding loop is performed. Operation, the stack embedding loop operation is performed again after the result of the operation is spliced to obtain the retrieval result of the legal provisions, which can effectively improve the accuracy of the retrieval of the legal provisions.
  • the technical solution of the present application provides a method and related equipment for searching legal provisions based on a neural network hybrid model.
  • This application discloses a method for searching legal provisions based on a neural network hybrid model, which includes the following steps:
  • the application also discloses a legal provision retrieval device based on a neural network hybrid model, the device includes:
  • Obtaining module configured to obtain input text, vectorize the input text, and obtain a first text vector and a second text vector;
  • the first stack module configured to perform stack embedding on the first text vector and the second text vector to obtain a first loop vector and a second loop vector;
  • the second stack module is configured to splice the first cyclic vector and the second cyclic vector to obtain a mixed vector, and perform stack embedding on the mixed vector to obtain a mixed stack vector;
  • Output module set to normalize the mixed stack vector to obtain text retrieval results.
  • the application also discloses a computer device, the computer device includes a memory and a processor, the memory is stored with computer readable instructions, when the computer readable instructions are executed by one or more of the processors, One or more of the processors perform the following steps:
  • the application also discloses a computer-readable storage medium.
  • the computer-readable storage medium can be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.
  • the storage medium can be processed.
  • the storage medium stores computer instructions, and when the computer-readable instructions are executed by one or more processors, the one or more processors perform the following steps:
  • this application performs stack embedding loop operation by multi-inputting the input text, vectorizing the multi-channel input, and performing stack embedding loop operation again after concatenating the result of the operation to obtain legal provisions.
  • the search results can effectively improve the accuracy of the legal provisions search.
  • FIG. 1 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to the first embodiment of this application;
  • FIG. 2 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to a second embodiment of the application;
  • FIG. 3 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to a third embodiment of the application;
  • FIG. 4 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to a fourth embodiment of the application;
  • FIG. 5 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to a fifth embodiment of this application;
  • FIG. 6 is a schematic flowchart of a method for searching legal provisions based on a neural network hybrid model according to a sixth embodiment of the application;
  • FIG. 7 is a schematic flowchart of a method for retrieving legal provisions based on a neural network hybrid model according to a seventh embodiment of the application.
  • FIG. 8 is a schematic structural diagram of a legal provision retrieval device based on a neural network hybrid model according to an embodiment of the application.
  • Step s101 Obtain input text, and vectorize the input text to obtain a first text vector and a second text vector;
  • the input text is the content of legal provisions of any length, which can be a complete sentence, for example: "Which legal provisions need to be referred to in the borrowing and lending relationship?"
  • the system can Obtain the input text.
  • the element information in the input text can be extracted through entity link technology, and the element information can include: dispute focus, small fact elements, and evidence, for example: "I want to ask about the needs in the loan relationship Which legal provisions do you refer to?”
  • the focus of the dispute is “whether the loan relationship is established”
  • the small fact element is “whether to sign IOU/IOU/receipt/loan contract”
  • the evidence is “loan contract”.
  • the first text vector and the second text vector can be obtained by respectively vectorizing the input text and the element information in the text.
  • Step s102 performing stack embedding on the first text vector and the second text vector to obtain a first cyclic vector and a second cyclic vector;
  • the stack embedding includes performing an embedding operation on the first text vector and the second text vector, and performing multiple embedding operations in series to complete the stack embedding operation; when performing the embedding operation, first obtain all the embedding operations.
  • the position information in the first text vector and the second text vector, and the position information is based on the calculation formula Is obtained, where p represents the position of the word in the word vector, i represents the position of the element in the vector corresponding to each word in the word vector, and d represents the vector dimension; then the position information is compared with the first text vector and the second The text vectors are added separately to obtain the first position vector and the second position vector.
  • the first position vector and the second position vector are input into a neural network model for normalization processing, and the normalization
  • the normalization According to the formula Where ⁇ is the mean, ⁇ is the variance, a is the position vector, and H is the number of neurons in the neural network, thereby obtaining the first normalized latent vector and the second normalized latent vector; then
  • the first normalized latent vector and the second normalized latent vector are input to the convolutional neural network for feature extraction.
  • the feature extraction can be extracted by the convolution kernel of the convolutional neural network, and the feature extraction includes vector features. Extraction, after the vector feature is extracted, the vector after feature extraction is added to the first position vector and the second position vector to obtain the first feature hidden vector and the second feature hidden vector.
  • position information can be obtained from the first feature hidden vector and the second feature hidden vector, and the position The information is added to the first feature hidden vector and the second feature hidden vector to obtain new first position vector and second position vector, and then the new first position vector and second position vector are input to the neural network Perform normalization processing to obtain the new first normalized latent vector and second normalized latent vector, and finally input the new first normalized latent vector and the second normalized latent vector into the convolutional neural network again.
  • the first feature vector and the second feature vector can be input again into the neural network model for normalization processing to obtain the first feature vector.
  • the normalized vector and the second normalized vector, and then the first normalized vector and the second normalized vector are input into the self-attention neural network model for calculation, and the calculated vectors are respectively compared with all
  • the first feature vector and the second feature vector are added to obtain the first coding block vector and the second coding block vector; obtaining the coding block vector means that the embedding operation is completed.
  • the first coding block vector and the second coding block vector are added to the position information corresponding to the coding block vector , Obtain new first position information and second position information, and then input the new first position information and second position information into the neural network model for normalization processing to obtain new first normalized latent vector and second Normalize the latent vector, and input the new first normalized latent vector and the second normalized latent vector again into the convolutional neural network model for feature extraction to obtain the new first feature vector and second feature vector, and then Input the new first feature vector and second feature vector into the neural network model for normalization processing to obtain new first normalized vector and second normalized vector, and finally the new first normalized vector and The second normalized vector is input into the self-attention neural network model for calculation, and the calculated results are added to the new first feature vector and the second feature vector to obtain the new first coding block vector and the second Encode the block vector, and repeat this step N times, where the number of repetitions N can be prese
  • Step s103 concatenate the first cyclic vector and the second cyclic vector to obtain a mixed vector, and perform stack embedding on the mixed vector to obtain a mixed stack vector;
  • the first cyclic vector and the second cyclic vector may be spliced to obtain a mixed vector, and the splicing is a vector and a vector
  • the splicing is a vector and a vector
  • stack embedding can be performed on the hybrid vector, and the stack embedding operation can be performed in the manner of step s102, that is, the hybrid vector and its corresponding position information are added to obtain The new position vector, and then normalize the new position vector to obtain a new normalized hidden vector, and then perform feature extraction on the new normalized hidden vector, obtain a new feature vector, and perform the new feature vector again Perform normalization to obtain a new normalized vector, and finally input the new normalized vector into the self-attention neural network model for calculation, and add the calculation result to the new feature vector to obtain a new encoding block vector.
  • the coded block vector of cyclically performs the foregoing steps to obtain a cyclic vector, and the final cyclic vector is the combined stack vector.
  • step s104 normalization processing is performed on the mixed stack vector to obtain a text search result.
  • linear processing may be performed on the hybrid stack vector.
  • the linear processing includes inputting the hybrid stack vector into the fully connected layer of the convolutional neural network for linear processing to obtain Classification vector, the fully connected layer can be regarded as matrix multiplication, for example: the input vector is a 128*128 vector, [1,2,...,128*128], and the matrix of the fully connected layer is a ( 128*128)*4 matrix, then the result is a vector with length (1,4).
  • the purpose of linear processing of the mixed stack vector is to reduce dimensionality. For example, after linear processing in the above example The vector is reduced from 128 dimensions to 4 dimensions, and the reduced 4-dimensional vector is the vector to be classified.
  • the vector dimension after the fully connected layer is the total number of retrieved legal clauses. For example, if the total number of retrieved legal clauses is 2000, the output vector is the (1, 2000) vector. Therefore, the construction of the fully connected layer needs to be preset according to the number of legal provisions.
  • the vector to be classified may be normalized, and the normalization may be performed through the softmax function.
  • the probability corresponding to each dimension is output according to the dimension of the vector to be classified, where each dimension corresponds to a legal clause.
  • the probability threshold of the legal provisions can also be preset.
  • the probabilities can be compared with the preset probability thresholds. If the probability is greater than the probability threshold, the The legal provisions corresponding to the probability are output, otherwise it is not output.
  • the stack embedding loop operation is performed, and the stack embedding loop operation is performed again after the result of the operation is spliced to obtain the retrieval result of the legal provisions. Effectively improve the accuracy of legal provisions retrieval.
  • Figure 2 is a schematic flow chart of a method for searching legal provisions based on a neural network hybrid model according to a second embodiment of the application.
  • step s101 input text is obtained, and the input text is vectorized to obtain
  • the first text vector and the second text vector include:
  • Step s201 Obtain input text, and set the input text as the first text
  • the input text can be copied into two copies, and the input text is set as the first text.
  • Step s202 Perform entity linking on the first text to obtain elements in the first text, join the elements into a context, and set the context as the second text;
  • the element information in the input text can be extracted through the entity link technology.
  • the element information includes the focus of dispute, small fact elements, and evidence, such as: "Which legal provisions need to be referred to in the borrowing and lending relationship?" , The focus of the dispute is "whether the loan relationship is established", the small fact element is “whether to sign IOU/IOU/receipt/loan contract", and the evidence is "loan contract”; then all the element information is spliced into context, and the said The context is set to the second text.
  • step s203 the first text and the second text are respectively vectorized to obtain a first text vector and a second text vector.
  • the first text and the second text can be vectorized respectively to obtain the first text vector and the second text vector.
  • Fig. 3 is a schematic flow chart of a method for searching legal provisions based on a neural network hybrid model according to a third embodiment of the application. As shown in the figure, the step s203 is performed on the first text and the second text respectively.
  • Vectorization to obtain the first text vector and the second text vector including:
  • Step s301 performing word segmentation on the first text and the second text to obtain each word in the first text and the second text;
  • the word segmentation can be performed by a word segmentation tool. After the first text and the second text are segmented, each word in the first text and the second text can be obtained.
  • Step s302 preset the dimensions of the vector, and respectively vectorize each word of the first text and each word of the second text according to the dimension of the vector to obtain the first text vector and the second text vector .
  • the vectorization can be performed by the word2Vec method, and the dimension of the vector can be set to 128 dimensions.
  • the dimension of the text vector is used to determine the number of word vectors in the input text.
  • the dimension of the text vector can be preset, for example, set to 128, then the number of word vectors of the input text this time is 128. When the number of word vectors of the input text exceeds 128, the word vectors exceeding 128 are directly deleted.
  • the insufficient word vector is filled with 0.
  • the context information in the text can be better obtained, and the text retrieval can be realized more accurately.
  • FIG. 4 is a schematic flowchart of a method for retrieving legal provisions based on a neural network hybrid model according to a fourth embodiment of the application. As shown in the figure, the step s102 is performed on the first text vector and the second text vector Perform stack embedding to obtain the first loop vector and the second loop vector, including:
  • Step s401 Add the position information of the first text vector and the first text vector to obtain a first position vector, and add the position information of the second text vector and the second text vector to obtain Second position vector
  • the position information in the first text vector and the second text vector is acquired, and the position information is based on the calculation formula Is obtained, where p represents the position of the word in the word vector, i represents the position of the element in the vector corresponding to each word in the word vector, and d represents the vector dimension; then the position information is compared with the first text vector and the second The text vectors are added separately to obtain the first position vector and the second position vector.
  • Step s402 respectively inputting the first position vector and the second position vector to a neural network model for normalization processing to obtain a first normalized latent vector and a second normalized latent vector;
  • the first position vector and the second position vector are input into a neural network model for normalization processing, and the normalization According to the formula Progress, where ⁇ is the mean, ⁇ is the variance, a is the position vector, and H is the number of neurons in the neural network, thereby obtaining the first normalized latent vector and the second normalized latent vector.
  • Step s403 performing feature extraction on the first normalized hidden vector and the second normalized hidden vector to obtain a first feature vector and a second feature vector;
  • the first normalized latent vector and the second normalized latent vector can be input to the convolutional neural network , Perform feature extraction.
  • the feature extraction can be performed by the convolution kernel of the convolutional neural network.
  • the feature extraction includes the extraction of vector features. After the vector features are extracted, the first feature vector and the second feature vector are obtained.
  • Step s404 input the first feature vector and the second feature vector into a neural network model for normalization processing, obtain a first normalized vector and a second normalized vector, and normalize the first
  • the vector and the second normalized vector are input to the self-attention neural network model for processing to obtain a first coding block vector and a second coding block vector, and performing processing on the first coding block vector and the second coding block vector Loop processing to obtain the first loop vector and the second loop vector.
  • the first feature vector and the second feature vector can be input into a neural network model for normalization processing to obtain the first normalized vector.
  • the first normalized vector and the second normalized vector are input to the self-attention neural network model for processing to obtain the first coding block vector and the second coding block Vector, and then cyclic processing is performed on the first coding block vector and the second coding block vector to obtain the first cyclic vector and the second cyclic vector.
  • the collection and recognition of text information can be improved, and the accuracy of text retrieval can be improved.
  • step s403 the first normalized latent vector and the first Perform feature extraction with two normalized hidden vectors to obtain the first feature vector and the second feature vector, including:
  • Step s501 input the first normalized latent vector and the second normalized latent vector into a neural network model for feature extraction, and the vector after the feature extraction is respectively compared with the first position vector and the Add the second position vector to obtain the first feature hidden vector and the second feature hidden vector;
  • the first normalized latent vector and the second normalized latent vector can be input to the convolutional neural network .
  • Perform feature extraction the feature extraction can be extracted by the convolution kernel of the convolutional neural network, the feature extraction includes the extraction of vector features, after the vector feature is extracted, the vector after the feature extraction is respectively compared with the first A position vector is added to the second position vector to obtain a first feature hidden vector and a second feature hidden vector.
  • Step s502 preset the first cycle times, input the first feature hidden vector and the second feature hidden vector into the neural network model for normalization, and input the normalized vector into the neural network model for feature extraction , Adding the vector after feature extraction to the first position vector and the second position vector, and repeating this step according to the preset number of first cycles to obtain the first feature vector and the second feature vector.
  • position information can be obtained from the first feature hidden vector and the second feature hidden vector, and the position The information is added to the first feature hidden vector and the second feature hidden vector to obtain new first position vector and second position vector, and then the new first position vector and second position vector are input to the neural network Perform normalization processing to obtain the new first normalized latent vector and second normalized latent vector, and finally input the new first normalized latent vector and the second normalized latent vector into the convolutional neural network again.
  • N the number of repetitions N
  • the output of this time is used as the next input; after completing this step N times, the first feature vector and the second feature vector are obtained.
  • feature information in the text can be extracted more accurately, and the accuracy of text retrieval can be improved.
  • Fig. 6 is a schematic flow chart of a method for retrieving legal provisions based on a neural network hybrid model according to a sixth embodiment of the application.
  • the first normalized vector and the second The normalized vector is input into the self-attention neural network model for processing to obtain the first coding block vector and the second coding block vector, and the first coding block vector and the second coding block vector are cyclically processed to obtain the first
  • the cyclic vector and the second cyclic vector include:
  • step s601 the first normalized vector and the second normalized vector are input to the self-attention neural network model for processing, and the vectors obtained after the model processing are respectively compared with the first feature vector and the first feature vector. Adding the two feature vectors to obtain the first coding block vector and the second coding block vector;
  • the first normalized vector and the second normalized vector may be input into the self-attention neural network model Perform calculation, and add the calculated vector to the first feature vector and the second feature vector to obtain the first coding block vector and the second coding block vector.
  • Step s602 preset the number of second cycles, add the first coding block vector and the second coding block vector to the position information respectively to obtain a position vector, and input the position vector into the neural network model for normalization processing , Obtain a normalized hidden vector, perform feature extraction on the normalized hidden vector to obtain a feature vector, perform a normalization process on the feature vector to obtain a normalized vector, and input the normalized vector from The attention neural network model processes, obtains the first coding block vector and the second coding block coding block vector, and repeats this step according to the preset second cycle times to obtain the first cycle vector and the second cycle vector.
  • the first coding block vector and the second coding block vector are added to the position information corresponding to the coding block vector , Obtain new first position information and second position information, and then input the new first position information and second position information into the neural network model for normalization processing to obtain new first normalized latent vector and second Normalize the latent vector, and input the new first normalized latent vector and the second normalized latent vector again into the convolutional neural network model for feature extraction to obtain the new first feature vector and second feature vector, and then Input the new first feature vector and second feature vector into the neural network model for normalization processing to obtain new first normalized vector and second normalized vector, and finally the new first normalized vector and The second normalized vector is input into the self-attention neural network model for calculation, and the calculated results are added to the new first feature vector and the second feature vector to obtain the new first coding block vector and the second Encode the block vector and repeat this step N times, where the number of repetitions N can be preset
  • the accuracy of text retrieval can be improved by performing stack embedding processing on the text vector.
  • FIG. 7 is a schematic flow chart of a method for retrieving legal provisions based on a neural network hybrid model according to a seventh embodiment of the application.
  • the hybrid stack vector is normalized to obtain the text Search results, including:
  • Step s701 preset the probability threshold of the legal provisions
  • the probability threshold is used to exclude legal provisions with lower probability, and can be set in the system in advance.
  • Step s702 input the mixed stack vector to the fully connected layer of the convolutional neural network for linear processing to obtain the vector to be classified, and normalize the vector to be classified to obtain the probability corresponding to each legal clause;
  • linear processing may be performed on the hybrid stack vector.
  • the linear processing includes inputting the hybrid stack vector into the fully connected layer of the convolutional neural network for linear processing to obtain Classification vector, the fully connected layer can be regarded as matrix multiplication, for example: the input vector is a 128*128 vector, [1,2,...,128*128], and the matrix of the fully connected layer is a ( 128*128)*4 matrix, then the result is a vector with length (1,4).
  • the purpose of linear processing of the mixed stack vector is to reduce dimensionality. For example, after linear processing in the above example The vector is reduced from 128 dimensions to 4 dimensions, and the reduced 4-dimensional vector is the vector to be classified.
  • the vector dimension after the fully connected layer is the total number of retrieved legal clauses. For example, if the total number of retrieved legal clauses is 2000, the output vector is the (1, 2000) vector. Therefore, the construction of the fully connected layer needs to be preset according to the number of legal provisions.
  • the vector to be classified may be normalized, and the normalization may be performed through the softmax function.
  • the probability corresponding to each dimension is output according to the dimension of the vector to be classified, where each dimension corresponds to a legal clause.
  • step s703 the probability corresponding to each legal clause is compared with the preset probability threshold of the legal clause, and all legal clauses that are greater than the probability threshold of the legal clause are output.
  • the probability corresponding to each legal clause can be compared with the preset probability threshold. If the probability is greater than the probability threshold, the legal clause corresponding to the probability can be compared Perform output, otherwise do not output.
  • a legal provision retrieval device based on a neural network hybrid model includes:
  • the embodiment of the present application also discloses a computer device, the computer device includes a memory and a processor, and computer-readable instructions are stored in the memory.
  • the computer-readable instructions are executed by one or more of the processors , Enabling one or more of the processors to execute the steps in the retrieval methods described in the foregoing embodiments.
  • the embodiment of the present application also discloses a computer-readable storage medium.
  • the computer-readable storage medium may be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.
  • the storage medium may be It is read and written by a processor, and the memory stores computer-readable instructions.
  • the computer-readable instructions are executed by one or more processors, the one or more processors execute the retrieval methods described in the foregoing embodiments. A step of.
  • the computer program can be stored in a computer readable storage medium. When executed, it may include the procedures of the above-mentioned method embodiments.
  • the aforementioned storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于神经网络混合模型的法律条文检索方法及相关设备，涉及人工智能领域，所述方法包括：获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量（s101）；对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量（s102）；将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量（s103）；对所述混合堆栈向量进行归一化处理，获得文本检索结果（s104）。该方法通过对输入文本进行多路输入，并对多路输入向量化，进行堆栈嵌入循环运算，对运算后的结果拼接后再次进行堆栈嵌入循环运算，获得法律条文的检索结果，可以有效提高法律条文检索的准确度。

Description

基于神经网络混合模型的法律条文检索方法及相关设备
本申请要求于2019年10月18日提交中国专利局、申请号为201910991657.1、发明名称为“基于神经网络混合模型的法律条文检索方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中
技术领域
本申请涉及人工智能领域，特别涉及一种基于神经网络混合模型的法律条文检索方法及相关设备。
背景技术
知识图谱技术日益成为人工智能的基础，它是机器理解自然语言和构建知识网络的重要方法。近年来，知识图谱在司法领域的运用悄然兴起,法律条文的快速检索系统能够依赖法律知识图谱，根据用户输入的文本内容快速地在线检索法律条文，提高法院审判工作质量和效率，该系统主要包括两种类型的快速检索功能，一是根据法律条文对其相关法律条文的检索，二是根据案件要素信息对相关法律条文的检索。
法律条文检索系统通常被法律从业人员用于根据案件中的信息对相关法律条文进行检索，提高案件处理的效率，无需手动翻阅查找相关法律条文；而目前的法律条文检索通常都是通过自然语言处理技术，采用的方法较多为文本相似度、关键词匹配等方法，其中最典型的是transformer算法，该算法基于transformer模型，通过该模型，可以获取案件中的相关法律条文信息，但是该模型在训练过程中，只能够学习到文本的上文或者下文内容，因此预测准确度不高，且耗时较长。
发明内容
本申请的目的在于针对现有技术的不足，提供一种基于神经网络混合模型的法律条文检索方法及相关设备，通过对输入文本进行多路输入，并对多路输入向量化，进行堆栈嵌入循环运算，对运算后的结果拼接后再次进行堆栈嵌入循环运算，获得法律条文的检索结果，可以有效提高法律条文检索的准确度。
为达到上述目的，本申请的技术方案提供一种基于神经网络混合模型的法律条文检索方法及相关设备。
本申请公开了一种基于神经网络混合模型的法律条文检索方法，包括以下步骤：
获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向 量及第二循环向量；
将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
对所述混合堆栈向量进行归一化处理，获得文本检索结果。
本申请还公开了一种基于神经网络混合模型的法律条文检索装置，所述装置包括：
获取模块：设置为获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
第一堆栈模块：设置为对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
第二堆栈模块：设置为将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
输出模块：设置为对所述混合堆栈向量进行归一化处理，获得文本检索结果。
本申请还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行以下步骤：
获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
对所述混合堆栈向量进行归一化处理，获得文本检索结果。
本申请还公开了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，也可以是易失性计算机可读存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对 所述混合向量进行堆栈嵌入，获得混合堆栈向量；
对所述混合堆栈向量进行归一化处理，获得文本检索结果。
本申请的有益效果是：本申请通过对输入文本进行多路输入，并对多路输入向量化，进行堆栈嵌入循环运算，对运算后的结果拼接后再次进行堆栈嵌入循环运算，获得法律条文的检索结果，可以有效提高法律条文检索的准确度。
附图说明
图1为本申请第一个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图2为本申请第二个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图3为本申请第三个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图4为本申请第四个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图5为本申请第五个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图6为本申请第六个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图7为本申请第七个实施例的一种基于神经网络混合模型的法律条文检索方法的流程示意图；
图8为本申请实施例的一种基于神经网络混合模型的法律条文检索装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请第一个实施例的一种基于神经网络混合模型的法律条文检索方法流程如图1所示，本实施例包括以下步骤：
步骤s101，获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
具体的，所述输入文本为任意长度的法律条文内容，可以是完整的一句话，例如：“想问借贷关系中需要参考哪些法律条文？”，当用户在系统中输入上述句子后，系统可获取所述输入文本。
具体的，通过用户输入的文本信息，可通过实体链接技术提取所述输入文本中的要素信息，所述要素信息可包括：争议焦点、小事实要素、证据，例如：“想问借贷关系中需要参考哪些法律条文？”文本中，争议焦点是“借贷关系是否成立”，小事实要素是“是否签订借条/欠条/收据/借款合同”，证据是“借款合同”。
具体的，当获取到输入文本后，通过分别对所述输入文本及文本中的要素信息进行向量化，可以获得第一文本向量及第二文本向量。
步骤s102，对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
具体的，所述堆栈嵌入包括对所述第一文本向量及所述第二文本向量进行嵌入操作，并将多个嵌入操作串联起来执行，完成堆栈嵌入操作；当执行嵌入操作时，首先获取所述第一文本向量及所述第二文本向量中的位置信息，所述位置信息根据计算公式
Figure PCTCN2019119314-appb-000001
获得，其中p代表词向量中词的位置、i表示词向量中每一个词对应向量中元素的位置，d表示向量维度；然后将所述位置信息与所述第一文本向量及所述第二文本向量分别进行相加，获得第一位置向量及第二位置向量。
具体的，当获得所述第一位置向量及所述第二位置向量之后，将所述第一位置向量及所述第二位置向量输入神经网络模型，进行归一化处理，所述归一化可根据公式
Figure PCTCN2019119314-appb-000002
进行，其中，μ为均值，σ为方差，a为位置向量，H为神经网络中神经元个数，由此获得第一归一化隐向量及第二归一化隐向量；然后将所述第一归一化隐向量及第二归一化隐向量输入卷积神经网络，进行特征提取，所述特征提取可通过卷积神经网络的卷积核进行提取，所述特征提取包括向量特征的提取，在向量特征进行提取后，将特征提取后的向量分别与所述第一位置向量和所述第二位置向量相加，获得第一特征隐向量及第二特 征隐向量。
具体的，当获取到所述第一特征隐向量及所述第二特征隐向量后，可从所述第一特征隐向量及所述第二特征隐向量中获取位置信息，并将所述位置信息与所述第一特征隐向量及所述第二特征隐向量分别相加，获得新的第一位置向量及第二位置向量，然后将新的第一位置向量及第二位置向量输入神经网络进行归一化处理获得新的第一归一化隐向量及第二归一化隐向量，最后将新的第一归一化隐向量及第二归一化隐向量再次输入卷积神经网络进行特征提取，获得新的第一特征隐向量及第二特征隐向量，并重复本步骤N次，其中，所述重复的次数N可以预先设定，例如N＝6，当N＝6时可得到较好的结果，当完成N次本步骤之后，获得第一特征向量及第二特征向量。
具体的，当获取到所述第一特征向量及所述第二特征向量后，可将所述第一特征向量及所述第二特征向量再次输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，然后将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行计算，并将计算后的向量分别与所述第一特征向量及第二特征向量相加，获得第一编码块向量及第二编码块向量；获得了编码块向量即意味着完成了嵌入操作。
具体的，当获取到所述第一编码块向量及所述第二编码块向量后，再将所述第一编码块向量及所述第二编码块向量与编码块向量对应的位置信息相加，获得新的第一位置信息及第二位置信息，然后将新的第一位置信息及第二位置信息输入神经网络模型进行归一化处理，获得新的第一归一化隐向量和第二归一化隐向量，并将新的第一归一化隐向量和第二归一化隐向量再次输入卷积神经网络模型进行特征提取，获得新的第一特征向量及第二特征向量，接着将新的第一特征向量及第二特征向量输入神经网络模型进行归一化处理，获得新的第一归一化向量及第二归一化向量，最后将新的第一归一化向量及第二归一化向量输入自注意力神经网络模型中进行计算，并将计算获得的结果分别与新的第一特征向量及第二特征向量相加，获得新的第一编码块向量及第二编码块向量，并重复本步骤N次，其中，所述重复的次数N可以预先设定，例如N＝6，当N＝6时可得到较好的结果，当完成N次本步骤之后，获得第一循环向量及第二循环向量，获得了循环向量即意味着完成了堆栈嵌入操作。
步骤s103，将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
具体的，当获取到所述第一循环向量与所述第二循环向量之后，可对所述 第一循环向量与所述第二循环向量进行拼接，获得混合向量，所述拼接为向量与向量之间的拼接，例如，如果所述第一循环向量是20*128维的向量，所述第二循环向量是30*128维的向量，则拼接后的向量，即混合向量为50*128维的向量。
具体的，当获取到所述混合向量后，可对所述混合向量进行堆栈嵌入，所述堆栈嵌入的操作可按照步骤s102的方式进行，即将所述混合向量与其对应的位置信息相加，获得新的位置向量，然后对新的位置向量进行归一化获得新的归一化隐向量，接着对新的归一化隐向量进行特征提取，获得新的特征向量，并对新的特征向量再次进行归一化获得新的归一化向量，最后对新的归一化向量输入自注意力神经网络模型进行计算，并将计算结果与新的特征向量相加获得新的编码块向量，将新的编码块向量循环进行前述步骤后获得循环向量，所述最终的循环向量即为合堆栈向量。
步骤s104，对所述混合堆栈向量进行归一化处理，获得文本检索结果。
具体的，当获取到所述混合堆栈向量之后，可对所述混合堆栈向量进行线性处理，所述线性处理包括将所述混合堆栈向量输入卷积神经网络的全连接层进行线性处理，获得待分类向量，所述全连接层可看成是矩阵乘法，例如：输入向量是一个128*128的向量，[1,2,...,128*128]，而全连接层的矩阵为一个(128*128)*4的矩阵,那么得到的结果即为长度为(1,4)的向量，对所述混合堆栈向量的线性处理的目的是为了降维，例如，上述例子中通过线性处理后向量从128维降到了4维，所述降维后的4维向量即为待分类向量。其中，经过全连接层后的向量维度即是检索的法律条文的总数目，例如，如果检索的法律条文的总数为2000，则输出的向量即为(1，2000)的向量。因此所述全连接层的构建需根据法律条文的数目进行预先设定。
具体的，当获取到待分类向量之后，可对所述待分类向量进行归一化处理，所述归一化处理可以通过softmax函数进行，当对所述待分类向量进行归一化处理之后，就会根据所述待分类向量的维度输出每个维度对应的概率，其中，每个维度对应一个法律条文。
具体的，还可预设法律条文的概率阈值，当获取到每个法律条文的概率后，可将所述概率分别与预设的概率阈值进行比较，如果概率大于所述概率阈值，则将所述概率对应的法律条文进行输出，否则不输出。
本实施例中，通过对输入文本进行多路输入，并对多路输入向量化，进行堆栈嵌入循环运算，对运算后的结果拼接后再次进行堆栈嵌入循环运算，获得法律条文的检索结果，可以有效提高法律条文检索的准确度。
图2为本申请第二个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s101，获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量，包括：
步骤s201，获取输入文本，将所述输入文本设置为第一文本；
具体的，当获取到输入文本之后，可将所述输入文本复制分成两份，并将所述输入文本设置为第一文本。
步骤s202，对所述第一文本进行实体链接，获得所述第一文本中的要素，将所述要素拼接成上下文，将所述上下文设置为第二文本；
具体的，可通过实体链接技术提取所述输入文本中的要素信息，所述要素信息包括：争议焦点、小事实要素、证据，例如：“想问借贷关系中需要参考哪些法律条文？”文本中，争议焦点是“借贷关系是否成立”，小事实要素是“是否签订借条/欠条/收据/借款合同”，证据是“借款合同”；然后将所有的要素信息拼接成上下文，并可将所述上下文设置为第二文本。
步骤s203，分别对所述第一文本和所述第二文本进行向量化，获得第一文本向量及第二文本向量。
具体的，当获取到第一文本及第二文本后，可分别对所述第一文本及第二文本进行向量化，获得第一文本向量及第二文本向量。
本实施例中，通过对输入文本分成两路，并对两路文本进行不同的处理，以及进行向量化，可以更多的获取文本中的上下文信息，提高文本的检索效果。
图3为本申请第三个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s203，分别对所述第一文本和所述第二文本进行向量化，获得第一文本向量及第二文本向量，包括：
步骤s301，对所述第一文本和所述第二文本进行字分割，获得第一文本和第二文本中的每个字；
具体的，所述字分割可以通过分词工具进行，当对所述第一文本和所述第二文本进行字分割后，可获得第一文本和第二文本中的每个字。
步骤s302，预设向量的维度，根据所述向量的维度分别对所述第一文本的每个字和所述第二文本的每个字进行向量化，获得第一文本向量和第二文本向量。
具体的，所述向量化可通过word2Vec方法进行，所述向量的维度可以设定为128维，例如，如果向量化的函数为X＝V(char)，其中，char表示每个字，则V(“想”)＝[v1，v2，...，v128]，而V(“想”)是一个128维的向量。所述文本向量的维度用于确定所述输入文本中字的向量数目，所述文本向量的 维度可以预先设定，例如，设定为128，则本次输入文本的字向量数目为128，当所述输入文本的字向量数目超过128时，超过128的字向量直接删除，如果本次输入文本的字向量不足128，则不足的字向量用0补足。例如：用户输入文本：“想问借贷关系中需要参考哪些法律条文？”，则对文本中的字进行向量化后，可获得X1＝V(‘想’)，X2＝V(‘问’)，X3＝V(‘借’)，X4＝V(‘贷’)……，X17＝V(‘文’)，X18＝V(‘？’)，X19＝[0,0,0,……,0]……,X128＝[0,0,0,……,0]；当对所述第一文本及所述第二文本中的每个字进行向量化后，可获得第一文本向量和第二文本向量。
本实施例中，通过对文本进行向量化，可以更好的获取文本中的上下文信息，更精确的实现文本检索。
图4为本申请第四个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s102，对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量，包括：
步骤s401，将所述第一文本向量与所述第一文本向量的位置信息相加，获得第一位置向量，将所述第二文本向量与所述第二文本向量的位置信息相加，获得第二位置向量；
具体的，首先获取所述第一文本向量及所述第二文本向量中的位置信息，所述位置信息根据计算公式
Figure PCTCN2019119314-appb-000003
获得，其中p代表词向量中词的位置、i表示词向量中每一个词对应向量中元素的位置，d表示向量维度；然后将所述位置信息与所述第一文本向量及所述第二文本向量分别进行相加，获得第一位置向量及第二位置向量。
步骤s402，分别将所述第一位置向量与所述第二位置向量输入神经网络模型进行归一化处理，获得第一归一化隐向量及第二归一化隐向量；
具体的，当获得所述第一位置向量及所述第二位置向量之后，将所述第一位置向量及所述第二位置向量输入神经网络模型，进行归一化处理，所述归一化可根据公式
Figure PCTCN2019119314-appb-000004
进行，其中，μ为均值，σ为方差，a为位置向 量，H为神经网络中神经元个数，由此获得第一归一化隐向量及第二归一化隐向量。
步骤s403，对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量；
具体的，当获得所述第一归一化隐向量及所述第二归一化隐向量后，可将所述第一归一化隐向量及第二归一化隐向量输入卷积神经网络，进行特征提取，所述特征提取可通过卷积神经网络的卷积核进行提取，所述特征提取包括向量特征的提取，在向量特征进行提取后，获得第一特征向量及第二特征向量。
步骤s404，将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
具体的，当获得所述第一特征向量及所述第二特征向量后，可将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，并将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，然后对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
本实施例中，通过对文本向量进行堆栈嵌入操作，可以提高文本信息的采集和识别，提高文本检索的准确度。
图5为本申请第五个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s403，对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量，包括：
步骤s501，将所述第一归一化隐向量及所述第二归一化隐向量输入神经网络模型进行特征提取，将所述特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量；
具体的，当获得所述第一归一化隐向量及所述第二归一化隐向量后，可将所述第一归一化隐向量及第二归一化隐向量输入卷积神经网络，进行特征提取，所述特征提取可通过卷积神经网络的卷积核进行提取，所述特征提取包括向量特征的提取，在向量特征进行提取后，将特征提取后的向量分别与所述第一位置向量和所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量。
步骤s502，预设第一循环次数，将所述第一特征隐向量及所述第二特征隐向量输入神经网络模型进行归一化，将归一化后获得的向量输入神经网络模型进行特征提取，将特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，并根据预设的第一循环次数重复执行本步骤，获得第一特征向量及第二特征向量。
具体的，当获取到所述第一特征隐向量及所述第二特征隐向量后，可从所述第一特征隐向量及所述第二特征隐向量中获取位置信息，并将所述位置信息与所述第一特征隐向量及所述第二特征隐向量分别相加，获得新的第一位置向量及第二位置向量，然后将新的第一位置向量及第二位置向量输入神经网络进行归一化处理获得新的第一归一化隐向量及第二归一化隐向量，最后将新的第一归一化隐向量及第二归一化隐向量再次输入卷积神经网络进行特征提取，获得新的第一特征隐向量及第二特征隐向量，并重复本步骤N次，其中，所述重复的次数N可以预先设定，例如N＝6，当N＝6时可得到较好的结果，在重复进行本步骤时，本次的输出作为下次的输入；当完成N次本步骤之后，获得第一特征向量及第二特征向量。
本实施例中，通过对文本向量进行特征提取，可以更精确的提取文本中的特征信息，提高文本检索的精确度。
图6为本申请第六个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s502，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量，包括：
步骤s601，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，将模型处理后获得的向量分别与所述第一特征向量及所述第二特征向量进行相加，获得第一编码块向量及第二编码块向量；
具体的，当获得所述第一归一化向量及所述第二归一化向量后，可将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行计算，并将计算后的向量分别与所述第一特征向量及第二特征向量相加，获得第一编码块向量及第二编码块向量。
步骤s602，预设第二循环次数，将所述第一编码块向量及所述第二编码块向量分别与位置信息相加获得位置向量，将所述位置向量输入神经网络模型进行归一化处理，获得归一化隐向量，将所述归一化隐向量进行特征提取，获得特征向量，将所述特征向量进行归一化处理，获得归一化向量，将所述归一化 向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块编码块向量，并根据预设的第二循环次数重复执行本步骤，获得第一循环向量及第二循环向量。
具体的，当获取到所述第一编码块向量及所述第二编码块向量后，再将所述第一编码块向量及所述第二编码块向量与编码块向量对应的位置信息相加，获得新的第一位置信息及第二位置信息，然后将新的第一位置信息及第二位置信息输入神经网络模型进行归一化处理，获得新的第一归一化隐向量和第二归一化隐向量，并将新的第一归一化隐向量和第二归一化隐向量再次输入卷积神经网络模型进行特征提取，获得新的第一特征向量及第二特征向量，接着将新的第一特征向量及第二特征向量输入神经网络模型进行归一化处理，获得新的第一归一化向量及第二归一化向量，最后将新的第一归一化向量及第二归一化向量输入自注意力神经网络模型中进行计算，并将计算获得的结果分别与新的第一特征向量及第二特征向量相加，获得新的第一编码块向量及第二编码块向量，并重复本步骤N次，其中，所述重复的次数N可以预先设定，例如N＝6，当N＝6时可得到较好的结果，在重复进行本步骤时，本次的输出作为下次的输入；当完成N次本步骤之后，获得第一循环向量及第二循环向量。
本实施例中，通过对文本向量进行堆栈嵌入处理，可以提高文本检索的精确度。
图7为本申请第七个实施例的一种基于神经网络混合模型的法律条文检索方法流程示意图，如图所示，所述步骤s104，对所述混合堆栈向量进行归一化处理，获得文本检索结果，包括：
步骤s701，预设法律条文概率阈值；
具体的，所述概率阈值用于将概率较低的法律条文进行排除，可预先在系统中进行设置。
步骤s702，将所述混合堆栈向量输入卷积神经网络的全连接层进行线性处理，获得待分类向量，并对所述待分类向量进行归一化处理，获得每一条法律条文对应的概率；
具体的，当获取到所述混合堆栈向量之后，可对所述混合堆栈向量进行线性处理，所述线性处理包括将所述混合堆栈向量输入卷积神经网络的全连接层进行线性处理，获得待分类向量，所述全连接层可看成是矩阵乘法，例如：输入向量是一个128*128的向量，[1,2,...,128*128]，而全连接层的矩阵为一个(128*128)*4的矩阵,那么得到的结果即为长度为(1,4)的向量，对所述混合堆栈向量的线性处理的目的是为了降维，例如，上述例子中通过线性处理后向量从 128维降到了4维，所述降维后的4维向量即为待分类向量。其中，经过全连接层后的向量维度即是检索的法律条文的总数目，例如，如果检索的法律条文的总数为2000，则输出的向量即为(1，2000)的向量。因此所述全连接层的构建需根据法律条文的数目进行预先设定。
具体的，当获取到待分类向量之后，可对所述待分类向量进行归一化处理，所述归一化处理可以通过softmax函数进行，当对所述待分类向量进行归一化处理之后，就会根据所述待分类向量的维度输出每个维度对应的概率，其中，每个维度对应一个法律条文。
步骤s703，将所述每一条法律条文对应的概率与所述预设的法律条文概率阈值进行比较，将所有大于所述法律条文概率阈值的法律条文进行输出。
具体的，当获取到每个法律条文的概率后，可将每一条法律条文对应的概率分别与预设的概率阈值进行比较，如果概率大于所述概率阈值，则将所述概率对应的法律条文进行输出，否则不输出。
本实施例中，通过设置概率阈值，并将大于所述概率阈值的法律条文进行输出，可以快速获得文本检索结果。
本申请实施例的一种基于神经网络混合模型的法律条文检索装置结构如图8所示，包括：
获取模块801、第一堆栈模块802、第二堆栈模块803及输出模块804；其中，获取模块801与第一堆栈模块802相连，第一堆栈模块802与第二堆栈模块803相连，第二堆栈模块803与输出模块804相连；获取模块801设置为获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；第一堆栈模块802设置为对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；第二堆栈模块803设置为将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；输出模块804设置为对所述混合堆栈向量进行归一化处理，获得文本检索结果。
本申请实施例还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述各实施例中所述检索方法中的步骤。
本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，也可以是易失性计算机可读存储介质，所述存储介质可被处理器读写，所述存储器存储有计算机可读指令，所述计算 机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述检索方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种基于神经网络混合模型的法律条文检索方法，包括以下步骤：
    获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
    对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
    将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
    对所述混合堆栈向量进行归一化处理，获得文本检索结果。
  2. 如权利要求1所述的基于神经网络混合模型的法律条文检索方法，其中，所述获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量，包括：
    获取输入文本，将所述输入文本设置为第一文本；
    对所述第一文本进行实体链接，获得所述第一文本中的要素，将所述要素拼接成上下文，将所述上下文设置为第二文本；
    分别对所述第一文本和所述第二文本进行向量化，获得第一文本向量及第二文本向量。
  3. 如权利要求2所述的基于神经网络混合模型的法律条文检索方法，其中，所述分别对所述第一文本和所述第二文本进行向量化，获得第一文本向量及第二文本向量，包括：
    对所述第一文本和所述第二文本进行字分割，获得第一文本和第二文本中的每个字；
    预设向量的维度，根据所述向量的维度分别对所述第一文本的每个字和所述第二文本的每个字进行向量化，获得第一文本向量和第二文本向量。
  4. 如权利要求3所述的基于神经网络混合模型的法律条文检索方法，其中，所述对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量，包括：
    将所述第一文本向量与所述第一文本向量的位置信息相加，获得第一位置向量，将所述第二文本向量与所述第二文本向量的位置信息相加，获得第二位置向量；
    分别将所述第一位置向量与所述第二位置向量输入神经网络模型进行归一化处理，获得第一归一化隐向量及第二归一化隐向量；
    对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量；
    将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第 二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
  5. 如权利要求4所述的基于神经网络混合模型的法律条文检索方法，其中，所述对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量，包括：
    将所述第一归一化隐向量及所述第二归一化隐向量输入神经网络模型进行特征提取，将所述特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量；
    预设第一循环次数，将所述第一特征隐向量及所述第二特征隐向量输入神经网络模型进行归一化，将归一化后获得的向量输入神经网络模型进行特征提取，将特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，并根据预设的第一循环次数重复执行本步骤，获得第一特征向量及第二特征向量。
  6. 如权利要求5所述的基于神经网络混合模型的法律条文检索方法，其中，所述将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量，包括：
    将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，将模型处理后获得的向量分别与所述第一特征向量及所述第二特征向量进行相加，获得第一编码块向量及第二编码块向量；
    预设第二循环次数，将所述第一编码块向量及所述第二编码块向量分别与位置信息相加获得位置向量，将所述位置向量输入神经网络模型进行归一化处理，获得归一化隐向量，将所述归一化隐向量进行特征提取，获得特征向量，将所述特征向量进行归一化处理，获得归一化向量，将所述归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块编码块向量，并根据预设的第二循环次数重复执行本步骤，获得第一循环向量及第二循环向量。
  7. 如权利要求6所述的基于神经网络混合模型的法律条文检索方法，其中，所述对所述混合堆栈向量进行归一化处理，获得文本检索结果，包括：
    预设法律条文概率阈值；
    将所述混合堆栈向量输入卷积神经网络的全连接层进行线性处理，获得待分类向量，并对所述待分类向量进行归一化处理，获得每一条法律条文对应的概率；
    将所述每一条法律条文对应的概率与所述预设的法律条文概率阈值进行比较，将所有大于所述法律条文概率阈值的法律条文进行输出。
  8. 一种基于神经网络混合模型的法律条文检索装置，所述装置包括：
    获取模块：设置为获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
    第一堆栈模块：设置为对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量；
    第二堆栈模块：设置为将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
    输出模块：设置为对所述混合堆栈向量进行归一化处理，获得文本检索结果。
  9. 根据权利要求8所述的基于神经网络混合模型的法律条文检索装置，其中，所述获取模块，包括：
    设置单元：设置为获取输入文本，将所述输入文本设置为第一文本；
    拼接单元：设置为对所述第一文本进行实体链接，获得所述第一文本中的要素，将所述要素拼接成上下文，将所述上下文设置为第二文本；
    第一向量化单元：设置为分别对所述第一文本和所述第二文本进行向量化，获得第一文本向量及第二文本向量。
  10. 根据权利要求9所述的基于神经网络混合模型的法律条文检索装置，其中，所述获取模块，包括：
    分割单元：设置为对所述第一文本和所述第二文本进行字分割，获得第一文本和第二文本中的每个字；
    第二向量化单元：设置为预设向量的维度，根据所述向量的维度分别对所述第一文本的每个字和所述第二文本的每个字进行向量化，获得第一文本向量和第二文本向量。
  11. 根据权利要求10所述的基于神经网络混合模型的法律条文检索装置，其中，所述第一堆栈模块，包括：
    位置向量获取单元：设置为将所述第一文本向量与所述第一文本向量的位置信息相加，获得第一位置向量，将所述第二文本向量与所述第二文本向量的位置信息相加，获得第二位置向量；
    归一化单元：设置为分别将所述第一位置向量与所述第二位置向量输入神经网络模型进行归一化处理，获得第一归一化隐向量及第二归一化隐向量；
    第一特征提取单元：设置为对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量；
    第一循环处理单元：设置为将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
  12. 根据权利要求11所述的基于神经网络混合模型的法律条文检索装置，其中，所述第一堆栈模块，包括：
    第二特征提取单元：设置为将所述第一归一化隐向量及所述第二归一化隐向量输入神经网络模型进行特征提取，将所述特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量；
    第二循环处理单元：设置为预设第一循环次数，将所述第一特征隐向量及所述第二特征隐向量输入神经网络模型进行归一化，将归一化后获得的向量输入神经网络模型进行特征提取，将特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，并根据预设的第一循环次数重复执行本步骤，获得第一特征向量及第二特征向量。
  13. 根据权利要求12所述的基于神经网络混合模型的法律条文检索装置，其中，所述第一堆栈模块，包括：
    模型处理单元：设置为将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，将模型处理后获得的向量分别与所述第一特征向量及所述第二特征向量进行相加，获得第一编码块向量及第二编码块向量；
    第三循环处理单元：设置为预设第二循环次数，将所述第一编码块向量及所述第二编码块向量分别与位置信息相加获得位置向量，将所述位置向量输入神经网络模型进行归一化处理，获得归一化隐向量，将所述归一化隐向量进行特征提取，获得特征向量，将所述特征向量进行归一化处理，获得归一化向量，将所述归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块编码块向量，并根据预设的第二循环次数重复执行本步骤，获得第一循环向量及第二循环向量。
  14. 根据权利要求13所述的基于神经网络混合模型的法律条文检索装置，其中，所述输出模块，包括：
    预置单元：设置为预设法律条文概率阈值；
    概率计算单元：设置为将所述混合堆栈向量输入卷积神经网络的全连接层进行线性处理，获得待分类向量，并对所述待分类向量进行归一化处理，获得每一条法律条文对应的概率；
    输出单元：设置为将所述每一条法律条文对应的概率与所述预设的法律条文概率阈值进行比较，将所有大于所述法律条文概率阈值的法律条文进行输出。
  15. 一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行以下步骤：
    获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
    对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向 量及第二循环向量；
    将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
    对所述混合堆栈向量进行归一化处理，获得文本检索结果。
  16. 根据权利要求15所述的计算机设备，其中，所述对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量时，使得所述处理器执行以下步骤：
    将所述第一文本向量与所述第一文本向量的位置信息相加，获得第一位置向量，将所述第二文本向量与所述第二文本向量的位置信息相加，获得第二位置向量；
    分别将所述第一位置向量与所述第二位置向量输入神经网络模型进行归一化处理，获得第一归一化隐向量及第二归一化隐向量；
    对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量；
    将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
  17. 根据权利要求16所述的计算机设备，其中，所述对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量时，使得所述处理器执行以下步骤：
    将所述第一归一化隐向量及所述第二归一化隐向量输入神经网络模型进行特征提取，将所述特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量；
    预设第一循环次数，将所述第一特征隐向量及所述第二特征隐向量输入神经网络模型进行归一化，将归一化后获得的向量输入神经网络模型进行特征提取，将特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，并根据预设的第一循环次数重复执行本步骤，获得第一特征向量及第二特征向量。
  18. 一种计算机可读存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
    获取输入文本，对所述输入文本进行向量化，获得第一文本向量及第二文本向量；
    对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向 量及第二循环向量；
    将所述第一循环向量与所述第二循环向量进行拼接，获得混合向量，并对所述混合向量进行堆栈嵌入，获得混合堆栈向量；
    对所述混合堆栈向量进行归一化处理，获得文本检索结果。
  19. 根据权利要求18所述的存储介质，其中，所述对所述第一文本向量及所述第二文本向量进行堆栈嵌入，获得第一循环向量及第二循环向量时，使得一个或多个所述处理器执行以下步骤：
    将所述第一文本向量与所述第一文本向量的位置信息相加，获得第一位置向量，将所述第二文本向量与所述第二文本向量的位置信息相加，获得第二位置向量；
    分别将所述第一位置向量与所述第二位置向量输入神经网络模型进行归一化处理，获得第一归一化隐向量及第二归一化隐向量；
    对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量；
    将所述第一特征向量及所述第二特征向量输入神经网络模型进行归一化处理，获得第一归一化向量及第二归一化向量，将所述第一归一化向量及所述第二归一化向量输入自注意力神经网络模型进行处理，获得第一编码块向量及第二编码块向量，对所述第一编码块向量及所述第二编码块向量进行循环处理，获得第一循环向量及第二循环向量。
  20. 根据权利要求19所述的存储介质，其中，所述对所述第一归一化隐向量及所述第二归一化隐向量进行特征提取，获得第一特征向量及第二特征向量时，使得一个或多个所述处理器执行以下步骤：
    将所述第一归一化隐向量及所述第二归一化隐向量输入神经网络模型进行特征提取，将所述特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，获得第一特征隐向量及第二特征隐向量；
    预设第一循环次数，将所述第一特征隐向量及所述第二特征隐向量输入神经网络模型进行归一化，将归一化后获得的向量输入神经网络模型进行特征提取，将特征提取后的向量分别与所述第一位置向量及所述第二位置向量相加，并根据预设的第一循环次数重复执行本步骤，获得第一特征向量及第二特征向量。
PCT/CN2019/119314 2019-10-18 2019-11-19 基于神经网络混合模型的法律条文检索方法及相关设备 WO2021072892A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910991657.1 2019-10-18
CN201910991657.1A CN110928987B (zh) 2019-10-18 2019-10-18 基于神经网络混合模型的法律条文检索方法及相关设备

Publications (1)

Publication Number Publication Date
WO2021072892A1 true WO2021072892A1 (zh) 2021-04-22

Family

ID=69849151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/119314 WO2021072892A1 (zh) 2019-10-18 2019-11-19 基于神经网络混合模型的法律条文检索方法及相关设备

Country Status (2)

Country Link
CN (1) CN110928987B (zh)
WO (1) WO2021072892A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282709A (zh) * 2021-06-01 2021-08-20 平安国际智慧城市科技股份有限公司 文本匹配方法、装置、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232444A1 (en) * 2015-02-05 2016-08-11 International Business Machines Corporation Scoring type coercion for question answering
CN107679224A (zh) * 2017-10-20 2018-02-09 竹间智能科技（上海）有限公司 一种面向无结构文本智能问答的方法和系统
CN109271524A (zh) * 2018-08-02 2019-01-25 中国科学院计算技术研究所 知识库问答系统中的实体链接方法
CN109446416A (zh) * 2018-09-26 2019-03-08 南京大学 基于词向量模型的法条推荐方法
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法
CN110188192A (zh) * 2019-04-16 2019-08-30 西安电子科技大学 一种多任务网络构建与多尺度的罪名法条联合预测方法
CN110276068A (zh) * 2019-05-08 2019-09-24 清华大学 法律案情分析方法及装置
CN110334189A (zh) * 2019-07-11 2019-10-15 河南大学 基于长短时和自注意力神经网络的微博话题标签确定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241621B (zh) * 2016-12-23 2019-12-10 北京国双科技有限公司 法律知识的检索方法及装置
CN110110045B (zh) * 2019-04-26 2021-08-31 腾讯科技（深圳）有限公司 一种检索相似文本的方法、装置以及存储介质
CN110275936B (zh) * 2019-05-09 2021-11-23 浙江工业大学 一种基于自编码神经网络的相似法律案例检索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232444A1 (en) * 2015-02-05 2016-08-11 International Business Machines Corporation Scoring type coercion for question answering
CN107679224A (zh) * 2017-10-20 2018-02-09 竹间智能科技（上海）有限公司 一种面向无结构文本智能问答的方法和系统
CN109271524A (zh) * 2018-08-02 2019-01-25 中国科学院计算技术研究所 知识库问答系统中的实体链接方法
CN109446416A (zh) * 2018-09-26 2019-03-08 南京大学 基于词向量模型的法条推荐方法
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法
CN110188192A (zh) * 2019-04-16 2019-08-30 西安电子科技大学 一种多任务网络构建与多尺度的罪名法条联合预测方法
CN110276068A (zh) * 2019-05-08 2019-09-24 清华大学 法律案情分析方法及装置
CN110334189A (zh) * 2019-07-11 2019-10-15 河南大学 基于长短时和自注意力神经网络的微博话题标签确定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282709A (zh) * 2021-06-01 2021-08-20 平安国际智慧城市科技股份有限公司 文本匹配方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110928987B (zh) 2023-07-25
CN110928987A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
US11544474B2 (en) Generation of text from structured data
WO2017092380A1 (zh) 用于人机对话的方法、神经网络系统和用户设备
WO2021051871A1 (zh) 文本抽取方法、装置、设备及存储介质
JP6335898B2 (ja) 製品認識に基づく情報分類
WO2021204014A1 (zh) 一种模型训练的方法及相关装置
CN111709243A (zh) 一种基于深度学习的知识抽取方法与装置
WO2021056710A1 (zh) 多轮问答识别方法、装置、计算机设备及存储介质
WO2020114100A1 (zh) 一种信息处理方法、装置和计算机存储介质
WO2022088671A1 (zh) 自动问答方法、装置、设备及存储介质
JP2023022845A (ja) ビデオ処理方法、ビデオサーチ方法及びモデルトレーニング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN113656660B (zh) 跨模态数据的匹配方法、装置、设备及介质
CN113536795B (zh) 实体关系抽取的方法、系统、电子装置和存储介质
WO2019201024A1 (zh) 用于更新模型参数的方法、装置、设备和存储介质
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
Gao et al. A hierarchical recurrent approach to predict scene graphs from a visual‐attention‐oriented perspective
CN116151132A (zh) 一种编程学习场景的智能代码补全方法、系统及储存介质
Gong et al. Continual pre-training of language models for math problem understanding with syntax-aware memory network
CN110659392B (zh) 检索方法及装置、存储介质
CN116303881A (zh) 一种基于自监督表示学习的企业单位地址匹配方法及装置
Zhang et al. Content-based encrypted speech retrieval scheme with deep hashing
CN112417155B (zh) 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
WO2021072892A1 (zh) 基于神经网络混合模型的法律条文检索方法及相关设备
Lyu et al. Deep learning for textual entailment recognition
CN113762459A (zh) 一种模型训练方法、文本生成方法、装置、介质及设备
Sun et al. Chinese microblog sentiment classification based on convolution neural network with content extension method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949254

Country of ref document: EP

Kind code of ref document: A1