WO2021017296A1 - 信息识别的方法、装置、设备及存储介质 - Google Patents

信息识别的方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021017296A1
WO2021017296A1 PCT/CN2019/117928 CN2019117928W WO2021017296A1 WO 2021017296 A1 WO2021017296 A1 WO 2021017296A1 CN 2019117928 W CN2019117928 W CN 2019117928W WO 2021017296 A1 WO2021017296 A1 WO 2021017296A1
Authority
WO
WIPO (PCT)
Prior art keywords
probability
feature
word vector
recognized
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117928
Other languages
English (en)
French (fr)
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021017296A1 publication Critical patent/WO2021017296A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • This application relates to the field of neural networks, and in particular to a method, device, equipment and storage medium for information recognition.
  • the existing speech technology only stays at the stage of roughly estimating the semantics of the speech.
  • the keywords in the speech signal can be identified by comparing the similarity of the speech signal and the speaker's visual lip shape, some keywords can be identified. Realizing that it is still not possible to accurately locate the details of the keywords, resulting in the inability to obtain accurate information in many cases, and thus unable to promote and use in more fields, especially in the field of video interviews.
  • the present application provides a method, device, equipment, and storage medium for information recognition, which can solve the problem of low accuracy in acquiring keywords of speakers in voice signals in the prior art.
  • this application provides a method for information identification, the method including:
  • Generating prompt information displaying the prompt information and the words to be recognized, the prompt information being used to prompt the interviewer to mark the words to be recognized;
  • the present application provides a device for information identification, which has the function of implementing the method corresponding to the information identification provided in the first aspect.
  • the function can be realized by hardware, or by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions, and the modules may be software and/or hardware.
  • the device for information recognition includes:
  • the input and output module is used to input a plurality of collected training texts into a multi-view self-training neural network model to train the multi-view self-training neural network model, and the training text is used to train the multi-view self-training Neural network model training;
  • the processing module is used to collect voice signals, call the voice recognition system, and convert the voice signals into text to be recognized; extract multiple words to be recognized from the text to be recognized, and whether the words to be recognized are feedback from the interviewer Marked words to be recognized; generate prompt information;
  • the display module is used to display the prompt information and the words to be recognized, and the prompt information is used to prompt the interviewer to mark the words to be recognized;
  • the processing module is also used to input the multiple to-be-recognized words into the multi-view self-training neural network model through the input and output module, and calculate the keyword probability of each to-be-recognized word as a keyword;
  • the word probability is compared with the probability threshold.
  • the keywords to be recognized within the range of the probability threshold are all marked as keywords; pass according to the preset interview server list
  • the input and output module sends the keyword and the notification message to at least one interview server in the interview server list, and the notification message is used to prompt the interview server to upload the final interview result in time.
  • the third aspect of the present application provides a computer device, which includes at least one connected processor, a memory, and a transceiver, wherein the memory is used to store program code, and the processor is used to call the program code in the memory To perform the method described in the first aspect above.
  • the fourth aspect of the present application provides a computer-readable storage medium having instructions stored in the computer-readable storage medium, which when run on a computer, cause the computer to execute the method described in the first aspect.
  • the multi-view self-training model is trained, the speech signal is converted into the text to be recognized, and the keywords in the text to be recognized are recognized based on the multi-view self-training model, that is, from the master Training the neural network model from the perspective and multiple auxiliary perspectives can improve the accuracy and hit rate of identifying keywords, that is, improve the recognition accuracy of the neural network model.
  • the GRU encoder extracts text features, the purpose of accurately locating keywords in the text can be achieved, and the accuracy of extracting keywords in the text can be further improved.
  • FIG. 1 is a schematic flowchart of a method for information identification in an embodiment of this application
  • FIG. 2 is a schematic diagram of a structure of an apparatus for information identification in an embodiment of the application
  • FIG. 3 is a schematic diagram of a structure of a computer device in an embodiment of the application.
  • This application provides a method, device, equipment, and storage medium for information recognition, which can be used for video interviews or voice interviews, and can also be used for emotional analysis of speakers. This application does not limit the application scenarios of this solution.
  • the training text is used to train the multi-view self-training neural network model.
  • the training text is obtained from a text database provided by the business demander.
  • the text database is a preset text storage library provided by the business demander, and multiple training texts are stored inside.
  • the training text includes keywords that meet the requirements of the interview.
  • the inputting the collected multiple training texts into the multi-view self-training neural network model includes:
  • the first feature and the second feature are input to a multi-view self-training neural network model, and the probability of the first keyword corresponding to the first feature and the second key corresponding to the second feature are respectively calculated Word probability
  • the first loss probability or the second loss probability is set to the lower limit of the new probability threshold
  • the first loss probability or the second loss probability is set as the upper limit of the new probability threshold.
  • the extracting the first feature of the first word vector and extracting the second feature of the second word vector includes:
  • GRU Gated Recurrent Unit
  • the first word vector and the second word vector are respectively transformed and feature extraction operations to obtain the first feature in the first word vector and the second word vector in the second word vector feature.
  • 102 Collect a voice signal, call a voice recognition system, and convert the voice signal into a text to be recognized.
  • the voice signal can be detected in real time by the voice receiving device.
  • the voice signal is the interview voice sent by the applicant in the interview environment.
  • the voice signal triggers the voice recognition system to convert the voice signal into the text to be recognized, which is used as the basis for recognizing keywords .
  • the main purpose of step 102 is to convert the voice signal into text to be recognized, which reduces the difficulty of voice recognition and facilitates the identification of keywords.
  • the voice recognition system is a preset system, which can be specifically selected from Baidu voice recognition, iFLYTEK voice recognition, or Facebook Cloud voice recognition, etc.
  • the specific application is not limited.
  • the extracting multiple words to be recognized from the text to be recognized includes:
  • Segment the text to be recognized and mark the words after the word segmentation. Keep the words with the part-of-speech tags as nouns, verbs, adjectives and adverbs, and treat each word as a node;
  • V i V i is the weight value of the node to be identified in the text
  • d is the damping coefficient, it is a preset constant
  • w ji is the weight between the nodes and the node V i V j heavy
  • Out (V j ) Is the set of nodes pointed to by node V j
  • node V k is the node pointed to by node V j
  • w jk is the weight between node V k and node V j
  • WS(V j ) is the text to be recognized by node V j
  • the weight value of each node is divided by the largest weight value in the weight value set to obtain the normalized weight value of each node in the text to be recognized, and the normalized weight value in the text to be recognized is greater than a preset
  • the word corresponding to the node of the weight threshold is used as the word to be recognized.
  • Generate prompt information display the prompt information and the words to be recognized, input the multiple words to be recognized into the multi-view self-training neural network model, and calculate the keyword probability of each word to be recognized as a keyword.
  • the prompt information is used to prompt the interviewer to mark the words to be recognized.
  • a keyword refers to a word whose weight value is higher than a preset weight value threshold in the text to be recognized.
  • the weight value threshold of the keyword can be set according to dimensions such as word frequency, part of speech, and text topic, which is not limited in this application.
  • Keyword probability refers to the probability that a word in the text to be recognized is a keyword.
  • the interviewer can freely choose whether to mark or not.
  • the interviewer can make text marks in the words to be recognized or not mark them. This application does not limit this.
  • the keyword probability of the corresponding word to be recognized as a keyword is also classified according to the label.
  • the keyword probability of the word to be recognized in this application can be divided into a keyword. Is the first keyword probability and the second keyword probability.
  • the multi-view self-training neural network model calculates the first keyword probability and the second keyword probability from the main perspective and the auxiliary perspective.
  • the main perspective refers to the current time
  • the auxiliary perspective includes the future time, the past time, the previous moment, and the next moment.
  • the future time does not include the next moment
  • the past time does not include the previous moment.
  • the following describes the process of calculating the probability of the first keyword and the probability of the second keyword from the perspective of the feature types being the first feature and the second feature, respectively.
  • the first probability formula is used to calculate the first probability of the first feature from the main perspective through SoftMax.
  • a loss function to adjust the first probability to obtain the first keyword probability
  • the first keyword probability is:
  • p is the first keyword probability denoted, h t 'is a first feature
  • p 1 is the probability of a first
  • N is the number of the first feature
  • CE to loss of function.
  • the second probability formula is used to comprehensively calculate the second probability from the main perspective and the auxiliary perspective, and the second probability formula is:
  • p 2 fwd is the second probability of the previous moment
  • p 2 bwd is the second probability of the next moment
  • p 2 future is the second probability of the future time
  • p 2 past is the second probability of the past time
  • NN fwd is the calculation function of the second probability at the previous moment
  • NN bwd is the calculation function of the second probability at the next moment
  • NN future is the calculation function of the second probability at the future time
  • NN past is the calculation function of the past time
  • x t is the second feature at time t.
  • p 2 past , p 2 fwd , p 2 bwd , p 2 future are arranged from left to right, in chronological order;
  • the calculation formula of the second keyword probability is:
  • p is not marked as the second keyword probability
  • ⁇ is the four auxiliary perspectives, including fwd, bwd, future, and past
  • p 2 ⁇ is the second probability corresponding to the four auxiliary perspectives
  • N is the number of second features.
  • D ⁇ is the loss function corresponding to the four auxiliary viewing angles.
  • the probability threshold range for determining whether the text to be recognized is a keyword in the process of step 102 to step 105 can also be continuously adjusted by calculating the keyword probability of the keyword.
  • the calculation method for calculating the probability of the first keyword in step 104 is used to calculate the keyword probability of the word to be recognized as a keyword.
  • the calculation method of calculating the second keyword probability in step 104 is used to calculate the keyword probability of the word to be recognized as a keyword.
  • the multi-view self-training model is trained, the speech signal is converted into the text to be recognized, and the keywords in the text to be recognized are recognized based on the multi-view self-training model, that is, from the main perspective.
  • Training the neural network model with multiple auxiliary perspectives can improve the accuracy and hit rate of identifying keywords, that is, improve the recognition accuracy of the neural network model.
  • the first word vector and the second word vector are respectively converted and feature extracted in the GRU encoder to obtain the The first feature and the second feature in the second word vector include:
  • the first feature of the first word vector and the second feature of the second word vector are extracted according to the hidden layer information; wherein the formula for extracting the first feature and the second feature is as follows:
  • h t ′ is the first feature and the second feature
  • h t is the hidden layer information
  • W O is the feature weight matrix, which is a preset matrix
  • ⁇ is the calculation function.
  • the first feature and the second feature calculated in step (4) are features of the keyword.
  • FIG. 2 shows a schematic structural diagram of a device 20 for information recognition, which can be applied to video interviews.
  • the device 20 in the embodiment of the present application can implement the steps corresponding to the information identification method performed in the embodiment corresponding to FIG. 1.
  • the functions implemented by the device 20 can be implemented by hardware, or implemented by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above functions, and the modules may be software and/or hardware.
  • the device 20 may include an input/output module 201, a processing module 202, and a display module 203.
  • the processing module 202 can be used to control the input and output operations of the input and output module 201 and control the display operations of the display module 203.
  • the input and output module 201 may be used to input a plurality of collected training texts into a multi-view self-training neural network model to train the multi-view self-training neural network model, and the training text is used for Training the multi-view self-training neural network model;
  • the processing module 202 can be used to collect voice signals, call a voice recognition system, and convert the voice signals into text to be recognized; extract multiple words to be recognized from the text to be recognized, and the words to be recognized are feedback from the interviewer Whether to mark the words to be recognized; generate prompt information;
  • the display module 202 can be used to display the prompt information and the words to be recognized, and the prompt information is used to prompt the interviewer to mark the words to be recognized;
  • the processing module 202 is further configured to input the multiple to-be-recognized words into the multi-view self-training neural network model through the input-output module 201, and calculate the keyword probability of each to-be-recognized word as a keyword; The keyword probability is compared with the probability threshold. When the keyword probability is within the range of the probability threshold, the words to be recognized within the range of the probability threshold are all marked as keywords; according to the preset interview server The list sends the keywords and the notification message to at least one interview server in the interview server list through the input and output module 201, and the notification message is used to prompt the interview server to upload the final interview result in time.
  • the processing module 202 is specifically configured to:
  • the first feature and the second feature are input to the multi-view self-training neural network model through the input and output module 201, and the probability of the first keyword corresponding to the first feature and the probability of the first keyword are calculated respectively.
  • the second keyword probability corresponding to the two features
  • the first loss probability or the second loss probability is set to the lower limit of the new probability threshold
  • the first loss probability or the second loss probability is set as the upper limit of the new probability threshold.
  • the processing module 202 is specifically configured to:
  • the first word vector and the second word vector are respectively transformed and feature extraction operations to obtain the first feature in the first word vector and the second word vector in the second word vector feature.
  • the processing module 202 is specifically configured to:
  • the first feature of the first word vector and the second feature of the second word vector are extracted according to the hidden layer information; wherein the formula for extracting the first feature and the second feature is as follows:
  • h t ′ is the first feature and the second feature
  • h t is the hidden layer information
  • W O is the feature weight matrix, which is a preset matrix
  • ⁇ is the calculation function.
  • the first feature and the second feature calculated in step (4) are features of the keyword.
  • the processing module 202 is specifically configured to:
  • the first probability formula is used to calculate the first probability of the first feature from the main perspective through SoftMax.
  • a loss function to adjust the first probability to obtain the first keyword probability
  • the second keyword probability is:
  • p is the first keyword probability denoted, h t 'is a first feature
  • p 1 is the probability of a first
  • N is the number of the first feature
  • CE to loss of function.
  • the processing module 202 is specifically configured to:
  • the second probability formula is used to comprehensively calculate the second probability from the main perspective and the auxiliary perspective, and the second probability formula is:
  • p 2 fwd is the second probability of the previous moment
  • p 2 bwd is the second probability of the next moment
  • p 2 future is the second probability of the future time
  • p 2 past is the second probability of the past time
  • NN fwd is the calculation function of the second probability at the previous moment
  • NN bwd is the calculation function of the second probability at the next moment
  • NN future is the calculation function of the second probability at the future time
  • NN past is the calculation function of the past time
  • x t is the second feature at time t.
  • p 2 past , p 2 fwd , p 2 bwd , p 2 future are arranged from left to right, in chronological order;
  • the calculation formula of the second keyword probability is:
  • p is not marked as the second keyword probability
  • ⁇ is the four auxiliary perspectives, including fwd, bwd, future, and past
  • p 2 ⁇ is the second probability corresponding to the four auxiliary perspectives
  • N is the number of second features.
  • D ⁇ is the loss function corresponding to the four auxiliary viewing angles.
  • the processing module 202 is specifically configured to:
  • Segment the text to be recognized and mark the words after the word segmentation. Keep the words with the part-of-speech tags as nouns, verbs, adjectives and adverbs, and treat each word as a node;
  • V i V i is the weight value of the node to be identified in the text
  • d is the damping coefficient, it is a preset constant
  • w ji is the weight between the nodes and the node V i V j heavy
  • Out (V j ) Is the set of nodes pointed to by node V j
  • node V k is the node pointed to by node V j
  • w jk is the weight between node V k and node V j
  • WS(V j ) is the text to be recognized by node V j
  • the weight value of each node is divided by the largest weight value in the weight value set to obtain the normalized weight value of each node in the text to be recognized, and the normalized weight value in the text to be recognized is greater than a preset
  • the word corresponding to the node of the weight threshold is used as the word to be recognized.
  • the physical device corresponding to the input-output module 201 shown in FIG. 2 is the input-output unit shown in FIG. 3, which can realize part or all of the functions of the input-output module 201, or realize the same or similar to the input-output module 201 Function.
  • the physical device corresponding to the processing module 202 shown in FIG. 2 is the processor shown in FIG. 3, and the processor can implement part or all of the functions of the processing module 202 or implement the same or similar functions as the processing module 202.
  • the physical device corresponding to the display module 203 shown in FIG. 2 is the processor shown in FIG. 3, and the processor can realize part or all of the functions of the display module 203 or realize the same or similar functions as the display module 203.
  • the computer program may be a program corresponding to the information recognition method in the embodiment corresponding to FIG. 1.
  • the processor executes the computer program to implement each of the information identification methods executed by the apparatus 20 in the embodiment corresponding to FIG. 2 Step; or, when the processor executes the computer program, the function of each module in the apparatus 20 of the embodiment corresponding to FIG. 2 is realized.
  • the computer program may be a program corresponding to the information recognition method in the embodiment corresponding to FIG. 1.
  • the present application also provides a computer-readable storage medium, which may be a non-volatile computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions, and when the computer instructions are executed on the computer, the computer executes the steps in the information recognition method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及神经网络领域，提供信息识别的方法、装置、设备及存储介质，方法包括：使用多个训练文本对所述多视角自训练神经网络模型进行训练，将采集的语音信号转换成待识别文本；从待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；生成提示信息，显示提示信息和待识别词语，提示信息用于提示面试官对待识别词语做标注；利用多视角自训练神经网络模型计算各待识别词语为关键词的关键词概率；当关键词概率处于概率阈值的范围内时，将处于概率阈值的范围内的待识别词语均标记为关键词；向至少一个面试服务器发送关键词和通知消息。采用本方案，能够提高识别文本中关键词的正确率。

Description

信息识别的方法、装置、设备及存储介质
本申请要求于2019年8月1日提交中国专利局、申请号为201910706481.0、发明名称为“信息识别的方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及神经网络领域，尤其涉及一种信息识别的方法、装置、设备及存储介质。
背景技术
随着信息技术的快速发展，AI技术已经被运用到各行各业。其中，人力资源领域就是使用较为广泛的典型领域。不论是图像模块，还是语音模块，都已经成为了AI技术快速发展的事实，尤其在语音模块，各类语音系统层出不穷，语音识别、语音转换、语音交互、语音合成等已逐渐走向成熟，这为语音技术的发展带来了前所未有的机遇。
但是，现有的语音技术仅仅停留在粗略估算语音语义的阶段，虽然通过对比语音信号和发音者的视觉唇形的相似度来获取语音信号中的关键词可以识别出部分关键词，但是发明人意识到仍然不能准确定位到关键词中的细节部分，导致在很多情况下无法获取到精确信息，从而无法在更多领域推广和使用，尤其在视频面试领域。
发明内容
本申请提供了一种信息识别的方法、装置、设备及存储介质，能够解决现有技术中获取语音信号中发音者的关键词的准确率不高的问题。
第一方面，本申请提供一种信息识别的方法，所述方法包括：
将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对多视角自训练神经网络模型训练；
采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；
从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；
生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；
将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；
根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时 上传最终面试结果。
第二方面，本申请提供一种用于信息识别的装置，具有实现对应于上述第一方面提供的信息识别的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述用于信息识别的装置包括：
输入输出模块，用于将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
处理模块，用于采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；生成提示信息；
显示模块，用于显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
所述处理模块还用于通过所述输入输出模块将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；根据预设的面试服务器名单通过所述输入输出模块向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
本申请第三方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
相较于现有技术，本申请提供的方案中，训练多视角自训练模型，将语音信号转换为待识别文本，并基于多视角自训练模型识别待识别文本中的关键词，即分别从主视角和多个辅助视角训练神经网络模型，能够提高识别关键词的准确率和命中率，即提升神经网络模型的识别精度。此外，通过改善GRU编码器提取文本特征的方式，能够达到准确定位文本中关键词的目的，进一步提高提取文本中关键词的准确率。
附图说明
图1为本申请实施例中信息识别的方法的一种流程示意图；
图2为本申请实施例中用于信息识别的装置的一种结构示意图；
图3为本申请实施例中计算机设备的一种结构示意图。
具体实施方式
本申请提供一种信息识别的方法、装置、设备及存储介质，可用于视频面试或语音面试，也可用于对发音者的情感分析，本申请不对本方案的应用场景作限定。
参照图1，以下介绍本申请实施例中的一种信息识别的方法，所述方法包括：
101、将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练。
其中，所述训练文本用于对所述多视角自训练神经网络模型训练。
所述训练文本从业务需求方提供的文本数据库中得到，文本数据库为预设的文本存储库，由业务需求方提供，内部存储有多个训练文本。所述训练文本包括满足面试要求的工作能力和素质的关键词。
在一些实施方式中，所述将采集的多个训练文本输入到多视角自训练神经网络模型，包括：
按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
提取第一词向量的第一特征，以及提取第二词向量的第二特征；
将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。
可见，将通过多视角自训练神经网络模型计算的所有第一关键词概率和第二关键词概率分别与预设的概率阈值比较，并调整概率阈值的范围，能够得到更加精确的关键词识别范围。
在一些实施方式中，所述提取第一词向量的第一特征，以及提取第二词向量的第二特征，包括：
将所述第一词向量和所述第二词向量分别输入门控循环单元(Gated Recurrent Unit，GRU)编码器；
在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特 征。
102、采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本。
具体来说，可通过语音接收设备实时检测语音信号，语音信号为面试环境中应聘者发出的面试语音，语音信号触发语音识别系统将语音信号转换成待识别文本，用于作为识别关键词的基础。步骤102的主要目的是将语音信号转换成待识别文本，降低了语音识别的难度，便于更容易识别出关键词。
其中，语音识别系统为预设的系统，具体可选百度语音识别、讯飞语音识别或阿里云语音识别等，具体本申请不作限定。
103、从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语。
在一些实施方式中，所述从所述待识别文本中提取多个待识别词语，包括：
将待识别文本分词并对分词后的词语作出词性标识，保留词性标识为名词、动词、形容词及副词的词语，将每个词语作为一个节点；
计算所述待识别文本中各节点的权重值，所述权重值计算公式如下：
Figure PCTCN2019117928-appb-000001
其中，WS(V i)为节点V i在待识别文本中的权重值，d为阻尼系数，是预设的常数，w ji为节点V i与节点V j之间的权重，Out(V j)为节点V j指向的节点的集合，节点V k为节点V j指向的节点，w jk为节点V k与节点V j之间的权重，WS(V j)为节点V j在待识别文本中的权重值；
将各节点的权重值分别除以权重值集合中最大的权重值，得到所述待识别文本中各节点的归一化权重值，将所述待识别文本中归一化权重值大于预设的权重值阈值的节点对应的词语作为待识别词语。
104、生成提示信息，显示所述提示信息和待识别词语，将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率。
其中，所述提示信息用于提示面试官对待识别词语做标注。
关键词是指待识别文本中权重值高于预设的权重值阈值的词语，具体可根据词频、词性和文本主题等维度来设置关键词的权重值阈值，本申请不对此作限定。
关键词概率是指待识别文本中的词语为关键词的概率。
需要说明的是，在本申请实施例中，可由面试官自由选择是否标注，面试 官可在待识别词语中作出文本标注，也可不作出标注，本申请不对此作限定。
按照待识别文本是否为带标注的文本来分，对应的待识别词语为关键词的关键词概率也按照标注来分，具体来说本申请中的待识别词语为关键词的关键词概率可分为第一关键词概率和第二关键词概率。
可选的，在本申请的一些实施例中，所述多视角自训练神经网络模型是从主视角、辅助视角计算第一关键词概率和第二关键词概率。其中，主视角是指当前时间，辅助视角包括未来时间、过去时间、前一时刻和后一时刻，未来时间不包括后一时刻，过去时间不包括前一时刻。
下面从特征的类型分别为第一特征和第二特征的角度介绍计算第一关键词概率和第二关键词概率的流程。
(1)若为第一特征，计算第一关键词概率的过程如下：
采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p 1＝NN(h t')＝softmax(U·ReLU(W(h t'))+b)；其中，p 1为第一概率，h t′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第一关键词概率为：
Figure PCTCN2019117928-appb-000002
其中，p 标注为第一关键词概率，h t′为第一特征，p 1为第一概率，N为第一特征的数量,CE为损失函数。
(2)若为第二特征，计算第二关键词概率的过程如下：
采用第二概率公式，从主视角和辅助视角综合计算第二概率，所述第二概率公式为：
p 2 fwd＝NN fwd(h t'(x t))
p 2 bwd＝NN bwd(h t'(x t))
p 2 future＝NN future(h t'(x t))
p 2 past＝NN past(h t'(x t))
其中，p 2 fwd为前一时刻的第二概率，p 2 bwd为后一时刻的第二概率，p 2 future为未来时间的第二概率，p 2 past为过去时间的第二概率，h t'为t时刻的第二特征，NN fwd为前一时刻的第二概率的计算函数，NN bwd为后一时刻的第二概率的计算函数，NN future为未来时间的第二概率的计算函数，NN past为过去时间的计算函数，x t为t时刻的第二特征。p 2 past、p 2 fwd、p 2 bwd、p 2 future从左到右，按照时间先后排列；
利用四个辅助视角对应的损失函数调整所述第二概率得到所述第二关键词概率，所述第二关键词概率的计算公式为：
Figure PCTCN2019117928-appb-000003
其中，p 未标注为第二关键词概率，θ为四个辅助视角，包括fwd、bwd、future、past，p 2 θ为四个辅助视角对应的第二概率，N为第二特征的数量,D θ为四个辅助视角对应的损失函数。
本申请实施例中，还可以通过计算所述关键词的关键词概率，不断调整步骤102-步骤105过程中判断待识别文本是否为关键词的概率阈值范围。
105、将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词。
一些实施方式中，当检测到面试官针对待识别词语的标注指令时，则采用步骤104中计算第一关键词概率的计算方法计算所述待识别词语为关键词的关键词概率。
另一些实施方式中，当为检测到面试官未标注待识别词语时，采用步骤104中计算第二关键词概率的计算方法计算所述待识别词语为关键词的关键词概率。
106、根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
与现有机制相比，本申请实施例中，训练多视角自训练模型，将语音信号转换为待识别文本，并基于多视角自训练模型识别待识别文本中的关键词，即分别从主视角和多个辅助视角训练神经网络模型，能够提高识别关键词的准确率和命中率，即提升神经网络模型的识别精度。
可选的，在本申请的一些实施例中，所述在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征，包括：
根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量计算重置门和更新门；
根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
h t′＝σ(W Oh t)
其中，h t′为第一特征、第二特征，h t为隐藏层信息，W O为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。
可见，通过改善GRU编码器提取文本特征的方式，能够达到准确定位文本中关键词的目的，进一步提高提取文本中关键词的准确率。
上述图1所对应的实施例或实施方式中所提及的技术特征也同样适用于本申请中的图2和图3所对应的实施例，后续类似之处不再赘述。
以上对本申请中一种信息识别的方法进行说明，以下对执行上述信息识别的方法的装置进行描述。
如图2所示的一种用于信息识别的装置20的结构示意图，其可应用于视频面试。本申请实施例中的装置20能够实现对应于上述图1所对应的实施例中所执行的信息识别的方法的步骤。装置20实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述装置20可包括输入输出模块201、处理模块202和显示模块203，所述处理模块202、所述输入输出模块201和所述显示模块203的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块202可用于控制所述输入输出模块201的输入输出操作，以及控制所述显示模块203的的显示操作。
一些实施方式中，所述输入输出模块201可用于将采集的多个训练文本输 入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
所述处理模块202可用于采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；生成提示信息；
所述显示模块202可用于显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
所述处理模块202还用于通过所述输入输出模块201将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；根据预设的面试服务器名单通过所述输入输出模块201向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
一些实施方式中，所述处理模块202具体用于：
按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
提取第一词向量的第一特征，以及提取第二词向量的第二特征；
通过所述输入输出模块201将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。
一些实施方式中，所述处理模块202具体用于：
通过所述输入输出模块201将所述第一词向量和所述第二词向量分别输入GRU编码器；
在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征。
一些实施方式中，所述处理模块202具体用于：
根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量 计算重置门和更新门；
根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
h t′＝σ(W Oh t)
其中，h t′为第一特征、第二特征，h t为隐藏层信息，W O为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。
一些实施方式中，所述处理模块202具体用于：
采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p 1＝NN(h t')＝softmax(U·ReLU(W(h t'))+b)；其中，p 1为第一概率，h t′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第二关键词概率为：
Figure PCTCN2019117928-appb-000004
其中，p 标注为第一关键词概率，h t′为第一特征，p 1为第一概率，N为第一特征的数量,CE为损失函数。
一些实施方式中，所述处理模块202具体用于：
采用第二概率公式，从主视角和辅助视角综合计算第二概率，所述第二概率公式为：
p 2 fwd＝NN fwd(h t'(x t))
p 2 bwd＝NN bwd(h t'(x t))
p 2 future＝NN future(h t'(x t))
p 2 past＝NN past(h t'(x t))
其中，p 2 fwd为前一时刻的第二概率，p 2 bwd为后一时刻的第二概率，p 2 future为未来时间的第二概率，p 2 past为过去时间的第二概率，h t'为t时刻的第二特征，NN fwd为前一时刻的第二概率的计算函数，NN bwd为后一时刻的第二概率的计算函数，NN future为未来时间的第二概率的计算函数，NN past为过去时间的计算函数，x t为t时刻的第二特征。p 2 past、p 2 fwd、p 2 bwd、p 2 future从左到右，按照时间先后排列；
利用四个辅助视角对应的损失函数调整所述第二概率得到所述第二关键词概率，所述第二关键词概率的计算公式为：
Figure PCTCN2019117928-appb-000005
其中，p 未标注为第二关键词概率，θ为四个辅助视角，包括fwd、bwd、future、past，p 2 θ为四个辅助视角对应的第二概率，N为第二特征的数量,D θ为四个辅助视角对应的损失函数。
一些实施方式中，所述处理模块202具体用于：
将待识别文本分词并对分词后的词语作出词性标识，保留词性标识为名词、动词、形容词及副词的词语，将每个词语作为一个节点；
计算所述待识别文本中各节点的权重值，所述权重值计算公式如下：
Figure PCTCN2019117928-appb-000006
其中，WS(V i)为节点V i在待识别文本中的权重值，d为阻尼系数，是预设的常数，w ji为节点V i与节点V j之间的权重，Out(V j)为节点V j指向的节点的集合，节点V k为节点V j指向的节点，w jk为节点V k与节点V j之间的权重，WS(V j)为节点V j在待识别文本中的权重值；
将各节点的权重值分别除以权重值集合中最大的权重值，得到所述待识别文本中各节点的归一化权重值，将所述待识别文本中归一化权重值大于预设的权重值阈值的节点对应的词语作为待识别词语。
图2中所示的输入输出模块201对应的实体设备为图3所示的输入输出单元，该输入输出单元能够实现输入输出模块201部分或全部的功能，或者实现与输入输出模块201相同或相似的功能。
图2中所示的处理模块202对应的实体设备为图3所示的处理器，该处理器能够实现处理模块202部分或全部的功能，或者实现与处理模块202相同或相似的功能。
图2中所示的显示模块203对应的实体设备为图3所示的处理器，该处理器能够实现显示模块203部分或全部的功能，或者实现与显示模块203相同或相似的功能。
上面从模块化功能实体的角度分别介绍了本申请实施例中的20，以下从硬件角度介绍一种计算机设备，如图3所示，其包括：处理器、存储器、收发器(也可以是输入输出单元，图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1所对应的实施例中信息识别的方法对应的程序。例如，当计算机设备实现如图2所示的装置20的功能时，所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由装置20执行的信息识别的方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述图2所对应的实施例的装置20中各模块的功能。又例如，该计算机程序可以为图1所对应的实施例中信息识别的方法对应的程序。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质。计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行信息识别的方法中的各步骤。

Claims (20)

  1. 一种信息识别的方法，所述方法包括：
    将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
    采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；
    从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；
    生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
    将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；
    将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；
    根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
  2. 根据权利要求1所述的方法，所述将采集的多个训练文本输入到多视角自训练神经网络模型，包括：
    按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
    依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
    提取第一词向量的第一特征，以及提取第二词向量的第二特征；
    将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
    将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
    当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
    当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。
  3. 根据权利要求1所述的方法，所述提取第一词向量的第一特征，以及提取第二词向量的第二特征，包括：
    将所述第一词向量和所述第二词向量分别输入GRU编码器；
    在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操 作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征。
  4. 根据权利要求3所述的方法，所述在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征，包括：
    根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量计算重置门和更新门；
    根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
    根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
    根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
    h t′＝σ(W Oh t)
    其中，h t′为第一特征、第二特征，h t为隐藏层信息，W O为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。
  5. 根据权利要求2-4中任一项所述的方法，所述将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率，包括：
    采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p 1＝NN(h t')＝softmax(U·ReLU(W(h t'))+b)；其中，p 1为第一概率，h t′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
    从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第二关键词概率为：
    Figure PCTCN2019117928-appb-100001
    其中，p 标注为第一关键词 概率，h t′为第一特征，p 1为第一概率，N为第一特征的数量,CE为损失函数。
  6. 根据权利要求2-4中任一项所述的方法，所述将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率，包括：
    采用第二概率公式，从主视角和辅助视角综合计算第二概率，所述第二概率公式为：
    p 2 fwd＝NN fwd(h t'(x t))
    p 2 bwd＝NN bwd(h t'(x t))
    p 2 future＝NN future(h t'(x t))
    p 2 past＝NN past(h t'(x t))
    其中，p 2 fwd为前一时刻的第二概率，p 2 bwd为后一时刻的第二概率，p 2 future为未来时间的第二概率，p 2 past为过去时间的第二概率，h t'为t时刻的第二特征，NN fwd为前一时刻的第二概率的计算函数，NN bwd为后一时刻的第二概率的计算函数，NN future为未来时间的第二概率的计算函数，NN past为过去时间的计算函数，x t为t时刻的第二特征。p 2 past、p 2 fwd、p 2 bwd、p 2 future从左到右，按照时间先后排列；
    利用四个辅助视角对应的损失函数调整所述第二概率得到所述第二关键词概率，所述第二关键词概率的计算公式为：
    Figure PCTCN2019117928-appb-100002
    其中，p 未标注为第二关键词概率，θ为四个辅助视角，包括fwd、bwd、future、past，p 2 θ为四个辅助视角对应的第二概率，N为第二特征的数量,D θ为四个辅助视角对应的损失函数。
  7. 根据权利要求1所述的方法，所述从所述待识别文本中提取多个待识别词语，包括：
    将待识别文本分词并对分词后的词语作出词性标识，保留词性标识为名词、动词、形容词及副词的词语，将每个词语作为一个节点；
    计算所述待识别文本中各节点的权重值，所述权重值计算公式如下：
    Figure PCTCN2019117928-appb-100003
    其中，WS(V i)为节点V i在待识别文本中的权重值，d为阻尼系数，是预设的常数，w ji为节点V i与节点V j之间的权重，Out(V j)为节点V j指向的节点的集合，节点V k为节点V j指向的节点，w jk为节点V k与节点V j之间的权重，WS(V j)为节点V j在待识别文本中的权重值；
    将各节点的权重值分别除以权重值集合中最大的权重值，得到所述待识别文本中各节点的归一化权重值，将所述待识别文本中归一化权重值大于预设的权重值阈值的节点对应的词语作为待识别词语。
  8. 一种用于信息识别的装置，所述装置包括：
    输入输出模块，用于将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
    处理模块，用于采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；生成提示信息；
    显示模块，用于显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
    所述处理模块还用于通过所述输入输出模块将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；根据预设的面试服务器名单通过所述输入输出模块向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
  9. 根据权利要求8所述的用于信息识别的装置，所述处理模块具体用于：
    按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文 本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
    依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
    提取第一词向量的第一特征，以及提取第二词向量的第二特征；
    通过所述输入输出模块将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
    将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
    当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
    当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。
  10. 根据权利要求8所述的用于信息识别的装置，所述处理模块具体还用于：
    将所述第一词向量和所述第二词向量分别输入GRU编码器；
    在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征。
  11. 根据权利要求10所述的用于信息识别的装置，所述处理模块具体还用于：
    根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量计算重置门和更新门；
    根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
    根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
    根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
    h t′＝σ(W Oh t)
    其中，h t′为第一特征、第二特征，h t为隐藏层信息，W O为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。
  12. 根据权利要求9至11中任一项所述的用于信息识别的装置，所述处理模块具体还用于：
    采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p 1＝NN(h t')＝softmax(U·ReLU(W(h t'))+b)；其中，p 1为第一概率，h t′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
    从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第二关键词概率为：
    Figure PCTCN2019117928-appb-100004
    其中，p 标注为第一关键词概率，h t′为第一特征，p 1为第一概率，N为第一特征的数量,CE为损失函数。
  13. 根据权利要求9至11中任一项所述的用于信息识别的装置，所述处理模块具体还用于：
    采用第二概率公式，从主视角和辅助视角综合计算第二概率，所述第二概率公式为：
    p 2 fwd＝NN fwd(h t'(x t))
    p 2 bwd＝NN bwd(h t'(x t))
    p 2 future＝NN future(h t'(x t))
    p 2 past＝NN past(h t'(x t))
    其中，p 2 fwd为前一时刻的第二概率，p 2 bwd为后一时刻的第二概率，p 2 future为未来时间的第二概率，p 2 past为过去时间的第二概率，h t'为t时刻的第二特征，NN fwd为前一时刻的第二概率的计算函数，NN bwd为后一时刻的第二概率的计算函数，NN future为未来时间的第二概率的计算函数，NN past 为过去时间的计算函数，x t为t时刻的第二特征。p 2 past、p 2 fwd、p 2 bwd、p 2 future从左到右，按照时间先后排列；
    利用四个辅助视角对应的损失函数调整所述第二概率得到所述第二关键词概率，所述第二关键词概率的计算公式为：
    Figure PCTCN2019117928-appb-100005
    其中，p 未标注为第二关键词概率，θ为四个辅助视角，包括fwd、bwd、future、past，p 2 θ为四个辅助视角对应的第二概率，N为第二特征的数量,D θ为四个辅助视角对应的损失函数。
  14. 根据权利要求8所述的用于信息识别的装置，所述处理模块具体还用于：
    将待识别文本分词并对分词后的词语作出词性标识，保留词性标识为名词、动词、形容词及副词的词语，将每个词语作为一个节点；
    计算所述待识别文本中各节点的权重值，所述权重值计算公式如下：
    Figure PCTCN2019117928-appb-100006
    其中，WS(V i)为节点V i在待识别文本中的权重值，d为阻尼系数，是预设的常数，w ji为节点V i与节点V j之间的权重，Out(V j)为节点V j指向的节点的集合，节点V k为节点V j指向的节点，w jk为节点V k与节点V j之间的权重，WS(V j)为节点V j在待识别文本中的权重值；
    将各节点的权重值分别除以权重值集合中最大的权重值，得到所述待识别文本中各节点的归一化权重值，将所述待识别文本中归一化权重值大于预设的权重值阈值的节点对应的词语作为待识别词语。
  15. 一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
    将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
    采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；
    从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；
    生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
    将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；
    将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；
    根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
  16. 根据权利要求15所述的计算机设备，所述处理器执行所述计算机程序实现所述将采集的多个训练文本输入到多视角自训练神经网络模型时，包括以下步骤：
    按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
    依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
    提取第一词向量的第一特征，以及提取第二词向量的第二特征；
    将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
    将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
    当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
    当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。
  17. 根据权利要求15所述的计算机设备，所述处理器执行所述计算机程序实现所述提取第一词向量的第一特征，以及提取第二词向量的第二特征时，包括以下步骤：
    将所述第一词向量和所述第二词向量分别输入GRU编码器；
    在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操 作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征。
  18. 根据权利要求17所述的计算机设备，所述处理器执行所述计算机程序实现所述在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征时，包括以下步骤：
    根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量计算重置门和更新门；
    根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
    根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
    根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
    h t′＝σ(W Oh t)
    其中，h t′为第一特征、第二特征，h t为隐藏层信息，W O为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。
  19. 根据权利要求16至18中任一项所述的计算机设备，所述处理器执行所述计算机程序实现所述将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率时，包括以下步骤：
    采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p 1＝NN(h t')＝softmax(U·ReLU(W(h t'))+b)；其中，p 1为第一概率，h t′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
    从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第二关键词概率为：
    Figure PCTCN2019117928-appb-100007
    其中，p 标注为第一关键词概率，h t′为第一特征，p 1为第一概率，N为第一特征的数量,CE为损失函数。
  20. 一种计算机可读存储介质，所述计算机可读存储介质中存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：
    将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
    采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；
    从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；
    生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
    将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；
    将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；
    根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。
PCT/CN2019/117928 2019-08-01 2019-11-13 信息识别的方法、装置、设备及存储介质 Ceased WO2021017296A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910706481.0A CN110619035B (zh) 2019-08-01 2019-08-01 识别面试视频中关键词的方法、装置、设备及存储介质
CN201910706481.0 2019-08-01

Publications (1)

Publication Number Publication Date
WO2021017296A1 true WO2021017296A1 (zh) 2021-02-04

Family

ID=68921514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117928 Ceased WO2021017296A1 (zh) 2019-08-01 2019-11-13 信息识别的方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110619035B (zh)
WO (1) WO2021017296A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377965A (zh) * 2021-06-30 2021-09-10 中国农业银行股份有限公司 感知文本关键词的方法及相关装置
CN116882416A (zh) * 2023-09-08 2023-10-13 江西省精彩纵横采购咨询有限公司 一种招标文件的信息识别方法及系统
CN118734975A (zh) * 2024-07-31 2024-10-01 北京顺详科技有限公司 大语言模型训练方法、装置、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905989B (zh) * 2021-01-26 2024-10-29 杭州宽信科技有限公司 一种基于大数据与神经网络的信息智能拦截方法
CN115049372B (zh) * 2022-08-15 2022-12-02 山东心法科技有限公司 针对人力资源信息的数字基础设施构建方法、设备及介质
CN116366801B (zh) * 2023-06-03 2023-10-13 深圳市小麦飞扬科技有限公司 一种招聘信息的多端交互系统
CN116862318B (zh) * 2023-09-04 2023-11-17 国电投华泽(天津)资产管理有限公司 基于文本语义特征提取的新能源项目评价方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740900A (zh) * 2016-01-29 2016-07-06 百度在线网络技术（北京）有限公司 信息识别的方法和装置
CN108962247A (zh) * 2018-08-13 2018-12-07 南京邮电大学 基于渐进式神经网络多维语音信息识别系统及其方法
CN109871446A (zh) * 2019-01-31 2019-06-11 平安科技（深圳）有限公司 意图识别中的拒识方法、电子装置及存储介质
CN109979439A (zh) * 2019-03-22 2019-07-05 泰康保险集团股份有限公司 基于区块链的语音识别方法、装置、介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN103943107B (zh) * 2014-04-03 2017-04-05 北京大学深圳研究生院 一种基于决策层融合的音视频关键词识别方法
CN108549626B (zh) * 2018-03-02 2020-11-20 广东技术师范学院 一种慕课的关键词提取方法
CN108419123B (zh) * 2018-03-28 2020-09-04 广州市创新互联网教育研究院 一种教学视频的虚拟切片方法
CN108806668A (zh) * 2018-06-08 2018-11-13 国家计算机网络与信息安全管理中心 一种音视频多维度标注与模型优化方法
CN109147763B (zh) * 2018-07-10 2020-08-11 深圳市感动智能科技有限公司 一种基于神经网络和逆熵加权的音视频关键词识别方法和装置
CN110444191B (zh) * 2019-01-22 2021-11-26 清华大学深圳研究生院 一种韵律层级标注的方法、模型训练的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740900A (zh) * 2016-01-29 2016-07-06 百度在线网络技术（北京）有限公司 信息识别的方法和装置
CN108962247A (zh) * 2018-08-13 2018-12-07 南京邮电大学 基于渐进式神经网络多维语音信息识别系统及其方法
CN109871446A (zh) * 2019-01-31 2019-06-11 平安科技（深圳）有限公司 意图识别中的拒识方法、电子装置及存储介质
CN109979439A (zh) * 2019-03-22 2019-07-05 泰康保险集团股份有限公司 基于区块链的语音识别方法、装置、介质及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377965A (zh) * 2021-06-30 2021-09-10 中国农业银行股份有限公司 感知文本关键词的方法及相关装置
CN113377965B (zh) * 2021-06-30 2024-02-23 中国农业银行股份有限公司 感知文本关键词的方法及相关装置
CN116882416A (zh) * 2023-09-08 2023-10-13 江西省精彩纵横采购咨询有限公司 一种招标文件的信息识别方法及系统
CN116882416B (zh) * 2023-09-08 2023-11-21 江西省精彩纵横采购咨询有限公司 一种招标文件的信息识别方法及系统
CN118734975A (zh) * 2024-07-31 2024-10-01 北京顺详科技有限公司 大语言模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110619035B (zh) 2023-07-25
CN110619035A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
WO2021017296A1 (zh) 信息识别的方法、装置、设备及存储介质
US12057117B2 (en) Method and apparatus of verifying information based on a voice interaction, device, and computer storage medium
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN107526799B (zh) 一种基于深度学习的知识图谱构建方法
WO2021212749A1 (zh) 命名实体标注方法、装置、计算机设备和存储介质
CN116955699B (zh) 一种视频跨模态搜索模型训练方法、搜索方法及装置
CN111737989A (zh) 一种意图识别方法、装置、设备及存储介质
CN111274829B (zh) 一种利用跨语言信息的序列标注方法
US20190385610A1 (en) Methods and systems for transcription
CN111666766B (zh) 数据处理方法、装置和设备
Audhkhasi et al. A globally-variant locally-constant model for fusion of labels from multiple diverse experts without using reference labels
CN108647191B (zh) 一种基于有监督情感文本和词向量的情感词典构建方法
CN114239574A (zh) 一种基于实体和关系联合学习的矿工违规行为知识抽取方法
CN113627797B (zh) 入职员工画像生成方法、装置、计算机设备及存储介质
CN115599953B (zh) 视频文本检索模型的训练方法、检索方法及相关设备
CN111242060A (zh) 一种文档图像关键信息提取方法及系统
CN109086265A (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN111368066A (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN114357987B (zh) 摘要生成方法及相关装置、设备和存储介质
CN107590121A (zh) 文本规整方法及系统
CN117591657A (zh) 一种基于ai的智能对话管理系统及方法
CN120610943A (zh) 面向跨领域协同的数据库整合方法、系统及设备
Zhong et al. BiTransformer: augmenting semantic context in video captioning via bidirectional decoder
CN113901824A (zh) 一种基于命名实体识别的问答系统构建方法
CN113886530A (zh) 一种语义短语抽取方法及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19939544

Country of ref document: EP

Kind code of ref document: A1