WO2022035183A1 - 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법 - Google Patents

사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
WO2022035183A1
WO2022035183A1 PCT/KR2021/010574 KR2021010574W WO2022035183A1 WO 2022035183 A1 WO2022035183 A1 WO 2022035183A1 KR 2021010574 W KR2021010574 W KR 2021010574W WO 2022035183 A1 WO2022035183 A1 WO 2022035183A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
history information
voice
model
voice input
Prior art date
Application number
PCT/KR2021/010574
Other languages
English (en)
French (fr)
Inventor
최형탁
류종엽
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/439,247 priority Critical patent/US11984126B2/en
Publication of WO2022035183A1 publication Critical patent/WO2022035183A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting

Definitions

  • the present disclosure relates to a device for recognizing a voice input received from a user using an artificial intelligence model, and an operating method thereof.
  • the voice recognition function is a function of easily controlling a device by recognizing a user's voice input without a separate button operation or contact with a touch module.
  • AI artificial intelligence
  • the artificial intelligence technology has been applied to the speech recognition function, so that it is possible to quickly and accurately recognize various utterances.
  • the voice signal which is an analog signal
  • the ASR model may be an artificial intelligence model.
  • the AI model can be processed by an AI-only processor designed with a hardware structure specialized for processing the AI model.
  • AI models can be created through learning.
  • being made through learning means, for example, that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined operation rule or artificial intelligence set to perform a desired characteristic (or purpose) This means that the model is created.
  • the artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights.
  • the device receives a new model from the server or updates an existing voice recognition model in order to improve the performance of speech recognition using the artificial intelligence model.
  • a new speech recognition model is downloaded or an existing speech recognition model is updated, even if the user speaks using the same voice, pronunciation, intonation, tone, tone, or dialect as it is, the speech recognition model is There is a problem in that it cannot accurately recognize or output a recognition result different from the existing one. In this case, the device performs an operation or function different from the existing one, and the user experiences inconvenience because the operation or function is not performed as before.
  • Embodiments of the present disclosure recognize and interpret a user's voice input through training using a database storing history information of voice recognition at a time in the past before the user utters a utterance, and interpret the voice recognition result
  • An object of the present invention is to provide a device for outputting , and a method for operating the same.
  • an embodiment of the present disclosure provides a method for recognizing a voice input by a device.
  • the method includes the steps of: receiving a voice input; recognizing the voice input using an ASR model, thereby obtaining at least one text candidate including a character string to which the voice input is expected to be converted; extracting text history information corresponding to the voice input from the database by comparing the voice input with voice recognition result history information recognized before the voice input is received and stored in a database; and
  • the method may include performing training to adjust a weight of each of the at least one text candidate using the extracted text history information.
  • the voice recognition result history information including a plurality of previously acquired voice signals and a plurality of text history information acquired by converting the plurality of voice signals using the ASR model is stored, and the plurality of voice signals may be paired with the corresponding plurality of text history information and stored in the database.
  • the extracting of the text history information corresponding to the voice input includes calculating similarity between the voice input and the plurality of voice signals, respectively, from the plurality of voice signals.
  • the method may include identifying a voice signal whose calculated similarity exceeds a predetermined threshold, and extracting text history information paired with the identified voice signal from among the plurality of text history information.
  • the method may further include determining, through the learning, text output by converting the voice input.
  • the method includes an operation of obtaining at least one text interpretation result candidate by interpreting the output text using a Natural Language Understanding (NLU), the obtained at least one extracting text analysis history information corresponding to the text from among the plurality of text analysis result history information by comparing the text analysis result candidate with a plurality of text analysis result history information stored in the database; the extracted text analysis history
  • the method may further include an operation of learning a weight for obtaining text interpretation result information from the text through the natural language understanding model using the information, and an operation of updating the natural language understanding model through the learning.
  • the text interpretation result information is information about a domain, an intent, and a named entity recognized by interpreting the text using the natural language understanding model. may include at least one of
  • the database stores a plurality of texts and a plurality of text interpretation history information obtained by analyzing the plurality of texts using the natural language understanding model, and the plurality of texts are , may be paired with the corresponding plurality of text interpretation history information and stored in the database.
  • the extracting of text interpretation history information corresponding to the text includes calculating a similarity between the text and the plurality of texts pre-stored in the database, respectively, the plurality of texts and identifying text whose calculated similarity exceeds a predetermined threshold, and extracting text interpretation history information paired with the identified text from among the plurality of text interpretation history information.
  • the method includes an operation of updating the ASR model that determines a text output by converting the voice input through learning to adjust the weight, and providing update information of the ASR model to a server It may further include an operation of transmitting.
  • an embodiment of the present disclosure provides a device for recognizing a voice input.
  • the device includes a voice input unit including a circuit configured to receive a voice input, a plurality of voice signals received before the time when the voice input is received, and a plurality of text history information information corresponding to the plurality of voice signals.
  • a database for storing recognition result history information, a memory for storing a program including one or more instructions, and a processor for executing one or more instructions of the program stored in the memory, wherein the processor receives the information from the voice input unit.
  • At least one text candidate including a character string in which the voice input is predicted to be converted is obtained, and pre-stored in the database
  • text history information information corresponding to the voice input is extracted from the database, and each of the plurality of text candidates is obtained using the extracted text history information information. Training for adjusting a weight may be performed.
  • the voice recognition result history information including a plurality of previously acquired voice signals and a plurality of text history information acquired by converting the plurality of voice signals using the ASR model is stored, and the plurality of voice signals may be paired with the corresponding plurality of text history information and stored in the database.
  • the processor calculates similarity between the voice input and the plurality of voice signals pre-stored in the database, respectively, and the calculated similarity among the plurality of voice signals sets a predetermined threshold value. Excessive voice signals may be identified, and text history information paired with the identified voice signals may be extracted from among the plurality of text history information.
  • the processor may determine the text output by converting the voice input through the learning.
  • the processor interprets the output text using a natural language understanding model (NLU) to obtain at least one text interpretation result candidate, and the obtained at least one text
  • NLU natural language understanding model
  • the analysis result candidate is compared with a plurality of text analysis result history information previously stored in the database
  • text analysis history information corresponding to the text is extracted from among the plurality of text analysis result history information, and the extracted text analysis history information is extracted.
  • a weight for obtaining text interpretation result information from the text may be learned through the natural language understanding model, and the natural language understanding model may be updated through the learning.
  • the text interpretation result information is information about a domain, an intent, and a named entity recognized by interpreting the text using the natural language understanding model. may include at least one of
  • the database stores a plurality of texts and a plurality of text interpretation history information obtained by analyzing the plurality of texts using the natural language understanding model, and the plurality of texts are , may be paired with the corresponding plurality of text interpretation history information and stored in the database.
  • the processor calculates similarity between the text and the plurality of texts previously stored in the database, and the calculated similarity among the plurality of texts exceeds a predetermined threshold.
  • Text may be identified, and text interpretation history information paired with the identified text may be extracted from among the plurality of text interpretation history information.
  • the processor may determine the text interpretation result information output from the natural language understanding model through learning using the extracted text interpretation history information.
  • the device further includes a communication interface including a communication circuit configured to perform data communication with a server, and the processor outputs by transforming the voice input through learning to adjust the weight.
  • the communication interface may be controlled to update the ASR model that determines the text to be used, and to transmit update information of the ASR model to the server.
  • an embodiment of the present disclosure provides a computer-readable non-transitory recording medium in which a program for execution in a computer is recorded.
  • FIG. 1 is a diagram illustrating an example of an operation in which a device outputs a text by recognizing a user's voice input according to various embodiments of the present disclosure
  • FIG. 2A is a diagram illustrating an example of an operation in which a device recognizes a user's voice input and outputs a voice recognition result according to various embodiments of the present disclosure
  • 2B is a diagram illustrating an example of an operation in which a device recognizes a user's voice input and outputs a voice recognition result according to various embodiments of the present disclosure
  • FIG. 3 is a diagram illustrating an example of an operation in which a device recognizes a user's voice input and outputs a voice recognition result according to various embodiments of the present disclosure
  • FIG. 4 is a block diagram illustrating an example of components of a device according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating an example of a method of operating a device according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating an example of a method of operating a device according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart illustrating an example of an operating method of a device and a server according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating an example of an operating method of a device and a server according to various embodiments of the present disclosure.
  • the expression "at least one of a, b, or c" means a only, b only, c only, both a and b, both a and c, both b and c, a, b, c, all or their variations are shown.
  • a processor configured (or configured to perform) A, B, and C refers to a dedicated processor (eg, an embedded processor) for performing the operations, or by executing one or more software programs stored in memory; It may refer to a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • a 'letter' may represent, for example, a symbol used to represent and write human language in a visible form.
  • characters may include Hangul, alphabets, Chinese characters, numbers, diacritics, punctuation marks, and other symbols.
  • a 'string' may indicate, for example, a sequence of characters.
  • a 'grapheme' is the smallest unit for representing a sound, which is composed of at least one character.
  • a character string may represent an arrangement of letter elements.
  • 'text' may include at least one letter element.
  • text may include morphemes or words.
  • a 'word' is a basic unit of a language composed of at least one character string, used independently, or indicating a grammatical function.
  • a 'word sequence' may indicate, for example, an arrangement of one or more words.
  • the "confidence score of a character string" indicates how accurately the voice recognition model outputting a predetermined character string performs voice recognition.
  • the reliability of the character string may be calculated according to a predetermined equation based on a likelihood obtained from the predetermined character string, a partial likelihood or a posterior probability value output in the process of estimating the predetermined character string, and the like. As the reliability of the character string increases, it may be determined that the voice recognition model accurately estimates the character string regarding the voice signal.
  • an 'ASR model (Automatic Speech Recognition)' is a voice recognition model for recognizing a user's voice, and may represent a model trained to convert and output a voice input received from the user into text.
  • the ASR model includes, but is not limited to, an artificial intelligence model including, for example, an acoustic model, a phonetic dictionary, and a language model.
  • the ASR model may be an end-to-end speech recognition model having a structure including an integrated neural network without separately including an acoustic model, a pronunciation dictionary, and a language model. Since the end-to-end ASR model uses an integrated neural network, it is possible to convert a voice signal into text without a process of converting the phoneme into text after recognizing a phoneme from the voice signal.
  • a 'Natural Language Understanding (NLU) model' is, for example, a model trained to interpret a text converted from a speech signal to obtain a domain and an intent corresponding to the text.
  • NLU Natural Language Understanding
  • the natural language understanding model may identify information about a slot as well as a domain and an intent by interpreting the text.
  • a 'domain' may indicate, for example, a category or region related to a user's intention identified by analyzing text.
  • a domain can be detected by interpreting the text using a natural language understanding model.
  • a domain may be associated with an intent detected from text using a natural language understanding model.
  • domains may be classified according to text-related services.
  • the domain may include one or more areas, such as a category to which text corresponds, for example, a movie domain, a music domain, a book domain, a game domain, an aviation domain, a food domain, and a sports domain.
  • 'intent' may represent, for example, information indicating a user's intention determined by analyzing text.
  • the intent is information indicating the user's intention to speak, and may include information indicating an action or function that the user intends to execute using the device.
  • the intent may be determined by interpreting the text using a Natural Language Understanding (NLU) model. For example, when the text converted from the user's voice input is "Play music in the Melon application ⁇ ", the domain may be 'music', and the intent may be 'music content play'.
  • NLU Natural Language Understanding
  • An intent may include an intent action and an intent object.
  • the intent may include not only information indicating the user's utterance intention (hereinafter, intention information), but also a numerical value corresponding to information indicating the user's intention.
  • the numerical value is, for example, a probability value that the text is related to information indicating a specific intent, and may represent a reliability value at which the text can be interpreted as the specific intent.
  • a 'slot' means variable information for obtaining detailed information related to an intent or determining a detailed operation.
  • the variable information of the slot may include a named entity.
  • a slot includes information related to an intent, and a plurality of types of slots may correspond to one intent.
  • the slot may include a numerical value indicating a probability value that text is related to specific variable information.
  • a plurality of variable information indicating slots may be obtained as a result of analyzing the text using the natural language understanding model.
  • variable information having a maximum numerical value corresponding to each variable information may be determined as a slot. For example, when the text is "Play music in the Melon application ⁇ ", the slot obtained from the text may be the 'Melon application'.
  • Domains, intents, and slots may be automatically identified or detected using a natural language understanding model, but is not limited thereto.
  • the domain, the intent, and the slot may be manually designated or determined by a user input input through the device, respectively.
  • FIG. 1 is a diagram illustrating an example of an operation in which a device 1000a outputs a text by recognizing a user's voice input according to various embodiments of the present disclosure.
  • device 1000a includes an ASR model (eg, including processing circuitry and/or executable program instructions) 1310, a continuity learning model (eg, various processing circuitry and/or executable program instructions) 1330 , a voice recognition result history database 1350 , and an output unit (eg, including an output circuit) 1500 .
  • ASR model eg, including processing circuitry and/or executable program instructions
  • continuity learning model e.g, various processing circuitry and/or executable program instructions
  • voice recognition result history database 1350 eg, including an output circuit 1500
  • output unit eg, including an output circuit
  • the device 1000a may receive a voice input from the user.
  • the device 1000a receives a voice input (eg, a user's utterance) from a user by using a voice input unit 1100 (refer to FIG. 4 ) such as a microphone, and receives a voice signal from the received voice input. can be obtained.
  • the voice signal may be in the form of a wave file, but is not limited thereto.
  • the device 1000a may receive a voice signal related to the user's utterance, “Play music with Melon application”.
  • the ASR model 1310 may include a voice recognition model for recognizing a user's voice, and a model trained to convert and output a voice signal received from the user into text.
  • the ASR model 1310 may be an artificial intelligence model including an acoustic model, a pronunciation dictionary, and a language model.
  • the present invention is not limited thereto, and the ASR model 1310 does not separately include a pronunciation dictionary and a language model, but an end-to-end speech having a structure including an integrated deep neural network (DNN). It may be a recognition model.
  • the end-to-end ASR scheme may refer to, for example, a voice recognition scheme using a deep neural network trained to directly map a voice signal to a string or word sequence.
  • the end-to-end ASR method can simplify the speech recognition process by using a single trained deep neural network.
  • Sub-embodiments of the end-to-end ASR model 1310 include, for example, an RNN-T model and a Connectionist Temporal Classification (CTC) model.
  • the device 1000a may convert a voice signal into text using instructions or a program code related to the ASR model 1310 .
  • the ASR model 1310 may convert a voice signal into text including a plurality of strings synchronized in units of frames.
  • 'frame' means a unit in which a voice signal is divided at regular time intervals for processing the voice signal, or the divided voice signal itself.
  • the 'frame-synchronized character string' refers to a character string including characters individually corresponding to each frame of the voice signal when the voice signal is converted into a character string by the ASR model 1310 and output.
  • the ASR model 1310 may output at least one text candidate including a plurality of character strings based on a confidence score indicating a probability value that a speech signal can be predicted as a plurality of frame-synchronized character strings.
  • the 'reliability of the character string' indicates how accurately the ASR model 1310 that has output the predetermined character string recognized the voice signal.
  • the reliability of a character string may be calculated according to a predetermined equation based on a likelihood obtained from a predetermined character string, a partial likelihood or a posterior probability value output in a process of estimating the predetermined character string, and the like.
  • at least one text candidate output by recognizing a speech signal by the ASR model 1310 may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the at least one text candidate includes a first text candidate including the string of "Play music with Mellong application", a second text candidate including the string of "Play music with Merong application", and "Play music with Melon application”.
  • the confidence value of the first text candidate may be 3.45
  • the confidence value of the second text candidate may be 3.44
  • the confidence value of the third text candidate may be 3.41.
  • At least one text candidate may be prioritized according to a confidence value. For example, since the confidence value of the first text candidate is 3.45, the ASR model 1310 may determine the first text candidate as a text corresponding to the voice input received from the user.
  • the ASR model 1310 provides at least one text candidate converted from the speech signal and output to the continuity learning model 1330 .
  • the first continuity learning model 1330 compares the voice signal received from the user and at least one text candidate received from the ASR model 1310 with the voice recognition result history information previously stored in the voice recognition result history database 1350, respectively. , may represent a model trained to determine a text corresponding to a speech signal.
  • the continuity learning model 1330 includes a historical information extraction module (eg, including various processing circuitry and/or executable program instructions) 1332 and a weight learning module (eg, various processing circuitry and/or executable program instructions) 1332 . instructions) 1334 .
  • the history information extraction module 1332 compares the voice signal received from the user with the voice signal pre-stored in the voice recognition result history database 1350, and based on the comparison result, converts the text history information corresponding to the voice signal It may represent a module that is configured to extract.
  • the voice recognition result history database 1350 may represent a database that stores a voice signal acquired before a point in time when a voice input is received from the user and history information of a text acquired by converting the voice signal.
  • the voice recognition result history database 1350 includes a plurality of voice signals 1352-1 to 1352-n received at a time in the past and a plurality of voice signals 1352 through learning using the ASR model 1310 .
  • a plurality of text history information 1354-1 to 1354-n output by converting each of -1 to 1352-n) may be stored.
  • the plurality of voice signals 1352-1 to 1352-n are paired with a plurality of corresponding pieces of text history information 1354-1 to 1354-n to be stored in the voice recognition result history database 1350 . can be saved.
  • the plurality of voice signals 1352-1 to 1352-n may be in the form of a wave file.
  • the voice signal may be stored in the voice recognition result history database 1350 in the form of a binary data file encoded in binary format.
  • the plurality of text history information 1354-1 to 1354-n indicates that the user of the device 1000a is a past time point. It may be history information obtained by converting each of the plurality of voice signals 1352-1 to 1352-n obtained from the spoken voice input into text using the ASR model 1310 .
  • the speech recognition result history database 1350 may store the language characteristics of the user of the device 1000a, for example, age, gender, pronunciation (eg, British English, American English, Australian English, etc. in the case of English), intonation, and dialect. A function or operation of a customized and personalized language dictionary may be performed based on the like.
  • the history information extraction module 1332 may measure similarity between the voice signal received from the user and the plurality of voice signals 1352-1 to 1352-n previously stored in the voice recognition result history database 1350 .
  • the history information extraction module 1332 uses a cosine similarity measuring method to obtain a voice signal received from a user and a plurality of voice signals 1352-1 pre-stored in the voice recognition result history database 1350 . to 1352-n) can be measured.
  • the present invention is not limited thereto, and the history information extraction module 1332 includes a voice signal received from a user using a known similarity measurement algorithm or method and a plurality of voice signals 1352 pre-stored in the voice recognition result history database 1350 . The similarity between -1 to 1352-n) can be measured.
  • the history information extraction module 1332 identifies a voice signal having a measured similarity exceeding a predetermined threshold among the plurality of voice signals 1352-1 to 1352-n, and extracts text history information corresponding to the identified voice signal can do.
  • the history information extraction module 1332 includes a voice signal of “Play music with Melon application”, which is a voice signal received from the user, and a plurality of voice signals 1352-1 to 1352-1 to pre-stored in the voice recognition result history database 1350 . 1352 - n) may be measured, and the second voice signal 1352 - 2 for which the measured similarity exceeds a predetermined threshold may be identified.
  • the history information extraction module 1332 may extract the second text history information 1354 - 2 forming a pair with the second voice signal 1352 - 2 from the voice recognition result history database 1350 .
  • the second text history information 1354-2 is an output text converted by recognizing the user's second voice signal 1352-2 at a time in the past, and may include, for example, a string of "Play music with Melon application".
  • the history information extraction module 1332 compares at least one text candidate received from the ASR model 1310 with text history information extracted from the voice recognition result history database 1350 to determine whether they are the same. When the at least one text candidate output from the ASR model 1310 and the text history information extracted from the speech recognition result history database 1350 are not the same, the history information extraction module 1332 provides the at least one text candidate and the extracted The text history information may be provided to the weight learning module 1334 .
  • the weight learning module 1334 uses the text history information extracted from the voice recognition result history database 1350 to learn about the voice input received from the user.
  • a module configured to train a weight for determining a corresponding text.
  • the weight learning module 1334 receives a voice signal, outputs text, and may be configured as a deep neural network model including a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the weight learning module 1334 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a BRDNN (Bidirectional Recurrent Deep Neural Network) and may be configured as at least one of deep Q-networks (Deep Q-Networks), but is not limited to the above-described example.
  • the weight learning module 1334 determines the text history information extracted by the history information extraction module 1332 as a ground truth about the voice input received from the user, and learning to add a high weight can be performed.
  • the weight learning module 1334 may update the output of the ASR model 1310 by determining the output text of the ASR model 1310 using the extracted text history information.
  • the weight learning module 1334 is configured to add a high weight to the second text history information 1354 - 2 extracted from the history information extraction module 1332 , through learning to add a high weight to the second text history among at least one text candidate.
  • a third text candidate identical to the information 1354 - 2 may be determined as text corresponding to the voice input.
  • the third text candidate has a confidence value of 3.41, which is lower than the reliability values of the first text candidate and the second text candidate, but may be determined as a text corresponding to the voice input according to a learning result by the weight learning module 1334 .
  • the weight learning module 1334 provides the determined text to the output unit 1500 .
  • the output unit 1500 includes a display unit 1510 (see FIG. 4 ) and a speaker 1520 (see FIG. 4 ), and outputs the text received from the weight learning module 1334 as a user interface or sound signal. can do.
  • a speech recognition model such as the ASR model 1310 may be periodically updated from an external server to improve performance.
  • the voice recognition model is updated, problems may arise in that users understand the voice recognition model differently or perform an operation or function different from the existing one, even if the user pronounces the same as before. Even if the performance of the voice recognition model is updated, users want to learn, understand, operate, and respond to their existing voice, pronunciation, intonation, and dialect as they are.
  • the device 1000a stores the user's existing voice signal and recognition result history information in the voice recognition result history database 1350, and sets the output text candidate of the ASR model 1310 to the voice recognition result It compares the recognition result history information stored in the history database 1350, extracts text history information corresponding to the voice input, and adjusts weights using the extracted text history information. You can print text.
  • the device 1000a of the present disclosure recognizes the user's existing pronunciation, intonation, dialect, and gender-based voice, and provides a recognition result, continuity ) can provide a user experience that maintains
  • the device 1000a of the present disclosure stores text history information obtained by recognizing the user's existing pronunciation, intonation, dialect, and gender-based voice in the voice recognition result history database 1350, and the stored text history information A weight for determining a text corresponding to a user's voice input is learned using
  • FIGS. 2A and 2B are diagrams illustrating examples of an operation in which the device 1000b recognizes a user's voice input and outputs a voice recognition result according to various embodiments of the present disclosure.
  • device 1000b includes an ASR model (eg, including processing circuitry and/or executable program instructions) 1310 , a natural language understanding model (NLU model) (eg, processing circuitry and/or executable program instructions) 1320 , a first continuity learning model (eg, including processing circuitry and/or executable program instructions) 1330 , a second continuity learning model (eg, , processing circuitry and/or executable program instructions) 1340 , a first voice recognition result history database 1350 , a second voice recognition result history database 1360 , and an output unit 1500 .
  • ASR model eg, including processing circuitry and/or executable program instructions
  • NLU model natural language understanding model
  • first continuity learning model eg, including processing circuitry and/or executable program instructions
  • second continuity learning model eg, processing circuitry and/or executable program instructions
  • a first voice recognition result history database 1350 e.g, a second voice recognition result history database 1360
  • output unit 1500 e.g, Components for explaining
  • the ASR model 1310, the first continuity learning model 1330, and the first speech recognition result history database 1350 shown in FIG. 2A are the ASR model 1310, the continuity learning model 1330, and the voice shown in FIG. Since the recognition result history database 1350 is the same as or similar to each other, overlapping descriptions are not repeated here.
  • the natural language understanding model (NLU model) 1320 is a model trained to acquire text interpretation result information by interpreting the text received from the first continuity learning model 1330 .
  • the text analysis result information may include, for example, information about a domain, an intent, and a slot detected by analyzing text, but may not be limited thereto.
  • the text input to the natural language understanding model 1320 may be text corresponding to a voice input received from the user.
  • the natural language understanding model 1320 may output at least one text interpretation result candidate by interpreting the text.
  • the at least one text interpretation result candidate is at least one domain candidate, at least one intent candidate, and at least one slot candidate predicted from the text by interpreting the text using the natural language understanding model 1320 .
  • the natural language understanding model 1320 may output at least one domain candidate based on a probability value that a category or region related to a user's intention identified by interpreting text is predicted as a specific domain.
  • the natural language understanding model 1320 may output at least one intent candidate based on a probability value that information indicating the user's utterance intention is predicted as a specific intent by interpreting the text.
  • the natural language understanding model 1320 may interpret the text to output at least one slot candidate based on a probability value in which a detected named entity is predicted to be a specific slot.
  • the natural language understanding model 1320 may output at least one slot candidate for each of the plurality of slots.
  • the 'probability value' may represent, for example, a confidence score.
  • at least one text interpretation result candidate output by analyzing text by the natural language understanding model 1320 may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the second continuity learning model 1340 compares at least one text interpretation result candidate received from the text and natural language understanding model 1320 with speech recognition result history information previously stored in the second speech recognition result history database 1360, respectively. , a model trained to determine text analysis result information corresponding to the text.
  • the second continuity learning model 1340 may include a history information extraction module 1342 and a weight learning module 1344 .
  • the history information extraction module 1342 compares the text received from the first continuity learning model 1330 with a plurality of texts 1362-1 to 1362-n previously stored in the second speech recognition result history database 1360, A module configured to extract previously obtained text interpretation history information in relation to the text based on the comparison result.
  • the second speech recognition result history database 1360 stores pre-obtained text output from the ASR model 1310 before the point in time when a voice input is received from the user and text interpretation history information detected by analyzing the pre-obtained text It is a database that The text interpretation history information may include history information about domains, intents, and slots detected by analyzing text.
  • the second speech recognition result history database 1360 includes a plurality of texts 1362-1 to 1362-n acquired at a time in the past and a plurality of texts 1362- using the natural language understanding model 1320 . 1 to 1362-n), a plurality of pieces of text analysis history information 1364-1 to 1364-n detected by analyzing each of them may be stored.
  • the plurality of texts 1362-1 to 1362-n are paired with a plurality of related text interpretation history information 1364-1 to 1364-n, and the second voice recognition result history database 1360 ) can be stored in
  • the history information extraction module 1342 compares the text received from the first continuity learning model 1330 and the plurality of texts 1362-1 to 1362-n previously stored in the second speech recognition result history database 1360 (similarity). ) can be measured.
  • the history information extraction module 1342 uses a cosine similarity measurement method to pre-store the text received from the first continuity learning model 1330 and the second speech recognition result history database 1360 .
  • the similarity between the plurality of texts 1362-1 to 1362-n may be measured.
  • the present invention is not limited thereto, and the history information extraction module 1342 may use, for example, a Jaccard similarity, Euclidean similarity, or Manhattan similarity measurement method or algorithm.
  • a similarity between the text received from the first continuity learning model 1330 and the plurality of texts 1362-1 to 1362-n previously stored in the second voice recognition result history database 1360 may be measured.
  • the present invention is not limited thereto.
  • the history information extraction module 1342 may identify a text having a measured similarity exceeding a predetermined threshold among a plurality of texts 1362-1 to 1362-n previously stored in the second voice recognition result history database 1360 . .
  • the history information extraction module 1342 may extract text interpretation history information forming a pair with the identified text from the second voice recognition result history database 1360 .
  • the similarity with the text output from the first continuity learning model 1330 among the plurality of texts 1362-1 to 1362-n previously stored in the second speech recognition result history database 1360 is a predetermined threshold. If the text identified as being exceeded is the second text 1362 - 2 , the history information extraction module 1342 is configured to interpret the second text 1362 - 2 to obtain the second text interpretation history information 1364 - 2 . can be extracted.
  • the history information extraction module 1342 compares at least one text analysis result candidate output from the natural language understanding model 1320 with text analysis history information extracted from the second speech recognition result history database 1360 to determine whether they are the same can do.
  • the history information extraction module 1342 may sequentially determine the sameness according to the type of text analysis result information. For example, the history information extraction module 1342 may determine the identity between at least one text analysis result candidate and the text analysis history information in the order of domain, intent, and slot.
  • the history information extraction module 1342 determines the identity between at least one domain candidate output from the natural language understanding model 1320 and the domain history information extracted from the second speech recognition result history database 1360, and If it is determined that there is, it is possible to determine the identity between the at least one intent candidate and the intent history information extracted from the second voice recognition result history database 1360 . After the determination of the identity between intents is performed, the history information extraction module 1342 is configured to include at least one slot candidate output from the natural language understanding model 1320 and slot history information extracted from the second speech recognition result history database 1360 . identity can be determined.
  • the history information extraction module 1342 provides at least one It is possible to provide the text analysis result candidate and the extracted text analysis history information to the weight learning module 1344 .
  • the weight learning module 1344 determines text interpretation result information corresponding to the text obtained from the first continuity learning model 1330 by using the text interpretation history information extracted from the second speech recognition result history database 1360.
  • the weight learning module 1344 may be configured as a deep neural network model including a plurality of neural network layers that receives text and outputs text interpretation result information. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the weight learning module 1344 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), BRDNN (Bidirectional Recurrent Deep Neural Network) and may be configured as at least one of deep Q-networks (Deep Q-Networks), but is not limited to the above-described example.
  • the weight learning module 1344 determines the text analysis history information extracted by the history information extraction module 1342 as a ground truth about the input text, and performs learning to add a high weight. can do.
  • the weight learning module 1344 may update the output of the natural language understanding model 1320 by determining text interpretation result information output from the natural language understanding model 1320 using the extracted text interpretation history information.
  • the weight learning module 1344 provides the determined text analysis result information to the output unit 1500 .
  • the output unit 1500 may include a display unit 1510 (refer to FIG. 4 ) and a speaker 1520 (refer to FIG. 4 ), and displays text analysis result information received from the weight learning module 1344 through a user interface. Alternatively, it may be output as an acoustic signal.
  • the device 1000b analyzes a user's utterance in the past, for example, text interpretation history information about a domain, an intent, and a slot detected from a voice signal to the second voice recognition result history. It is stored in the database 1360, and when a user's voice input is received, the text analysis result information output from the natural language understanding model 1320 is determined using the text analysis history information pre-stored in the second voice recognition result history database 1360. Voice recognition result information corresponding to a voice input can be provided through learning to adjust the weight. Accordingly, while the device 1000a illustrated in FIG.
  • the device 1000b of the present disclosure provides text It is possible to provide a user experience that maintains the continuity with the voice recognition result of the past time even for the analysis result information of .
  • FIG 3 is a diagram illustrating an example of an operation in which the device 1000c recognizes a user's voice input and outputs a voice recognition result according to various embodiments of the present disclosure.
  • device 1000c includes an ASR model 1310 , a natural language understanding model 1320 , and a third continuity learning model (eg, including various processing circuitry and/or executable program instructions) 1370 . , a third voice recognition result history database 1380 , and an output unit (eg, including an output circuit) 1500 .
  • 3 illustrates components for explaining the operation of the device 1000c. The configuration included in the device 1000c is not limited as shown in FIG. 3 .
  • the ASR model 1310 and the natural language understanding model 1320 illustrated in FIG. 3 are the same as the ASR model 1310 and the natural language understanding model 1320 illustrated in FIG. 2 , respectively, and overlapping descriptions may not be repeated.
  • the natural language understanding model 1320 receives text output from the ASR model 1310, and interprets the received text to at least one Outputs the text analysis result information of That is, in the embodiment shown in FIG. 3 , the ASR model 1310 and the natural language understanding model 1320 may be connected in a cascade structure.
  • the natural language understanding model 1320 provides at least one piece of text interpretation result information to the continuity learning model 1370 .
  • the third continuity learning model 1370 is a voice input received from the user, the text converted by the ASR model 1310, and at least one text interpretation result information output by interpreting the text by the natural language understanding model 1320.
  • the third voice recognition result history database 1380 is a model trained to determine text analysis result information corresponding to a voice input by comparing them with previously stored voice recognition result history information.
  • the third continuity learning model 1370 may include a history information extraction module 1372 and a weight learning module 1374 .
  • the history information extraction module 1372 extracts text corresponding to the voice input received from the user and the voice input output from the ASR model 1310 to a plurality of voice signals 1382 - pre-stored in the third voice recognition result history database 1380 . 1 to 1382-n) and a plurality of texts 1384-1 to 1384-n, respectively, and based on the comparison result, it is a module configured to extract pre-interpreted text analysis history information corresponding to the voice input and text. .
  • the third voice recognition result history database 1380 stores a voice signal previously acquired before the point in time when a voice input is received from the user, text acquired by converting the voice signal, and text interpretation history information acquired by analyzing the text It is a database that In an embodiment, the third voice recognition result history database 1380 includes a plurality of voice signals 1382-1 to 1382-n received at a past time point, and a plurality of voice signals 1382 based on the ASR model 1310 . 1 to 1382-n) obtained by transforming the plurality of texts 1384-1 to 1384-n, and by analyzing each of the plurality of texts 1384-1 to 1384-n using the natural language understanding model 1320 A plurality of the acquired text interpretation history information 1386-1 to 1386-n may be stored.
  • the plurality of voice signals 1382-1 to 1382-n, the plurality of texts 1384-1 to 1384-n, and the plurality of text interpretation history information 1386-1 to 1386-n are related data. They may be grouped together and stored in the third voice recognition result history database 1380 .
  • the first voice signal 1382-1, the first text 1384-1, and the first text analysis history information 1386-1 form a first group
  • the second text 1384 - 2 , and the second text interpretation history information 1386 - 2 may be stored to form a second group.
  • the third voice recognition result history database 1380 is an intermediate for obtaining each of the plurality of text interpretation history information 1386-1 to 1386-n from the plurality of voice signals 1382-1 to 1382-n. You can also save the data output from the process. For example, a feature vector, softmax, or A weighted vector, or a feature vector, softmax, or The weight vector may be stored in the third voice recognition result history database 1380 .
  • the history information extraction module 1372 measures the similarity between the voice signal received from the user and the plurality of voice signals 1382-1 to 1382-n pre-stored in the third voice recognition result history database 1380, so that the voice signal similarity is can be calculated.
  • the history information extraction module 1372 measures the similarity between the text output from the ASR model 1310 and a plurality of texts 1384-1 to 1384-n pre-stored in the third voice recognition result history database 1380, The similarity can be calculated.
  • the history information extraction module 1372 may measure the similarity between voice signals and the similarity between texts by using a cosine similarity measuring method.
  • the present invention is not limited thereto, and the history information extraction module 1372 may use, for example, a Jaccard similarity, Euclidean similarity, or Manhattan similarity measurement method or algorithm. , similarity between voice signals and text similarity can be measured.
  • the history information extraction module 1372 identifies a voice signal in which the measured similarity of the voice signal exceeds a first predetermined threshold and a text in which the similarity of text exceeds a second threshold, respectively, and sets the group with the identified voice signal and text. Text history information forming the ? may be extracted from the third voice recognition result history database 1380 .
  • the voice signal identified as having the voice signal similarity exceeding the first threshold is the second voice
  • the signal 1382-2 and the text identified as having the text similarity exceeding the second threshold among the plurality of texts 1384-1 to 1384-n previously stored in the third voice recognition result history database 1380 is the second In the case of text 1362-2, the history information extraction module 1372 extracts the second voice signal 1382-2 and the second text 1362-2 and grouped second text interpretation history information 1364-2. can be extracted.
  • the history information extraction module 1372 compares at least one text analysis result candidate output from the natural language understanding model 1320 with text analysis history information extracted from the third voice recognition result history database 1380 to determine whether they are the same can do. When at least one text analysis result candidate output from the natural language understanding model 1320 and the text analysis history information extracted from the third speech recognition result history database 1380 are not the same, the history information extraction module 1372 provides at least one It is possible to provide the text analysis result candidate and the extracted text analysis history information to the weight learning module 1374 .
  • the weight learning module 1374 uses the text analysis history information extracted from the third voice recognition result history database 1380 to train a weight for determining text analysis result information corresponding to the voice input received from the user. It is a module that is configured to In one embodiment, the weight learning module 1374 may be configured as a deep neural network model including a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the weight learning module 1374 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), BRDNN (Bidirectional Recurrent Deep Neural Network) and may be configured as at least one of deep Q-networks (Deep Q-Networks), but is not limited to the above-described example.
  • CNN convolutional neural network model
  • RNN recurrent neural network model
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • the weight learning module 1374 determines the text interpretation history information extracted by the history information extraction module 1372 as the ground truth about the voice input received from the user to add a high weight. learning can be done. The weight learning module 1374 determines the text analysis result information regarding the voice input using the text analysis history information extracted from the third speech recognition result history database 1380, thereby providing the ASR model 1310 and the natural language understanding model 1320 ) can be updated.
  • the device 1000c connects the ASR model 1310 and the natural language understanding model 1320 in a cascade structure, and a voice signal and text acquired in the past through one continuity learning model 1370 .
  • text analysis history information may be used to determine text analysis result information regarding a voice input received from the user.
  • the device 1000c according to the embodiment shown in FIG. 3 includes separate continuity learning models (a first continuity learning model and a second continuity learning model) for each of the ASR model 1310 and the natural language understanding model 1320 . Unlike the device 1000b of FIG. 2 , it includes only one continuity learning model 1370 . Accordingly, the device 1000c according to the embodiment of FIG.
  • FIG. 4 is a block diagram illustrating an example of components of the device 1000 according to various embodiments of the present disclosure.
  • the device 1000 is an electronic device that receives a user's voice input, processes the voice input, converts the voice input into text, and performs a function or operation related to the converted text.
  • the device 1000 is, for example, a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, an e-book reader, or a desktop personal computer (PC).
  • the device 1000 is not limited to the above-described example.
  • the device 1000 includes a voice input unit (eg, including input circuitry) 1100 , a processor (eg, including processing circuitry) 1200 , a memory 1300 , a communication interface (eg, communication circuitry). 1400 , and an output unit (eg, including an output circuit) 1500 .
  • the voice input unit 1100 may include various circuits and may receive a voice input from a user.
  • the voice input unit 1100 may include a microphone.
  • the voice input unit 1100 may receive a voice input (eg, a user's utterance) from a user through a microphone, and obtain a voice signal from the received voice input.
  • the processor 1200 of the device 1000 converts a sound received through the microphone into an acoustic signal, and removes noise (eg, non-voice component) from the acoustic signal to obtain a voice signal.
  • noise eg, non-voice component
  • the device 1000 pre-processes a function of detecting a specified voice input (eg, a wake-up input such as 'Hi Bixby' or 'Ok Google') or a voice signal obtained from some voice input. It may include a voice preprocessing module having a function of
  • the processor 1200 may include various processing circuits and execute one or more instructions of a program stored in the memory 1300 .
  • the processor 1200 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.
  • the processor 1200 may include, for example, a dedicated processor, a central processing unit, a microprocessor, a graphic processing unit, an ASICs (Application Specific Integrated Circuits), and a DSPs (Digital Processing Unit).
  • Signal Processors DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays) may be configured as at least one, but is not limited thereto.
  • a program including instructions for processing the user's voice input received through the voice input unit 1100, converting it into text, and interpreting the converted text to obtain text analysis result information. can be saved.
  • Instructions and program codes readable by the processor 1200 may be stored in the memory 1300 .
  • the processor 1200 may be implemented by executing instructions or codes of a program stored in a memory.
  • the memory 1300 includes an ASR model 1310 , a natural language understanding model 1320 , a first continuity learning model 1330 , a second continuity learning model 1340 , a first voice recognition result history database 1350 , and a second voice Data corresponding to each recognition result history database 1360 may be stored.
  • the memory 1300 may include, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD memory). etc.), RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic It may include at least one type of storage medium among a memory, a magnetic disk, and an optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic It may include at least one type of storage medium among a memory, a magnetic disk, and an optical disk.
  • the ASR model 1310 is a voice recognition model for recognizing a user's voice, and is a model trained to convert a voice input received from the user into text and output it.
  • the ASR model 1310 may be an artificial intelligence model including an acoustic model, a pronunciation dictionary, and a language model.
  • the present invention is not limited thereto, and the ASR model 1310 does not separately include a pronunciation dictionary and a language model, but an end-to-end speech having a structure including an integrated deep neural network (DNN). It may be a recognition model.
  • the end-to-end ASR method is a speech recognition method using a deep neural network trained to directly map a speech signal to a string or word sequence.
  • the end-to-end ASR method can simplify the speech recognition process by using a single trained deep neural network.
  • Sub-embodiments of the end-to-end ASR model 1310 include, for example, an RNN-T model and a Connectionist Temporal Classification (CTC) model.
  • the processor 1200 may convert a voice signal received through the voice input unit 1100 into text by using a command or a program code related to the ASR model 1310 stored in the memory 1300 .
  • the processor 1200 obtains at least one text candidate including a plurality of character strings based on a confidence score indicating a probability value that a speech signal can be predicted as a plurality of frame-synchronized character strings can do.
  • the 'reliability of the character string' indicates how accurately the ASR model 1310 that has output the predetermined character string recognized the voice signal.
  • the reliability of the character string may be calculated according to a predetermined equation based on a likelihood obtained from the predetermined character string, a partial likelihood or a posterior probability value output in the process of estimating the predetermined character string, and the like.
  • the processor 1200 may calculate the reliability based on a likelihood outputted as a result of Viterbi decoding.
  • the processor 1200 may calculate the reliability based on posterior probabilities output from the softmax layer.
  • the processor 1200 may determine a plurality of estimated character strings estimated in a speech recognition process for a voice signal, and calculate the reliability of the plurality of character strings based on the degree of correlation of the plurality of estimated character strings. .
  • At least one text candidate obtained by the processor 1200 recognizing a speech signal using the ASR model 1310 may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the processor 1200 uses the ASR model 1310 to extract “Play music with Melon application” from the voice signal extracted from the user’s utterance.
  • N- including a first text candidate including the string of ", a second text candidate including the string of "Play music with Merong application”, and a third text candidate including the string of "Play music with Melon application” Best nominations can be obtained.
  • Each of the N-Best candidates may have a different confidence value.
  • the confidence value of the first text candidate may be 3.45
  • the confidence value of the second text candidate may be 3.44
  • the confidence value of the third text candidate may be 3.41.
  • this is only an example for convenience of description, and is not limited thereto.
  • the first continuity learning model 1330 uses the voice signal received from the user and at least one text candidate obtained by the processor 1200 , that is, the N-Best candidate, the voice pre-stored in the first voice recognition result history database 1350 . It is a model trained to determine the text corresponding to the voice signal by comparing the recognition result with the history information, respectively.
  • the first continuity learning model 1330 may include a history information extraction module 1332 and a weight learning module 1334 .
  • the processor 1200 uses the command or program code related to the history information extraction module 1332 to combine the voice signal received through the voice input unit 1100 with the voice signal pre-stored in the first voice recognition result history database 1350 and Comparing, based on the comparison result, it is possible to extract pre-converted text history information corresponding to the voice signal.
  • the first voice recognition result history database 1350 is a database that stores a voice signal acquired before a point in time when a voice input is received from a user and history information of a text acquired by converting the voice signal. Since the first voice recognition result history database 1350 has the same components as the voice recognition result history database 1350 shown in FIG. 1 , a redundant description will be omitted.
  • the first voice recognition result history database 1350 may be configured as a non-volatile memory.
  • a non-volatile memory may represent a storage medium that stores and maintains information even when power is not supplied and can use the stored information again when power is supplied.
  • Non-volatile memory is, for example, a flash memory, a hard disk, a solid state drive (SSD), a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), a read only memory (ROM), a magnetic memory, a magnetic disk, and an optical disk.
  • the first voice recognition result history database 1350 is illustrated as being included in the memory 1300 of the device 1000 , but is not limited thereto. In an embodiment, the first voice recognition result history database 1350 is included in the device 1000 as a separate component other than the memory 1300 , or as a component not included in the device 1000 , the communication interface It may be connected through wired/wireless communication through 1400 .
  • the processor 1200 uses a command or program code related to the history information extraction module 1332 to store the voice signal input through the voice input unit 1100 and the first voice recognition result history database 1350 . Similarity between a plurality of pre-stored voice signals may be measured (determined, calculated, etc.). In an embodiment, the processor 1200 uses a cosine similarity measuring method to include a voice signal received through the voice input unit 1100 and a plurality of voice signals pre-stored in the first voice recognition result history database 1350 . The similarity between each can be measured.
  • the present invention is not limited thereto, and the processor 1200 uses a well-known similarity measuring algorithm or method, and the similarity between the voice signal received from the user and the plurality of voice signals pre-stored in the first voice recognition result history database 1350 . can be measured individually.
  • the processor 1200 uses a command or program code related to the history information extraction module 1332 to store the voice signal acquired through the voice input unit 1100 and the first voice recognition result history database 1350 .
  • a voice signal having a measured similarity exceeding a predetermined threshold among a plurality of pre-stored voice signals may be identified, and text history information corresponding to the identified voice signal may be extracted.
  • the processor 1200 acquires a voice signal of “Play music with Melon application” from the user's utterance received through the voice input unit 1100 , and the acquired voice signal and the first voice recognition result history database 1350 .
  • the similarity between a plurality of pre-stored voice signals may be measured, and a voice signal having a measured similarity exceeding a predetermined threshold may be identified.
  • the processor 1200 may extract text history information paired with the identified voice signal from among a plurality of text history information pre-stored in the first voice recognition result history database 1350 .
  • the extracted text history information may include, for example, a string of “Play music with Melon application”.
  • the processor 1200 may determine whether at least one text candidate obtained from the ASR model 1310 is the same by comparing the text history information extracted from the first speech recognition result history database 1350 . When the at least one text candidate output from the ASR model 1310 and the text history information extracted from the first speech recognition result history database 1350 are not the same, the processor 1200 performs at least one text candidate and the extracted text The history information may be provided to the weight learning module 1334 .
  • the weight learning module 1334 is a module configured to train a weight for determining a text corresponding to a voice input received from a user by using the text history information extracted from the first voice recognition result history database 1350 am.
  • the weight learning module 1334 may be configured as a deep neural network model including a plurality of neural network layers, which receives a voice signal and outputs text.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the weight learning module 1334 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a BRDNN (Bidirectional Recurrent Deep Neural Network) and may be configured as at least one of deep Q-networks (Deep Q-Networks), but is not limited to the above-described example.
  • the weight learning module 1334 determines the text history information extracted by the history information extraction module 1332 as a ground truth about the voice input received from the user, and learning to add a high weight can be performed.
  • the processor 1200 uses a command or program code related to the weight learning module 1334, and uses the text history information extracted from the first voice recognition result history database 1350 to perform the ASR model 1310.
  • the ASR model 1310 may be updated.
  • the processor 1200 is a text extracted from at least one text candidate obtained from the ASR model 1310 through learning to add a high weight to the text history information extracted using the history information extraction module 1332 .
  • a third text candidate identical to the history information may be determined as text corresponding to the voice input.
  • the third text candidate has a confidence value of 3.41, which is lower than the reliability values of the first text candidate and the second text candidate, but may be determined as a text corresponding to the voice input according to a learning result by the weight learning module 1334 .
  • the first continuity learning model 1330 provides information about the determined text to the natural language understanding model 1320 .
  • the natural language understanding model 1320 is a model trained to obtain text interpretation result information by interpreting the text received from the first continuity learning model 1330 .
  • the text analysis result information may include information about a domain, an intent, and a slot detected by analyzing the text.
  • the text input to the natural language understanding model 1320 may be text corresponding to a voice input received from the user through the voice input unit 1100 .
  • the processor 1200 may obtain at least one text interpretation result candidate by interpreting the text using a command or program code related to the natural language understanding model 1320 .
  • the at least one text interpretation result candidate is at least one domain candidate, at least one intent candidate, and at least one slot candidate predicted from the text by interpreting the text using the natural language understanding model 1320 .
  • the processor 1200 may obtain at least one domain candidate based on a probability value in which a category or region related to a user's intention identified by interpreting the text is predicted as a specific domain.
  • the processor 1200 may obtain at least one intent candidate based on a probability value that information indicating the user's utterance intention is predicted as a specific intent by interpreting the text.
  • the processor 1200 may obtain at least one slot candidate based on a probability value that a detected named entity is predicted to be a specific slot by interpreting the text.
  • the processor 1200 may obtain at least one slot candidate for each of the plurality of slots.
  • the 'probability value' may represent, for example, a confidence score.
  • at least one text interpretation result candidate obtained by the processor 1200 interpreting text using the natural language understanding model 1320 may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the at least one domain candidate obtained by the processor 1200 interpreting the text “Play music with Melon application” using the natural language understanding model 1320 is 'music'
  • the at least one intent candidate is 'music play' or 'content streaming'
  • at least one slot candidate may be 'melon application', 'fruit melon', or 'application'.
  • Each of the at least one domain candidate, the at least one intent candidate, and the at least one slot candidate may have a different reliability value.
  • the processor 1200 may provide at least one text interpretation result candidate obtained using the text and natural language understanding model 1320 obtained from the first continuity learning model 1330 to the second continuity learning model 1340 . . In an embodiment, the processor 1200 provides the output unit 1500 with at least one text interpretation result candidate obtained using the text and natural language understanding model 1320 obtained from the first continuity learning model 1330 . may be
  • the second continuity learning model 1340 compares at least one text interpretation result candidate received from the text and natural language understanding model 1320 with speech recognition result history information previously stored in the second speech recognition result history database 1360, respectively. , a model trained to determine text analysis result information corresponding to the text.
  • the second continuity learning model 1340 may include a history information extraction module 1342 and a weight learning module 1344 .
  • the history information extraction module 1342 compares the text received from the first continuity learning model 1330 with a plurality of texts previously stored in the second speech recognition result history database 1360, and corresponds to the text based on the comparison result. It is a module configured to extract pre-interpreted text interpretation history information.
  • the second speech recognition result history database 1360 stores pre-obtained text output from the ASR model 1310 before the point in time when a voice input is received from the user and text interpretation history information detected by analyzing the pre-obtained text It is a database that Since the second voice recognition result history database 1360 is the same component as the second voice recognition result history database 1360 shown in FIG. 2 , a redundant description will be omitted.
  • the second voice recognition result history database 1360 may also be configured as a non-volatile memory.
  • the description of the nonvolatile memory is the same as the description of the first voice recognition result history database 1350 , and thus a redundant description will be omitted.
  • the second voice recognition result history database 1360 is illustrated as being included in the memory 1300 of the device 1000 , but is not limited thereto. In one embodiment, the second voice recognition result history database 1360 is included in the device 1000 as a separate component other than the memory 1300 , or as a component not included in the device 1000 , the communication interface It may be connected through wired/wireless communication through 1400 .
  • the processor 1200 uses a command or program code related to the history information extraction module 1342 to obtain the text received from the first continuity learning model 1330 and the second voice recognition result history database 1360 .
  • the processor 1200 writes the text received from the first continuity learning model 1330 and the second speech recognition result history database 1360 using, for example, a cosine similarity measurement method.
  • a similarity between a plurality of stored texts may be measured, respectively.
  • the processor 1200 may use, for example, a Jaccard similarity, Euclidean similarity, or Manhattan similarity measurement method or algorithm, the first The similarity between the text received from the continuity learning model 1330 and a plurality of texts previously stored in the second voice recognition result history database 1360 may be measured, respectively.
  • the processor 1200 determines the similarity measured from among a plurality of texts pre-stored in the second voice recognition result history database 1360 by using a command or program code related to the history information extraction module 1342 . Text exceeding a threshold may be identified, and text interpretation history information corresponding to the identified text may be extracted. In an embodiment, the processor 1200 may extract text interpretation history information paired with the identified text from the second voice recognition result history database 1360 . For example, when the identified text is "Play music with Melon application", the processor 1200 determines that the 'music' domain, 'music play' intent, and 'melon application' as text interpretation history information paired with the text. Slot information ' may be extracted from the second voice recognition result history database 1360 .
  • the processor 1200 compares at least one text interpretation result candidate obtained using the natural language understanding model 1320 with text interpretation history information extracted from the second speech recognition result history database 1360, It can be determined whether they are the same. In an embodiment, the processor 1200 may determine the sameness in order according to the type of text interpretation result information. For example, the processor 1200 may determine the identity between at least one text analysis result candidate and text analysis history information in the order of domain, intent, and slot. For example, the processor 1200 compares 'music', which is a domain candidate obtained using the natural language understanding model 1320, to 'music', which is domain history information extracted from the second voice recognition result history database 1360 .
  • the processor 1200 performs at least one slot candidate 'melon application', 'fruit melon' or 'application' output from the natural language understanding model 1320 and the second voice recognition result history The identity between the 'melon application' that is slot history information extracted from the database 1360 may be determined.
  • the processor 1200 interprets at least one text The result candidate and the extracted text interpretation history information may be provided to the weight learning module 1344 .
  • the weight learning module 1344 determines text interpretation result information corresponding to the text obtained from the first continuity learning model 1330 by using the text interpretation history information extracted from the second speech recognition result history database 1360.
  • the weight learning module 1344 may be configured as a deep neural network model including a plurality of neural network layers that receives text and outputs text interpretation result information. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the weight learning module 1344 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), BRDNN (Bidirectional Recurrent Deep Neural Network) and may be configured as at least one of deep Q-networks (Deep Q-Networks), but is not limited to the above-described example.
  • CNN convolutional neural network model
  • RNN recurrent neural network model
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • the processor 1200 uses a command or program code related to the weight learning module 1344 to convert the text interpretation history information extracted by the history information extraction module 1342 to a ground truth value about the text. ), and learning to add a high weight can be performed.
  • the processor 1200 may update the natural language understanding model 1320 by determining text interpretation result information output from the natural language understanding model 1320 using the extracted text interpretation history information.
  • the processor 1200 determines a correct answer value for the text "Play music with Melon application” as a 'music' domain, an intent named 'music play', and a slot named 'melon application', and the determined correct answer value
  • output information of the natural language understanding model 1320 that is, text interpretation result information, may be updated based on a usage history.
  • the processor 1200 may provide the determined text interpretation result information to the output unit 1500 .
  • the communication interface 1400 includes various communication circuits and may perform data communication with a server or other devices.
  • Communication interface 1400 is, for example, wired LAN, wireless LAN (Wireless LAN), Wi-Fi (Wi-Fi), Bluetooth (Bluetooth), Zigbee (zigbee), WFD (Wi-Fi Direct), infrared communication (IrDA, Infrared Data Association), BLE (Bluetooth Low Energy), NFC (Near Field Communication), WiBro (Wireless Broadband Internet, Wibro), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig Data may be transmitted/received with a server or other device using at least one of a data communication method including (Wireless Gigabit Allicance, WiGig) and RF communication.
  • the communication interface 1400 may download data for updating the speech recognition model of at least one of the ASR model and the natural language understanding model 1320 from the server under the control of the processor 1200 .
  • the communication interface 1400 may transmit update information of the ASR model 1310 through the first continuity learning model 1330 to the server under the control of the processor 1200 .
  • the communication interface 1400 may transmit update information of the natural language understanding model 1320 through the second continuity learning model 1340 to the server under the control of the processor 1200 .
  • the output unit 1500 may include various output circuits and may output text or text analysis result information corresponding to a voice input.
  • the output unit 1500 may notify the user of a result of voice recognition, for example, text, or transmit it to an external device (eg, a smart phone, home appliance, wearable device, server, etc.).
  • the output unit 1500 may include a display unit 1510 and a speaker 1520 .
  • the display unit 1510 may display text converted from the voice input.
  • the display 1510 may display a user interface related to text analysis result information received from the processor 1200 .
  • the display unit 1510 may include, for example, a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, It may be configured as at least one of a three-dimensional display (3D display) and an electrophoretic display (electrophoretic display).
  • the speaker 1520 may output an audio signal corresponding to the text converted from the voice input.
  • the speaker 1520 may output an audio signal related to an operation or function performed in response to text interpretation result information.
  • FIG. 5 is a flowchart illustrating an example of an operating method of the device 1000 according to various embodiments of the present disclosure.
  • the device 1000 receives a voice input from the user.
  • the device 1000 receives a voice input (eg, a user's utterance) from a user by using a voice input unit 1100 (refer to FIG. 4 ) such as a microphone, and receives a voice signal from the received voice input. can be obtained.
  • the voice signal may be in the form of a wave file, but is not limited thereto.
  • the device 1000 may convert the wave file into a binary data file by encoding the wave file in a binary format.
  • the device 1000 recognizes the voice input using the ASR model to obtain at least one text candidate including a character string to which the voice input is expected to be converted.
  • the device 1000 may convert a voice signal into text including a plurality of strings synchronized in units of frames by using the ASR model.
  • the 'frame' may represent, for example, a unit in which a voice signal is divided at regular time intervals for processing the voice signal, or the divided voice signal itself.
  • the 'frame-synchronized character string' may indicate a character string including characters individually corresponding to each frame of the voice signal when the voice signal is converted into a character string by the ASR model and output.
  • the device 1000 may output at least one text candidate including a plurality of character strings based on a confidence score indicating a probability value that a voice signal can be predicted as a plurality of frame-synchronized character strings.
  • the 'reliability of character string' indicates the degree of how accurately the ASR model outputting a predetermined character string recognized a voice signal.
  • the reliability of the character string may be calculated according to a predetermined equation based on a likelihood obtained from the predetermined character string, a partial likelihood or a posterior probability value output in the process of estimating the predetermined character string, and the like.
  • at least one text candidate output by the device 1000 recognizing a voice signal using the ASR model may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the device 1000 extracts text history information corresponding to the voice input from the database by comparing the received voice input with voice recognition result history information previously stored in the database.
  • the device 1000 may include a voice recognition result history database 1350 (refer to FIG. 4 ).
  • the voice recognition result history database 1350 when a voice input is received from the user, for example, a voice signal obtained before operation S510 is performed, and history information of a text obtained by converting the voice signal may be stored. there is.
  • the voice recognition result history database 1350 stores a plurality of voice signals received at a time in the past and a plurality of text history information output by converting each of a plurality of voice signals through learning using an ASR model, there may be
  • the plurality of voice signals may be paired with a plurality of corresponding pieces of text history information and stored in the voice recognition result history database 1350 .
  • the device 1000 may calculate similarity between the voice input received in operation S510 and a plurality of voice signals previously stored in the voice recognition result history database 1350 , respectively.
  • the device 1000 may measure the similarity between the voice signal received from the user and a plurality of voice signals pre-stored in the voice recognition result history database 1350 using a cosine similarity measuring method.
  • the present invention is not limited thereto, and the device 1000 may measure the similarity between the voice signal received from the user and a plurality of voice signals previously stored in the voice recognition result history database 1350 using a known similarity measurement algorithm or method. can
  • the device 1000 may identify a voice signal in which the calculated similarity exceeds a predetermined threshold among the plurality of voice signals.
  • the device 1000 may extract text history information stored by pairing with the identified voice signal from among a plurality of text history information stored in the voice recognition result history database 1350 .
  • the device 1000 performs training to adjust the weight of each of at least one text candidate using the extracted text history information.
  • the device 1000 may perform learning using a deep neural network model including a plurality of neural network layers.
  • the device 1000 is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), or a bidirectional network (BRDNN). Learning may be performed using a deep neural network model including at least one of a Recurrent Deep Neural Network or Deep Q-Networks.
  • each of a plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between the operation result of a previous layer and the plurality of weight values.
  • the device 1000 may determine the text history information extracted in operation S530 as a ground truth regarding the voice input received from the user, and may perform learning to add a high weight.
  • the device 1000 updates the ASR model through learning.
  • the device 1000 performs learning to give a high weight to the extracted text history information, and updates the ASR model to determine the extracted text history information as a text related to a voice input received from the user as a result of the learning. can do.
  • operation S610 illustrated in FIG. 6 may be performed after operation S550 illustrated in FIG. 5 is performed.
  • operation S610 may be performed independently of the operations performed in FIG. 5 .
  • the device 1000 converts the voice input into text using the updated ASR model and outputs the converted text.
  • the device 1000 interprets the output text using a natural language understanding model (NLU) to obtain at least one text interpretation result candidate.
  • NLU natural language understanding model
  • the 'text analysis result information' may include information about a domain, an intent, and a slot detected by analyzing text using a natural language understanding model.
  • the device 1000 may obtain at least one domain candidate, at least one intent candidate, and at least one slot candidate predicted from the text by interpreting the text using the natural language understanding model. For example, the device 1000 may obtain at least one domain candidate based on a probability value that a category or region related to a user's intention identified by interpreting the text is predicted as a specific domain. As another example, the device 1000 may obtain at least one intent candidate based on a probability value that information indicating the user's utterance intention is predicted as a specific intent by interpreting the text. Also, the device 1000 may obtain at least one slot candidate based on a probability value that a detected named entity is predicted to be a specific slot by interpreting the text. When there are a plurality of slots detected from the text, the device 1000 may obtain at least one slot candidate for each of the plurality of slots.
  • the 'probability value' may represent, for example, a confidence score.
  • At least one text interpretation result candidate obtained by the device 1000 interpreting text using a natural language understanding model may be an N-Best candidate having a reliability exceeding a predetermined threshold.
  • the device 1000 extracts text analysis history information corresponding to the text by comparing the obtained at least one text analysis result with a plurality of text analysis result history information pre-stored in the database.
  • the device 1000 may include a voice recognition result history database 1360 (refer to FIG. 4 ).
  • voice recognition result history database 1360 text analysis history information detected by analyzing pre-obtained text and pre-obtained text before the point in time when a voice input is received from the user, that is, in the past may be stored.
  • the 'text analysis history information' may include history information on domains, intents, and slots detected by analyzing text.
  • the speech recognition result history database 1360 stores, for example, a plurality of text interpretation history information detected by interpreting each of a plurality of texts using a plurality of texts acquired at a time in the past and a natural language understanding model.
  • the plurality of texts may be paired with a plurality of pieces of related text interpretation history information and stored in the voice recognition result history database 1360 .
  • the device 1000 may calculate similarity between the text output in operation S610 and a plurality of texts previously stored in the voice recognition result history database 1360, respectively.
  • the device 1000 may measure the similarity between the text output in operation S610 and a plurality of texts previously stored in the voice recognition result history database 1360 using a cosine similarity measuring method.
  • the present invention is not limited thereto, and the device 1000 may use, for example, a Jaccard similarity, Euclidean similarity, or Manhattan similarity measurement method or algorithm, The similarity between the text and a plurality of texts pre-stored in the voice recognition result history database 1360 may be measured.
  • the device 1000 may identify a text having a measured similarity exceeding a predetermined threshold among a plurality of texts previously stored in the voice recognition result history database 1360 .
  • the device 1000 may extract text interpretation history information forming a pair with the identified text from the voice recognition result history database 1360 .
  • the device 1000 trains a weight for obtaining text interpretation result information from text through a natural language understanding model by using the extracted text interpretation history information.
  • the device 1000 may learn a weight for determining text analysis result information corresponding to the text output in operation S610 by using the deep neural network model.
  • the deep neural network model may include a plurality of neural network layers that receive text and output text interpretation result information. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the deep neural network model is, for example, a convolutional neural network model (CNN), a recurrent neural network model (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), and a Bidirectional Recurrent (BRDNN). It may be configured as at least one of a Deep Neural Network or Deep Q-Networks, but is not limited to the above-described example.
  • CNN convolutional neural network model
  • RNN recurrent neural network model
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BBDNN Bidirectional Recurrent
  • the device 1000 determines the text interpretation history information extracted from the speech recognition result history database 1360 as the ground truth about the input text using a deep neural network model to increase the weight. Additional learning can be performed.
  • the device 1000 updates the natural language understanding model through learning.
  • the device 1000 determines the text interpretation result information output through the natural language understanding model by using the text interpretation history information extracted from the voice recognition result history database 1360, thereby reducing the output of the natural language understanding model. can be updated.
  • FIG. 7 is a signal flow diagram illustrating an example of an operation method of the device 1000 and the server 2000 according to various embodiments of the present disclosure.
  • the device 1000 may include a voice recognition model 1300a and a continuity learning model 1300b.
  • the speech recognition model 1300a may include an ASR model 1310 and a natural language understanding model 1320 . Since the ASR model 1310 and the natural language understanding model 1320 are the same as the ASR model 1310 and the natural language understanding model 1320 illustrated in FIG. 4 , overlapping descriptions will be omitted.
  • the continuity learning model 1300b may include a first continuity learning model 1330 and a second continuity learning model 1340 .
  • the first continuity learning model 1330 and the second continuity learning model 1340 are the same as the first continuity learning model 1330 and the second continuity learning model 1340 shown in FIG. 4, and the overlapping description is not repeated. it may not be
  • the server 2000 may transmit/receive data to and from the device 1000 using a wired or wireless communication method.
  • the server 2000 may include a voice recognition model 2300a.
  • the speech recognition model 2300a may include an ASR model 2310 and a natural language understanding model 2320 .
  • the ASR model 2310 is a model trained to convert a speech signal into text, and the natural language understanding model 2320 interprets the text, so that the domain, intent, and slot related to the text
  • the voice recognition model 2300a included in the server 2000 may be updated to the latest version.
  • the latest version of the ASR model 2310 may be a version capable of converting the latest entity name input by the user into text, for example, by including information on the most recent named entity.
  • the latest version of the natural language understanding model 2320 may detect, for example, domain information or intent information regarding a new voice command that has not existed before, or detect a new entity name included in the new voice command as slot information. It may be a version with
  • the device 1000 transmits user account information and device identification information (eg, device id) to the server 2000 .
  • the device 1000 may transmit at least one of version information and latest update information of the voice recognition model 1300a to the server 2000 in addition to user account information and device identification information.
  • the device 1000 may transmit information about an IP address or MAC address of the device 1000 to the server 2000 .
  • the server 2000 checks whether the voice recognition model 1300a of the device 1000 is updated based on the user account information and the device identification information.
  • the server 2000 receives version information of the voice recognition model 1300a of the device 1000 , and uses the received version information of the voice recognition model 1300a for the voice recognition model 2300a of the server 2000 . ), it is possible to determine whether the voice recognition model 1300a of the device 1000 needs to be updated.
  • the server 2000 transmits the latest version of update data regarding the voice recognition model 1300a to the device 1000 .
  • the server 2000 identifies the type, model name, or function of the device 1000 based on the device identification information, and transmits an update data file of the voice recognition model 1300a related to the identified device 1000 to the device 1000 . ) can be sent to
  • the device 1000 updates the voice recognition model 1300a to the latest version.
  • the device 1000 may update the ASR model 1310 and the natural language understanding model 1320 included in the speech recognition model 1300a to the latest version using the update data received from the server 2000.
  • the device 1000 may update the previously stored ASR model 1310 by using data about the latest version of the ASR model 1310 received from the server 2000 in an overwrite method.
  • the voice recognition model 1300a of the device 1000 and the voice recognition model 2300a of the server 2000 may be synchronized.
  • the device 1000 converts a voice input related to the latest object name, new command, or new function added, modified, or deleted through the update of the voice recognition model 1300a into text, and interprets the text, so that the domain, intent , and information including slots may be detected.
  • the device 1000 learns a weight as a result of speech recognition by using the continuity learning model 1300b.
  • voice recognition model 1300a of the device 1000 is updated, voice recognition for a user's voice input, that is, an operation of converting the voice input into text and detecting a domain, an intent, and a slot from the converted text It may be different from before. In this case, even if the user speaks using the same voice, tone, tone, pronunciation, dialect, etc. as before, the updated voice recognition model 1300a cannot output a recognition result in the same way as before.
  • the device 1000 assigns a relatively high weight to the voice recognition history information previously stored in the voice recognition result history database 1350, 1360, see FIG.
  • the device 1000 updates the voice recognition model 1300a based on the learning result.
  • the device 1000 uses the continuity learning model 1300b even if the voice recognition model 1300a is updated to the latest version by the server 2000 , for example, the voice of the user. Since the same voice recognition result regarding the input may be output, a user experience maintaining continuity may be provided. In particular, even when the voice recognition model 1300a is updated, the user's existing pronunciation, intonation, tone, tone, or dialect can be recognized, so that the accuracy of voice recognition according to the user's intention can be improved.
  • FIG. 8 is a signal flow diagram illustrating an example of an operation method of the device 1000 and the server 2000 according to various embodiments of the present disclosure.
  • the device 1000 may include a voice recognition model 1300a and a continuity learning model 1300b. Since the device 1000 illustrated in FIG. 8 is the same as the device 1000 illustrated in FIG. 7 , the overlapping description of components may not be repeated.
  • the server 2000 may include a voice recognition model 2300a and a continuity learning model 2300b.
  • the speech recognition model 2300a may include an ASR model 2310 and a natural language understanding model 2320 .
  • the voice recognition model 2300a is the same as or similar to the voice recognition model 2300a (refer to FIG. 7 ) illustrated in FIG. 7 , and overlapping descriptions may not be repeated.
  • the server 2000 in the embodiment of FIG. 8 may include a continuity learning model 2300b.
  • the continuity learning model 2300b may include a first continuity learning model 2330 and a second continuity learning model 2340 .
  • the first continuity learning model 2330 is a model trained to determine the output text of the ASR model 2310 using a voice signal acquired at a past time point and text history information detected from the voice signal.
  • the first continuity learning model 2330 may store a voice signal received from a user through the device 1000 and at least one text candidate converted through the ASR model 2310 in a database pre-stored voice recognition result history. By comparing with the information, it is possible to determine the text corresponding to the voice signal.
  • the second continuity learning model 2340 is a model trained to acquire text interpretation result information output from the natural language understanding model 2320 by using text and text interpretation history information at a past time point.
  • the second continuity learning model 2340 compares at least one text analysis result candidate output by the natural language understanding model 2320 by interpreting the text with text analysis result history information pre-stored in the database. It is possible to determine text analysis result information corresponding to .
  • the device 1000 transmits user account information and device identification information (eg, device id) to the server 2000 .
  • device identification information eg, device id
  • the device 1000 checks whether the voice recognition model 1300a of the device 1000 is updated based on the user account information and the device identification information.
  • the server 2000 transmits the latest version of update data regarding the voice recognition model 1300a to the device 1000 .
  • the device 1000 updates the voice recognition model 1300a to the latest version.
  • the device 1000 learns the weight of the speech recognition result using the continuity learning model.
  • Operations S810 to S850 are the same as or similar to operations S710 to S750 illustrated in FIG. 7 , and overlapping descriptions may not be repeated.
  • the device 1000 transmits weight learning result information through the continuity learning model 1300b to the server 2000 .
  • the device 1000 may update the continuity learning model 1300b based on the learning result.
  • the device 1000 may transmit a weight learning result of the continuity learning model 1300b and update information of the continuity learning model 1300b to the server 2000 .
  • the device 1000 may transmit user account information and device identification information (eg, device id) together with the data file of the updated continuity learning model 1300b to the server 2000 .
  • the server 2000 synchronizes the continuity learning model 2300b with the continuity learning model 1300b of the device 1000 by using the received weight learning result information.
  • the device 1000 includes a voice recognition model 1300a and a continuity learning model 1300b, and even if the voice recognition model 1300a is updated by the server 2000, learning through the continuity learning model 1300b (training) ), the user's existing pronunciation, intonation, tone, tone, or dialect can be recognized.
  • the continuity learning model 1300b is stored in the memory 1300 (refer to FIG. 4 ) inside the device 1000 in the form of an on device, the user loses the device 1000 or a new one
  • a problem in that continuity is not maintained may occur.
  • a new device is purchased, there is a problem in that the user's pronunciation, intonation, tone, tone, or dialect cannot be recognized, so that the efficiency and accuracy of the voice recognition function are deteriorated.
  • the device 1000 transmits information updated as a result of training through the continuity learning model 1300b to the server 2000, so that the user loses the device or purchases a new one. Even so, continuity can be maintained and the accuracy of speech recognition results can be improved. Accordingly, an embodiment of the present disclosure may provide a user-specific voice recognition model 1300a regardless of which device is used.
  • a program executed by the device 1000 described through the present disclosure may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • a program may be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a non-transitory computer-readable storage medium that can be read by a computer.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and may not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • programs according to embodiments of the present disclosure may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product in the form of a software program ( eg , a downloadable application )) may be included.
  • a software program eg , a downloadable application
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product in a system consisting of a server and a device, may include a storage medium of the server or a storage medium of the device.
  • the computer program product when there is a server or a third device (eg, a smart phone) that is communicatively connected with the device, the computer program product may include a storage medium of the third device.
  • the computer program product may include the software program itself transmitted from the server to the device or the third device, or transmitted from the third device to the device.
  • one of the server, the device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a device, and a third device may execute a computer program product to distribute the method according to the disclosed embodiments.
  • the server may execute a computer program product stored in the server to control a device communicatively connected with the server to perform the method according to the disclosed embodiments.
  • the third device may execute a computer program product to control the device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute a computer program product provided in a pre-loaded state to perform the method according to the disclosed embodiments.

Abstract

본 개시는 음성 입력을 인식하는 디바이스 및 그 동작 방법을 개시한다. 본 개시의 일 실시예에 따른 디바이스는, ASR 모델을 이용하여 사용자로부터 수신된 음성 입력을 인식함으로써, 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하고, 데이터베이스에 기 저장된 복수의 음성 신호와 상기 음성 입력을 비교함으로써, 데이터베이스로부터 음성 입력에 대응되는 텍스트 이력 정보 정보를 추출(extract)하고, 추출된 텍스트 이력 정보 정보를 이용하여 복수의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행할 수 있다. 한편, 인공지능 모델을 이용하여 상기 디바이스가 음성 입력을 인식하는 방법을 수행할 수도 있다.

Description

사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법
본 개시는 인공 지능 모델을 이용하여 사용자로부터 수신된 음성 입력을 인식하는 디바이스 및 그 동작 방법에 관한 것이다.
음성 인식 기능은, 별도의 버튼 조작 또는 터치 모듈의 접촉에 의하지 않고 사용자의 음성 입력을 인식함으로써 디바이스를 손쉽게 제어하는 기능이다. 최근에는, 인공 지능(Artificial Intelligence, AI) 기술이 발전함에 따라 음성 인식 기능에도 인공 지능 기술이 접목됨으로써, 다양한 발화들에 대해서 빠르고 정확한 음성 인식이 가능해졌다.
인공 지능 기술을 이용하여 사용자의 음성 입력을 인식하는 방법으로는, 마이크로 폰을 통해 아날로그 신호인 음성 신호를 수신하고, ASR(Automatic Speech Recognition)모델을 이용하여 음성 부분을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. ASR 모델은 인공지능 모델일 수 있다. 인공지능 모델은 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서에 의해 처리될 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은 예를 들어, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.
디바이스는 인공 지능 모델을 이용한 음성 인식의 성능 향상을 위하여 서버로부터 신규 모델을 수신하거나, 또는 기존 음성 인식 모델을 업데이트한다. 신규 음성 인식 모델이 다운로드되거나 또는 기존 음성 인식 모델이 업데이트되는 경우, 사용자는 기존과 동일한 목소리, 발음, 억양, 말투, 어조 또는 사투리 등을 그대로 사용하여 발화를 하더라도, 음성 인식 모델이 사용자의 음성 입력을 정확하게 인식하지 못하거나, 또는 기존과 다른 인식 결과를 출력하는 문제점이 있다. 이 경우, 디바이스는 기존과 다른 동작 또는 기능을 수행하게 되고, 사용자는 기존과 같이 동작하거나 기능을 수행하지 않아 불편함을 겪게 된다.
본 개시의 실시예들은, 사용자가 발화를 하기 전의 과거 시점에서의 음성 인식의 이력 정보를 저장하고 있는 데이터베이스를 이용하는 학습(training)을 통해, 사용자의 음성 입력을 인식하고, 해석하며, 음성 인식 결과를 출력하는 디바이스 및 그 동작 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는, 디바이스가 음성 입력을 인식하는 방법을 제공한다. 상기 방법은, 음성 입력을 수신하는 단계, ASR 모델을 이용하여 상기 음성 입력을 인식함으로써, 상기 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하는 단계, 상기 음성 입력이 수신되는 시점 이전에 인식되어 데이터베이스에 기 저장된 음성 인식 결과 이력 정보와 상기 음성 입력을 비교함으로써, 상기 데이터베이스로부터 상기 음성 입력에 대응되는 텍스트 이력 정보를 추출(extract)하는 단계, 및 상기 추출된 텍스트 이력 정보를 이용하여 상기 적어도 하나의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 데이터베이스에는, 기 획득된 복수의 음성 신호 및 상기 복수의 음성 신호를 상기 ASR 모델을 이용하여 변환함으로써 획득된 복수의 텍스트 이력 정보를 포함하는 상기 음성 인식 결과 이력 정보가 저장되고, 상기 복수의 음성 신호는, 대응되는 상기 복수의 텍스트 이력 정보와 페어링(pairing)되어 상기 데이터베이스에 저장될 수 있다.
본 개시의 일 실시예에서, 상기 음성 입력에 대응되는 텍스트 이력 정보를 추출하는 단계는, 상기 음성 입력과 상기 복수의 음성 신호 간의 유사도(similarity)를 각각 산출하는 단계, 상기 복수의 음성 신호 중 상기 산출된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별(identify)하는 단계, 및 상기 복수의 텍스트 이력 정보 중 상기 식별된 음성 신호와 페어링된 텍스트 이력 정보를 추출하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 상기 학습을 통해, 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 자연어 이해 모델(Natural Language Understanding; NLU)을 이용하여 상기 출력된 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득하는 동작, 상기 획득된 적어도 하나의 텍스트 해석 결과 후보를 상기 데이터베이스에 기 저장된 복수의 텍스트 해석 결과 이력 정보와 비교함으로써, 상기 복수의 텍스트 해석 결과 이력 정보 중 상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하는 동작, 상기 추출된 텍스트 해석 이력 정보를 이용하여, 상기 자연어 이해 모델을 통해 상기 텍스트로부터 텍스트 해석 결과 정보를 획득하기 위한 가중치를 학습하는 동작, 및 상기 학습을 통해, 상기 자연어 이해 모델을 업데이트하는 동작을 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 텍스트 해석 결과 정보는, 상기 자연어 이해 모델을 이용하여 상기 텍스트를 해석함으로써 인식되는 도메인(domain), 인텐트(intent), 및 개체명(named entity)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 데이터베이스에는, 기 획득된 복수의 텍스트 및 상기 자연어 이해 모델을 이용하여 상기 복수의 텍스트를 해석함으로써 획득된 복수의 텍스트 해석 이력 정보가 저장되고, 상기 복수의 텍스트는, 대응되는 상기 복수의 텍스트 해석 이력 정보와 페어링되어 상기 데이터베이스에 저장될 수 있다.
본 개시의 일 실시예에서, 상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하는 동작은, 상기 텍스트와 상기 데이터베이스에 기 저장된 상기 복수의 텍스트 간의 유사도(similarity)를 각각 산출하는 동작, 상기 복수의 텍스트 중 상기 산출된 유사도가 소정의 임계치를 초과하는 텍스트를 식별하는 동작, 및 상기 복수의 텍스트 해석 이력 정보 중 상기 식별된 텍스트와 페어링된 텍스트 해석 이력 정보를 추출하는 동작을 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은 상기 가중치를 조정하는 학습을 통해, 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정하는 상기 ASR 모델을 업데이트하는 동작, 및 상기 ASR 모델의 업데이트 정보를 서버에 전송하는 동작을 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 음성 입력을 인식하는 디바이스를 제공한다. 디바이스는 음성 입력을 수신하도록 구성되는 회로를 포함하는 음성 입력부, 상기 음성 입력이 수신되는 시점 이전에 수신된 복수의 음성 신호 및 상기 복수의 음성 신호에 대응되는 복수의 텍스트 이력 정보 정보를 포함하는 음성 인식 결과 이력 정보를 저장하는 데이터베이스, 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 음성 입력부로부터 상기 음성 입력을 수신하고, ASR 모델을 이용하여 상기 음성 입력을 인식함으로써, 상기 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하고, 상기 데이터베이스에 기 저장된 상기 복수의 음성 신호와 상기 음성 입력을 비교함으로써, 상기 데이터베이스로부터 상기 음성 입력에 대응되는 텍스트 이력 정보 정보를 추출(extract)하고, 상기 추출된 텍스트 이력 정보 정보를 이용하여 상기 복수의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행할 수 있다.
본 개시의 일 실시예에서, 상기 데이터베이스에는, 기 획득된 복수의 음성 신호 및 상기 복수의 음성 신호를 상기 ASR 모델을 이용하여 변환함으로써 획득된 복수의 텍스트 이력 정보를 포함하는 상기 음성 인식 결과 이력 정보가 저장되고, 상기 복수의 음성 신호는, 대응되는 상기 복수의 텍스트 이력 정보와 페어링(pairing)되어 상기 데이터베이스에 저장될 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는 상기 음성 입력과 상기 데이터베이스에 기 저장된 상기 복수의 음성 신호 간의 유사도(similarity)를 각각 산출하고, 상기 복수의 음성 신호 중 상기 산출된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별(identify)하고, 상기 복수의 텍스트 이력 정보 중 상기 식별된 음성 신호와 페어링된 텍스트 이력 정보를 추출할 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는 상기 학습을 통해 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정할 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는 자연어 이해 모델(Natural Language Understanding; NLU)을 이용하여 상기 출력된 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득하고, 상기 획득된 적어도 하나의 텍스트 해석 결과 후보를 상기 데이터베이스에 기 저장된 복수의 텍스트 해석 결과 이력 정보와 비교함으로써, 상기 복수의 텍스트 해석 결과 이력 정보 중 상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하고, 상기 추출된 텍스트 해석 이력 정보를 이용하여, 상기 자연어 이해 모델을 통해 상기 텍스트로부터 텍스트 해석 결과 정보를 획득하기 위한 가중치를 학습하고, 상기 학습을 통해, 상기 자연어 이해 모델을 업데이트할 수 있다.
본 개시의 일 실시예에서, 상기 텍스트 해석 결과 정보는, 상기 자연어 이해 모델을 이용하여 상기 텍스트를 해석함으로써 인식되는 도메인(domain), 인텐트(intent), 및 개체명(named entity)에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 데이터베이스에는, 기 획득된 복수의 텍스트 및 상기 자연어 이해 모델을 이용하여 상기 복수의 텍스트를 해석함으로써 획득된 복수의 텍스트 해석 이력 정보가 저장되고, 상기 복수의 텍스트는, 대응되는 상기 복수의 텍스트 해석 이력 정보와 페어링되어 상기 데이터베이스에 저장될 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는, 상기 텍스트와 상기 데이터베이스에 기 저장된 상기 복수의 텍스트 간의 유사도(similarity)를 각각 산출하고, 상기 복수의 텍스트 중 상기 산출된 유사도가 소정의 임계치를 초과하는 텍스트를 식별하고, 상기 복수의 텍스트 해석 이력 정보 중 상기 식별된 텍스트와 페어링된 텍스트 해석 이력 정보를 추출할 수 있다.
본 개시의 일 실시예에서, 상기 프로세서는, 상기 추출된 텍스트 해석 이력 정보를 이용하는 학습을 통해, 상기 자연어 이해 모델로부터 출력되는 상기 텍스트 해석 결과 정보를 결정할 수 있다.
본 개시의 일 실시예에서, 상기 디바이스는 서버와 데이터 통신을 수행하도록 구성되는 통신 회로를 포함하는 통신 인터페이스를 더 포함하고, 상기 프로세서는 상기 가중치를 조정하는 학습을 통해 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정하는 상기 ASR 모델을 업데이트하고, 상기 ASR 모델의 업데이트 정보를 서버에 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체를 제공한다.
본 개시의 특정 실시예들의 전술한 측면(aspect) 및 다른 측면, 특징과 이점(advantages)은 첨부된 도면과 관련된 하기 상세한 설명으로부터 명확해진다.
도 1은 본 개시의 다양한 실시예들에 따른 디바이스가 사용자의 음성 입력을 인식함으로써, 텍스트를 출력하는 동작의 예시를 도시한 도면이다.
도 2a는 본 개시의 다양한 실시예들에 따른 디바이스가 사용자의 음성 입력을 인식하고, 음성 인식 결과를 출력하는 동작의 예시를 도시한 도면이다.
도 2b는 본 개시의 다양한 실시예에 따른 디바이스가 사용자의 음성 입력을 인식하고, 음성 인식 결과를 출력하는 동작의 예시를 도시한 도면이다.
도 3은 본 개시의 다양한 실시예들에 따른 디바이스가 사용자의 음성 입력을 인식하고, 음성 인식 결과를 출력하는 동작의 예시를 도시한 도면이다.
도 4는 본 개시의 다양한 실시예들에 따른 디바이스의 구성 요소의 예시를 도시한 블록도이다.
도 5는 본 개시의 다양한 실시예들에 따른 디바이스의 동작 방법의 예시를 도시한 흐름도이다.
도 6은 본 개시의 다양한 실시예들에 따른 디바이스의 동작 방법의 예시를 도시한 흐름도이다.
도 7은 본 개시의 다양한 실시예들에 따른 디바이스 및 서버의 동작 방법의 예시를 도시한 흐름도이다.
도 8은 본 개시의 다양한 실시예들에 따른 디바이스 및 서버의 동작 방법의 예시를 도시한 흐름도이다.
본 출원과 관련된 상호 참조(CROSS-REFERENCE TO RELATED APPLICATIONS)
본 출원은 특허청에 2020년 8월 12일 출원된 10-2020-0101406을 선출원으로 하여 우선권 주장 출원한 PCT 출원의 국내단계 진입 출원이며, 그 전문이 참조로 포함된다.
본 개시에서, "a, b, 또는 c 중 적어도 하나"라는 표현은 a만, b만, c만, a와 b 모두, a와 c 모두, b와 c 모두, a, b, c, 모두 또는 이들의 변형을 나타낸다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 용어들이 임의로 선정될 수 있고, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 나타내지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 나타낼 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 '문자'는 예를 들어, 인간의 언어를 눈에 볼 수 있는 형태로 나타내어 적는데 사용하는 기호를 나타낼 수 있다. 예를 들어, 문자에는 한글, 알파벳, 한자, 숫자, 발음 부호, 문장 부호 및 기타 기호가 포함될 수 있다.
본 개시에서 '문자열'이란 예를 들어, 문자들의 배열(sequence)을 나타낼 수 있다.
본 개시에서 '문자소(grapheme)'는 적어도 하나의 문자로 구성되는, 소리를 나타내는 가장 작은 단위이다. 예를 들어, 알파벳 표기 체계의 경우, 하나의 문자가 문자소가 될 수 있으며, 문자열은 문자소들의 배열을 나타낼 수 있다.
본 개시에서 '텍스트(text)'는 적어도 하나의 문자소를 포함할 수 있다. 예를 들어, 텍스트는, 형태소 또는 단어를 포함할 수 있다.
본 개시에서 '단어(word)'는 적어도 하나의 문자열로 구성되는, 자립적으로 사용되거나, 또는 문법적 기능을 나타내는 언어의 기본 단위이다.
본 개시에서 '단어 열(word sequence)'은 예를 들어, 하나 이상의 단어들의 배열을 나타낼 수 있다.
본 개시에서 음성 인식 모델이 음성 신호로부터 문자열을 출력함에 있어서, "문자열의 신뢰도(confidence score)"란, 소정 문자열을 출력한 음성 인식 모델이 얼마나 정확하게 음성 인식을 수행하고 있는지의 정도를 나타낸다. 예를 들어, 문자열의 신뢰도는, 소정 문자열로부터 획득되는 가능도(likelihood), 소정 문자열을 추정하는 과정에서 출력되는 부분 가능도 또는 사후 확률 값 등에 기초하여 소정의 수학식에 따라 산출될 수 있다. 문자열의 신뢰도가 높을수록, 음성 인식 모델이 음성 신호에 관한 문자열을 정확하게 추정하였다고 판단될 수 있다.
본 개시에서 'ASR 모델(Automatic Speech Recognition)'은 사용자의 음성을 인식하는 음성 인식 모델로서, 사용자로부터 수신된 음성 입력을 텍스트로 변환하여 출력하도록 학습된 모델을 나타낼 수 있다. 일 실시예에서, ASR 모델은 예를 들어, 음향 모델, 발음 사전 및 언어 모델을 포함하는 인공지능 모델있으나, 이에 한정되지 않는다. 다른 실시예에서, ASR 모델은 음향 모델, 발음 사전 및 언어 모델을 별도로 포함하지 않고 통합된 신경망을 포함하는 구조를 가지는 종단간(End-to-End) 음성 인식 모델일 수 있다. 종단간 ASR 모델은 통합된 신경망을 이용함으로써, 음성 신호로부터 음소를 인식한 이후에 음소를 텍스트로 변환하는 과정이 없이, 음성 신호를 텍스트로 변환할 수 있다.
본 개시에서 '자연어 이해 모델(Natural Language Understanding, NLU)'은 예를 들어, 음성 신호로부터 변환된 텍스트를 해석하여, 텍스트에 대응하는 도메인(domain) 및 인텐트(intent)를 획득하도록 학습된 모델을 나타낼 수 있다. 자연어 이해 모델은 텍스트를 해석함으로써, 도메인 및 인텐트 뿐만 아니라 슬롯(slot)에 관한 정보를 식별할 수도 있다.
본 개시에서 '도메인(domain)'은 예를 들어, 텍스트를 해석하여 식별되는 사용자의 의도와 관련되는 카테고리 또는 영역을 나타낼 수 있다. 도메인은 자연어 이해 모델을 이용하여 텍스트를 해석함으로써 검출될 수 있다. 도메인은 자연어 이해 모델을 이용하여 텍스트로부터 검출되는 인텐트와 관련될 수 있다. 일 실시예에서, 도메인은 텍스트와 관련된 서비스에 따라 분류될 수도 있다. 도메인은 텍스트가 해당되는 카테고리 예를 들어, 영화 도메인, 음악 도메인, 책 도메인, 게임 도메인, 항공 도메인, 음식 도메인, 스포츠 도메인 등 하나 이상의 영역을 포함할 수 있다.
본 개시에서 '인텐트(intent)'는 예를 들어, 텍스트를 해석하여 판단되는 사용자의 의도를 나타내는 정보를 나타낼 수 있다. 인텐트는 사용자의 발화 의도를 나타내는 정보로서, 사용자가 디바이스를 이용하여 실행하고자 하는 동작 또는 기능을 나타내는 정보를 포함할 수 있다. 인텐트는 자연어 이해 모델(Natural Language Understanding, NLU) 모델을 이용하여 텍스트를 해석함으로써 결정될 수 있다. 예를 들어, 사용자의 음성 입력으로부터 변환된 텍스트가 "멜론 애플리케이션에서 음악 틀어줘~" 인 경우, 도메인은 '음악'이고, 인텐트는 '음악 컨텐트 재생(play)'일 수 있다. 인텐트는 인텐트 액션(intent action) 및 인텐트 객체(intent object)를 포함할 수 있다.
인텐트는, 사용자의 발화 의도를 나타내는 정보(이하, 의도 정보)뿐 아니라, 사용자의 의도를 나타내는 정보에 대응하는 수치값을 포함할 수 있다. 수치값은 예를 들어, 텍스트가 특정 의도를 나타내는 정보와 관련될 확률값으로써, 텍스트가 특정 의도로 해석될 수 있는 신뢰도 값을 나타낼 수 있다. 자연어 이해 모델을 이용하여 텍스트를 해석한 결과, 사용자의 의도를 나타내는 정보가 복수개 획득되는 경우, 각 의도 정보에 대응되는 수치값이 최대인 의도 정보가 인텐트로 결정될 수 있다.
본 개시에서 '슬롯(slot)'은 인텐트와 관련된 세부 정보들을 획득하거나, 세부 동작을 결정하기 위한 변수(variable) 정보를 의미한다. 일 실시예에서, 슬롯의 변수 정보는 개체명(named entity)을 포함할 수 있다.
슬롯은 인텐트와 관련된 정보를 포함하고, 하나의 인텐트에 복수 종류의 슬롯이 대응될 수 있다. 슬롯은 텍스트가 특정 변수 정보와 관련될 확률값을 나타내는 수치값을 포함할 수 있다. 일 실시예에서, 자연어 이해 모델을 이용하여 텍스트를 해석한 결과, 슬롯을 나타내는 변수 정보가 복수 개 획득될 수 있다. 이 경우, 각 변수 정보에 대응되는 수치값이 최대인 변수 정보가 슬롯으로 결정될 수 있다. 예를 들어, 텍스트가 "멜론 애플리케이션에서 음악 틀어줘~" 인 경우, 텍스트로부터 획득된 슬롯은 '멜론 애플리케이션'일 수 있다.
도메인, 인텐트 및 슬롯은 자연어 이해 모델을 이용하여 자동으로 식별 또는 검출할 수 있지만, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에서, 도메인, 인텐트, 및 슬롯은 디바이스를 통해 입력되는 사용자 입력에 의해 수동으로 각각 지정되거나, 결정될 수 있다.
도 1은 본 개시의 다양한 실시예들에 따른 디바이스(1000a)가 사용자의 음성 입력을 인식함으로써, 텍스트를 출력하는 동작의 예시를 도시한 도면이다.
도 1을 참조하면, 디바이스(1000a)는 ASR 모델(예를 들어, 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1310), 연속성 학습 모델(예를 들어, 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1330), 음성 인식 결과 이력 데이터베이스(1350), 및 출력부(예를 들어, 출력 회로를 포함)(1500)를 포함할 수 있다. 도 1에는 디바이스(1000a)의 동작을 설명하기 위한 구성 요소들이 도시되었다. 디바이스(1000a)가 포함하고 있는 구성이 도 1에 도시된 바와 같이 한정되는 것은 아니다.
디바이스(1000a)는 사용자로부터 음성 입력을 수신할 수 있다. 일 실시예에서, 디바이스(1000a)는 마이크로폰과 같은 음성 입력부(1100, 도 4 참조)를 이용하여, 사용자로부터 음성 입력(예를 들어, 사용자의 발화)을 수신하고, 수신된 음성 입력으로부터 음성 신호를 획득할 수 있다. 음성 신호는 웨이브 파일(wave file) 형태일 수 있으나, 이에 한정되지 않는다. 도 1에 도시된 실시예에서, 디바이스(1000a)는 "Play music with Melon application"이라는 사용자의 발화에 관한 음성 신호를 수신할 수 있다.
ASR 모델(1310)은 사용자의 음성을 인식하는 음성 인식 모델을 포함하고, 사용자로부터 수신된 음성 신호를 텍스트로 변환하여 출력하도록 학습된 모델을 포함할 수 있다. 일 실시예에서, ASR 모델(1310)은 음향 모델, 발음 사전 및 언어 모델을 포함하는 인공지능 모델일 수 있다. 그러나, 이에 한정되지 않고, ASR 모델(1310)은 발음 사전 및 언어 모델을 별도로 포함하지 않고 통합된 심층 신경망(Deep Neural Network; DNN)을 포함하는 구조를 가지는 종단간(End-to-End) 음성 인식 모델일 수 있다. 종단 간 ASR 방식은 예를 들어, 음성 신호를 문자열 또는 단어 열로 직접 매핑할 수 있도록 훈련된(trained) 심층 신경망을 이용하는 음성 인식 방식을 나타낼 수 있다. 음향 모델 및 언어 모델 등의 다수의 모델들을 이용하는 다른 음성 인식 방식과는 달리, 종단 간 ASR 방식은 하나의 훈련된 심층 신경망을 이용함으로써 음성 인식 과정을 단순화할 수 있다. 종단 간 ASR 모델(1310)의 하위 실시예로는, 예를 들어 RNN-T 모델, 및 CTC 모델(Connectionist Temporal Classification) 등이 존재한다.
디바이스(1000a)는 ASR 모델(1310)과 관련된 명령어(instructions) 또는 프로그램 코드를 이용하여, 음성 신호를 텍스트로 변환할 수 있다. 일 실시예에서, ASR 모델(1310)은 음성 신호를 프레임(frame) 단위로 동기화된 복수의 문자열을 포함하는 텍스트로 변환할 수 있다. 여기서, '프레임'은 음성 신호의 처리를 위하여 음성 신호가 일정한 시간 간격으로 분할되는 단위, 또는 분할된 음성 신호 그 자체를 의미한다. '프레임 동기화된 문자열'이란, 음성 신호가 ASR 모델(1310)에 의해 문자열로 변환되어 출력됨에 있어서, 음성 신호의 프레임들 각각에 개별적으로 대응하는 문자들을 포함하는 문자열을 의미한다.
ASR 모델(1310)은 음성 신호가 프레임 동기화된 복수의 문자열로 예측될 수 있는 확률 값을 나타내는 신뢰도(confidence score)에 기초하여, 복수의 문자열을 포함하는 적어도 하나의 텍스트 후보를 출력할 수 있다. '문자열의 신뢰도'는 소정 문자열을 출력한 ASR 모델(1310)이 음성 신호를 얼마나 정확하게 인식하였는지의 정도를 나타낸다. 예를 들어, 문자열의 신뢰도는 소정 문자열로부터 획득되는 가능도(likelihood), 소정 문자열을 추정하는 과정에서 출력되는 부분 가능도 또는 사후 확률 값 등에 기초하여 소정의 수학식에 따라 산출될 수 있다. 일 실시예에서, ASR 모델(1310)에 의해 음성 신호를 인식함으로써 출력된 적어도 하나의 텍스트 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다. 예를 들어, 적어도 하나의 텍스트 후보는 "Play music with Mellong application"의 문자열을 포함하는 제1 텍스트 후보, "Play music with Merong application"의 문자열을 포함하는 제2 텍스트 후보, 및 "Play music with Melon application"의 문자열을 포함하는 제3 텍스트 후보를 포함하는 총 3개일 수 있다. 또한, 예를 들어 제1 텍스트 후보의 신뢰도 값은 3.45이고, 제2 텍스트 후보의 신뢰도 값은 3.44이며, 제3 텍스트 후보의 신뢰도 값은 3.41일 수 있다. 그러나, 이는 설명의 편의를 위한 예시일 뿐, 이에 한정되는 것은 아니다. 적어도 하나의 텍스트 후보는 신뢰도 값에 따라 우선 순위가 결정될 수 있다. 예를 들어, 제1 텍스트 후보의 신뢰도 값이 3.45이므로, ASR 모델(1310)은 제1 텍스트 후보를 사용자로부터 수신된 음성 입력에 대응되는 텍스트로서 결정할 수 있다.
ASR 모델(1310)은 음성 신호로부터 변환되어 출력된 적어도 하나의 텍스트 후보를 연속성 학습 모델(1330)에 제공한다.
제1 연속성 학습 모델(1330)은 사용자로부터 수신된 음성 신호 및 ASR 모델(1310)로부터 수신한 적어도 하나의 텍스트 후보를 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 음성 인식 결과 이력 정보와 각각 비교함으로써, 음성 신호에 대응하는 텍스트를 결정하도록 학습(training)된 모델을 나타낼 수 있다. 연속성 학습 모델(1330)은 이력 정보 추출 모듈(예를 들어, 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1332) 및 가중치 학습 모듈(예를 들어, 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1334)을 포함할 수 있다.
이력 정보 추출 모듈(1332)은 사용자로부터 수신된 음성 신호를 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 음성 신호와 비교하고, 비교 결과에 기초하여, 음성 신호에 대응되어 기 변환된 텍스트 이력 정보를 추출하도록 구성되는 모듈을 나타낼 수 있다.
음성 인식 결과 이력 데이터베이스(1350)는, 사용자로부터 음성 입력이 수신되는 시점 이전에 기 획득된 음성 신호 및 음성 신호를 변환하여 획득한 텍스트의 이력 정보를 저장하는 데이터베이스를 나타낼 수 있다. 일 실시예에서, 음성 인식 결과 이력 데이터베이스(1350)에는 과거의 시점에 수신된 복수의 음성 신호(1352-1 내지 1352-n) 및 ASR 모델(1310)을 이용한 학습을 통해 복수의 음성 신호(1352-1 내지 1352-n) 각각을 변환함으로써 출력된 복수의 텍스트 이력 정보(1354-1 내지 1354-n)가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음성 신호(1352-1 내지 1352-n)는 대응되는 복수의 텍스트 이력 정보(1354-1 내지 1354-n)와 페어링(pairing)되어 음성 인식 결과 이력 데이터베이스(1350)에 저장될 수 있다.
복수의 음성 신호(1352-1 내지 1352-n)는 웨이브 파일(wave file) 형태일 수 있다. 그러나, 이에 한정되지 않고, 음성 신호는 이진 형태로 인코딩된 바이너리 데이터(binary data) 파일 형태로 음성 인식 결과 이력 데이터베이스(1350)에 저장될 수 있다.
일 실시예에서, 디바이스(1000a)가 사용자 전용이거나, 또는 한정된 사용자만이 사용 가능한 단말인 경우, 복수의 텍스트 이력 정보(1354-1 내지 1354-n)는 디바이스(1000a)의 사용자가 과거 시점에 발화하였던 음성 입력으로부터의 획득된 복수의 음성 신호(1352-1 내지 1352-n) 각각을 ASR 모델(1310)을 이용하여 텍스트로 변환한 이력 정보일 수 있다. 이 경우, 음성 인식 결과 이력 데이터베이스(1350)는 디바이스(1000a)의 사용자의 언어 특성, 예를 들어 나이, 성별, 발음(예컨대, 영어의 경우 영국 영어, 미국 영어, 호주 영어 등), 억양, 사투리 등에 기초하여 커스터마이즈(customized)되고, 개인화된(personalized) 언어 사전(dictionary)의 기능 또는 동작을 수행할 수 있다.
이력 정보 추출 모듈(1332)은 사용자로부터 수신된 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호(1352-1 내지 1352-n) 간의 유사도(similarity)를 측정할 수 있다. 일 실시예에서, 이력 정보 추출 모듈(1332)은 코사인 유사도(cosine similarity) 측정 방법을 이용하여 사용자로부터 수신된 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호(1352-1 내지 1352-n) 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 이력 정보 추출 모듈(1332)은 공지된 유사도 측정 알고리즘 또는 방법을 이용하여 사용자로부터 수신된 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호(1352-1 내지 1352-n) 간의 유사도를 측정할 수 있다.
이력 정보 추출 모듈(1332)은 복수의 음성 신호(1352-1 내지 1352-n) 중 측정된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별하며, 식별된 음성 신호에 대응되는 텍스트 이력 정보를 추출할 수 있다. 예를 들어, 이력 정보 추출 모듈(1332)는 사용자로부터 수신된 음성 신호인 "Play music with Melon application"의 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호(1352-1 내지 1352-n) 간의 유사도를 측정하고, 측정된 유사도가 소정의 임계치를 초과하는 제2 음성 신호(1352-2)를 식별할 수 있다. 이력 정보 추출 모듈(1332)은 음성 인식 결과 이력 데이터베이스(1350)로부터, 제2 음성 신호(1352-2)와 쌍(pair)을 형성하는 제2 텍스트 이력 정보(1354-2)를 추출할 수 있다. 제2 텍스트 이력 정보(1354-2)는 과거 시점에 사용자의 제2 음성 신호(1352-2)를 인식함으로써 변환된 출력 텍스트로서, 예를 들어, "Play music with Melon application"의 문자열을 포함할 수 있다.
이력 정보 추출 모듈(1332)은 ASR 모델(1310)로부터 수신된 적어도 하나의 텍스트 후보와 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보를 비교함으로써, 동일 여부를 판단할 수 있다. ASR 모델(1310)로부터 출력된 적어도 하나의 텍스트 후보와 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보가 동일하지 않은 경우, 이력 정보 추출 모듈(1332)은 적어도 하나의 텍스트 후보 및 추출된 텍스트 이력 정보를 가중치 학습 모듈(1334)에 제공할 수 있다.
가중치 학습 모듈(예를 들어, 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1334)은 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보를 이용하여, 사용자로부터 수신된 음성 입력에 대응되는 텍스트를 결정하는 가중치를 학습(training)하도록 구성되는 모듈이다. 일 실시예에서, 가중치 학습 모듈(1334)은 음성 신호를 입력받고, 텍스트를 출력 하며, 복수의 신경망 레이어들을 포함하는 심층 신경망 모델로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 가중치 학습 모듈(1334)은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다. 일 실시예에서, 가중치 학습 모듈(1334)은 이력 정보 추출 모듈(1332)에 의해 추출된 텍스트 이력 정보를 사용자로부터 수신된 음성 입력에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다. 가중치 학습 모듈(1334)은 추출된 텍스트 이력 정보를 이용하여 ASR 모델(1310)의 출력 텍스트를 결정함으로써, ASR 모델(1310)의 출력을 업데이트(update)할 수 있다.
예를 들어, 가중치 학습 모듈(1334)은 이력 정보 추출 모듈(1332)로부터 추출된 제2 텍스트 이력 정보(1354-2)에 가중치를 높게 부가하는 학습을 통해 적어도 하나의 텍스트 후보 중 제2 텍스트 이력 정보(1354-2)와 동일한 제3 텍스트 후보를 음성 입력에 대응되는 텍스트로서 결정할 수 있다. 제3 텍스트 후보는 신뢰도 값이 3.41로서, 제1 텍스트 후보 및 제2 텍스트 후보의 신뢰도 값 보다 낮지만, 가중치 학습 모듈(1334)에 의한 학습 결과에 따라 음성 입력에 대응되는 텍스트로 결정될 수 있다.
가중치 학습 모듈(1334)은 결정된 텍스트를 출력부(1500)에 제공한다. 출력부(1500)는 디스플레이부(1510, 도 4 참조) 및 스피커(1520, 도 4 참조)를 포함하고, 가중치 학습 모듈(1334)로부터 수신된 텍스트를 사용자 인터페이스(User Interface) 또는 음향 신호로서 출력할 수 있다.
디바이스(1000a)에 의해 수행되는 음성 인식에서, ASR 모델(1310)과 같은 음성 인식 모델은 성능 향상을 위해 주기적으로 외부 서버로부터 업데이트될 수 있다. 음성 인식 모델이 업데이트 되는 경우, 사용자들은 기존과 같이 발음하더라도 음성 인식 모델이 기존과 다르게 이해하거나, 기존과 다른 동작 또는 기능을 수행하는 문제점이 발생될 수 있다. 사용자들은 음성 인식 모델의 성능이 업데이트되더라도, 기존의 자신의 목소리, 발음, 억양, 사투리 등을 그대로 학습하여 이해하고, 동작하며, 답변해주기를 원한다.
본 개시의 일 실시예에 따른 디바이스(1000a)는, 사용자의 기존 음성 신호 및 인식 결과 이력 정보를 음성 인식 결과 이력 데이터베이스(1350)에 저장하고, ASR 모델(1310)의 출력 텍스트 후보를 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 인식 결과 이력 정보와 비교하고, 음성 입력에 대응되는 텍스트 이력 정보를 추출하고, 추출된 텍스트 이력 정보를 이용하여 가중치를 조정(adjust)하는 학습을 통해 음성 입력에 관한 텍스트를 출력할 수 있다. 따라서 본 개시의 디바이스(1000a)는, ASR 모델(1310)의 성능이 업데이트되는 경우에도 사용자의 기존 발음, 억양, 사투리, 성별에 따른 목소리 등을 인식하고, 인식 결과를 제공하는바, 연속성(continuity)을 유지하는 사용자 경험을 제공할 수 있다. 또한, 본 개시의 디바이스(1000a)는 사용자의 기존 발음, 억양, 사투리, 성별에 따른 목소리 등을 인식하여 기 획득된 텍스트 이력 정보를 음성 인식 결과 이력 데이터베이스(1350)에 저장하고, 저장된 텍스트 이력 정보를 이용하여 사용자의 음성 입력에 대응되는 텍스트를 결정하는 가중치를 학습하는바, 음성 인식의 정확도를 향상시킬 수 있다.
도 2a 및 도 2b는 본 개시의 다양한 실시예들에 따른 디바이스(1000b)가 사용자의 음성 입력을 인식하고, 음성 인식 결과를 출력하는 동작의 예시를 도시한 도면이다.
도 2a 및 도 2b를 참조하면, 디바이스(1000b)는 ASR 모델(예를 들어, 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1310), 자연어 이해 모델(NLU 모델)(예를 들어, 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1320), 제1 연속성 학습 모델(예를 들어, 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1330), 제2 연속성 학습 모델(예를 들어, 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1340), 제1 음성 인식 결과 이력 데이터베이스(1350), 제2 음성 인식 결과 이력 데이터베이스(1360), 및 출력부(1500)를 포함할 수 있다. 도 2a 및 도 2b에는 디바이스(1000b)의 동작을 설명하기 위한 구성 요소들이 도시되었다. 디바이스(1000b)가 포함하고 있는 구성이 도 2a 및 도 2b에 도시된 바와 같이 한정되는 것은 아니다.
도 2a에 도시된 ASR 모델(1310), 제1 연속성 학습 모델(1330) 및 제1 음성 인식 결과 이력 데이터베이스(1350)는 도 1에 도시된 ASR 모델(1310), 연속성 학습 모델(1330) 및 음성 인식 결과 이력 데이터베이스(1350)와 각각 동일하거나 유사한 바, 중복되는 설명은 여기서 반복되지 않는다.
자연어 이해 모델(Natural Language Understanding; NLU 모델)(1320)은 제1 연속성 학습 모델(1330)로부터 수신된 텍스트를 해석함으로써, 텍스트 해석 결과 정보를 획득하도록 학습된 모델이다. 텍스트 해석 결과 정보는 예를 들어, 텍스트를 해석함으로써 검출되는 도메인(domain), 인텐트(intent), 및 슬롯(slot)에 관한 정보를 포함할 수 있으나, 이에 한정되지 않을 수 있다. 자연어 이해 모델(1320)에 입력되는 텍스트는 사용자로부터 수신된 음성 입력에 대응되는 텍스트일 수 있다.
자연어 이해 모델(1320)은 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 출력할 수 있다. 일 실시예에서, 적어도 하나의 텍스트 해석 결과 후보는, 자연어 이해 모델(1320)을 이용하여 텍스트를 해석함으로써 텍스트로부터 예측되는 적어도 하나의 도메인 후보, 적어도 하나의 인텐트 후보, 및 적어도 하나의 슬롯 후보를 포함할 수 있다. 예를 들어, 자연어 이해 모델(1320)은 텍스트를 해석함으로써 식별되는 사용자의 의도와 관련되는 카테고리 또는 영역이 특정 도메인으로 예측되는 확률값에 기초하여 적어도 하나의 도메인 후보를 출력할 수 있다. 다른 예를 들어, 자연어 이해 모델(1320)은 텍스트를 해석함으로써 사용자의 발화 의도를 나타내는 정보가 특정 인텐트로 예측되는 확률값에 기초하여 적어도 하나의 인텐트 후보를 출력할 수 있다. 또한, 자연어 이해 모델(1320)은 텍스트를 해석함으로써, 검출된 개체명(named entity)이 특정 슬롯으로 예측되는 확률값에 기초하여 적어도 하나의 슬롯 후보를 출력할 수 있다. 텍스트로부터 검출된 슬롯이 복수 개인 경우, 자연어 이해 모델(1320)은 복수 개의 슬롯 각각에 관한 적어도 하나의 슬롯 후보를 출력할 수 있다. 여기서, '확률값'은 예를 들어, 신뢰도 값(confidence score)을 나타낼 수 있다. 일 실시예에서, 자연어 이해 모델(1320)에 의해 텍스트를 해석함으로써 출력된 적어도 하나의 텍스트 해석 결과 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다.
제2 연속성 학습 모델(1340)은 텍스트 및 자연어 이해 모델(1320)로부터 수신된 적어도 하나의 텍스트 해석 결과 후보를 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 음성 인식 결과 이력 정보와 각각 비교함으로써, 텍스트에 대응하는 텍스트 해석 결과 정보를 결정하도록 학습(training)된 모델이다. 제2 연속성 학습 모델(1340)은 이력 정보 추출 모듈(1342) 및 가중치 학습 모듈(1344)을 포함할 수 있다.
이력 정보 추출 모듈(1342)은 제1 연속성 학습 모델(1330)로부터 수신된 텍스트를 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n)와 비교하고, 비교 결과에 기초하여 텍스트와 관련하여 기 획득된 텍스트 해석 이력 정보를 추출하도록 구성되는 모듈이다.
제2 음성 인식 결과 이력 데이터베이스(1360)는, 사용자로부터 음성 입력이 수신되는 시점 이전에 ASR 모델(1310)로부터 출력되어 기 획득된 텍스트 및 기 획득된 텍스트를 해석함으로써 검출된 텍스트 해석 이력 정보를 저장하는 데이터베이스이다. 텍스트 해석 이력 정보는, 텍스트를 해석함으로써 검출된 도메인, 인텐트 및 슬롯에 관한 이력 정보를 포함할 수 있다. 일 실시예에서, 제2 음성 인식 결과 이력 데이터베이스(1360)에는 과거의 시점에 획득된 복수의 텍스트(1362-1 내지 1362-n) 및 자연어 이해 모델(1320)을 이용하여 복수의 텍스트(1362-1 내지 1362-n) 각각을 해석함으로써 검출된 복수의 텍스트 해석 이력 정보(1364-1 내지 1364-n)가 저장될 수 있다. 일 실시예에서, 복수의 텍스트(1362-1 내지 1362-n)는 관련되는 복수의 텍스트 해석 이력 정보(1364-1 내지 1364-n)와 페어링(pairing)되어 제2 음성 인식 결과 이력 데이터베이스(1360)에 저장될 수 있다.
이력 정보 추출 모듈(1342)은 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n) 간의 유사도(similarity)를 측정할 수 있다. 일 실시예에서, 이력 정보 추출 모듈(1342)은 코사인 유사도(cosine similarity) 측정 방법을 이용하여 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n) 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 이력 정보 추출 모듈(1342)은 예를 들어, 자카드 유사도(Jaccard similarity), 유클리디언 유사도(Euclidean similarity), 또는 맨하탄 유사도(Manhattan similarity) 측정 방식 또는 알고리즘을 이용하여, 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n) 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되지 않는다.
이력 정보 추출 모듈(1342)은 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n) 중 측정된 유사도가 소정의 임계치를 초과하는 텍스트를 식별할 수 있다. 이력 정보 추출 모듈(1342)은 제2 음성 인식 결과 이력 데이터베이스(1360)로부터, 식별된 텍스트와 쌍(pair)을 형성하는 텍스트 해석 이력 정보를 추출할 수 있다. 예를 들어, 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트(1362-1 내지 1362-n) 중 제1 연속성 학습 모델(1330)로부터 출력된 텍스트와의 유사도가 소정의 임계치를 초과한 것으로 식별된 텍스트가 제2 텍스트(1362-2)인 경우, 이력 정보 추출 모듈(1342)은 제2 텍스트(1362-2)를 해석함으로써 획득된 제2 텍스트 해석 이력 정보(1364-2)를 추출할 수 있다.
이력 정보 추출 모듈(1342)은 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 텍스트 해석 결과 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 비교함으로써, 동일 여부를 판단할 수 있다. 일 실시예에서, 이력 정보 추출 모듈(1342)은 텍스트 해석 결과 정보의 종류에 따라 순서대로 동일성을 판단할 수 있다. 예를 들어, 이력 정보 추출 모듈(1342)은 도메인, 인텐트, 슬롯 순서로 적어도 하나의 텍스트 해석 결과 후보와 텍스트 해석 이력 정보 간의 동일성을 판단할 수 있다. 예를 들어, 이력 정보 추출 모듈(1342)은 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 도메인 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 도메인 이력 정보 간의 동일성을 판단하고, 동일하다고 판단되면 적어도 하나의 인텐트 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 인텐트 이력 정보 간의 동일성을 판단할 수 있다. 인텐트 간의 동일성 판단이 수행된 이후, 이력 정보 추출 모듈(1342)은 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 슬롯 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 슬롯 이력 정보 간의 동일성을 판단할 수 있다.
자연어 이해 모델(1320)로부터 출력된 적어도 하나의 텍스트 해석 결과 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보가 동일하지 않은 경우, 이력 정보 추출 모듈(1342)은 적어도 하나의 텍스트 해석 결과 후보 및 추출된 텍스트 해석 이력 정보를 가중치 학습 모듈(1344)에 제공할 수 있다.
가중치 학습 모듈(1344)은 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 이용하여, 제1 연속성 학습 모델(1330)으로부터 획득된 텍스트에 대응되는 텍스트 해석 결과 정보를 결정하는 가중치를 학습(training)하도록 구성되는 모듈이다. 일 실시예에서, 가중치 학습 모듈(1344)은 텍스트를 입력받고, 텍스트 해석 결과 정보를 출력하는, 복수의 신경망 레이어들을 포함하는 심층 신경망 모델로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 가중치 학습 모듈(1344)은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다. 일 실시예에서, 가중치 학습 모듈(1344)은 이력 정보 추출 모듈(1342)에 의해 추출된 텍스트 해석 이력 정보를 입력되는 텍스트에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다. 가중치 학습 모듈(1344)은 추출된 텍스트 해석 이력 정보를 이용하여 자연어 이해 모델(1320)로부터 출력되는 텍스트 해석 결과 정보를 결정함으로써, 자연어 이해 모델(1320)의 출력을 업데이트(update)할 수 있다.
가중치 학습 모듈(1344)은 결정된 텍스트 해석 결과 정보를 출력부(1500)에 제공한다. 출력부(1500)는 디스플레이부(1510, 도 4 참조) 및 스피커(1520, 도 4 참조)를 포함할 수 있고, 가중치 학습 모듈(1344)로부터 수신된 텍스트 해석 결과 정보를 사용자 인터페이스(User Interface) 또는 음향 신호로서 출력할 수 있다.
본 개시의 일 실시예에 따른 디바이스(1000b)는 과거에 사용자의 발화를 해석한 결과, 예를 들어 음성 신호로부터 검출된 도메인, 인텐트 및 슬롯에 관한 텍스트 해석 이력 정보를 제2 음성 인식 결과 이력 데이터베이스(1360)에 저장하고, 사용자의 음성 입력을 수신되면 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 텍스트 해석 이력 정보를 이용하여 자연어 이해 모델(1320)로부터 출력되는 텍스트 해석 결과 정보를 결정하는 가중치를 조정(adjust)하는 학습을 통해 음성 입력에 대응되는 음성 인식 결과 정보를 제공할 수 있다. 따라서, 도 1에 도시된 디바이스(1000a)가 사용자의 발음, 억양, 사투리, 성별에 따른 목소리 등을 인식하고, 인식된 음성 신호에 관한 텍스트만을 제공하는 반면, 본 개시의 디바이스(1000b)는 텍스트의 해석 결과 정보에 대해서도 과거 시점의 음성 인식 결과와 연속성(continuity)을 유지하는 사용자 경험을 제공할 수 있다.
도 3은 본 개시의 다양한 실시예들에 따른 디바이스(1000c)가 사용자의 음성 입력을 인식하고, 음성 인식 결과를 출력하는 동작의 예시를 도시한 도면이다.
도 3을 참조하면, 디바이스(1000c)는 ASR 모델(1310), 자연어 이해 모델(1320), 제3 연속성 학습 모델(예를 들어, 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 명령어들을 포함)(1370), 제3 음성 인식 결과 이력 데이터베이스(1380), 및 출력부(예를 들어, 출력 회로를 포함)(1500)를 포함할 수 있다. 도 3에는 디바이스(1000c)의 동작을 설명하기 위한 구성 요소들이 도시되었다. 디바이스(1000c)가 포함하고 있는 구성이 도 3에 도시된 바와 같이 한정되는 것은 아니다.
도 3에 도시된 ASR 모델(1310) 및 자연어 이해 모델(1320)은 도 2에 도시된 ASR 모델(1310) 및 자연어 이해 모델(1320)과 각각 동일한 바, 중복되는 설명은 반복되지 않을 수 있다.
도 3에 도시된 디바이스(1000c)는, 도 2에 도시된 디바이스(1000b)와는 달리 자연어 이해 모델(1320)이 ASR 모델(1310)로부터 출력되는 텍스트를 입력받고, 입력받은 텍스트를 해석함으로써 적어도 하나의 텍스트 해석 결과 정보를 출력한다. 즉, 도 3에 도시된 실시예에서는, ASR 모델(1310)과 자연어 이해 모델(1320)이 캐스케이드(cascade) 구조로 연결될 수 있다.
자연어 이해 모델(1320)은 적어도 하나의 텍스트 해석 결과 정보를 연속성 학습 모델(1370)에 제공한다.
제3 연속성 학습 모델(1370)은 사용자로부터 수신된 음성 입력, ASR 모델(1310)에 의해 변환된 텍스트, 및 자연어 이해 모델(1320)에 의해 텍스트를 해석함으로써 출력된 적어도 하나의 텍스트 해석 결과 정보를 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 음성 인식 결과 이력 정보와 각각 비교함으로써, 음성 입력에 대응되는 텍스트 해석 결과 정보를 결정하도록 학습(training)된 모델이다. 제3 연속성 학습 모델(1370)은 이력 정보 추출 모듈(1372) 및 가중치 학습 모듈(1374)을 포함할 수 있다.
이력 정보 추출 모듈(1372)은 사용자로부터 수신된 음성 입력 및 ASR 모델(1310)로부터 출력된 음성 입력에 대응되는 텍스트를 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 복수의 음성 신호(1382-1 내지 1382-n) 및 복수의 텍스트(1384-1 내지 1384-n)와 각각 비교하고, 비교 결과에 기초하여 음성 입력 및 텍스트에 대응되어 기 해석된 텍스트 해석 이력 정보를 추출하도록 구성되는 모듈이다.
제3 음성 인식 결과 이력 데이터베이스(1380)는, 사용자로부터 음성 입력이 수신되는 시점 이전에 기 획득된 음성 신호, 음성 신호를 변환하여 획득한 텍스트, 및 텍스트를 해석함으로써 획득된 텍스트 해석 이력 정보를 저장하는 데이터베이스이다. 일 실시예에서, 제3 음성 인식 결과 이력 데이터베이스(1380)에는 과거의 시점에 수신된 복수의 음성 신호(1382-1 내지 1382-n), ASR 모델(1310)에 의해 복수의 음성 신호(1382-1 내지 1382-n)을 변환함으로써 획득된 복수의 텍스트(1384-1 내지 1384-n), 및 자연어 이해 모델(1320)을 이용하여 복수의 텍스트(1384-1 내지 1384-n) 각각을 해석함으로써 획득된 복수의 텍스트 해석 이력 정보(1386-1 내지 1386-n)가 저장될 수 있다. 일 실시예에서, 복수의 음성 신호(1382-1 내지 1382-n), 복수의 텍스트(1384-1 내지 1384-n) 및 복수의 텍스트 해석 이력 정보(1386-1 내지 1386-n)는 관련된 데이터끼리 그룹핑(grouping)되어 제3 음성 인식 결과 이력 데이터베이스(1380)에 저장될 수 있다. 예를 들어, 제1 음성 신호(1382-1), 제1 텍스트(1384-1) 및 제1 텍스트 해석 이력 정보(1386-1)는 제1 그룹을 형성하고, 제2 음성 신호(1382-2), 제2 텍스트(1384-2) 및 제2 텍스트 해석 이력 정보(1386-2)는 제2 그룹을 형성하여 저장될 수 있다.
일 실시예에서, 제3 음성 인식 결과 이력 데이터베이스(1380)는 복수의 음성 신호(1382-1 내지 1382-n)으로부터 복수의 텍스트 해석 이력 정보(1386-1 내지 1386-n) 각각을 획득하는 중간 과정에서 출력되는 데이터를 저장할 수도 있다. 예를 들어, 복수의 음성 신호(1382-1 내지 1382-n)이 복수의 텍스트(1384-1 내지 1384-n)으로 각각 변환되는 과정에서의 특징 벡터(feature vector), 소프트맥스(softmax) 또는 가중치 벡터(weighted vector), 또는 복수의 텍스트(1384-1 내지 1384-n) 각각으로부터 복수의 텍스트 해석 이력 정보(1386-1 내지 1386-n)를 획득하는 과정에서 출력되는 특징 벡터, 소프트맥스 또는 가중치 벡터가 제3 음성 인식 결과 이력 데이터베이스(1380)에 저장될 수 있다.
이력 정보 추출 모듈(1372)은 사용자로부터 수신된 음성 신호와 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 복수의 음성 신호(1382-1 내지 1382-n) 간의 유사도를 측정함으로써, 음성 신호 유사도를 산출할 수 있다. 이력 정보 추출 모듈(1372)은 ASR 모델(1310)로부터 출력된 텍스트와 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 복수의 텍스트(1384-1 내지 1384-n) 간의 유사도를 측정함으로써, 텍스트 유사도를 산출할 수 있다. 일 실시예에서, 이력 정보 추출 모듈(1372)은 코사인 유사도(cosine similarity) 측정 방법을 이용하여 음성 신호 간 유사도 및 텍스트 간 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 이력 정보 추출 모듈(1372)은 예를 들어, 자카드 유사도(Jaccard similarity), 유클리디언 유사도(Euclidean similarity), 또는 맨하탄 유사도(Manhattan similarity) 측정 방식 또는 알고리즘을 이용하여, 음성 신호 간 유사도 및 텍스트 유사도를 측정할 수 있다.
이력 정보 추출 모듈(1372)은 측정된 음성 신호 유사도가 소정의 제1 임계치를 초과하는 음성 신호 및 텍스트 유사도가 소정의 제2 임계치를 초과하는 텍스트를 각각 식별하며, 식별된 음성 신호 및 텍스트와 그룹을 형성하는 텍스트 이력 정보를 제3 음성 인식 결과 이력 데이터베이스(1380)로부터 추출할 수 있다. 예를 들어, 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 복수의 음성 신호(1382-1 내지 1382-n) 중 음성 신호 유사도가 제1 임계치를 초과한 것으로 식별된 음성 신호가 제2 음성 신호(1382-2)이고, 제3 음성 인식 결과 이력 데이터베이스(1380)에 기 저장된 복수의 텍스트(1384-1 내지 1384-n) 중 텍스트 유사도가 제2 임계치를 초과한 것으로 식별된 텍스트가 제2 텍스트(1362-2)인 경우, 이력 정보 추출 모듈(1372)은 제2 음성 신호(1382-2) 및 제2 텍스트(1362-2)와 그룹핑된 제2 텍스트 해석 이력 정보(1364-2)를 추출할 수 있다.
이력 정보 추출 모듈(1372)은 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 텍스트 해석 결과 후보와 제3 음성 인식 결과 이력 데이터베이스(1380)로부터 추출된 텍스트 해석 이력 정보를 비교함으로써, 동일 여부를 판단할 수 있다. 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 텍스트 해석 결과 후보와 제3 음성 인식 결과 이력 데이터베이스(1380)로부터 추출된 텍스트 해석 이력 정보가 동일하지 않은 경우, 이력 정보 추출 모듈(1372)은 적어도 하나의 텍스트 해석 결과 후보 및 추출된 텍스트 해석 이력 정보를 가중치 학습 모듈(1374)에 제공할 수 있다.
가중치 학습 모듈(1374)은 제3 음성 인식 결과 이력 데이터베이스(1380)로부터 추출된 텍스트 해석 이력 정보를 이용하여, 사용자로부터 수신된 음성 입력에 대응되는 텍스트 해석 결과 정보를 결정하는 가중치를 학습(training)하도록 구성되는 모듈이다. 일 실시예에서, 가중치 학습 모듈(1374)은 복수의 신경망 레이어들을 포함하는 심층 신경망 모델로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 가중치 학습 모듈(1374)은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다.
일 실시예에서, 가중치 학습 모듈(1374)은 이력 정보 추출 모듈(1372)에 의해 추출된 텍스트 해석 이력 정보를 사용자로부터 수신된 음성 입력에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다. 가중치 학습 모듈(1374)은 제3 음성 인식 결과 이력 데이터베이스(1380)로부터 추출된 텍스트 해석 이력 정보를 이용하여 음성 입력에 관한 텍스트 해석 결과 정보를 결정함으로써, ASR 모델(1310) 및 자연어 이해 모델(1320)의 출력을 업데이트(update)할 수 있다.
본 개시의 일 실시예에 따른 디바이스(1000c)는 ASR 모델(1310)과 자연어 이해 모델(1320)을 캐스케이드 구조로 연결하고, 하나의 연속성 학습 모델(1370)을 통해 과거에 획득된 음성 신호, 텍스트, 및 텍스트 해석 이력 정보를 이용하여 사용자로부터 수신된 음성 입력에 관한 텍스트 해석 결과 정보를 결정할 수 있다. 도 3에 도시된 실시예에 따른 디바이스(1000c)는, ASR 모델(1310) 및 자연어 이해 모델(1320) 각각에 대하여 별개의 연속성 학습 모델(제1 연속성 학습 모델, 제2 연속성 학습 모델)을 포함하는 도 2의 디바이스(1000b)와는 달리, 하나의 연속성 학습 모델(1370)만을 포함한다. 따라서, 도 3의 실시예에 따른 디바이스(1000c)는, ASR 모델(1310) 및 자연어 이해 모델(1320) 각각의 음성 인식 결과값을 별개로 업데이트하는 경우 발생될 수 있는 에러(error)를 현저하게 감소시킬 수 있다. 또한, 도 3의 실시예에 따른 디바이스(1000c)는, 하나의 연속성 학습 모델(1370)에서의 가중치만을 학습하면 되므로, 학습으로 인하여 소요되는 처리 시간(processing time)을 단축시킬 수 있다.
도 4는 본 개시의 다양한 실시예들에 따른 디바이스(1000)의 구성 요소의 예시를 도시한 블록도이다.
디바이스(1000)는 사용자의 음성 입력을 수신하고, 음성 입력을 처리함으로써, 음성 입력을 텍스트로 변환하고, 변환된 텍스트와 관련된 기능 또는 동작을 수행하는 전자 장치이다. 디바이스(1000)는 예를 들어, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나로 구성될 수 있다. 그러나, 디바이스(1000)가 전술한 예시로 한정되는 것은 아니다.
디바이스(1000)는 음성 입력부(예를 들어, 입력 회로를 포함)(1100), 프로세서(예를 들어, 프로세싱 회로를 포함)(1200), 메모리(1300), 통신 인터페이스(예를 들어, 통신 회로를 포함)(1400), 및 출력부(예를 들어, 출력 회로를 포함)(1500)를 포함할 수 있다.
음성 입력부(1100)는 다양한 회로를 포함하고, 사용자로부터 음성 입력을 수신할 수 있다. 일 실시예에서, 음성 입력부(1100)는 마이크로폰을 포함할 수 있다. 음성 입력부(1100)는 마이크로폰을 통해 사용자로부터 음성 입력(예를 들어, 사용자의 발화)을 수신하고, 수신된 음성 입력으로부터 음성 신호를 획득할 수 있다. 일 실시예에서, 디바이스(1000)의 프로세서(1200)는, 마이크로폰을 통해 수신된 소리를 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
도면에는 도시되지 않았지만, 디바이스(1000)는 지정된 음성 입력(예를 들어, '하이 빅스비', '오케이 구글'등과 같은 웨이크 업 입력)을 감지하는 기능 또는 일부 음성 입력으로부터 획득한 음성 신호를 전처리하는 기능을 갖는 음성 전처리 모듈을 포함할 수 있다.
프로세서(1200)는 다양한 프로세싱 회로를 포함하고, 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 전용 프로세서(dedicated processor), 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다.
메모리(1300)에는 음성 입력부(1100)를 통해 수신한 사용자의 음성 입력을 처리하여 텍스트로 변환하고, 변환된 텍스트를 해석함으로써 텍스트 해석 결과 정보를 획득하기 위한 명령어들(instruction)을 포함하는 프로그램이 저장될 수 있다. 메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1200)는 메모리에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다.
메모리(1300)에는 ASR 모델(1310), 자연어 이해 모델(1320), 제1 연속성 학습 모델(1330), 제2 연속성 학습 모델(1340), 제1 음성 인식 결과 이력 데이터베이스(1350) 및 제2 음성 인식 결과 이력 데이터베이스(1360) 각각에 대응되는 데이터가 저장되어 있을 수 있다.
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
ASR 모델(1310)은 사용자의 음성을 인식하는 음성 인식 모델로서, 사용자로부터 수신된 음성 입력을 텍스트로 변환하여 출력하도록 학습된 모델이다. 일 실시예에서, ASR 모델(1310)은 음향 모델, 발음 사전 및 언어 모델을 포함하는 인공지능 모델일 수 있다. 그러나, 이에 한정되지 않고, ASR 모델(1310)은 발음 사전 및 언어 모델을 별도로 포함하지 않고 통합된 심층 신경망(Deep Neural Network; DNN)을 포함하는 구조를 가지는 종단간(End-to-End) 음성 인식 모델일 수 있다. 종단 간 ASR 방식은, 음성 신호를 문자열 또는 단어 열로 직접 매핑할 수 있도록 훈련된(trained) 심층 신경망을 이용하는 음성 인식 방식이다. 음향 모델 및 언어 모델 등의 다수의 모델들을 이용하는 다른 음성 인식 방식과는 달리, 종단 간 ASR 방식은 하나의 훈련된 심층 신경망을 이용함으로써 음성 인식 과정을 단순화할 수 있다. 종단 간 ASR 모델(1310)의 하위 실시예로는, 예를 들어 RNN-T 모델, 및 CTC 모델(Connectionist Temporal Classification) 등이 존재한다.
프로세서(1200)는 메모리(1300)에 저장된 ASR 모델(1310)에 관한 명령어 또는 프로그램 코드를 이용하여, 음성 입력부(1100)를 통해 수신된 음성 신호를 텍스트로 변환할 수 있다. 일 실시예에서, 프로세서(1200)는 음성 신호가 프레임 동기화된 복수의 문자열로 예측될 수 있는 확률 값을 나타내는 신뢰도(confidence score)에 기초하여, 복수의 문자열을 포함하는 적어도 하나의 텍스트 후보를 획득할 수 있다. '문자열의 신뢰도'는 소정 문자열을 출력한 ASR 모델(1310)이 음성 신호를 얼마나 정확하게 인식하였는지의 정도를 나타낸다. 예를 들어, 문자열의 신뢰도는 소정 문자열로부터 획득되는 가능도(likelihood), 소정 문자열을 추정하는 과정에서 출력되는 부분 가능도 또는 사후 확률 값 등에 기초하여 기설정된 수학식에 따라 산출될 수 있다. 예를 들어, 프로세서(1200)는 비터비(Viterbi) 디코딩 결과 출력되는 가능도(likelihood)에 기초하여 신뢰도를 계산할 수 있다. 다른 예를 들어, 프로세서(1200)는 종단간 ASR 모델(1310)의 경우, 소프트맥스 레이어(softmax layer)로부터 출력되는 사후 확률들(posterior probabilities)에 기초하여 신뢰도를 계산할 수 있다. 또 다른 예를 들어, 프로세서(1200)는 음성 신호에 대한 음성 인식 과정에서 추정되는 복수의 추정 문자열들을 결정하고, 복수의 추정 문자열들의 상관도에 기초하여, 복수의 문자열에 관한 신뢰도를 계산할 수 있다.
일 실시예에서, 프로세서(1200)가 ASR 모델(1310)을 이용하여 음성 신호를 인식함으로써 획득된 적어도 하나의 텍스트 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다.
예를 들어, 사용자로부터 수신한 음성 입력이 "Play music with Melon Application"이라는 발화인 경우, 프로세서(1200)는 ASR 모델(1310)을 이용하여 사용자의 발화로부터 추출한 음성 신호로부터 "Play music with Mellong application"의 문자열을 포함하는 제1 텍스트 후보, "Play music with Merong application"의 문자열을 포함하는 제2 텍스트 후보, 및 "Play music with Melon application"의 문자열을 포함하는 제3 텍스트 후보를 포함하는 N-Best 후보를 획득할 수 있다. N-Best 후보 각각은 다른 신뢰도 값을 가질 수 있다. 예를 들어, 제1 텍스트 후보의 신뢰도 값은 3.45이고, 제2 텍스트 후보의 신뢰도 값은 3.44이며, 제3 텍스트 후보의 신뢰도 값은 3.41일 수 있다. 그러나, 이는 설명의 편의를 위한 예시일 뿐, 이에 한정되는 것은 아니다.
제1 연속성 학습 모델(1330)은 사용자로부터 수신된 음성 신호 및 프로세서(1200)에 의해 획득된 적어도 하나의 텍스트 후보, 즉 N-Best 후보를 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 음성 인식 결과 이력 정보와 각각 비교함으로써, 음성 신호에 대응하는 텍스트를 결정하도록 학습(training)된 모델이다. 제1 연속성 학습 모델(1330)은 이력 정보 추출 모듈(1332) 및 가중치 학습 모듈(1334)을 포함할 수 있다.
프로세서(1200)는 이력 정보 추출 모듈(1332)과 관련된 명령어 또는 프로그램 코드를 이용하여, 음성 입력부(1100)를 통해 수신된 음성 신호를 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 음성 신호와 비교하고, 비교 결과에 기초하여 음성 신호에 대응되어 기 변환된 텍스트 이력 정보를 추출할 수 있다.
제1 음성 인식 결과 이력 데이터베이스(1350)는, 사용자로부터 음성 입력이 수신되는 시점 이전에 기 획득된 음성 신호 및 음성 신호를 변환하여 획득한 텍스트의 이력 정보를 저장하는 데이터베이스이다. 제1 음성 인식 결과 이력 데이터베이스(1350)는 도 1에 도시된 음성 인식 결과 이력 데이터베이스(1350)와 동일한 구성 요소인바, 중복되는 설명은 생략한다.
제1 음성 인식 결과 이력 데이터베이스(1350)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 나타낼 수 있다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(Read Only Memory; ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함할 수 있다.
도 4에서 제1 음성 인식 결과 이력 데이터베이스(1350)는 디바이스(1000)의 메모리(1300) 내에 포함되는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 제1 음성 인식 결과 이력 데이터베이스(1350)는 메모리(1300)가 아닌, 별개의 구성 요소로서 디바이스(1000)에 포함되거나, 또는 디바이스(1000)에 포함되지 않은 구성 요소로서 통신 인터페이스(1400)를 통해 유무선 통신을 통해 연결될 수도 있다.
일 실시예에서, 프로세서(1200)는 이력 정보 추출 모듈(1332)와 관련된 명령어 또는 프로그램 코드를 이용하여, 음성 입력부(1100)를 통해 입력된 음성 신호와 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도(similarity)를 측정(결정, 계산 등)할 수 있다. 일 실시예에서, 프로세서(1200)는 코사인 유사도(cosine similarity) 측정 방법을 이용하여 음성 입력부(1100)를 통해 수신된 음성 신호와 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도를 각각 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 공지의 유사도 측정 알고리즘 또는 방법을 이용하여, 사용자로부터 수신된 음성 신호와 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도를 각각 측정할 수 있다.
일 실시예에서, 프로세서(1200)는 이력 정보 추출 모듈(1332)와 관련된 명령어 또는 프로그램 코드를 이용하여, 음성 입력부(1100)를 통해 획득한 음성 신호와 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 중 측정된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별하며, 식별된 음성 신호에 대응되는 텍스트 이력 정보를 추출할 수 있다. 예를 들어, 프로세서(1200)는 음성 입력부(1100)를 통해 수신된 사용자의 발화로부터 "Play music with Melon application"의 음성 신호를 획득하고, 획득된 음성 신호와 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도를 각각 측정하며, 측정된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별할 수 있다. 프로세서(1200)는 제1 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 텍스트 이력 정보 중 식별된 음성 신호와 페어링된 텍스트 이력 정보를 추출할 수 있다. 추출된 텍스트 이력 정보는 예를 들어, "Play music with Melon application"의 문자열을 포함할 수 있다.
프로세서(1200)는 ASR 모델(1310)로부터 획득된 적어도 하나의 텍스트 후보와 제1 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보를 비교함으로써, 동일 여부를 판단할 수 있다. ASR 모델(1310)로부터 출력된 적어도 하나의 텍스트 후보와 제1 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보가 동일하지 않은 경우, 프로세서(1200)는 적어도 하나의 텍스트 후보 및 추출된 텍스트 이력 정보를 가중치 학습 모듈(1334)에 제공할 수 있다.
가중치 학습 모듈(1334)은 제1 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보를 이용하여, 사용자로부터 수신된 음성 입력에 대응되는 텍스트를 결정하는 가중치를 학습(training)하도록 구성되는 모듈이다. 일 실시예에서, 가중치 학습 모듈(1334)은 음성 신호를 입력받고, 텍스트를 출력 하는, 복수의 신경망 레이어들을 포함하는 심층 신경망 모델로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 가중치 학습 모듈(1334)은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다. 일 실시예에서, 가중치 학습 모듈(1334)은 이력 정보 추출 모듈(1332)에 의해 추출된 텍스트 이력 정보를 사용자로부터 수신된 음성 입력에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다.
일 실시예에서, 프로세서(1200)는 가중치 학습 모듈(1334)과 관련된 명령어 또는 프로그램 코드를 이용하여, 제1 음성 인식 결과 이력 데이터베이스(1350)로부터 추출된 텍스트 이력 정보를 이용하여 ASR 모델(1310)의 출력 텍스트를 결정함으로써, ASR 모델(1310)을 업데이트(update)할 수 있다. 예를 들어, 프로세서(1200)는 이력 정보 추출 모듈(1332)을 이용하여 추출된 텍스트 이력 정보에 가중치를 높게 부가하는 학습을 통해 ASR 모델(1310)로부터 획득된 적어도 하나의 텍스트 후보 중 추출된 텍스트 이력 정보와 동일한 제3 텍스트 후보를 음성 입력에 대응되는 텍스트로서 결정할 수 있다. 제3 텍스트 후보는 신뢰도 값이 3.41로서, 제1 텍스트 후보 및 제2 텍스트 후보의 신뢰도 값 보다 낮지만, 가중치 학습 모듈(1334)에 의한 학습 결과에 따라 음성 입력에 대응되는 텍스트로 결정될 수 있다.
제1 연속성 학습 모델(1330)은 결정된 텍스트에 관한 정보를 자연어 이해 모델(1320)에 제공한다.
자연어 이해 모델(1320)은 제1 연속성 학습 모델(1330)로부터 수신된 텍스트를 해석함으로써, 텍스트 해석 결과 정보를 획득하도록 학습된 모델이다. 텍스트 해석 결과 정보는, 텍스트를 해석함으로써 검출되는 도메인(domain), 인텐트(intent), 및 슬롯(slot)에 관한 정보를 포함할 수 있다. 자연어 이해 모델(1320)에 입력되는 텍스트는 음성 입력부(1100)를 통해 사용자로부터 수신된 음성 입력에 대응되는 텍스트일 수 있다.
프로세서(1200)는 자연어 이해 모델(1320)과 관련된 명령어 또는 프로그램 코드를 이용하여 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득할 수 있다. 일 실시예에서, 적어도 하나의 텍스트 해석 결과 후보는, 자연어 이해 모델(1320)을 이용하여 텍스트를 해석함으로써 텍스트로부터 예측되는 적어도 하나의 도메인 후보, 적어도 하나의 인텐트 후보, 및 적어도 하나의 슬롯 후보를 포함할 수 있다. 예를 들어, 프로세서(1200)은 텍스트를 해석함으로써 식별되는 사용자의 의도와 관련되는 카테고리 또는 영역이 특정 도메인으로 예측되는 확률값에 기초하여 적어도 하나의 도메인 후보를 획득할 수 있다. 다른 예를 들어, 프로세서(1200)는 텍스트를 해석함으로써 사용자의 발화 의도를 나타내는 정보가 특정 인텐트로 예측되는 확률값에 기초하여 적어도 하나의 인텐트 후보를 획득할 수 있다. 또한, 프로세서(1200)는 텍스트를 해석함으로써, 검출된 개체명(named entity)이 특정 슬롯으로 예측되는 확률값에 기초하여 적어도 하나의 슬롯 후보를 획득할 수 있다. 텍스트로부터 검출된 슬롯이 복수 개인 경우, 프로세서(1200)는 복수 개의 슬롯 각각에 관한 적어도 하나의 슬롯 후보를 획득할 수 있다. 여기서, '확률값'은 예를 들어, 신뢰도 값(confidence score)을 나타낼 수 있다. 일 실시예에서, 프로세서(1200)가 자연어 이해 모델(1320)을 이용하여 텍스트를 해석함으로써 획득한 적어도 하나의 텍스트 해석 결과 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다.
예를 들어, 프로세서(1200)가 자연어 이해 모델(1320)을 이용하여 "Play music with Melon application"이라는 텍스트를 해석함으로써 획득한 적어도 하나의 도메인 후보는 '음악'이고, 적어도 하나의 인텐트 후보는 '음악 플레이(play)' 또는 '컨텐트 스트리밍(content streaming)'이며, 적어도 하나의 슬롯 후보는 '멜론 애플리케이션', '과일 멜론', '애플리케이션'일 수 있다. 적어도 하나의 도메인 후보, 적어도 하나의 인텐트 후보, 및 적어도 하나의 슬롯 후보 각각의 신뢰도 값은 다를 수 있다.
프로세서(1200)는 제1 연속성 학습 모델(1330)로부터 획득한 텍스트 및 자연어 이해 모델(1320)을 이용하여 획득한 적어도 하나의 텍스트 해석 결과 후보를 제2 연속성 학습 모델(1340)에 제공할 수 있다. 일 실시예에서, 프로세서(1200)는 제1 연속성 학습 모델(1330)로부터 획득한 텍스트 및 자연어 이해 모델(1320)을 이용하여 획득한 적어도 하나의 텍스트 해석 결과 후보를 출력부(1500)에 제공할 수도 있다.
제2 연속성 학습 모델(1340)은 텍스트 및 자연어 이해 모델(1320)로부터 수신된 적어도 하나의 텍스트 해석 결과 후보를 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 음성 인식 결과 이력 정보와 각각 비교함으로써, 텍스트에 대응하는 텍스트 해석 결과 정보를 결정하도록 학습(training)된 모델이다. 제2 연속성 학습 모델(1340)은 이력 정보 추출 모듈(1342) 및 가중치 학습 모듈(1344)을 포함할 수 있다.
이력 정보 추출 모듈(1342)은 제1 연속성 학습 모델(1330)로부터 수신된 텍스트를 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트와 비교하고, 비교 결과에 기초하여 텍스트에 대응되어 기 해석된 텍스트 해석 이력 정보를 추출하도록 구성되는 모듈이다.
제2 음성 인식 결과 이력 데이터베이스(1360)는, 사용자로부터 음성 입력이 수신되는 시점 이전에 ASR 모델(1310)로부터 출력되어 기 획득된 텍스트 및 기 획득된 텍스트를 해석함으로써 검출된 텍스트 해석 이력 정보를 저장하는 데이터베이스이다. 제2 음성 인식 결과 이력 데이터베이스(1360)는 도 2에 도시된 제2 음성 인식 결과 이력 데이터베이스(1360)와 동일한 구성 요소인바, 중복되는 설명은 생략한다.
제1 음성 인식 결과 이력 데이터베이스(1350)와 마찬가지로, 제2 음성 인식 결과 이력 데이터베이스(1360)도 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리에 관한 설명은 제1 음성 인식 결과 이력 데이터베이스(1350)에 관한 설명과 동일한 바, 중복되는 설명은 생략한다. 도 4에 도시된 실시예에서, 제2 음성 인식 결과 이력 데이터베이스(1360)는 디바이스(1000)의 메모리(1300) 내에 포함되는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 제2 음성 인식 결과 이력 데이터베이스(1360)는 메모리(1300)가 아닌, 별개의 구성 요소로서 디바이스(1000)에 포함되거나, 또는 디바이스(1000)에 포함되지 않은 구성 요소로서 통신 인터페이스(1400)를 통해 유무선 통신을 통해 연결될 수도 있다.
일 실시예에서, 프로세서(1200)는 이력 정보 추출 모듈(1342)과 관련된 명령어 또는 프로그램 코드를 이용하여, 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도(similarity)를 각각 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 예를 들어, 코사인 유사도(cosine similarity) 측정 방법을 이용하여 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도를 각각 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 예를 들어, 자카드 유사도(Jaccard similarity), 유클리디언 유사도(Euclidean similarity), 또는 맨하탄 유사도(Manhattan similarity) 측정 방식 또는 알고리즘을 이용하여, 제1 연속성 학습 모델(1330)로부터 수신된 텍스트와 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도를 각각 측정할 수 있다.
일 실시예에서, 프로세서(1200)는 이력 정보 추출 모듈(1342)과 관련된 명령어 또는 프로그램 코드를 이용하여, 제2 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 중 측정된 유사도가 소정의 임계치를 초과하는 텍스트를 식별하고, 식별된 텍스트에 대응되는 텍스트 해석 이력 정보를 추출할 수 있다. 일 실시예에서, 프로세서(1200)는 제2 음성 인식 결과 이력 데이터베이스(1360)로부터, 식별된 텍스트와 페어링된 텍스트 해석 이력 정보를 추출할 수 있다. 예를 들어, 프로세서(1200)는 식별된 텍스트가 "Play music with Melon application"인 경우, 텍스트와 페어링된 텍스트 해석 이력 정보로서 '음악' 도메인, '음악 플레이'라는 인텐트, 및 '멜론 애플리케이션'이라는 슬롯 정보를 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출할 수 있다.
일 실시예에서, 프로세서(1200)는 자연어 이해 모델(1320)을 이용하여 획득된 적어도 하나의 텍스트 해석 결과 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 비교함으로써, 동일 여부를 판단할 수 있다. 일 실시예에서, 프로세서(1200)는 텍스트 해석 결과 정보의 종류에 따라 순서대로 동일성을 판단할 수 있다. 예를 들어, 프로세서(1200)는 도메인, 인텐트, 슬롯 순서로 적어도 하나의 텍스트 해석 결과 후보와 텍스트 해석 이력 정보 간의 동일성을 판단할 수 있다. 예를 들어, 프로세서(1200)는 자연어 이해 모델(1320)을 이용하여 획득한 도메인 후보인 '음악'을 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 도메인 이력 정보인 '음악' 간의 동일성을 판단하고, 동일하다고 판단되면 적어도 하나의 인텐트 후보인 '음악 플레이' 및 '컨텐트 스트리밍'과 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 인텐트 이력 정보인 '음악 플레이' 간의 동일성을 판단할 수 있다. 인텐트 간의 동일성 판단이 수행된 이후, 프로세서(1200)는 자연어 이해 모델(1320)로부터 출력된 적어도 하나의 슬롯 후보인 ‘멜론 애플리케이션’, ‘과일 멜론’ 또는 '애플리케이션'과 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 슬롯 이력 정보인 '멜론 애플리케이션' 간의 동일성을 판단할 수 있다.
자연어 이해 모델(1320)로부터 출력된 적어도 하나의 텍스트 해석 결과 후보와 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보가 동일하지 않은 경우, 프로세서(1200)는 적어도 하나의 텍스트 해석 결과 후보 및 추출된 텍스트 해석 이력 정보를 가중치 학습 모듈(1344)에 제공할 수 있다.
가중치 학습 모듈(1344)은 제2 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 이용하여, 제1 연속성 학습 모델(1330)으로부터 획득된 텍스트에 대응되는 텍스트 해석 결과 정보를 결정하는 가중치를 학습(training)하도록 구성되는 모듈이다. 일 실시예에서, 가중치 학습 모듈(1344)은 텍스트를 입력받고, 텍스트 해석 결과 정보를 출력하는, 복수의 신경망 레이어들을 포함하는 심층 신경망 모델로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 가중치 학습 모듈(1344)은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다.
일 실시예에서, 프로세서(1200)는 가중치 학습 모듈(1344)과 관련된 명령어 또는 프로그램 코드를 이용하여, 이력 정보 추출 모듈(1342)에 의해 추출된 텍스트 해석 이력 정보를 텍스트에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다. 프로세서(1200)는 추출된 텍스트 해석 이력 정보를 이용하여 자연어 이해 모델(1320)로부터 출력되는 텍스트 해석 결과 정보를 결정함으로써, 자연어 이해 모델(1320)을 업데이트(update)할 수 있다. 예를 들어, 프로세서(1200)는 "Play music with Melon application"이라는 텍스트에 관한 정답값을 '음악' 도메인, '음악 플레이'라는 인텐트, 및 '멜론 애플리케이션'이라는 슬롯으로 결정하고, 결정된 정답값에 가중치를 높게 부여하는 학습을 통해 자연어 이해 모델(1320)의 출력 정보, 즉 텍스트 해석 결과 정보를 사용 이력에 기초하여 업데이트할 수 있다.
프로세서(1200)는, 결정된 텍스트 해석 결과 정보를 출력부(1500)에 제공할 수 있다.
통신 인터페이스(1400)는 다양한 통신 회로를 포함하고, 서버 또는 타 디바이스와 데이터 통신을 수행할 수 있다. 통신 인터페이스(1400)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 타 디바이스와 데이터를 송수신할 수 있다.
통신 인터페이스(1400)는 프로세서(1200)의 제어에 의해, 서버로부터 ASR 모델 및 자연어 이해 모델(1320) 중 적어도 하나의 음성 인식 모델을 업데이트하는 데이터를 다운로드할 수 있다. 일 실시예에서, 통신 인터페이스(1400)는 프로세서(1200)의 제어에 의해, 제1 연속성 학습 모델(1330)을 통한 ASR 모델(1310)의 업데이트 정보를 서버에 전송할 수 있다. 일 실시예에서, 통신 인터페이스(1400)는 프로세서(1200)의 제어에 의해, 제2 연속성 학습 모델(1340)을 통한 자연어 이해 모델(1320)의 업데이트 정보를 서버에 전송할 수 있다.
출력부(1500)는 다양한 출력 회로를 포함하고, 음성 입력에 대응되는 텍스트 또는 텍스트 해석 결과 정보를 출력할 수 있다. 출력부(1500)는 음성 인식이 수행된 결과, 예를 들어 텍스트를 사용자에게 알리거나, 또는 외부 디바이스(예를 들어, 스마트 폰, 가전 제품, 웨어러블 디바이스, 서버 등)에게 전송할 수 있다. 출력부(1500)는 디스플레이부(1510) 및 스피커(1520)를 포함할 수 있다.
디스플레이부(1510)는 음성 입력으로부터 변환된 텍스트를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(1510)는 프로세서(1200)로부터 수신된 텍스트 해석 결과 정보와 관련된 사용자 인터페이스(User Interface)를 디스플레이할 수 있다. 디스플레이부(1510)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나로 구성될 수 있다.
스피커(1520)는 음성 입력으로부터 변환된 텍스트에 대응되는 오디오 신호를 출력할 수 있다. 일 실시예에서, 스피커(1520)는 텍스트 해석 결과 정보에 응답하여 수행되는 동작 또는 기능과 관련되는 오디오 신호를 출력할 수 있다.
도 5는 본 개시의 다양한 실시예에 따른 디바이스(1000)의 동작 방법의 예시를 도시한 흐름도이다.
동작 S510에서, 디바이스(1000)는 사용자로부터 음성 입력을 수신한다. 일 실시예에서, 디바이스(1000)는 마이크로폰과 같은 음성 입력부(1100, 도 4 참조)를 이용하여, 사용자로부터 음성 입력(예를 들어, 사용자의 발화)을 수신하고, 수신된 음성 입력으로부터 음성 신호를 획득할 수 있다. 음성 신호는 웨이브 파일(wave file) 형태일 수 있으나, 이에 한정되지 않는다. 일 실시예에서, 디바이스(1000)는 웨이브 파일을 이진 형태로 인코딩함으로써, 바이너리 데이터 파일로 변환할 수 있다.
동작 S520에서, 디바이스(1000)는 ASR 모델을 이용하여 음성 입력을 인식함으로써, 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득한다. 일 실시예에서, 디바이스(1000)는 ASR 모델을 이용하여 음성 신호를 프레임(frame) 단위로 동기화된 복수의 문자열을 포함하는 텍스트로 변환할 수 있다. 여기서, '프레임'은 예를 들어, 음성 신호의 처리를 위하여 음성 신호가 일정한 시간 간격으로 분할되는 단위, 또는 분할된 음성 신호 그 자체를 나타낼 수 있다. '프레임 동기화된 문자열'이란 예를 들어, 음성 신호가 ASR 모델에 의해 문자열로 변환되어 출력됨에 있어서, 음성 신호의 프레임들 각각에 개별적으로 대응하는 문자들을 포함하는 문자열을 나타낼 수 있다.
디바이스(1000)는 음성 신호가 프레임 동기화된 복수의 문자열로 예측될 수 있는 확률 값을 나타내는 신뢰도(confidence score)에 기초하여, 복수의 문자열을 포함하는 적어도 하나의 텍스트 후보를 출력할 수 있다. '문자열의 신뢰도'는 소정 문자열을 출력한 ASR 모델이 음성 신호를 얼마나 정확하게 인식하였는지의 정도를 나타낸다. 예를 들어, 문자열의 신뢰도는 소정 문자열로부터 획득되는 가능도(likelihood), 소정 문자열을 추정하는 과정에서 출력되는 부분 가능도 또는 사후 확률 값 등에 기초하여 기설정된 수학식에 따라 산출될 수 있다. 일 실시예에서, 디바이스(1000)가 ASR 모델을 이용하여 음성 신호를 인식함으로써 출력된 적어도 하나의 텍스트 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다.
동작 S530에서, 디바이스(1000)는 수신된 음성 입력과 데이터베이스에 기 저장된 음성 인식 결과 이력 정보를 비교함으로써, 데이터베이스로부터 음성 입력에 대응되는 텍스트 이력 정보를 추출(extract)한다. 일 실시예에서, 디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1350, 도 4 참조)를 포함할 수 있다. 음성 인식 결과 이력 데이터베이스(1350)에는, 사용자로부터 음성 입력이 수신되는 시점, 예를 들어 동작 S510이 수행되기 이전에 기 획득된 음성 신호 및 음성 신호를 변환하여 획득한 텍스트의 이력 정보가 저장될 수 있다. 일 실시예에서, 음성 인식 결과 이력 데이터베이스(1350)에는 과거의 시점에 수신된 복수의 음성 신호 및 ASR 모델을 이용한 학습을 통해 복수의 음성 신호 각각을 변환함으로써 출력된 복수의 텍스트 이력 정보가 저장되어 있을 수 있다. 일 실시예에서, 복수의 음성 신호는 대응되는 복수의 텍스트 이력 정보와 페어링(pairing)되어 음성 인식 결과 이력 데이터베이스(1350)에 저장될 수 있다.
디바이스(1000)는 동작 S510에서 수신된 음성 입력과 음성 인식 결과 이력 데이터베이스(1350) 내에 기 저장된 복수의 음성 신호 간의 유사도(similarity)를 각각 산출할 수 있다. 일 실시예에서, 디바이스(1000)는 코사인 유사도(cosine similarity) 측정 방법을 이용하여 사용자로부터 수신된 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 디바이스(1000)는 공지된 유사도 측정 알고리즘 또는 방법을 이용하여 사용자로부터 수신된 음성 신호와 음성 인식 결과 이력 데이터베이스(1350)에 기 저장된 복수의 음성 신호 간의 유사도를 측정할 수 있다.
디바이스(1000)는 복수의 음성 신호 중 산출된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별(identify)할 수 있다. 디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1350)에 저장된 복수의 텍스트 이력 정보 중, 식별된 음성 신호와 페어링되어 저장된 텍스트 이력 정보를 추출할 수 있다.
동작 S540에서, 디바이스(1000)는 추출된 텍스트 이력 정보를 이용하여 적어도 하나의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행한다. 일 실시예에서, 디바이스(1000)는 복수의 신경망 레이어들을 포함하는 심층 신경망 모델을 이용하는 학습을 수행할 수 있다. 디바이스(1000)는 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함하는 심층 신경망 모델을 이용하여 학습을 수행할 수 있다.
심층 신경망 모델에서, 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 일 실시예에서, 디바이스(1000)는 동작 S530에서 추출된 텍스트 이력 정보를 사용자로부터 수신된 음성 입력에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다.
동작 S550에서, 디바이스(1000)는 학습을 통해 ASR 모델을 업데이트(update)한다. 일 실시예에서, 디바이스(1000)는 추출된 텍스트 이력 정보에 가중치를 높게 부여하는 학습을 수행하고, 학습 결과 추출된 텍스트 이력 정보를 사용자로부터 수신된 음성 입력에 관한 텍스트로 결정하도록 ASR 모델을 업데이트할 수 있다.
도 6은 본 개시의 다양한 실시예들에 따른 디바이스(1000)의 동작 방법의 예시를 도시한 흐름도이다. 일 실시예에서, 도 6에 도시된 동작 S610은 도 5의 동작 S550이 수행된 이후에 수행될 수 있다. 그러나, 이에 한정되는 것은 아니고, 동작 S610은 도 5에서 수행된 동작들과는 독립적으로 수행될 수 있다.
동작 S610에서, 디바이스(1000)는 업데이트된 ASR 모델을 이용하여 음성 입력을 텍스트로 변환하여 출력한다.
동작 S620에서, 디바이스(1000)는 자연어 이해 모델(Natural Language Understanding; NLU)을 이용하여 출력된 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득한다. '텍스트 해석 결과 정보'는, 자연어 이해 모델을 이용하여 텍스트를 해석함으로써 검출되는 도메인(domain), 인텐트(intent), 및 슬롯(slot)에 관한 정보를 포함할 수 있다.
일 실시예에서, 디바이스(1000)는 자연어 이해 모델을 이용하여 텍스트를 해석함으로써 텍스트로부터 예측되는 적어도 하나의 도메인 후보, 적어도 하나의 인텐트 후보, 및 적어도 하나의 슬롯 후보를 획득할 수 있다. 예를 들어, 디바이스(1000)는 텍스트를 해석함으로써 식별되는 사용자의 의도와 관련되는 카테고리 또는 영역이 특정 도메인으로 예측되는 확률값에 기초하여 적어도 하나의 도메인 후보를 획득할 수 있다. 다른 예를 들어, 디바이스(1000)는 텍스트를 해석함으로써 사용자의 발화 의도를 나타내는 정보가 특정 인텐트로 예측되는 확률값에 기초하여 적어도 하나의 인텐트 후보를 획득할 수 있다. 또한, 디바이스(1000)는 텍스트를 해석함으로써, 검출된 개체명(named entity)이 특정 슬롯으로 예측되는 확률값에 기초하여 적어도 하나의 슬롯 후보를 획득할 수 있다. 텍스트로부터 검출된 슬롯이 복수 개인 경우, 디바이스(1000)는 복수 개의 슬롯 각각에 관한 적어도 하나의 슬롯 후보를 획득할 수 있다. 여기서, '확률값'은 예를 들어, 신뢰도 값(confidence score)을 나타낼 수 있다.
일 실시예에서, 디바이스(1000)가 자연어 이해 모델을 이용하여 텍스트를 해석함으로써 획득한 적어도 하나의 텍스트 해석 결과 후보는 소정의 임계치를 초과하는 신뢰도를 갖는 N-Best 후보일 수 있다.
동작 S630에서, 디바이스(1000)는 획득된 적어도 하나의 텍스트 해석 결과를 데이터베이스에 기 저장된 복수의 텍스트 해석 결과 이력 정보와 비교함으로써, 텍스트에 대응되는 텍스트 해석 이력 정보를 추출(extract)한다. 일 실시예에서, 디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1360, 도 4 참조)를 포함할 수 있다. 음성 인식 결과 이력 데이터베이스(1360)에는, 사용자로부터 음성 입력이 수신되는 시점 이전, 즉 과거 시점에 기 획득된 텍스트 및 기 획득된 텍스트를 해석함으로써 검출된 텍스트 해석 이력 정보를 저장할 수 있다. '텍스트 해석 이력 정보'는, 텍스트를 해석함으로써 검출된 도메인, 인텐트 및 슬롯에 관한 이력 정보를 포함할 수 있다. 일 실시예에서, 음성 인식 결과 이력 데이터베이스(1360)에는 예를 들어 과거의 시점에 획득된 복수의 텍스트 및 자연어 이해 모델을 이용하여 복수의 텍스트 각각을 해석함으로써 검출된 복수의 텍스트 해석 이력 정보가 저장될 수 있다. 일 실시예에서, 복수의 텍스트는 관련되는 복수의 텍스트 해석 이력 정보와 페어링(pairing)되어 음성 인식 결과 이력 데이터베이스(1360)에 저장될 수 있다.
디바이스(1000)는 동작 S610에서 출력된 텍스트와 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도(similarity)를 각각 산출할 수 있다. 일 실시예에서, 디바이스(1000)는 코사인 유사도(cosine similarity) 측정 방법을 이용하여 동작 S610에서 출력된 텍스트와 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도를 측정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 디바이스(1000)는 예를 들어, 자카드 유사도(Jaccard similarity), 유클리디언 유사도(Euclidean similarity), 또는 맨하탄 유사도(Manhattan similarity) 측정 방식 또는 알고리즘을 이용하여, 출력된 텍스트와 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 간의 유사도를 측정할 수 있다.
디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1360)에 기 저장된 복수의 텍스트 중 측정된 유사도가 소정의 임계치를 초과하는 텍스트를 식별할 수 있다. 디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1360)로부터, 식별된 텍스트와 쌍(pair)을 형성하는 텍스트 해석 이력 정보를 추출할 수 있다.
동작 S640에서, 디바이스(1000)는 추출된 텍스트 해석 이력 정보를 이용하여, 자연어 이해 모델을 통해 텍스트로부터 텍스트 해석 결과 정보를 획득하기 위한 가중치(weight)를 학습(training)한다. 일 실시예에서, 디바이스(1000)는 심층 신경망 모델을 이용하여, 동작 S610에서 출력된 텍스트에 대응되는 텍스트 해석 결과 정보를 결정하는 가중치를 학습할 수 있다. 일 실시예에서, 심층 신경망 모델은 텍스트를 입력받고, 텍스트 해석 결과 정보를 출력하는, 복수의 신경망 레이어들을 포함할 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 재귀적 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나로 구성될 수 있으나, 전술한 예시로 한정되는 것은 아니다.
일 실시예에서, 디바이스(1000)는 심층 신경망 모델을 이용하여, 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 입력되는 텍스트에 관한 정답값(ground truth)으로 결정하여 가중치를 높게 부가하는 학습을 수행할 수 있다.
동작 S650에서, 디바이스(1000)는 학습을 통해, 자연어 이해 모델을 업데이트(update)한다. 일 실시예에서, 디바이스(1000)는 음성 인식 결과 이력 데이터베이스(1360)로부터 추출된 텍스트 해석 이력 정보를 이용하여, 자연어 이해 모델을 통해 출력되는 텍스트 해석 결과 정보를 결정함으로써, 자연어 이해 모델의 출력을 업데이트할 수 있다.
도 7은 본 개시의 다양한 실시예들에 따른 디바이스(1000) 및 서버(2000)의 동작 방법의 예시를 도시한 신호 흐름도이다.
도 7을 참조하면, 디바이스(1000)는 음성 인식 모델(1300a) 및 연속성 학습 모델(1300b)를 포함할 수 있다. 음성 인식 모델(1300a)은 ASR 모델(1310) 및 자연어 이해 모델(1320)을 포함할 수 있다. ASR 모델(1310) 및 자연어 이해 모델(1320)은 도 4에 도시된 ASR 모델(1310) 및 자연어 이해 모델(1320)과 동일하므로, 중복되는 설명은 생략한다. 연속성 학습 모델(1300b)은 제1 연속성 학습 모델(1330) 및 제2 연속성 학습 모델(1340)을 포함할 수 있다. 제1 연속성 학습 모델(1330) 및 제2 연속성 학습 모델(1340)은 도 4에 도시된 제1 연속성 학습 모델(1330) 및 제2 연속성 학습 모델(1340)과 동일한 바, 중복되는 설명은 반복되지 않을 수 있다.
서버(2000)는 디바이스(1000)와 유선 또는 무선 통신 방법을 이용하여 데이터를 송수신할 수 있다. 서버(2000)는 음성 인식 모델(2300a)을 포함할 수 있다. 음성 인식 모델(2300a)은 ASR 모델(2310) 및 자연어 이해 모델(2320)을 포함할 수 있다. ASR 모델(2310)은 음성 신호를 텍스트로 변환하도록 학습된 모델이고, 자연어 이해 모델(2320)은 텍스트를 해석함으로서, 텍스트와 관련된 도메인(domain), 인텐트(intent), 및 슬롯(slot)에 관한 정보를 획득하도록 학습된 모델이다.
서버(2000)에 포함된 음성 인식 모델(2300a)은 디바이스(1000)에 포함되는 음성 인식 모델(1300a)과는 달리, 최신 버전(version)으로 업데이트된 상태일 수 있다. ASR 모델(2310)의 최신 버전은, 예를 들어, 가장 최신의 개체명(named entity)에 관한 정보를 포함함으로써, 사용자로부터 입력된 최신 개체명을 텍스트로 변환할 수 있는 버전일 수 있다. 자연어 이해 모델(2320)의 최신 버전은, 예를 들어, 기존에 없었던 신규 음성 명령에 관한 도메인 정보 또는 인텐트 정보를 검출하거나, 또는 신규 음성 명령에 포함되는 신규 개체명을 슬롯 정보로서 검출할 수 있는 버전일 수 있다.
동작 S710에서, 디바이스(1000)는 사용자 계정 정보 및 디바이스 식별 정보(예를 들어, 디바이스 id)를 서버(2000)에 전송한다. 일 실시예에서, 디바이스(1000)는 사용자 계정 정보 및 디바이스 식별 정보 외에, 음성 인식 모델(1300a)의 버전 정보 및 최신 업데이트 정보 중 적어도 하나를 서버(2000)에 전송할 수 있다. 또한, 디바이스(1000)는, 디바이스(1000)의 IP 주소(IP address), 또는 MAC 주소(MAC address)에 관한 정보를 서버(2000)에 전송할 수 있다.
동작 S720에서, 서버(2000)는 사용자 계정 정보 및 디바이스 식별 정보에 기초하여 디바이스(1000)의 음성 인식 모델(1300a)의 업데이트 여부를 확인한다. 일 실시예에서, 서버(2000)는 디바이스(1000)의 음성 인식 모델(1300a)의 버전 정보를 수신하고, 수신된 음성 인식 모델(1300a)의 버전 정보를 서버(2000)의 음성 인식 모델(2300a)의 버전 정보와 비교함으로써, 디바이스(1000)의 음성 인식 모델(1300a)의 업데이트 필요 여부를 확인할 수 있다.
동작 S730에서, 서버(2000)는 음성 인식 모델(1300a)에 관한 최신 버전의 업데이트 데이터를 디바이스(1000)에 전송한다. 서버(2000)는 디바이스 식별 정보에 기초하여 디바이스(1000)의 타입, 모델 명, 또는 기능 등을 식별하고, 식별된 디바이스(1000)와 관련된 음성 인식 모델(1300a)의 업데이트 데이터 파일을 디바이스(1000)에 전송할 수 있다.
동작 S740에서, 디바이스(1000)는 음성 인식 모델(1300a)을 최신 버전으로 업데이트한다. 일 실시예에서, 디바이스(1000)는 서버(2000)로부터 수신된 업데이트 데이터를 이용하여 음성 인식 모델(1300a)에 포함되는 ASR 모델(1310) 및 자연어 이해 모델(1320)을 최신 버전으로 업데이트할 수 있다. 예를 들어, 디바이스(1000)는 서버(2000)로부터 수신한 최신 버전의 ASR 모델(1310)에 관한 데이터를 이용하여 기존 저장되어 있던 ASR 모델(1310)을 덮어쓰기(overwrite) 방식으로 업데이트할 수 있다. 동작 S740을 통해, 디바이스(1000)의 음성 인식 모델(1300a)과 서버(2000)의 음성 인식 모델(2300a)은 동기화(synchronization)될 수 있다.
디바이스(1000)는 음성 인식 모델(1300a)의 업데이트를 통해 추가, 수정, 또는 삭제된 최신 개체명, 신규 명령어 또는 신규 기능에 관한 음성 입력을 텍스트로 변환하고, 텍스트를 해석함으로써, 도메인, 인텐트, 및 슬롯을 포함하는 정보를 검출할 수 있다.
동작 S750에서, 디바이스(1000)는 연속성 학습 모델(1300b)을 이용하여 음성 인식 결과 가중치를 학습한다. 디바이스(1000)의 음성 인식 모델(1300a)이 업데이트되는 경우, 사용자의 음성 입력에 대한 음성 인식, 즉 음성 입력을 텍스트로 변환하고, 변환된 텍스트로부터 도메인, 인텐트, 및 슬롯을 검출하는 동작이 기존과는 달라질 수 있다. 이 경우, 사용자는 기존과 동일한 목소리, 어조, 말투, 발음, 사투리 등을 그대로 사용하여 발화를 하더라도, 업데이트된 음성 인식 모델(1300a)이 기존과 동일하게 인식 결과를 출력할 수 없다. 디바이스(1000)는 연속성 학습 모델(1300b)에 포함된 음성 인식 결과 이력 데이터베이스(1350, 1360, 도 4 참조)에 기 저장된 음성 인식 이력 정보에 가중치를 상대적으로 높게 부여함으로써, 음성 인식 모델(1300a)의 출력을 업데이트하는 학습(training)을 수행할 수 있다. 동작 S750은 도 5 및 도 6에 도시되고, 설명된 동작 방법과 동일하므로, 중복되는 설명은 생략한다.
동작 S760에서, 디바이스(1000)는 학습 결과에 기초하여, 음성 인식 모델(1300a)을 업데이트한다.
도 7에 도시된 실시예에서, 디바이스(1000)는 서버(2000)에 의해 음성 인식 모델(1300a)이 최신 버전으로 업데이트되더라도, 연속성 학습 모델(1300b)을 이용하여 사용자의 발화, 예를 들어 음성 입력에 관한 동일한 음성 인식 결과를 출력할 수 있는바, 연속성(continuity)을 유지하는 사용자 경험을 제공할 수 있다. 특히, 음성 인식 모델(1300a)이 업데이트되더라도, 사용자의 기존 발음, 억양, 어조, 말투, 또는 사투리 등을 인식할 수 있는바, 사용자의 의도에 따른 음성 인식의 정확도를 향상시킬 수 있다.
도 8은 본 개시의 다양한 실시예들에 따른 디바이스(1000) 및 서버(2000)의 동작 방법의 예시를 도시한 신호 흐름도이다.
도 8을 참조하면, 디바이스(1000)는 음성 인식 모델(1300a) 및 연속성 학습 모델(1300b)를 포함할 수 있다. 도 8에 도시된 디바이스(1000)는 도 7에 도시된 디바이스(1000)와 동일한 바, 구성 요소에 관한 중복되는 설명은 반복되지 않을 수 있다.
서버(2000)는 음성 인식 모델(2300a) 및 연속성 학습 모델(2300b)을 포함할 수 있다. 음성 인식 모델(2300a)은 ASR 모델(2310) 및 자연어 이해 모델(2320)을 포함할 수 있다. 음성 인식 모델(2300a)은 도 7에 도시된 음성 인식 모델(2300a, 도 7 참조)와 동일하거나 유사한 바, 중복되는 설명은 반복되지 않을 수 있다.
도 7에 도시된 서버(2000)와는 달리, 도 8의 실시예에서 서버(2000)는 연속성 학습 모델(2300b)을 포함할 수 있다. 연속성 학습 모델(2300b)은 제1 연속성 학습 모델(2330) 및 제2 연속성 학습 모델(2340)을 포함할 수 있다.
제1 연속성 학습 모델(2330)은 과거의 시점에 획득된 음성 신호와 음성 신호로부터 검출되었던 텍스트 이력 정보를 이용하여, ASR 모델(2310)의 출력 텍스트를 결정하도록 학습된 모델이다. 일 실시예에서, 제1 연속성 학습 모델(2330)은 디바이스(1000)를 통해 사용자로부터 수신된 음성 신호 및 ASR 모델(2310)을 통해 변환된 적어도 하나의 텍스트 후보를 데이터베이스에 기 저장된 음성 인식 결과 이력 정보와 비교함으로써, 음성 신호에 대응되는 텍스트를 결정할 수 있다.
제2 연속성 학습 모델(2340)은 과거의 시점에 텍스트와 텍스트 해석 이력 정보를 이용하여, 자연어 이해 모델(2320)로부터 출력되는 텍스트 해석 결과 정보를 획득하도록 학습된 모델이다. 일 실시예에서, 제2 연속성 학습 모델(2340)은 자연어 이해 모델(2320)이 텍스트를 해석함으로써 출력한 적어도 하나의 텍스트 해석 결과 후보를 데이터베이스에 기 저장된 텍스트 해석 결과 이력 정보와 각각 비교함으로써, 텍스트에 대응하는 텍스트 해석 결과 정보를 결정할 수 있다.
동작 S810에서, 디바이스(1000)는 사용자 계정 정보 및 디바이스 식별 정보(예를 들어, 디바이스 id)를 서버(2000)에 전송한다.
동작 S820에서, 디바이스(1000)는 사용자 계정 정보 및 디바이스 식별 정보에 기초하여, 디바이스(1000)의 음성 인식 모델(1300a)에 관한 업데이트 여부를 확인한다.
동작 S830에서, 서버(2000)는 음성 인식 모델(1300a)에 관한 최신 버전의 업데이트 데이터를 디바이스(1000)에 전송한다.
동작 S840에서, 디바이스(1000)는 음성 인식 모델(1300a)을 최신 버전으로 업데이트한다.
동작 S850에서, 디바이스(1000)는 연속성 학습 모델을 이용하여 음성 인식 결과 가중치를 학습한다.
동작 S810 내지 동작 S850은 도 7에 도시된 동작 S710 내지 동작 S750과 각각 동일하거나 유사한바, 중복되는 설명은 반복되지 않을 수 있다.
동작 S860에서, 디바이스(1000)는 연속성 학습 모델(1300b)을 통한 가중치 학습 결과 정보를 서버(2000)에 전송한다. 일 실시예에서, 디바이스(1000)는 학습 결과에 기초하여, 연속성 학습 모델(1300b)을 업데이트할 수 있다. 디바이스(1000)는 연속성 학습 모델(1300b)의 가중치 학습 결과 및 연속성 학습 모델(1300b)의 업데이트 정보를 서버(2000)에 전송할 수 있다. 일 실시예에서, 디바이스(1000)는 사용자 계정 정보 및 디바이스 식별 정보(예를 들어, 디바이스 id)를 업데이트된 연속성 학습 모델(1300b)의 데이터 파일과 함께 서버(2000)에 전송할 수 있다.
동작 S870에서, 서버(2000)는 수신된 가중치 학습 결과 정보를 이용하여, 연속성 학습 모델(2300b)을 디바이스(1000)의 연속성 학습 모델(1300b)과 동기화(synchronization)한다.
디바이스(1000)는 음성 인식 모델(1300a) 및 연속성 학습 모델(1300b)을 포함하는바, 음성 인식 모델(1300a)이 서버(2000)에 의해 업데이트되더라도, 연속성 학습 모델(1300b)을 통한 학습(training)을 통해 사용자의 기존 발음, 억양, 어조, 말투, 또는 사투리 등을 인식할 수 있다. 그러나, 연속성 학습 모델(1300b)이 온 디바이스(On device) 형태로, 디바이스(1000) 내부의 메모리(1300, 도 4 참조)에 저장되어 있기 때문에, 사용자가 디바이스(1000)를 분실하거나, 또는 신규 디바이스를 구입함으로써, 기존 디바이스(1000)를 처분하는 경우, 연속성(continuity)가 유지되지 않는 문제점이 발생될 수 있다. 특히, 신규 디바이스를 구입하는 경우에는, 사용자의 발음, 억양, 어조, 말투, 또는 사투리 등을 인식하지 못하여, 음성 인식 기능의 효율성 및 정확성이 저하되는 문제점이 있다.
도 8에 도시된 실시예에서, 디바이스(1000)는 연속성 학습 모델(1300b)을 통한 학습(training)의 결과 업데이트된 정보를 서버(2000)에 전송함으로써, 사용자가 디바이스를 분실하거나, 또는 새로 구입하더라도 연속성을 그대로 유지하고, 음성 인식 결과의 정확도를 향상시킬 수 있다. 따라서, 본 개시의 실시예는 어떤 디바이스를 사용하는지와 무관하게 사용자에 특화된 음성 인식 모델(1300a)을 제공할 수 있다.
본 개시를 통해 설명된 디바이스(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 비일시적인 저장 매체(non-transitory computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않을 수 있다.
또한, 본 개시의 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어TM, 앱 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제3의 디바이스(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3의 디바이스의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제3 디바이스로 전송되거나, 제3 디바이스로부터 디바이스로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제3 디바이스 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제3 디바이스 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 디바이스가 컴퓨터 프로그램 제품을 실행하여, 제3 디바이스와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 디바이스가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 디바이스는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 디바이스는 프리로드(pre-loaded)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 다양한 실시예들을 참조하여 도시되고 설명되었으나, 다양한 실시예들은 한정이 아니고, 예시로 의도된 것으로 이해될 것이다. 이는 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능한 것으로 이해될 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 첨부된 청구항 및 그 균등물을 포함하여 본 개시의 진정한 사상(true spirit) 및 전체 범위를 벗어나지 않고, 형태 및 세부 사항의 다양한 변경이 이루어질 수 있음을 이해될 것이다.

Claims (15)

  1. 디바이스가 음성 입력을 인식하는 방법에 있어서,
    사용자로부터 음성 입력을 수신하는 동작;
    ASR 모델을 이용하여 상기 음성 입력을 인식함으로써, 상기 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하는 동작;
    상기 음성 입력이 수신되는 시점 이전에 인식되어 데이터베이스에 기 저장된 음성 인식 결과 이력 정보와 상기 음성 입력을 비교함으로써, 상기 데이터베이스로부터 상기 음성 입력에 대응되는 텍스트 이력 정보를 추출(extract)하는 동작; 및
    상기 추출된 텍스트 이력 정보를 이용하여 상기 적어도 하나의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행하는 동작;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 데이터베이스에는, 기 획득된 복수의 음성 신호 및 상기 복수의 음성 신호를 상기 ASR 모델을 이용하여 변환함으로써 획득된 복수의 텍스트 이력 정보를 포함하는 상기 음성 인식 결과 이력 정보가 저장되고,
    상기 복수의 음성 신호는, 대응되는 상기 복수의 텍스트 이력 정보와 페어링(pairing)되어 상기 데이터베이스에 저장되는, 방법.
  3. 제2 항에 있어서,
    상기 음성 입력에 대응되는 텍스트 이력 정보를 추출하는 동작은,
    상기 음성 입력과 상기 복수의 음성 신호 간의 유사도(similarity)를 각각 산출하는 동작;
    상기 복수의 음성 신호 중 상기 산출된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별(identify)하는 동작; 및
    상기 복수의 텍스트 이력 정보 중 상기 식별된 음성 신호와 페어링된 텍스트 이력 정보를 추출하는 동작;
    를 포함하는, 방법.
  4. 제1 항에 있어서,
    상기 학습을 통해, 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정하는 동작;
    를 더 포함하는, 방법.
  5. 제4 항에 있어서,
    자연어 이해 모델(Natural Language Understanding; NLU)을 이용하여 상기 출력된 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득하는 동작;
    상기 획득된 적어도 하나의 텍스트 해석 결과 후보를 상기 데이터베이스에 기 저장된 복수의 텍스트 해석 결과 이력 정보와 비교함으로써, 상기 복수의 텍스트 해석 결과 이력 정보 중 상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하는 동작;
    상기 추출된 텍스트 해석 이력 정보를 이용하여, 상기 자연어 이해 모델을 통해 상기 텍스트로부터 텍스트 해석 결과 정보를 획득하기 위한 가중치를 학습하는 동작; 및
    상기 학습을 통해, 상기 자연어 이해 모델을 업데이트하는 동작;
    를 더 포함하는, 방법.
  6. 제5 항에 있어서,
    상기 데이터베이스에는, 기 획득된 복수의 텍스트 및 상기 자연어 이해 모델을 이용하여 상기 복수의 텍스트를 해석함으로써 획득된 복수의 텍스트 해석 이력 정보가 저장되고,
    상기 복수의 텍스트는, 대응되는 상기 복수의 텍스트 해석 이력 정보와 페어링되어 상기 데이터베이스에 저장되는, 방법.
  7. 제6 항에 있어서,
    상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하는 동작은,
    상기 텍스트와 상기 데이터베이스에 기 저장된 상기 복수의 텍스트 간의 유사도(similarity)를 각각 산출하는 동작;
    상기 복수의 텍스트 중 상기 산출된 유사도가 소정의 임계치를 초과하는 텍스트를 식별하는 동작; 및
    상기 복수의 텍스트 해석 이력 정보 중 상기 식별된 텍스트와 페어링된 텍스트 해석 이력 정보를 추출하는 동작;
    를 포함하는, 방법.
  8. 음성 입력을 인식하는 디바이스에 있어서,
    사용자로부터 음성 입력을 수신하는 음성 입력부;
    상기 음성 입력이 수신되는 시점 이전에 수신된 복수의 음성 신호 및 상기 복수의 음성 신호에 대응되는 복수의 텍스트 이력 정보 정보를 포함하는 음성 인식 결과 이력 정보를 저장하는 데이터베이스;
    하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 음성 입력부로부터 상기 음성 입력을 수신하고,
    ASR 모델을 이용하여 상기 음성 입력을 인식함으로써, 상기 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하고,
    상기 데이터베이스에 기 저장된 상기 복수의 음성 신호와 상기 음성 입력을 비교함으로써, 상기 데이터베이스로부터 상기 음성 입력에 대응되는 텍스트 이력 정보 정보를 추출(extract)하고,
    상기 추출된 텍스트 이력 정보 정보를 이용하여 상기 복수의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행하는, 디바이스.
  9. 제8 항에 있어서,
    상기 데이터베이스에는, 기 획득된 복수의 음성 신호 및 상기 복수의 음성 신호를 상기 ASR 모델을 이용하여 변환함으로써 획득된 복수의 텍스트 이력 정보를 포함하는 상기 음성 인식 결과 이력 정보가 저장되고,
    상기 복수의 음성 신호는, 대응되는 상기 복수의 텍스트 이력 정보와 페어링(pairing)되어 상기 데이터베이스에 저장되는, 디바이스.
  10. 제9 항에 있어서,
    상기 프로세서는,
    상기 음성 입력과 상기 데이터베이스에 기 저장된 상기 복수의 음성 신호 간의 유사도(similarity)를 각각 산출하고,
    상기 복수의 음성 신호 중 상기 산출된 유사도가 소정의 임계치를 초과하는 음성 신호를 식별(identify)하고,
    상기 복수의 텍스트 이력 정보 중 상기 식별된 음성 신호와 페어링된 텍스트 이력 정보를 추출하는, 디바이스.
  11. 제8 항에 있어서,
    상기 프로세서는, 상기 학습을 통해 상기 음성 입력을 변환함으로써 출력되는 텍스트를 결정하는, 디바이스.
  12. 제11 항에 있어서,
    상기 프로세서는,
    자연어 이해 모델(Natural Language Understanding; NLU)을 이용하여 상기 출력된 텍스트를 해석함으로써, 적어도 하나의 텍스트 해석 결과 후보를 획득하고,
    상기 획득된 적어도 하나의 텍스트 해석 결과 후보를 상기 데이터베이스에 기 저장된 복수의 텍스트 해석 결과 이력 정보와 비교함으로써, 상기 복수의 텍스트 해석 결과 이력 정보 중 상기 텍스트에 대응되는 텍스트 해석 이력 정보를 추출하고,
    상기 추출된 텍스트 해석 이력 정보를 이용하여, 상기 자연어 이해 모델을 통해 상기 텍스트로부터 텍스트 해석 결과 정보를 획득하기 위한 가중치를 학습하고,
    상기 학습을 통해, 상기 자연어 이해 모델을 업데이트하는, 디바이스.
  13. 제12 항에 있어서,
    상기 데이터베이스에는, 기 획득된 복수의 텍스트 및 상기 자연어 이해 모델을 이용하여 상기 복수의 텍스트를 해석함으로써 획득된 복수의 텍스트 해석 이력 정보가 저장되고,
    상기 복수의 텍스트는, 대응되는 상기 복수의 텍스트 해석 이력 정보와 페어링되어 상기 데이터베이스에 저장되는, 디바이스.
  14. 제13 항에 있어서,
    상기 프로세서는,
    상기 텍스트와 상기 데이터베이스에 기 저장된 상기 복수의 텍스트 간의 유사도(similarity)를 각각 산출하고,
    상기 복수의 텍스트 중 상기 산출된 유사도가 소정의 임계치를 초과하는 텍스트를 식별하고,
    상기 복수의 텍스트 해석 이력 정보 중 상기 식별된 텍스트와 페어링된 텍스트 해석 이력 정보를 추출하는, 디바이스.
  15. 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    사용자로부터 음성 입력을 수신하는 동작;
    ASR 모델을 이용하여 상기 음성 입력을 인식함으로써, 상기 음성 입력이 변환될 것으로 예측되는 문자열을 포함하는 적어도 하나의 텍스트 후보(text candidates)를 획득하는 동작;
    상기 음성 입력이 수신되는 시점 이전에 인식되어 데이터베이스에 기 저장된 음성 인식 결과 이력 정보와 상기 음성 입력을 비교함으로써, 상기 데이터베이스로부터 상기 음성 입력에 대응되는 텍스트 이력 정보를 추출(extract)하는 동작; 및
    상기 추출된 텍스트 이력 정보를 이용하여 상기 적어도 하나의 텍스트 후보 각각의 가중치(weight)를 조정(adjust)하는 학습(training)을 수행하는 동작;
    를 포함하는, 디바이스가 수행하는 명령어들(instructions)을 포함하는 컴퓨터 프로그램 제품.
PCT/KR2021/010574 2020-08-12 2021-08-10 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법 WO2022035183A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/439,247 US11984126B2 (en) 2020-08-12 2021-08-10 Device for recognizing speech input of user and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200101406A KR20220020723A (ko) 2020-08-12 2020-08-12 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법
KR10-2020-0101406 2020-08-12

Publications (1)

Publication Number Publication Date
WO2022035183A1 true WO2022035183A1 (ko) 2022-02-17

Family

ID=80247457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010574 WO2022035183A1 (ko) 2020-08-12 2021-08-10 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20220020723A (ko)
WO (1) WO2022035183A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083413A (zh) * 2022-08-17 2022-09-20 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076214A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 음성 인식을 수행하는 전자 장치와 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004251998A (ja) * 2003-02-18 2004-09-09 Yukihiro Ito 対話理解装置
JP4538954B2 (ja) * 1999-02-19 2010-09-08 ソニー株式会社 音声翻訳装置、音声翻訳方法及び音声翻訳制御プログラムを記録した記録媒体
WO2018043137A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置及び情報処理方法
JP2020016784A (ja) * 2018-07-26 2020-01-30 Ｚホールディングス株式会社 認識装置、認識方法及び認識プログラム
KR20200059703A (ko) * 2018-11-21 2020-05-29 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538954B2 (ja) * 1999-02-19 2010-09-08 ソニー株式会社 音声翻訳装置、音声翻訳方法及び音声翻訳制御プログラムを記録した記録媒体
JP2004251998A (ja) * 2003-02-18 2004-09-09 Yukihiro Ito 対話理解装置
WO2018043137A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置及び情報処理方法
JP2020016784A (ja) * 2018-07-26 2020-01-30 Ｚホールディングス株式会社 認識装置、認識方法及び認識プログラム
KR20200059703A (ko) * 2018-11-21 2020-05-29 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083413A (zh) * 2022-08-17 2022-09-20 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质
CN115083413B (zh) * 2022-08-17 2022-12-13 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质

Also Published As

Publication number Publication date
KR20220020723A (ko) 2022-02-21
US20220310096A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
WO2020213996A1 (en) Method and apparatus for interrupt detection
WO2020145439A1 (ko) 감정 정보 기반의 음성 합성 방법 및 장치
WO2020263034A1 (en) Device for recognizing speech input from user and operating method thereof
WO2020105856A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
WO2022035183A1 (ko) 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법
WO2020101263A1 (en) Electronic apparatus and method for controlling thereof
WO2020246702A1 (en) Electronic device and method for controlling the electronic device thereof
WO2020091350A1 (en) Electronic device and control method thereof
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
EP3818518A1 (en) Electronic apparatus and method for controlling thereof
WO2020230926A1 (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
WO2021029643A1 (en) System and method for modifying speech recognition result
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
WO2020226213A1 (ko) 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법
WO2020130447A1 (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2018056779A1 (en) Method of translating speech signal and electronic device employing the same
WO2021107390A1 (en) Electronic device and method for controlling the electronic device
WO2022177224A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021085661A1 (ko) 지능적 음성 인식 방법 및 장치
WO2022131566A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022092796A1 (ko) 전자 장치 및 전자 장치의 음성 인식 수행 방법
WO2022139122A1 (ko) 전자 장치 및 이의 제어 방법
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof
WO2023048359A1 (ko) 음성 인식 장치 및 그 동작 방법
WO2022250383A1 (ko) 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21856189

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21856189

Country of ref document: EP

Kind code of ref document: A1