WO2019117466A1 - 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2019117466A1
WO2019117466A1 PCT/KR2018/013416 KR2018013416W WO2019117466A1 WO 2019117466 A1 WO2019117466 A1 WO 2019117466A1 KR 2018013416 W KR2018013416 W KR 2018013416W WO 2019117466 A1 WO2019117466 A1 WO 2019117466A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
neural network
data
layer
model
Prior art date
Application number
PCT/KR2018/013416
Other languages
English (en)
French (fr)
Inventor
김준성
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/954,019 priority Critical patent/US11482212B2/en
Priority to EP18889592.4A priority patent/EP3726525A4/en
Publication of WO2019117466A1 publication Critical patent/WO2019117466A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames

Definitions

  • Various embodiments relate to methods and electronic devices for analyzing the meaning of utterances using artificial neural networks.
  • An electronic device for understanding the language of a person can obtain an intent of a user from a sentence input in the form of text data and store a parameter (e.g., a slot) necessary for expressing the intention Can be obtained.
  • the electronic device may utilize a neural network to obtain the user's intent and parameters necessary to express the intent.
  • the electronic device may include a memory implemented with an artificial neural network for understanding the language of a person.
  • the role or meaning of a word in a sentence can vary depending on how long it is focused on the sentence. That is, the role or meaning of a word in a sentence can vary depending on the length of the part considered to interpret the role or meaning of the word in the sentence.
  • information close to the current analysis position may be considered in a considerable manner, and information far away may not be considered.
  • noise or meaningless intermediate input it may be difficult to analyze the exact speaking meaning. Therefore, when analyzing the meaning of speech by using artificial neural network, it may be required to consider information far from the current position.
  • Various embodiments can provide an electronic device and method for more accurately analyzing a speech utterance in consideration of information far from the current position in utterance sentences.
  • An electronic device using an artificial neural network model including an attention mechanism includes a memory configured to store information comprising a plurality of recurrent neural networks (RNN) layers, And sets at least one first hidden representation obtained through a first layer of at least one of the plurality of Cyclic Neural Network layers as a first key and a value, Setting at least one second hidden representation obtained through a second layer of at least one of a plurality of the Cyclic Neural Network layers to a second key, and generating data for the first key, data for the second key, And at least one processor configured to acquire an attitude contained in the attitude structure based at least in part on the data for the value Can.
  • RNN recurrent neural networks
  • a non-transitory computer-readable storage medium stores information comprising a plurality of recurrent neural network (RNN) layers, Setting at least one first hidden representation obtained through a first layer of at least one of the neural network layers to a first key and a value; Setting at least one second hidden representation obtained via a second layer of at least one of the layers to a second key; and generating data for the first key, data for the second key, Based on the data at least, one or more programs may be stored for performing the operations of obtaining an attention contained in an attention mechanism.
  • RNN recurrent neural network
  • the apparatus and method according to various embodiments use a hidden representation obtained through a plurality of layers included in an artificial neural network of an encoder as a key when acquiring an attitude for analyzing the meaning of an utterance ,
  • a hidden representation obtained through at least one layer of the plurality of layers is used as a key and a value to more accurately analyze the meaning of the speech in consideration of information far from the current position can do.
  • FIG. 1 is a diagram of an integrated intelligence system in accordance with various embodiments of the present invention.
  • FIG. 2 is a block diagram illustrating an intelligent server of an integrated intelligent system according to an embodiment of the present invention.
  • FIG. 3 illustrates an example of a language model, a slot fill model, and an intent detection model in accordance with various embodiments.
  • FIG. 4A shows another example of a language model according to various embodiments.
  • 4B illustrates another example of a slot fill model according to various embodiments.
  • Figure 4c illustrates another example of an intent detection model in accordance with various embodiments.
  • FIG 5 shows an example of the operation of an electronic device according to various embodiments.
  • FIG. 6 is a block diagram of an electronic device in a network environment, in accordance with various embodiments.
  • An electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a server, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a tablet, or a server
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented in software (e.g., a program) that includes instructions stored in machine-readable storage media (e.g., internal memory or external memory) . ≪ / RTI >
  • the device may include an electronic device (e.g., intelligent server 200, etc.) in accordance with the disclosed embodiments, which is a device capable of calling stored instructions from the storage medium and operating according to the called instructions.
  • the processor When the instruction is executed by a processor, the processor may perform functions corresponding to the instruction, either directly or under the control of the processor, using other components.
  • the instructions may include code generated or executed by the compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM).
  • an application store eg PlayStore TM
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs
  • FIG. 1 is a diagram of an integrated intelligence system in accordance with various embodiments of the present invention.
  • the integrated intelligent system 10 may include a user terminal 100, an intelligent server 200, a personalization information server 300, or a proposal server 400.
  • the user terminal 100 can receive a service required by the user through an app stored in the user terminal 100 (or an application program) (e.g., an alarm app, a message app, a photo (gallery) Can be provided.
  • the user terminal 100 may execute and operate another application through an intelligent app (or a voice recognition app) stored in the user terminal 100.
  • the user terminal 100 may receive user input for executing the other app through the intelligent app and executing an operation.
  • the user input may be received via, for example, a physical button, a touchpad, a voice input, a remote input, or the like.
  • the user terminal 100 may correspond to various terminal devices (or electronic devices) such as a mobile phone, a smart phone, a personal digital assistant (PDA), or a notebook computer.
  • PDA personal digital assistant
  • the user terminal 100 may receive the user's utterance as a user input.
  • the user terminal 100 may receive a user's utterance and generate an instruction to operate the app based on the utterance of the user. Accordingly, the user terminal 100 can operate the application using the command.
  • the intelligent server 200 can receive user voice input from the user terminal 100 through a communication network and change the text data into text data.
  • the intelligent server 200 may generate (or select) a path rule based on the text data.
  • the pass rule may include information on an action (or an operation) for performing the function of the app or information on a parameter necessary for executing the action.
  • the pass rule may include a sequence of the actions of the app.
  • the user terminal 100 may receive the pass rule, select an app according to the pass rule, and execute the action included in the pass rule in the selected app.
  • path rule in this document may generally refer to a sequence of states for an electronic device to perform a task requested by a user, but is not limited thereto.
  • the pass rule may include information about a sequence of states.
  • the task may be, for example, any action an intelligent app can provide.
  • the task may include creating a schedule, sending a photo to a desired party, or providing weather information.
  • the user terminal 100 may perform the task by sequentially having at least one state (e.g., an operating state of the user terminal 100).
  • the pass rules may be provided or generated by an artificial intelligent (AI) system.
  • the artificial intelligence system may be a rule-based system, a neural network-based system such as a feedforward neural network (FNN), a recurrent neural network (RNN) ))). Or a combination of the foregoing or any other artificial intelligence system.
  • a path rule may be selected from a set of predefined path rules, or may be generated in real time in response to a user request.
  • the artificial intelligence system can select at least a path rule out of a plurality of predefined path rules, or generate a pass rule in a dynamic (or real time) manner.
  • the user terminal 100 may use a hybrid system to provide path rules.
  • the user terminal 100 may execute the operation and display a screen corresponding to the state of the user terminal 100 that performed the operation on the display.
  • the user terminal 100 may execute the operation and may not display the result of performing the operation on the display.
  • the user terminal 100 may, for example, execute a plurality of operations and display only some of the results of the operations on the display.
  • the user terminal 100 can display, for example, only the result of executing the last sequence of operations on the display.
  • the user terminal 100 may receive a user's input and display the result of performing the operation on the display.
  • the personalization information server 300 may include a database storing user information.
  • the personalization information server 300 may receive user information (e.g., context information, application execution, etc.) from the user terminal 100 and store the information in the database.
  • the intelligent server 200 can be used when receiving the user information from the personalization information server 300 through a communication network and generating a pass rule for user input.
  • the user terminal 100 can receive user information from the personalization information server 300 via a communication network and use the information as information for managing the database.
  • the proposal server 400 may include a database in which information about an introduction of a function or an application or a function to be provided is stored in the terminal.
  • the proposal server 400 may receive a user information of the user terminal 100 from the personalization information server 300 and include a database of functions that the user can use.
  • the user terminal 100 may receive information on the function to be provided from the proposal server 400 through a communication network and provide information to the user.
  • FIG. 2 is a block diagram illustrating an intelligent server of an integrated intelligent system according to an embodiment of the present invention.
  • the intelligent server 200 includes an automatic speech recognition (ASR) module 210, a natural language understanding (NLU) module 220, a path planner module 220, A dialogue manager (DM) module 240, a natural language generator (NLG) module 250 or a text to speech (TTS) module 260 can do.
  • the intelligent server 200 may include a communication circuit, a memory (e.g., memory 202) and a processor (e.g., processor 201).
  • the processor 201 executes instructions stored in the memory 202 to generate an automatic speech recognition module 210, a natural language understanding module 220, a path planner module 230, a conversation manager module 240, Module 250 and the text-to-speech module 260.
  • the intelligent server 200 can send and receive data (or information) with an external electronic device (e.g., the user terminal 100) through the communication circuit.
  • the natural language understanding module 220 or the path planner module 230 of the intelligent server 200 may generate a path rule.
  • an automatic speech recognition (ASR) module 210 may convert user input received from the user terminal 100 into text data.
  • ASR automatic speech recognition
  • the automatic speech recognition module 210 may convert user input received from the user terminal 100 into text data.
  • the automatic speech recognition module 210 may include a speech recognition module.
  • the speech recognition module may include an acoustic model and a language model.
  • the acoustic model may include information related to speech
  • the language model may include information on a combination of unit phoneme information and unit phoneme information.
  • the speech recognition module may convert user speech into text data using information on vocalization and information on unit phonemic information.
  • the information about the acoustic model and the language model may be stored in, for example, an automatic speech recognition database (ASR DB)
  • ASR DB automatic speech recognition database
  • the natural language understanding module 220 can perform a syntactic analysis or a semantic analysis to grasp a user's intention.
  • the grammatical analysis can divide the user input into grammatical units (e.g., words, phrases, morphemes, etc.) and determine what grammatical elements the divided units have.
  • the semantic analysis can be performed using semantic matching, rule matching, formula matching, or the like. Accordingly, the natural language understanding module 220 may obtain a domain (domain), an intent, or a parameter (or a slot) necessary for expressing the intention.
  • the one domain e.g., an alarm
  • the plurality of rules may include, for example, one or more mandatory element parameters.
  • the matching rule may be stored in a natural language understanding database (NLU DB)
  • the natural language understanding module 200 may be based on a statistical model as well as a rule-based model.
  • the natural language understanding module 220 may utilize statistical models to determine domains, intentions, and parameters.
  • the statistical model may refer to various types of machine learning models, for example, a neural network model.
  • different neural network models may be used to detect dominions, intents, parameters (or slots).
  • the natural language understanding module 220 grasps the meaning of words extracted from user input using linguistic features (e.g., grammatical elements) such as morphemes, phrases, and the like, And the intention of the user. For example, the natural language understanding module 220 can determine the user intention by calculating how many words extracted from user input are included in each domain and intention. According to one embodiment, the natural language understanding module 220 may determine the parameters of the user input using words that are the basis for grasping the intent. According to one embodiment, the natural language understanding module 220 can determine the intention of the user using the natural language recognition database 221 in which the linguistic characteristic for grasping the intention of the user input is stored.
  • linguistic features e.g., grammatical elements
  • the natural language understanding module 220 may determine the parameters of the user input using words that are the basis for grasping the intent.
  • the natural language understanding module 220 can determine the intention of the user using the natural language recognition database 221 in which the linguistic characteristic for grasping the intention of the user input is stored.
  • the natural language understanding module 220 can determine a user's intention using a personalized language model (PLM).
  • PLM personalized language model
  • the natural language understanding module 220 may determine a user's intention using personalized information (e.g., a contact list, a music list).
  • personalized language model may be stored in the natural language recognition database 221, for example.
  • not only the natural language understanding module 220 but also the automatic speech recognition module 210 can recognize the user's voice by referring to the personalized language model stored in the natural language recognition database 221.
  • the natural language understanding module 220 may generate a pass rule based on the intent and parameters of the user input. For example, the natural language understanding module 220 may select an app to be executed based on an intention of a user input, and determine an operation to be performed in the selected app. The box salmon understanding module 220 may determine a parameter corresponding to the determined operation to generate a pass rule. According to one embodiment, the pass rule generated by the natural language understanding module 220 includes information about an app to be executed, an action to be performed in the app (e.g., at least one or more states) .
  • the natural language understanding module 220 may generate one pass rule, or a plurality of pass rules, based on the intent and parameters of the user input. For example, the natural language understanding module 220 receives the path rule set corresponding to the user terminal 100 from the path planner module 230, maps the intention and parameters of the user input to the received path rule set, The rules can be determined.
  • the natural language understanding module 220 determines an app to be executed, an action to be performed in the app, and parameters necessary to perform the action based on the intention and parameters of the user input, You can create a rule.
  • the natural language understanding module 220 may use the information of the user terminal 100 to describe an operation to be executed in the app to be executed and an application in an ontology or a graph model You can create path rules by arranging them.
  • the generated path rule may be stored in a path rule database (PR DB) 231 via the path planner module 230, for example.
  • the generated path rule may be added to the path rule set of the database 231.
  • the natural language understanding module 220 may select at least one of the generated plurality of pass rules. For example, the natural language understanding module 220 may select an optimal path rule for the plurality of pass rules. As another example, the natural language understanding module 220 may select a plurality of pass rules if only some actions are specified based on user utterances. The natural language understanding module 220 may determine one of the plurality of pass rules by a user's further input.
  • the natural language understanding module 220 may send a pass rule to the user terminal 100 in response to a user input.
  • the natural language understanding module 220 may transmit one pass rule corresponding to user input to the user terminal 100.
  • the natural language understanding module 220 may transmit a plurality of pass rules corresponding to user input to the user terminal 100.
  • the plurality of pass rules may be generated by the natural language understanding module 220 if, for example, only some actions are specified based on user utterances.
  • the path planner module 230 may select at least one of the plurality of path rules.
  • the path planner module 230 may deliver a set of path rules that includes a plurality of pass rules to the natural language understanding module 220.
  • the plurality of path rules of the path rule set may be stored in a form of a table in the path rule database 231 connected to the path planner module 230.
  • the path planner module 230 transmits a path rule set corresponding to information (e.g., OS information, app information) of the user terminal 100 received from the intelligent agent 145 to the natural language understanding module 220 .
  • the table stored in the path rule database 231 may be stored, for example, for each domain or domain version.
  • the path planner module 230 may select one pass rule or a plurality of pass rules from a pass rule set and transmit the selected pass rules to the natural language understanding module 220. For example, the path planner module 230 selects one pass rule or a plurality of pass rules by matching a user's intention and parameters with the path rule set corresponding to the user terminal 100, .
  • the path planner module 230 may generate one pass rule or a plurality of pass rules using the user intent and parameters. For example, the path planner module 230 may generate one pass rule or a plurality of pass rules by determining an app to be executed and an action to be executed in the app based on the user's intention and parameters. According to one embodiment, the path planner module 230 may store the generated path rule in the path rule database 231.
  • the path planner module 230 may store the pass rules generated in the natural language understanding module 220 in the pass rule database 231. [ The generated path rule may be added to the path rule set stored in the path rule database 231. [
  • the table stored in the path rule database 231 may include a plurality of path rules or a plurality of path rule sets.
  • the plurality of path rules or the plurality of path rule sets may reflect the type, version, type, or characteristic of the device that executes each pass rule.
  • the conversation manager module 240 may determine whether the intention of the user identified by the natural language understanding module 220 is clear. For example, the conversation manager module 240 may determine whether the intention of the user is clear based on whether or not the information of the parameter is sufficient. The conversation manager module 240 may determine whether the parameter identified in the natural language understanding module 220 is sufficient to perform the task. According to one embodiment, the conversation manager module 240 may perform feedback requesting the user for the necessary information if the intention of the user is not clear. For example, the conversation manager module 240 may perform feedback requesting information about a parameter for grasping a user's intention.
  • the conversation manager module 240 may include a content provider module. If the content providing module can perform an operation based on the intention and parameters recognized in the natural language understanding module 220, the content providing module may generate a result of performing a task corresponding to a user input. According to one embodiment, the conversation manager module 240 may send the results generated in the content provision module to the user terminal 100 in response to user input.
  • the natural language generation module (NLG) 250 may change the specified information into a text form.
  • the information changed in the text form may be in the form of a natural language utterance.
  • the specified information may be, for example, information about additional inputs, information to guide completion of an operation corresponding to the user input, or information (e.g., feedback information on user input) that directs additional input of the user.
  • the information changed in the text form may be transmitted to the user terminal 100 and displayed on the display 120 or transmitted to the text-to-speech conversion module 260 to be changed to a voice form.
  • the text-to-speech module 260 may change textual information to speech-like information.
  • the text-to-speech conversion module 260 receives the information of the text form from the natural language generation module 250, converts the information of the text form into the information of the voice form, and transmits the information to the user terminal 100.
  • the user terminal 100 may output the voice information to a speaker.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as a single module.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as a module to determine a user's intention and parameters, You can create a response (eg, a path rule). Accordingly, the generated response can be transmitted to the user terminal 100.
  • a system for an artificial neural network model includes a device for training an artificial neural network model and a device (e.g., an intelligent server 200 or a natural language understanding module 220) And a functionally linked device).
  • a device for learning an artificial neural network model and a device in which the learned neural network model is implemented may be a processor-based device.
  • a device for learning an artificial neural network model and a device in which a learned neural network model is implemented includes a processor (e.g., the processor 201) And a memory (e.g., memory 202) coupled to the processor.
  • electronic devices and methods for understanding (or analyzing) a person's language using an artificial neural network may be provided.
  • the method according to various embodiments may be performed by intelligent server 200 or natural language understanding (NLU) 220.
  • the method may be implemented in memory 202 or natural language understanding module 220.
  • the memory 202 or the natural language understanding module 220
  • the method according to various embodiments may be performed by an apparatus for training an artificial neural network model to be embedded in the intelligent server 200 (or the natural language understanding module 220).
  • the electronic device may be implemented in a computer-readable medium such as, for example, an intelligent server 200, a device associated with the natural language understanding module 220, or an artificial neural network model to be embedded in the intelligent server 200 (or natural language understanding module 220) (For training). ≪ / RTI >
  • slot filling and intent detection are mainly based on pre-designed semantic frames, To understand the user utterance.
  • Slot filling can identify an operation to identify a sequence of tokens and to extract a semantic component from an utterance.
  • Intent detection may indicate an action that classifies the intent of the user utterance.
  • the domain classification problem which includes domain scaling and adaptation problems, in multi-task learning of intents and domains, have.
  • only the problem of joint learning of intent and slot can be considered.
  • the role or meaning of a word can vary depending on how long it is focused on the sentence. That is, the role or meaning of the word may vary depending on the length of the part considered to interpret the role or meaning of the word in the sentence. For example, in a sentence such as "send how about dinner tonight to him", the meaning of the word "tonight” may change. For example, the word 'tonight' means time for a dinner, 'how about dinner tonight', but the word 'send ⁇ to him' It can also be part of the text body.
  • the long-term memory attention structure can stack two layers of the RNN and utilize the two layers as a pair of short-term and long-term memory.
  • the first one of the two layers e.g., the bottom layer
  • the second layer e.g., the top layer
  • the first layer may be used for keys and values
  • the second layer may be used for keys.
  • an RNN may include a plurality of layers. Some layers of the plurality of layers may be used as keys and values as short-term memory. Some other layers of the plurality of layers may be used as keys as a long-term. For example, some of the layers may be located at the bottom of the RNN than some of the other layers.
  • an RNN model incorporating a long-term memory attention (LA) structure can increase effectiveness and efficiency in model training and model performance.
  • the RNN model incorporating the long-term memory attention (LA) structure as described above may be referred to as an LA-RNN model.
  • the LA-RNN model may be based on a character rather than a word.
  • the present invention is not limited thereto.
  • the LA-RNN model may be a character-based character with a weight-decay hyper-parameter to improve the stability and usability of the character-based representation.
  • -based) language model with multi-task learning A character-based language model with a weight-decay hyper-parameter, in terms of slot filling cost and intent detection cost, It can be a regularizer.
  • the new location encoding used in the LA-RNN model may be referred to as a light-house positional encoding.
  • the lighthouse location encoding may take into account the relative distance between the current position and the comparison position.
  • Light house location encoding unlike position-wise encoding and fixed-encoding, can define one learned embedding.
  • the light house location encoding is not located in the starting representation of the encoder and decoder, but can only be located inside the attentional calculation.
  • Slot filling can be one of the sequence labeling problems, and intent detection can be handled as a sorting problem with multiple output labels.
  • a slot may be a parameter required to represent an intent.
  • a flight domain may include find_flight as an intention list, find_airfare indicating an intention to search for an airplane, and find_distance indicating an intention to find a distance to flight.
  • the flight domain may also include a toloc slot, a toloc slot for a destination, a date slot for a date, and a flight_number slot for a flight number, as a slot list.
  • the slot filling task may be to find an alignment between a slot and a given user query.
  • An intent detection task may be to instantiate one or more intents from an intent list from a given user query. For example, this can be expressed by the following equation.
  • f slot may be a function corresponding to slot filling
  • f intent may be a function corresponding to intention detection.
  • T x may denote the length of the input sequence
  • n may represent the number of intents.
  • the f slot for slot filling is the input sequence , The corresponding label sequence . ≪ / RTI >
  • an apparatus for learning an LA-RNN model may learn f slot .
  • model LA-RNN is a device implemented on the LA-RNN model (e.g., the intelligent server 200, or the natural language understanding module 220), using a slot f, the input sequence A label sequence representing the slots corresponding to the input sequence Can be obtained.
  • an apparatus for learning an LA-RNN model may learn f intent .
  • a sequence of slots (e.g., May be in the form of IOB labels with three outputs corresponding to 'B' as the beginning of the slot, 'I' as a continuation of the slot, and 'O' as the absence of the slot .
  • FIG. 3 illustrates an example of a language model, a slot fill model, and an intent detection model in accordance with various embodiments.
  • the task model may refer to a slot fill model 320 and an intent detection model 330.
  • an apparatus for learning an LA-RNN model may perform multi-task learning.
  • a device e.g., a processor-based device
  • a device for learning an LA-RNN model includes a language model 310, a slot filling model 320, and an intent detection model. (Or in parallel, at one time).
  • the learned slot fill model 320 and the learned intention detection model 330 may be implemented or stored in the memory 202 (or the natural language understanding module 220) of the intelligent server 200.
  • the slot fill model 320 and the intent detection model 330 may be learned in supervised learning.
  • the slot fill model 320 and the intent detection model 330 may be learned based on a specified label.
  • the language model 310 may be learned with unsupervised learning.
  • the language model 310 can be learned in the absence of a specified label.
  • the language model 310 can be learned without any label, given only the input sequence (e.g., sentence).
  • the language model 310, the slot fill model 320, and the intent detection model 330 may include an encoder and a decoder.
  • the encoder and decoder may include at least one RNN layer.
  • the encoder RNN may include a plurality of layers (e.g., 303, 301, 302).
  • the encoder can construct hidden representations from the input through the RNN.
  • the encoder may store information about the meaning of the components of the sentence (e.g. words) as hidden expressions.
  • the decoder may determine the hidden expressions ultimately configured in the encoder (e.g., , Etc.), it is possible to acquire necessary information (e.g., information on a slot, information on an intention).
  • Training tasks of the language model 310, training operations of the slot fill model 320, and training operations of the intent detection model 330 may be used to share certain parts .
  • the training of the three models 310, 320, 330 may share one or more parameters.
  • the training of the three models 310, 320 and 330 may be performed at the encoder RNN using expressions (e.g., x 1 , x (x)) obtained from the layer 303 or layer 303 associated with the input sequence 2 , x 3 ).
  • the training operation of the task model e.g., slot fill model 320, intent detection model 330
  • the hidden representation obtained from the first layer 301 e.g.,
  • the hidden representation obtained from the second layer 302 e.g., ).
  • ≪ / RTI &gt A detailed description of the index will be described later with reference to FIG.
  • the slot fill model 320 and the intent detection model 330 learned by the multi-task learning method may be implemented in a device (e.g., an intelligent server 200 or the like) on which the LA-RNN model is implemented (E.g., natural language understanding module 220).
  • a device e.g., an intelligent server 200 or the like
  • the LA-RNN model is implemented (E.g., natural language understanding module 220).
  • representations x 1 , x 2 , x 3 may be constructed through the layer 303 of the encoder RNN from the input sequence.
  • x 1 , x 2 , x 3 may be a representation of a word.
  • x 1 , x 2 , x 3 may be the final output to layer 303.
  • x 1 , x 2 , x 3 may be used as inputs to the first layer 301 of the encoder RNN.
  • hidden representations Can be configured. May store information about a short-term related to the surroundings (e.g., surrounding words). For example, May be the final output for the first layer 301.
  • hidden representations Can be configured.
  • the decoder may include one or more RNNs.
  • the decoder RNN, , LA 1 , LA 2 , and LA 3 that represent the long-term memory affinity (LA) for the slot, via one or more decoders RNN.
  • a method of obtaining long-term memory attention from hidden expressions can be expressed by the following equation.
  • J denotes a sequential index of an input (e.g., a word)
  • s i-1 denotes a decoder state at the i-th stage of decoding
  • LA i denotes a
  • And i ij represents the position-wise weight with respect to s i-1 obtained by the a function.
  • s i-1 may be a hidden representation located at the decoder RNN. s i-1 may represent the information processed to date in the processing operation of the decoder RNN to obtain the output of the current (i.e., i-th stage). In the LA-RNN model according to various embodiments, s i-1 may be used as a query. That is, in the LA-RNN model according to various embodiments, the slot-fill model 320 uses s i-1 to determine the information located in the encoder RNN , , It is possible to acquire the long-term memory attention or to obtain the current (i.e., the i-th stage) output.
  • the LA-RNN model (e.g., slot fill model 320) in accordance with various embodiments may use the hidden representations of the encoder RNN to obtain long-term memory attention (LA).
  • the LA-RNN model is a model in which the hidden expressions (i.e., the first layer 301) configured from the lower layer (i.e., the first layer 301) among the plurality of layers included in the encoder RNN ) Can be used as keys and values.
  • the LA-RNN model is a model in which the hidden expressions (i.e., the second layer 302) constructed from the top layer (i.e., the second layer 302) among the plurality of layers included in the encoder RNN ) Can be used as a key.
  • the LA-RNN model includes a query s i-1 , a key s i-1 , , And key Using, it is possible to obtain an input e ij to obtain a weight (weight) ⁇ ij.
  • the weighting [alpha] ij may be determined for each information of the encoder RNN (e.g., , May be included in the information. That is, in various embodiments, the LA-RNN model may be implemented as a key And Can be used.
  • Equation (2) When a reference, LA-RNN model, each of the value of each weight ⁇ ij And performing a weighted sum operation by multiplying the weighted sum by the sum of the weighted sum and the weighted sum, thereby acquiring information on the long-term memory attention LA. That is, in various embodiments, the LA-RNN model may be implemented as a key Can be used. The LA-RNN model is based on hidden formulas constructed from the top layer (i.e., the second layer 302) ) May not be used as a value.
  • the number of first layers 301 and the number of second layers 302 are not limited thereto.
  • the LA-RNN model may use three layers at the bottom among the five layers included in the encoder RNN as keys and values, and use the two layers at the top as keys.
  • the electronic device and method may use some layers (e.g., the lower layer, the first layer 301) among a plurality of layers included in the encoder RNN as keys and values Long-term or relatively global information can be better remembered by using some of the other layers (e.g., the upper layer, the second layer 302) as a key.
  • some layers e.g., the lower layer, the first layer 301
  • the other layers e.g., the upper layer, the second layer 302
  • the intent detection model 330 may also perform operations corresponding to those described above.
  • the structure of the language model 410 includes a character-based input 411, a single encoding layer 413, and a positional attention (415).
  • the location attention 415 may be configured using the light house location encoding. In the learning operation of the language model, normalization with respect to the softmax approximation can be used.
  • the structure of the slot fill model 420 includes a character-based input 421, two encoding layers 423, and long term memory attachments 425 (e.g., LA 1 , LA 2 , LA 3 ).
  • Long-term memory attachments 425 e.g., LA 1 , LA 2 , LA 3
  • Figure 4c illustrates another example of an intent detection model in accordance with various embodiments.
  • the structure of the intent detection model 430 may include a character based input 431, two encoding layers 433, and long term memory attention 435 (e.g., LA intent ) have.
  • the long term memory attention 435 (e.g., LA intent ) may be combined with the light house location encoding based on the location of the last word.
  • a device for learning an LA-RNN model (e.g., 410, 420, 430) may include a language model 410, a slot population model 420, and an intention detection model 430 (Or in parallel, at once).
  • the learned slot fill model 420 and the learned intention detection model 430 may be implemented or stored in the memory 202 (or the natural language understanding module 220) of the intelligent server 200.
  • the input of an artificial neural network (e.g., RNN) Lt; / RTI > i may be an index indicating a word.
  • j may be an index representing a character in a word.
  • the LA-RNN model may include task models representing a slot fill model 420 and an intent detection model 430, and a language model 410.
  • the three models 410, 420, 430 may share a character embedding (e.g., a vector) and a layer associated with a word (e.g., 411, 421, 431).
  • Task models 420 and 430 may share two encoding layers (e.g., 423 and 433) as well as a layer associated with the character embedding and word (e.g., 411, 421, and 431).
  • an artificial neural network may be a hidden encoding representation, ≪ / RTI > k is the index of the layers, 1, 2, and Lt; / RTI > k may be one as the index of the first encoding layer (e.g., the bottom layer) of the task models 420 and 430 and may be a second encoding layer of the task models 420 and 430 ), And may be an index of the first layer 413 of the language model 410 Lt; / RTI >
  • the slot fill model 420 may use the sequential output in the form of slot label embedding (e.g., vectors) o i as input to the next decoder.
  • the electronic device and method may provide positional attention 415 of the language model 410 and attention vectors 425 and 435 of the task models 420 and 430.
  • Various embodiments may utilize a bi-directional gated recurrent unit (RGN) (Chung et al., 2014) as an RNN.
  • RGN gated recurrent unit
  • Various embodiments may utilize summing up the final states of the forward RNN and the reverse RNN to construct a word representation (e.g., 411, 421, 431) from the character embeddings.
  • Various embodiments may concatenate each of the states of the forward RNN and the reverse RNN.
  • a character-based input may be used.
  • word embedding for many lexical tasks, the size of the word embeddings can well exceed the number of remaining parameters.
  • a character-based approach can perform more stable processing for unknown or rare words than a word-based approach.
  • Word representation based on character embedding can be useful for detecting spelling and semantic functions.
  • Word representation based on character embedding can be useful in distinguishing morphemes such as prefixes and suffixes from word embedding.
  • the present invention is not limited to this, and word-based input may be used.
  • the alignment mechanism of the alignment-based RNN model can be expressed, for example, as follows (Mnih et al., 2014; Bahdanau et al., 2015; Firat et al., 2016).
  • J denotes a sequential index of a word
  • s i-1 denotes a decoder state at the i-th stage of decoding
  • c i denotes an i-th stage of decoding
  • ⁇ ij can represent position-wise weight with respect to s i -1 obtained by the f function.
  • the query of the Attention may be the current decoder state s i-1 , and the key and value of the Attention may be each h i .
  • the attention weight ⁇ ij can be obtained based on, for example, the neural network f and softmax based on the query and the key.
  • the final attention c i can be obtained as a weighted sum of the attention weights (i.e., ⁇ ij ) and values.
  • the role or meaning of the word may vary depending on how long the phrase is focused in the sentence so that the RNN model with a long-term memory attention (LA) structure according to various embodiments (i.e., LA-
  • LA- The RNN model e.g., 420, 430
  • the RNN model may stack the two layers of the RNN with the encoder and utilize the two layers as a pair of short-term and long-term memory.
  • the first layer (e.g., the lower layer) of the two encoder RNN layers may represent short-term or relatively local information.
  • the second layer e.g., the top layer
  • the two layers may represent long-term or relatively global information.
  • the first layer of the encoder RNN may be used as a key and value
  • the second layer of the encoder RNN may be used as a key. Both ends of the hidden representation of the second layer of the encoder RNN can be used to generate query information. For example, this can be expressed by the following equation.
  • LA i denotes an Attention Vector for the i-th stage of decoding, Represents a hidden representation of the first layer of the encoder RNN, May represent the hidden representation of the second layer of the encoder RNN.
  • the long-term memory affinity (LA) structure can hold short-term information for indicating the concrete meaning of the word.
  • the long-term memory affinity (LA) structure may combine the short-term memory information with additional sentence-level information to represent the actual meaning or role in the sentence.
  • the f function may be configured to be used to calculate a weight by a fully connected neural network.
  • the f function can be expressed by the following equation.
  • FC may represent a fully connected neural network layer as a function or methodology.
  • An electronic device and method in accordance with various embodiments may configure additional RNNs in the decoder.
  • the electronic device and method may extract a slot or intent via an additional decoder RNN based on the obtained long-term memory attention (LA).
  • LA long-term memory attention
  • Electronic devices and methods in accordance with various embodiments may provide light house positional encoding with new location encoding used in the LA-RNN model.
  • the lighthouse location encoding may take into account the relative distance between the current position and the comparison position.
  • Light house location encoding unlike position-wise encoding and fixed-encoding, can define one learned embedding.
  • the light house location encoding is not located in the starting representation of the encoder and decoder, but can only be located inside the attentional calculation. For example, this can be expressed by the following equation.
  • i represents an index of the sequence of words (word), is b, represents the present position index, d is D ⁇ R, represents the distance embedded (embedding distance) with the dimension d, ⁇ May represent a parameter that controls the norm of the increased encoding over distance.
  • the light house location encoding is different from the fixed-location encoding such as the sinusoid type or the position-wise encoding that is set independently for each location, distance embedding can be defined.
  • the lighthouse location encoding may be achieved by multiplying the distance embedding by an absolute distance on the basis of the parameter [beta] and the current location b to obtain a location encoding for each word location i .
  • the lighthouse location encoding may have fewer position-related parameters than position-wise encoding.
  • distance-related information can be effectively considered from the positive and negative of the weighting and encoding.
  • ? May be a hyper-parameter related to the average length of the sentence.
  • beta may be set to one.
  • ? May be a learned parameter.
  • the write house location encoding is not inserted into the starting representation of the encoder and decoder, but rather a function (e.g., a in Equation 2, Equation 5 Can be inserted into the interior of f).
  • the light house location encoding inserted into the function a for calculating the attitude can be expressed by the following equation.
  • a may be a function used to obtain the long term memory affinity in Equation (2).
  • Light house location encoding May be used as a key to obtain the weight alpha ij to obtain the long term memory affinity.
  • the LA-RNN model includes hidden expressions constructed from a plurality of layers (e.g., 423, 433) included in the encoder RNN (e.g., , Encode Lighthouse Location on Lt; / RTI >
  • the LA-RNN model uses hidden expressions (e.g., Encode Lighthouse Location on That may form a new key f 2, f 3 combined.
  • the LA-RNN model is a light house location encoding
  • the long-term memory attention can be obtained by using the keys f 2 and f 3 combined with each other.
  • the light house location encoding inserted into the function f for calculating the attitude can be expressed by the following equation.
  • the operation [a, b] may represent a concatenating of a and b.
  • the LA-RNN model can use location encoding only when necessary, by inserting a lighthouse location encoding within the attentional computation as described above.
  • an apparatus for learning an LA-RNN model may perform multi-task learning.
  • the apparatus for learning the LA-RNN model may be configured to simultaneously (or concurrently) learn (or at once) a language model 310 or 410, a slot population model 320 or 420, and an intention detection model 330 or 430 can do. This will be described below with reference to FIG.
  • An apparatus and method for learning an LA-RNN model in a multi-task learning operation in accordance with various embodiments may be implemented by multiplying a cost for a language model 410 by a weight-decay term, The cost for learning can be configured.
  • the cost for each of the three models 410, 420, 430 may not apply equally.
  • the term for which the cost for language model 410 is multiplied by a weight-decay term can be used as a regularizer.
  • the language model 410 can be used as a tool to aid learning of the task models 420 and 430 as a regularizer.
  • the learning of the task models 420 and 430 can be restricted by multiplying the cost for the language model 410 by a weight-decay term.
  • the slot population model 420 and the intention detection model 430 can be learned based on a regularizer.
  • an apparatus and method for learning an LA-RNN model may include a cost and intent detection model 430 for a slot fill model 420 to construct a cost for multitask learning Equivalent sum operation can be performed on the cost.
  • An apparatus and method for learning an LA-RNN model may include a weight-decay term for a cost for the language model 410 to construct a cost for multitask learning Can be multiplied.
  • the task of the language model 410 may contribute to learning of the slot fill model 420 and the intention detection model 430 as a sub task rather than a main task.
  • the weight-decay term may be determined, for example, as a hyper-parameter, before learning the model.
  • the weight-decay term may be determined by prior learning.
  • the three models i.e., slot fill model, intent detection model, language model
  • their costs can be stably learned through multitask learning and quickly converge have.
  • an artificial neural network model e.g., LA-RNN model, 320, 330, 420, 430
  • an attention for example, LA i , LA 1
  • memory 202 configured to store information comprising a plurality of recurrent neural network (RNN) layers (e.g., 301, 302, 303, 421, 423, 431, 433)
  • RNN recurrent neural network
  • at least one first hidden representation e.g., a first hidden layer
  • a first hidden representation e.g., a first hidden layer
  • an attention for example, LA i , LA 1
  • the at least one processor may be configured to receive, from the attentions, at least one third layer located at an upper (e.g., decoder RNN) than the at least one second layer of the plurality of circular artificial neural network layers , Data about a slot, or data about an intent.
  • at least one third layer located at an upper e.g., decoder RNN
  • the at least one processor e.g., processor 201)
  • the second key e.g., ( E.g .,? Ij ) for each of the first key and the second key based on data on the weight (e.g.,? Ij ) and data on the weight (e.g.,? Ij ) : (E.g., LA i , LA intent ) based on a weighted sum of the data for the current time (e.g.
  • the at least one processor e.g., processor 201 is configured to acquire the attention (e.g., LA i ) based on the following equation,
  • J represents the index for input to the circular artificial neural network
  • T x represents the length of the input sequence
  • s i-1 represents the i-th represents a state decoder (decoder state) in step
  • LA i is, represents the attention on the i-th stage of decoding
  • a denotes a neural network (neural network)
  • ⁇ ij is obtained by a, s i- 1 , < / RTI > Represents the at least one first hidden representation, May represent the at least one second hidden representation.
  • the at least one processor may be configured to perform a positional encoding (e.g., (E.g., f 2 ) to which the at least one second hidden representation is applied, and the location encoding (e.g., ) Is applied to the fourth key (for example, may be set to obtain the LA i): f 3) obtains the data about, and at least based on the third key and the fourth key to the attention (e.
  • a positional encoding e.g., (E.g., f 2 ) to which the at least one second hidden representation is applied
  • the location encoding e.g., Is applied to the fourth key
  • the at least one processor may be configured to obtain the a based on the following equation,
  • F 1 , f 2 , f 3 , and f 4 represent positional encodings for the i-th input to the Cyclic Neural Network at the i-th stage of the decoding, and f 1 , f 2 , have.
  • the operation of learning a language model (e.g., 310, 410) for the circular artificial neural network e.g., LA-RNN
  • a slot filling model for the circular artificial neural network (E. G., 320, 420)
  • the cost for the recurrent artificial neural network may be determined by multiplying the data representing the cost for the language model (e. G. 310, 410) by a weight- . ≪ / RTI >
  • At least one layer of the plurality of circular artificial neural network layers may include a bi-directional circular bi-directional RNN layer.
  • a non-transitory computer-readable storage medium may include a plurality of recurrent neural network (RNN) layers (e.g., 301, 302, And at least one first hidden representation obtained through a first layer (e.g., 301) of at least one of the plurality of cyclic SNR layers (e.g., 301, 421, 423, 431, 433) hidden representation (for example, , ) Of at least one of the plurality of neural network layers to a first key and value; and setting at least one second hidden representation obtained through at least one second layer (e.g., 302) (Yes: , Setting an attention included in an attention mechanism (e.g., a key) as a second key, based on at least data on the first key, data on the second key, LA i , LA 1 , LA 2 , LA 3 , LA intent ).
  • RNN recurrent neural network
  • the at least one first layer (e.g., 301) in the artificial neural network (e.g., LA-RNN, 320, 330, 420, 430) 302), wherein the non-volatile computer-readable storage medium (100) is configured to store the at least one first hidden representation , )
  • the at least one second layer e.g., 302
  • the at least one second hidden representation e.g., , ≪ / RTI > may be further stored.
  • the non-volatile computer-readable storage medium may be configured to store, from the attentions, at least one of the plurality of circular neural network layers located at an upper (e.g., decoder RNN) Through the three layers, one or more programs may be stored for carrying out operations to obtain data relating to the data or intent of the slot.
  • an upper e.g., decoder RNN
  • the non-volatile computer-readable storage medium further comprises a second key (e.g., ) And the second key (e.g., ( E.g .,? Ij ) for each of the first key and the second key, based on the data for the weight (e.g.,? Ij ) (Yes: (E.g., LA i , LA intent ) based on a weighted sum of the data for the current location (e.g.
  • the non-volatile computer-readable storage medium further stores one or more programs for performing the operation of obtaining the attention (e.g., LA i ) based on the formula:
  • J represents the index for input to the circular artificial neural network
  • T x represents the length of the input sequence
  • s i-1 represents the i-th represents a state decoder (decoder state) in step
  • LA i is, represents the attention on the i-th stage of decoding
  • a denotes a neural network (neural network)
  • ⁇ ij is obtained by a, s i- 1 , < / RTI > Represents the at least one first hidden representation, May represent the at least one second hidden representation.
  • the non-volatile computer-readable storage medium may be configured to store positional encoding (e.g., Obtaining a data for a third key (e.g., f 2 ) to which the at least one second hidden representation is applied; ) Is applied to the fourth key (e.g., f 3) operates to obtain the data for, and the third key, based at least based on the fourth key the attention (for example, for performing an operation for obtaining the LA i)
  • positional encoding e.g., Obtaining a data for a third key (e.g., f 2 ) to which the at least one second hidden representation is applied;
  • Is applied to the fourth key e.g., f 3
  • the attention for example, for performing an operation for obtaining the LA i
  • One or more programs may be stored.
  • the non-volatile computer-readable storage medium may further store one or more programs for performing the operation of obtaining the a based on the following equation,
  • F 1 , f 2 , f 3 , and f 4 represent positional encodings for the i-th input to the Cyclic Neural Network at the i-th stage of the decoding, and f 1 , f 2 , have.
  • the operation of learning a language model (e.g., 310, 410) for the circular artificial neural network e.g., LA-RNN
  • a slot filling model for the circular artificial neural network (E. G., 320, 420)
  • the cost for the recurrent artificial neural network may be determined by multiplying the data representing the cost for the language model (e. G. 310, 410) by a weight- . ≪ / RTI >
  • Table 2 may represent the dataset used to test the performance enhancement of the LA-RNN model according to various embodiments.
  • Tables 3 through 6 can illustrate the performance enhancement of the LA-RNN model according to various embodiments.
  • Air travel information system (ATIS) corpus (or corpus) (Hemphill et al., 1990) can be a dataset that is commonly used in research on language understanding.
  • the dataset may comprise a sentence of people making a flight reservation.
  • Tables 3 to 6 show the results obtained by using Hakkani-Tur et al. (2016) using the ATIS corpus.
  • Tables 3 to 6 show experimental results on a dataset and an ATIS dataset of five domains of Samsung Big Six.
  • Table 2 shows the data sets of five domains of Samsung Big Six.
  • Table 3 shows that for the ATIS, the slot filling performance (e.g., F1-score) of the LA-RNN model is improved compared to other models.
  • Table 4 shows that for ATIS, the intent detection performance of the LA-RNN model is improved (e.g., the error rate is reduced) compared to other models.
  • the LA-RNN model for "joint” learning and “slot only” learning has improved performance in slot filling and intent detection, Lt; / RTI >
  • the RNN model for "joint” learning can provide a maximum performance of 96.09 F1-score for slot filling and a minimum error rate of 1.46 for intent detection. Therefore, the operation of learning the slot filling model together with the intention information can also improve the performance of the slot filling.
  • Table 5 shows that the slot filling performance (eg, F1-score) of the LA-RNN model is improved compared to other models for the five domains of the Samsung Big Six ratio.
  • the performance difference between the LA-RNN model and the other models may be further increased in the case of the data set of five domains of Samsung Big Six ratio than the ATIS data set.
  • the LA-RNN model can have a performance improvement of about 5% over other models.
  • both the " slot only "learning model and the" joint "learning model can have a higher F1-score than other models.
  • the LA-RNN's "joint" learning model has more performance than most "slot only” learning models, so joint training can have more beneficial effects.
  • Table 6 shows that the intention detection performance of the LA-RNN model is improved (e. G., The error rate is reduced) for the five domains of the Samsung Big Six ratio compared to other models.
  • the LA-RNN model can have a smaller error rate than the other models for intent detection of data sets of five domains of Samsung Big Six. In high-complexity datasets such as calendar domains and message domains, the LA-RNN model may have a reduced error rate. Tables 2 to 6 are not intended to limit the various embodiments.
  • 5 shows an example of the operation of an electronic device according to various embodiments. 5 may be performed by a device for learning an LA-RNN model (for training) or a device (e.g., intelligent server 200 or natural language understanding module 220) on which a learned LA-RNN model is implemented .
  • the electronic device may represent a device for learning an LA-RNN model (for training) or a device in which a learned LA-RNN model is implemented.
  • the electronic device may store in the memory an RNN (or information about the RNN) that includes a plurality of layers.
  • an electronic device receives at least one first hidden representation obtained through a first layer of at least one of the plurality of layers with a first key (value).
  • the circular RNN stored in the memory of the electronic device may include an encoder portion and a decoder portion.
  • the encoder RNN may construct (or obtain) hidden representations for use in the decoder RNN from a sequence representing an input (e.g., character based sentence, word based sentence, etc.).
  • the electronic device can, at the encoder RNN, use the at least one first layer, from the input sequence, to obtain a first hidden representation.
  • the electronic device may use the first hidden representation at the decoder RNN as a first key and value for acquiring the attitude.
  • the electronic device may set at least one second hidden representation obtained through the second layer of at least one of the plurality of layers as a second key.
  • the electronic device can use the at least one second layer in the encoder RNN to obtain a second hidden representation.
  • the electronic device can obtain a second hidden representation from the first hidden representation, at least one second layer, in the encoder RNN.
  • the second layer may be positioned above the first layer.
  • the electronic device may use the second hidden representation at the decoder RNN as a second key for acquiring the attitude.
  • the electronic device may not use the second hidden representation as a value in the decoder RNN.
  • the at least one first layer may be associated with information about a short-term memory.
  • At least one second layer may be associated with information on a long-term. For example, of the input sequences of the RNN, the portion of the input sequence that contributes to the second hidden representation may be wider than the portion of the input sequence contributing to the first hidden representation.
  • the electronic device may obtain an attitude based on the first key, the second key, and the value at the decoder RNN. For example, the electronic device can obtain information about the slot or information about the intent from the attachment, using an additional layer, at the decoder RNN.
  • the electronic device includes a plurality of cyclic artificial neural networks (RNN) layers (e.g., 301, 302, 303, 421, 423, 431, and 433), and includes at least one of the plurality of Cyclic Neural Network layers At least one first hidden representation (e.g., 301) , ) Of at least one of the plurality of neural network layers to a first key and value; and setting at least one second hidden representation obtained through at least one second layer (e.g., 302) (Yes: , ( I. E., LA i , & lt ; / RTI > included in the attachment structure) based on at least data on the first key, data on the second key, LA 1 , LA 2 , LA 3 , LA intent ).
  • RTN cyclic artificial neural networks
  • FIG. 6 is a block diagram of an electronic device 601 in a network environment 600, in accordance with various embodiments.
  • an electronic device 601 in a network environment 600 communicates with an electronic device 602 via a first network 698 (e.g., near-field wireless communication) or a second network 699 (E. G., Remote wireless communication) to the electronic device 604 or the server 608.
  • a first network 698 e.g., near-field wireless communication
  • a second network 699 E. G., Remote wireless communication
  • < RTI ID 0.0 &gt
  • the electronic device 601 may communicate with the electronic device 604 via the server 608.
  • the server 608 may include the intelligent server 200, the personalization information server 300, and the proposal server 400 of FIG.
  • the server 608 (e.g., the intelligent server 200) can communicate with other servers (e.g., the personalization information server 300 and the proposal server 400).
  • the electronic device 601 may correspond to a server (e.g., intelligent server 200, personalization information server 300, proposal server 400).
  • the processor 620 may correspond to the processor 201 and the memory 630 may correspond to the memory 202 if the electronic device 601 corresponds to the intelligent server 200.
  • the electronic device 601 includes a processor 620, a memory 630, an input device 650, an acoustic output device 655, a display device 660, an audio module 670, a sensor module 676, an interface 677, a haptic module 679, a camera module 680, a power management module 688, a battery 689, a communication module 690, a subscriber identity module 696, and an antenna module 697 ).
  • at least one (e.g., display device 660 or camera module 680) of these components may be omitted or other components may be added to the electronic device 601.
  • some components such as, for example, a sensor module 676 (e.g., a fingerprint sensor, an iris sensor, or an ambient light sensor) embedded in a display device 660 Can be integrated.
  • the processor 620 may be configured to run at least one other component (e.g., hardware or software component) of the electronic device 601 connected to the processor 620 by driving software, e.g., program 640, And can perform various data processing and arithmetic operations.
  • the processor 620 loads and processes commands or data received from other components (e.g., sensor module 676 or communication module 690) into the volatile memory 632 and processes the resulting data in the nonvolatile memory 634.
  • the processor 620 may be a main processor 621 (e.g., a central processing unit or an application processor), and, independently, and additionally or alternatively, a lower power than the main processor 621, Or a co-processor 623 (e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor) specific to the designated function.
  • a co-processor 623 e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor
  • the auxiliary processor 623 may be operated separately from or embedded in the main processor 621.
  • the coprocessor 623 may be used in place of the main processor 621, for example, while the main processor 621 is in an inactive (e.g., sleep) state, At least one component (e.g., display 660, sensor module 676, or communication module 606) of the electronic device 601, along with the main processor 621, 690) associated with the function or states.
  • the secondary processor 623 e.g., an image signal processor or communications processor
  • the secondary processor 623 is implemented as a component of some other functionally related component (e.g., camera module 680 or communication module 690) .
  • the memory 630 may store various data used by at least one component (e.g., processor 620 or sensor module 676) of the electronic device 601, e.g., software (e.g., program 640) ), And input data or output data for the associated command.
  • the memory 630 may include a volatile memory 632 or a non-volatile memory 634.
  • the program 640 may be software stored in the memory 630 and may include, for example, an operating system 642, middleware 644 or an application 646.
  • the input device 650 is an apparatus for receiving commands or data to be used in a component (e.g., processor 620) of the electronic device 601 from the outside (e.g., a user) of the electronic device 601,
  • a component e.g., processor 620
  • a microphone e.g., a mouse, or a keyboard may be included.
  • the sound output device 655 is a device for outputting a sound signal to the outside of the electronic device 601.
  • a speaker used for general purpose use such as a multimedia reproduction or a sound reproduction
  • a receiver used for telephone reception only a device for outputting a sound signal to the outside of the electronic device 601.
  • the receiver may be formed integrally or separately with the speaker.
  • the display device 660 may be an apparatus for visually providing information to a user of the electronic device 601 and may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the projector. According to one embodiment, the display device 660 may include a touch circuitry or a pressure sensor capable of measuring the intensity of the pressure on the touch.
  • the audio module 670 can bidirectionally convert sound and electrical signals. According to one embodiment, the audio module 670 may acquire sound through an input device 650, or may be connected to an audio output device 655, or to an external electronic device (e.g., Electronic device 602 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 602 (e.g., a speaker or headphone)
  • the sensor module 676 may generate an electrical signal or data value corresponding to an internal operating state (e.g., power or temperature) of the electronic device 601, or an external environmental condition.
  • the sensor module 676 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, Or an illuminance sensor.
  • Interface 677 may support a designated protocol that may be wired or wirelessly connected to an external electronic device (e.g., electronic device 602).
  • the interface 677 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface audio interface
  • the connection terminal 678 may be a connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 601 and an external electronic device (e.g., an electronic device 602) (E.g., a headphone connector).
  • an HDMI connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 601 and an external electronic device (e.g., an electronic device 602) (E.g., a headphone connector).
  • the haptic module 679 can convert an electrical signal into a mechanical stimulus (e.g., vibration or motion) or an electrical stimulus that the user can perceive through a tactile or kinesthetic sense.
  • the haptic module 679 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 680 can capture a still image and a moving image.
  • the camera module 680 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 688 is a module for managing the power supplied to the electronic device 601, and may be configured as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 689 is an apparatus for supplying power to at least one component of the electronic device 601 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 690 is responsible for establishing a wired or wireless communication channel between the electronic device 601 and an external electronic device (e.g., an electronic device 602, an electronic device 604, or a server 608) Lt; / RTI > Communication module 690 may include one or more communication processors that support wired communication or wireless communication, which operate independently from processor 620 (e.g., an application processor).
  • communication module 690 includes a wireless communication module 692 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 694 (E.g., a local area network (LAN) communication module, or a power line communication module), and may communicate with a first network 698 (e.g., Bluetooth, WiFi direct, or infrared data association Communication network) or a second network 699 (e.g., a telecommunications network such as a cellular network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a wireless communication module 692 e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 694 E.g., a local area network (LAN) communication module, or a power line communication module
  • a first network 698
  • the wireless communication module 692 may use the user information stored in the subscriber identity module 696 to identify and authenticate the electronic device 601 within the communication network.
  • the antenna module 697 may include one or more antennas for externally transmitting or receiving signals or power.
  • the communication module 690 e.g., the wireless communication module 692
  • Some of the components are connected to each other via a communication method (e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • a communication method e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • the command or data may be transmitted or received between the electronic device 601 and the external electronic device 604 via the server 608 connected to the second network 699.
  • Each of the electronic devices 602 and 604 may be the same or a different kind of device as the electronic device 601.
  • all or a portion of the operations performed in the electronic device 601 may be performed in another or a plurality of external electronic devices.
  • the electronic device 601 in the event that the electronic device 601 has to perform some function or service automatically or upon request, the electronic device 601 may, instead of or in addition to executing the function or service itself, And may request the external electronic device to perform at least some functions associated therewith.
  • the external electronic device receiving the request may execute the requested function or additional function and transmit the result to the electronic device 601.
  • the electronic device 601 can directly or additionally process the received result to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • arXiv preprint arXiv: 1708.02182.
  • arXiv preprint arXiv: 1508.01991.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리, 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함할 수 있다.

Description

발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
다양한 실시 예들은 인공 신경망을 이용하여 발화의 의미를 분석하기 위한 방법 및 전자 장치에 관한 것이다.
디지털 기술의 발달과 함께, 사람의 언어를 이해하기 위한 전자 장치(예: 서버) 및 상기 전자 장치와 연계되고, 사용자 단말에서 실행하기 위한 어플리케이션(예: 음성 인식 어플리케이션)이 발달하고 있다. 사람의 언어를 이해하기 위한 전자 장치는, 텍스트 데이터 형태로 입력된 문장으로부터 사용자의 의도(intent)를 획득할 수 있고, 상기 의도를 표현하는데 필요한 파라미터(parameter)(예: 슬롯(slot))를 획득할 수 있다. 상기 전자 장치는, 사용자의 의도 및 상기 의도를 표현하는데 필요한 파라미터를 획득하기 위해, 인공 신경망(neural network)을 이용할 수 있다. 상기 전자 장치는, 사람의 언어를 이해하기 위한 인공 신경망이 구현된 메모리를 포함할 수 있다.
문장 내에서 단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있다. 즉, 문장 내에서 단어(word)의 역할이나 의미는, 문장 내에서 단어의 역할이나 의미를 해석하기 위해 고려되는 부분의 길이에 따라 달라질 수 있다. 그런데, 인공 신경망을 이용하여 발화 의미를 분석하는 경우, 현재 분석 위치로부터 가까운 정보는 비중 있게 고려되고, 멀리 있는 정보는 고려되기 어려울 수 있다. 또는, 노이즈나 의미 없는 중간 입력이 있는 경우, 정확한 발화 의미를 분석하기 어려울 수 있다. 따라서, 인공 신경망을 이용하여 발화 의미를 분석할 때, 현재 위치로부터 멀리 떨어진 정보도 고려할 수 있는 방안이 요구될 수 있다.
다양한 실시 예들은, 발화 문장 중에서 현재 위치로부터 멀리 있는 정보를 고려하여 발화 의미를 보다 정확하게 분석하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리, 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시 예들에 따른 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시 예들에 따른 장치 및 방법은, 발화 의미를 분석하기 위한 어텐션을 획득할 때, 인코더의 인공 신경망에 포함된 복수의 레이어들을 통해 획득된 숨은 표현(hidden representation)을 키(key)로 이용하고, 상기 복수의 레이어들 중 적어도 하나의 레이어를 통해 획득된 숨은 표현(hidden representation)을 키(key) 및 밸류(value)로 이용함으로써, 현재 위치로부터 멀리 있는 정보를 고려하여 발화 의미를 보다 정확하게 분석할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 3은 다양한 실시 예들에 따른 언어 모델, 슬롯 채우기 모델, 및 의도 탐지 모델의 예를 도시한다.
도 4a는, 다양한 실시 예들에 따른 언어 모델의 다른 예를 도시한다.
도 4b는, 다양한 실시 예들에 따른 슬롯 채우기 모델의 다른 예를 도시한다.
도 4c는, 다양한 실시 예들에 따른 의도 탐지 모델의 다른 예를 도시한다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다.
도 6은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 서버, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리 또는 외장 메모리)에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 지능형 서버(200) 등)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 일 실시 예를 서술하기에 앞서, 본 발명의 일 실시 예가 적용될 수 있는 통합 지능화 시스템에 대해 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 1을 참조하면, 통합 지능화 시스템(10)은 사용자 단말(100), 지능형 서버(200), 개인화 정보 서버(300) 또는 제안 서버(400)를 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100) 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 메시지 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 단말(100) 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 다른 앱을 실행하고 동작시킬 수 있다. 사용자 단말(100)은 상기 지능형 앱을 통해 상기 다른 앱을 실행하고 동작을 실행시키기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)가 이에 해당될 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용자의 발화를 사용자 입력으로 수신할 수 있다. 사용자 단말(100)은 사용자의 발화를 수신하고, 상기 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 사용자 단말(100)은 상기 명령을 이용하여 상기 앱을 동작시킬 수 있다.
지능형 서버(200)는 통신망을 통해 사용자 단말(100)로부터 사용자 음성 입력(voice input)을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다른 실시 예에서는, 지능형 서버(200)는 상기 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 상기 패스 룰은, 앱의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한, 상기 패스 룰은 상기 앱의 상기 동작의 순서를 포함할 수 있다. 사용자 단말(100)은 상기 패스 룰을 수신하고, 상기 패스 룰에 따라 앱을 선택하고, 상기 선택된 앱에서 상기 패스 룰에 포함된 동작을 실행시킬 수 있다.
본 문서의 "패스 룰(path rule)" 이라는 용어는 일반적으로, 전자 장치가 사용자에 의해 요청된 태스크를 수행하기 위한 상태들의 시퀀스를 의미할 수 있지만, 이에 제한되지 않는다. 다시 말해, 패스 룰은 상태들의 시퀀스에 대한 정보를 포함할 수 있다. 상기 태스크는, 예를 들어, 지능형 앱이 제공할 수 있는 어떠한 동작(action)일 수 있다. 상기 태스크는 일정을 생성하거나, 원하는 상대방에게 사진을 전송하거나, 날씨 정보를 제공하는 것을 포함할 수 있다. 사용자 단말(100)은 적어도 하나 이상의 상태(예: 사용자 단말(100)의 동작 상태)를 순차적으로 가짐으로써, 상기 태스크를 수행할 수 있다.
일 실시 예에 따르면, 패스 룰은 인공 지능(artificial intelligent)(AI) 시스템에 의해 제공되거나, 생성될 수 있다. 인공지능 시스템은 룰 베이스 시스템(rule-based system) 일 수도 있고, 신경망 베이스 시스템(neural network-based system)(예: 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN))) 일 수도 있다. 또는 전술한 것의 조합 또는 이와 다른 인공지능 시스템일 수도 있다. 일 실시 예에 따르면, 패스 룰은 미리 정의된 패스 룰들의 집합에서 선택될 수 있거나, 사용자 요청에 응답하여 실시간으로 생성될 수 있다. 예를 들어, 인공지능 시스템은 미리 정의 된 복수의 패스 룰 중 적어도 패스 룰을 선택하거나, 동적(또는, 실시간)으로 패스 룰을 생성할 수 있다. 또한, 사용자 단말(100)은 패스 룰을 제공하기 위해 하이브리드 시스템을 사용할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 실행한 사용자 단말(100)의 상태에 대응되는 화면을 디스플레이에 표시할 수 있다. 다른 예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 수행한 결과를 디스플레이에 표시하지 않을 수 있다. 사용자 단말(100)은, 예를 들어, 복수의 동작을 실행하고, 상기 복수의 동작의 일부 결과 만을 디스플레이에 표시할 수 있다. 사용자 단말(100)은, 예를 들어, 마지막 순서의 동작을 실행한 결과만을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 사용자 단말(100)은 사용자의 입력을 수신하여 상기 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
개인화 정보 서버(300)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 개인화 정보 서버(300)는 사용자 단말(100)로부터 사용자 정보(예: 컨텍스트 정보, 앱 실행 등)를 수신하여 상기 데이터베이스에 저장할 수 있다. 지능형 서버(200)는 통신망을 통해 개인화 정보 서버(300)로부터 상기 사용자 정보를 수신하여 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 통신망을 통해 개인화 정보 서버(300)로부터 사용자 정보를 수신하여 데이터베이스를 관리하기 위한 정보로 이용할 수 있다.
제안 서버(400)는 단말 내에 기능 혹은 어플리케이션의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 제안 서버(400)는 개인화 정보 서버(300)로부터 사용자 단말기(100)의 사용자 정보를 수신하여 사용자가 사용 할 수 있는 기능에 대한 데이터베이스를 포함 할 수 있다. 사용자 단말(100)은 통신망을 통해 제안 서버(400)로부터 상기 제공될 기능에 대한 정보를 수신하여 사용자에게 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 2를 참조하면, 지능형 서버(200)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(260)을 포함할 수 있다. 일 실시 예에 따르면, 지능형 서버(200)는 통신 회로, 메모리(예: 메모리(202)) 및 프로세서(예: 프로세서(201))를 포함할 수 있다. 예를 들면, 프로세서(201)는 메모리(202)에 저장된 명령어를 실행하여 자동 음성 인식 모듈(210), 자연어 이해 모듈(220), 패스 플래너 모듈(230), 대화 매니저 모듈(240), 자연어 생성 모듈(250) 및 텍스트 음성 변환 모듈(260)을 구동시킬 수 있다. 지능형 서버(200)는 상기 통신 회로를 통해 외부 전자 장치(예: 사용자 단말(100))와 데이터(또는, 정보)를 송수신할 수 있다.
지능형 서버(200)의 자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인(domain), 의도(intent) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도를 수행하기 위해 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)가 요구될 수 있다. 복수의 룰은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(200)은, 규칙 기반의 모델뿐만 아니라, 통계적 모델에 기반할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인, 의도, 파라미터를 결정하기 위해 통계적 모델을 활용할 수 있다. 통계적 모델은 다양한 형태의 기계 학습(machine learning) 모델을 참조할 수 있으며, 예를 들어 신경망 모델(neural network model)도 포함될 수 있다. 예를 들면, 도메인(domaion), 의도(intent), 파라미터(parameter)(또는 슬롯(slot))을 검출하기 위해 서로 다른 신경망 모델이 사용될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)뿐만 아니라 자동 음성 인식 모듈(210)도 자연어 인식 데이터베이스(221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상자연어 이해 모듈(220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작(예: 적어도 하나 이상의 상태(state)) 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 패스 플래너 모듈(230)로부터 사용자 단말(100)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 매핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 사용자 단말(100)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(230)에 연결된 패스 룰 데이터베이스(231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(230)은 지능형 에이전트(145)로부터 수신된 사용자 단말(100)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자의 의도 및 파라미터를 사용자 단말(100) 에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 패스 룰 데이터베이스(231)에 저장된 테이블에는 복수의 패스 룰 또는 복수의 패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 파라미터의 정보가 충분하지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 사용자 단말(100)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG)(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 사용자 단말(100)로 송신되어 디스플레이(120)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 음성 형태의 정보를 스피커로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 사용자 단말(100)로 송신될 수 있다.
다양한 실시 예들에 따른 인공 신경망 모델에 관한 시스템은, 인공 신경망 모델을 학습하기 위한(for training) 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 기능적으로 연결된 장치)를 포함할 수 있다. 인공 신경망 모델을 학습하기 위한 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 연결된 장치)는, 프로세서 기반의 장치일 수 있다. 인공 신경망 모델을 학습하기 위한 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 연결된 장치)는, 프로세서(예: 프로세서(201)) 및 상기 프로세서와 연결된 메모리(예: 메모리(202))를 포함할 수 있다.
다양한 실시 예들에서, 인공 신경망(예: 순환 인공 신경망(recurrent neural network, RNN))을 이용하여 사람의 언어를 이해(또는 분석)하기 위한 전자 장치 및 방법이 제공될 수 있다. 다양한 실시 예들에 따른 방법은, 지능형 서버(200)또는 자연어 이해 모듈(natural language understanding)(NLU)(220)에 의해 수행될 수 있다. 예를 들면, 상기 방법은, 메모리(202) 또는 자연어 이해 모듈(220)에 구현될 수 있다. 예를 들면, 상기 메모리(202)(또는 자연어 이해 모듈(220))는, 다양한 실시 예들에 따른 사람의 언어를 이해하기 위한 인공 신경망(예: RNN)을 구현(또는 저장)할 수 있다. 다양한 실시 예들에 따른 방법은, 지능형 서버(200)(또는 자연어 이해 모듈(220))에 내장될 인공 신경망 모델을 학습하기 위한(for training) 장치에 의해 수행될 수도 있다.
다양한 실시 예들에 따른 전자 장치는, 예를 들면, 지능형 서버(200), 자연어 이해 모듈(220)에 관련된 장치, 또는 지능형 서버(200)(또는 자연어 이해 모듈(220))에 내장될 인공 신경망 모델을 학습하기 위한(for training) 장치를 포함할 수 있다.
음성 대화 시스템(spoken dialogue system) 또는 목적 지향 대화 시스템(goal-oriented dialogue system)에서, 슬롯 채우기(slot filling)와 의도 탐지(intent detection)는, 주로 사전에 설계된 의미 프레임들(semantic frames)에 기반하여 사용자 발화를 이해하는 동작에 관련될 수 있다. 슬롯 채우기(slot filling)는, 토큰의 시퀀스를 식별하고, 발화에서 의미(semantic) 구성 요소를 추출하는 동작을 나타낼 수 있다. 의도 탐지(intent detection)는, 사용자 발화의 의도를 분류하는 동작을 나타낼 수 있다.
다양한 실시 예들에서, 의도(intent)와 도메인(domain)의 멀티 태스크 학습(multi-task learning)에 있어서, 도메인 스케일링(scaling)과 적응(adaptation) 문제를 포함하는 도메인 분류 문제는, 고려되지 않을 수 있다. 다양한 실시 예들에서는, 의도(intent)와 슬롯(slot)을 공동으로 학습하는 문제만이 고려될 수 있다.
단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있다. 즉, 문장 내에서 단어의 역할이나 의미를 해석하기 위해 고려되는 부분의 길이에 따라, 상기 단어의 역할이나 의미가 달라질 수 있다. 예를 들면, "그에게 오늘 밤에 저녁 식사 어떠냐고 보내(send how about dinner tonight to him)"와 같은 문장에서, '오늘 밤에(tonight)'라는 단어의 의미가 달라질 수 있다. 예를 들면, '오늘 밤에'라는 단어는, "오늘 밤에 저녁 식사 어떠냐(how about dinner tonight)"라는 저녁 식사를 위한 시간을 의미하지만, "그에게 ~ 보내(send ~ to him)"라는 텍스트 본문의 일부일 수도 있다.
상술한 과제를 해결하기 위해, 다양한 실시 예들에 따른 전자 장치 및 방법은, 순환 인공 신경망(recurrent neural network, RNN) 모델에서 장기 기억 어텐션(long-term aware attention, LA)이라는 새로운 어텐션 구조(attention mechanism)를 제공할 수 있다. 장기 기억 어텐션 구조는, RNN의 두 레이어들을 쌓고(stack), 상기 두 레이어들을 단기 기억(short-term) 및 장기 기억(long-term)의 쌍으로써 활용할 수 있다. 상기 두 레이어들 중 제1 레이어(예: 하단의 레이어)는 단기 기억(short-term) 또는 상대적으로 지역적인(local) 정보를 나타낼 수 있다. 상기 두 레이어들 중 제2 레이어(예: 상단의 레이어)는, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 나타낼 수 있다. 장기 기억 어텐션 구조에서, 제1 레이어는 키(key) 및 밸류(value)를 위해 이용될 수 있고, 제2 레이어는 키를 위해 이용될 수 있다.
다만, 이에 한정되지 않는다. 예를 들면, 장기 기억 어텐션 구조에서 RNN은 복수의 레이어들을 포함할 수 있다. 복수의 레이어들 중 일부 레이어들은 단기 기억(short-term)으로써 키 및 밸류로 이용될 수 있다. 복수의 레이어들 중 다른 일부 레이어들은 장기 기억(long-term)으로써 키로 이용될 수 있다. 예를 들면, 상기 일부 레이어들은, 상기 다른 일부 레이어들보다 RNN에서 하단에 위치될 수 있다.
다양한 실시 예들에서, 장기 기억 어텐션(LA) 구조를 통합한 RNN 모델은, 모델을 학습시키는 동작(training) 및 모델의 성능에 있어서 효과(effectiveness) 및 효율(efficiency)를 증대시킬 수 있다. 상술한 바와 같은 장기 기억 어텐션(LA) 구조를 통합한 RNN 모델은, LA-RNN 모델로 지칭될 수 있다. LA-RNN 모델은, 단어(word)가 아닌 문자(character)에 기반할 수 있다. 다만, 이에 한정되지 않는다.
다양한 실시 예들에서, LA-RNN 모델은, 문자 기반 표현(character-based representation)의 안정성과 유용성을 향상시키기 위해, 가중치 감소(weight-decay) 하이퍼-파라미터(hyper-parameter)를 가지는 문자 기반(character-based) 언어 모델의 멀티 태스크 학습(multi-task learning)으로 학습될(train) 수 있다. 가중치 감소(weight-decay) 하이퍼-파라미터(hyper-parameter)를 가지는 문자 기반(character-based) 언어 모델은, 슬롯 채우기 코스트(slot filling cost) 및 의도 탐지 코스트(intent detection cost)의 관점에서, 정규화자(regularizer)가 될 수 있다.
다양한 실시 예들에서, LA-RNN 모델에서 이용되는 새로운 위치 인코딩은, 라이트 하우스 위치 인코딩(light-house positional encoding)으로 지칭될 수 있다. 라이트 하우스 위치 인코딩은, 현재 위치(current position)와 비교 위치(comparison position) 사이의 상대적 거리(relative distance)를 고려할 수 있다. 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding) 및 고정 인코딩(fixed-encoding)과는 달리, 하나의 학습된 임베딩(embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현 (starting representation)에 위치되지 않고, 어텐션 계산의 내부에만 위치될 수 있다.
슬롯 채우기(slot filling)는, 시퀀스 레이블링 문제 중 하나일 수 있으며, 의도 탐지(intent detection)는, 여러 출력 레이블들을 가지는 분류 문제로 처리될 수 있다. 예를 들면, 슬롯은, 의도(intent)를 표현하는데 필요한 파라미터(parameter)일 수 있다.
Figure PCTKR2018013416-appb-I000001
예를 들어, 표 1을 참조하면, 비행 도메인(flight domain)은, 의도 리스트로써 항공편 찾기 의도를 나타내는 find_flight, 항공료 찾기 의도를 나타내는 find_airfare, 및 비행 거리 찾기 의도를 나타내는 find_distance를 포함할 수 있다. 또한 비행 도메인(flight domain)은, 슬롯 리스트로써 출발지에 관한 슬롯인 toloc, 도착지에 관한 슬롯인 fromloc, 날짜에 관한 슬롯인 date, 및 항공편 번호에 관한 슬롯인 flight_number를 포함할 수 있다.
슬롯 채우기(slot filling) 태스크는, 슬롯과 주어진 사용자 쿼리(query) 간의 정렬(alignment)을 찾는 것일 수 있다. 의도 탐지(intent detection) 태스크는, 주어진 사용자 쿼리로부터 의도 리스트 중에서 하나 이상의 의도들을 인스턴스화(instantiate)하는 것일 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000002
수학식 1을 참조하면, fslot은, 슬롯 채우기에 상응하는 함수일 수 있고, fintent는, 의도 탐지에 상응하는 함수일 수 있다.
Figure PCTKR2018013416-appb-I000003
는, 입력 시퀀스를 나타낼 수 있고, Tx는, 입력 시퀀스의 길이를 나타낼 수 있고,
Figure PCTKR2018013416-appb-I000004
는, 입력 시퀀스에 상응하는 레이블 시퀀스를 나타낼 수 있고,
Figure PCTKR2018013416-appb-I000005
는, 의도(intent) 레이블들을 나타낼 수 있으며, n은, 의도(intent)의 개수를 나타낼 수 있다.
슬롯 채우기를 위한 fslot은, 입력 시퀀스
Figure PCTKR2018013416-appb-I000006
를, 상응하는 레이블 시퀀스
Figure PCTKR2018013416-appb-I000007
에 맵핑하는 함수일 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템에서, LA-RNN 모델을 학습하기 위한 장치는, fslot을 학습할 수 있다. LA-RNN 모델에 관한 시스템에서, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))는, fslot을 이용하여, 입력 시퀀스
Figure PCTKR2018013416-appb-I000008
로부터, 입력 시퀀스에 상응하는 슬롯들을 나타내는 레이블 시퀀스
Figure PCTKR2018013416-appb-I000009
를 획득할 수 있다.
의도 탐지를 위한 fintent는, 입력 시퀀스
Figure PCTKR2018013416-appb-I000010
를, 의도 레이블들
Figure PCTKR2018013416-appb-I000011
에 맵핑하는 함수일 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템에서, LA-RNN 모델을 학습하기 위한 장치는, fintent을 학습할 수 있다. LA-RNN 모델에 관한 시스템에서, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))는, fintent을 이용하여, 입력 시퀀스
Figure PCTKR2018013416-appb-I000012
로부터, 입력 시퀀스에 기반한 의도 레이블들
Figure PCTKR2018013416-appb-I000013
를 획득할 수 있다.
예를 들어, 표 1을 참조하면, 슬롯들의 시퀀스(예:
Figure PCTKR2018013416-appb-I000014
)는, 슬롯의 시작(beginning)으로써 'B', 슬롯의 연속(continuation)으로써 'I', 및 슬롯의 부재(absence)로써 'O'에 상응하는 세 출력들을 가지는 IOB 레이블들의 형태일 수 있다.
도 3은 다양한 실시 예들에 따른 언어 모델, 슬롯 채우기 모델, 및 의도 탐지 모델의 예를 도시한다. 다양한 실시 예들에서, 태스크 모델이라 함은, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)을 나타낼 수 있다.
도 3을 참조하면, 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템(390)에서, LA-RNN 모델을 학습하기 위한 장치는, 멀티 태스크 학습(multi-task learning)을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치(예: 프로세서 기반의 장치)는, 언어 모델(language model)(310), 슬롯 채우기 모델(slot filling model)(320), 및 의도 탐지 모델(intent detection model)(330)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 학습된 슬롯 채우기 모델(320), 및 학습된 의도 탐지 모델(330)은, 지능형 서버(200)의 메모리(202)(또는 자연어 이해 모듈(220))에 구현 또는 저장될 수 있다.
일 실시 예에 따르면, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, 지도 학습(supervised learning)으로 학습될 수 있다. 예를 들면, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, 지정된 레이블(label)에 기반하여 학습될 수 있다. 일 실시 예에 따르면, 언어 모델(310)은, 비지도 학습(unsupervised learning)으로 학습될 수 있다. 예를 들면, 언어 모델(310)은, 지정된 레이블이 존재하지 않은 상태에서 학습될 수 있다. 언어 모델(310)은, 레이블 없이, 입력 시퀀스(예: 문장)만 주어진 상태에서 학습될 수 있다.
다양한 실시 예들에서, 언어 모델(310), 슬롯 채우기 모델(320), 및 의도 탐지 모델(330)은, 인코더와 디코더를 포함할 수 있다. 인코더와 디코더는, 적어도 하나의 RNN 레이어를 포함할 수 있다. 예를 들면, 도 3에서 인코더 RNN는, 복수의 레이어들(예: 303, 301, 302)을 포함할 수 있다. 인코더는, 입력으로부터 RNN을 통해 숨은 표현(hidden representation)들을 구성할 수 있다. 예를 들면, 인코더는, 문장의 구성 요소(예: 단어)가 나타내는 의미에 관한 정보를, 숨은 표현들로써 저장할 수 있다. 디코더는, 인코더에서 최종적으로 구성된 숨은 표현들(예: 도 3에서
Figure PCTKR2018013416-appb-I000015
,
Figure PCTKR2018013416-appb-I000016
등)을 이용하여, 필요한 정보(예: 슬롯에 관한 정보, 의도에 관한 정보)를 획득할 수 있다.
다양한 실시 예들에서, 멀티 태스크 학습을 위해, 언어 모델(310)의 훈련 동작(training), 슬롯 채우기 모델(320)의 훈련 동작, 및 의도 탐지 모델(330)의 훈련 동작은, 일정 부분을 공유할 수 있다. 세 가지 모델(310, 320, 330)의 훈련 동작(training)은, 하나 이상의 파라미터들을 공유할(share) 수 있다.
세 가지 모델(310, 320, 330)의 훈련 동작(training)은, 인코더 RNN에서, 입력 시퀀스와 관련된 레이어(303) 또는 레이어(303)로부터 획득된 표현들(representations)(예:x1,x2,x3)를 공유할 수 있다. 태스크 모델(예: 슬롯 채우기 모델(320), 의도 탐지 모델(330))의 훈련 동작은, 인코더 RNN에 포함된 복수의 레이어들 중에서, 제1 레이어(301) 및 제2 레이어(302), 또는 제1 레이어(301)로부터 획득된 숨은 표현(hidden representation)(예:
Figure PCTKR2018013416-appb-I000017
) 및 제2 레이어(302)로부터 획득된 숨은 표현(예:
Figure PCTKR2018013416-appb-I000018
)을 공유할 수 있다. 인덱스에 관한 상세한 설명은 도 4에서 후술된다.
다양한 실시 예들에서, 멀티 태스크 학습(multi-task learning) 방법으로 학습된 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))에 저장(또는 구현)될 수 있다.
다양한 실시 예들에서, 입력 시퀀스로부터 인코더 RNN의 레이어(303)을 통해, 표현(representation)들 x1,x2,x3이 구성될 수 있다. 예를 들면, x1,x2,x3은, 단어(word)를 나타내는 표현(representation)일 수 있다. 예를 들면, x1,x2,x3은, 레이어(303)에 대한 최종적인 출력(output)일 수 있다.
x1,x2,x3은, 인코더 RNN의 제1 레이어(301)의 입력으로 이용될 수 있다. x1,x2,x3으로부터 제1 레이어(301)을 통해, 숨은 표현(hidden representation)들
Figure PCTKR2018013416-appb-I000019
이 구성될 수 있다.
Figure PCTKR2018013416-appb-I000020
은, 주변(예: 주변의 단어들)에 관한 단기 기억(short-term)에 대한 정보를 저장할 수 있다. 예를 들면,
Figure PCTKR2018013416-appb-I000021
은, 제1 레이어(301)에 대한 최종적인 출력(output)일 수 있다.
Figure PCTKR2018013416-appb-I000022
은, 인코더 RNN의 제2 레이어(302)의 입력으로 이용될 수 있다.
Figure PCTKR2018013416-appb-I000023
으로부터 제2 레이어(302)을 통해, 숨은 표현(hidden representation)들
Figure PCTKR2018013416-appb-I000024
이 구성될 수 있다.
Figure PCTKR2018013416-appb-I000025
은, 전역적인(예: 전역의 단어들)에 관한 장기 기억(long-term)에 대한 정보를 저장할 수 있다. 예를 들면,
Figure PCTKR2018013416-appb-I000026
은, 제2 레이어(302)에 대한 최종적인 출력(output)일 수 있다.
Figure PCTKR2018013416-appb-I000027
,
Figure PCTKR2018013416-appb-I000028
은, 디코더 RNN의 입력으로 이용될 수 있다.
Figure PCTKR2018013416-appb-I000029
,
Figure PCTKR2018013416-appb-I000030
은, 디코더 RNN에서, 필요한 정보(예: 슬롯에 관한 정보, 의도에 관한 정보)를 획득하기 위해 이용될 수 있다.
Figure PCTKR2018013416-appb-I000031
,
Figure PCTKR2018013416-appb-I000032
은, 디코더 RNN에서, 필요한 정보에 관한 어텐션(즉, 장기 기억 어텐션(long-term aware attention, LA))을 구성하기 위해 이용될 수 있다. 예를 들면, 디코더는, 하나 이상의 RNN을 포함할 수 있다. 디코더 RNN은,
Figure PCTKR2018013416-appb-I000033
,
Figure PCTKR2018013416-appb-I000034
로부터, 하나 이상의 디코더 RNN을 통해, 슬롯에 관한 장기 기억 어텐션(LA)을 나타내는 LA1, LA2, LA3를 구성할 수 있다. 디코더 RNN은,
Figure PCTKR2018013416-appb-I000035
,
Figure PCTKR2018013416-appb-I000036
로부터, 하나 이상의 디코더 RNN을 통해, 의도(intent)에 관한 장기 기억 어텐션(LA)을 나타내는 LAintent를 구성할 수 있다.
슬롯 채우기 모델(320)에 대하여, 숨은 표현들로부터 장기 기억 어텐션을 획득하는 방법을 예로 들면, 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000037
수학식 2를 참조하면, j는 입력(예: 단어(word))의 순차적인 인덱스를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, LAi는, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고, αij는, a 함수에 의해 획득된, si-1에 관한 위치 별 가중치(position-wise weight)를 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000038
는, 인코더 RNN의 제1 레이어의 숨은 표현(hidden representation)을 나타내고,
Figure PCTKR2018013416-appb-I000039
은, 인코더 RNN의 제2 레이어의 숨은 표현을 나타낼 수 있다.
si-1는, 디코더 RNN에 위치된 숨은 표현(hidden representation)일 수 있다. si-1는, 현재(즉, i번째 단계)의 출력(output)을 획득하기 위한 디코더 RNN의 처리 동작에서, 현재까지 처리된 정보를 나타낼 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에서, si-1는, 쿼리(query)로 이용될 수 있다. 즉, 다양한 실시 예들에 따른 LA-RNN 모델에서, 슬롯 채우기 모델(320)은, si-1를 이용하여, 인코더 RNN에 위치된 정보들
Figure PCTKR2018013416-appb-I000040
,
Figure PCTKR2018013416-appb-I000041
에 기반하여, 장기 기억 어텐션을 획득하거나 또는 현재(즉, i번째 단계)의 출력을 획득할 수 있다.
다양한 실시 예들에 따른 LA-RNN 모델(예: 슬롯 채우기 모델(320))은, 인코더 RNN의 숨은 표현들을 이용하여, 장기 기억 어텐션(LA)를 획득할 수 있다. LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들 중, 하단의 레이어(즉, 제1 레이어(301))로부터 구성된 숨은 표현들(즉,
Figure PCTKR2018013416-appb-I000042
)을 키(key) 및 밸류(value)로 이용할 수 있다. LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들 중, 상단의 레이어(즉, 제2 레이어(302))로부터 구성된 숨은 표현들(즉,
Figure PCTKR2018013416-appb-I000043
)을 키(key)로 이용할 수 있다.
수학식 2의
Figure PCTKR2018013416-appb-I000044
를 참조하면, LA-RNN 모델은, 쿼리 si-1, 키
Figure PCTKR2018013416-appb-I000045
, 및 키
Figure PCTKR2018013416-appb-I000046
를 이용하여, 가중치(weight) αij를 획득하기 위한 입력 eij를 획득할 수 있다. 예를 들면, 가중치 αij는, 인코더 RNN의 각각의 정보들(예:
Figure PCTKR2018013416-appb-I000047
,
Figure PCTKR2018013416-appb-I000048
)이 얼마나 비중 있게 고려되는지에 관한 정보를 포함할 수 있다. 즉, 다양한 실시 예들에서, LA-RNN 모델은, 키로써
Figure PCTKR2018013416-appb-I000049
및
Figure PCTKR2018013416-appb-I000050
를 이용할 수 있다.
수학식 2의
Figure PCTKR2018013416-appb-I000051
를 참조하면, LA-RNN 모델은, 각각의 가중치 αij를 각각의 밸류
Figure PCTKR2018013416-appb-I000052
와 곱한 다음 합하는 가중치 합(weighted sum) 연산을 수행함으로써, 장기 기억 어텐션(LA)에 대한 정보를 획득할 수 있다. 즉, 다양한 실시 예들에서, LA-RNN 모델은, 키로써
Figure PCTKR2018013416-appb-I000053
를 이용할 수 있다. LA-RNN 모델은, 상단의 레이어(즉, 제2 레이어(302))로부터 구성된 숨은 표현들(즉,
Figure PCTKR2018013416-appb-I000054
)을 밸류로 이용하지 않을 수 있다.
다양한 실시 예들에서, 제1 레이어(301)의 개수 및 제2 레이어(302)의 개수는 이에 한정되지 않는다. 예를 들면, LA-RNN 모델은, 인코더 RNN에 포함된 5단의 레이어들 중, 하단의 3개 레이어들을 키 및 밸류로 이용하고, 상단의 2개 레이어들을 키로 이용할 수도 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치 및 방법은, 인코더 RNN에 포함된 복수의 레이어들 중, 일부 레이어들(예: 하단의 레이어, 제1 레이어(301))을 키 및 밸류로써 이용하고, 다른 일부 레이어들(예: 상단의 레이어, 제2 레이어(302))을 키로써 이용함으로써, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 더 잘 기억할 수 있다.
다양한 실시 예들에서, 의도 탐지 모델(330)도 상술한 바에 상응하는 동작을 수행할 수 있다.
도 4a는, 다양한 실시 예들에 따른 언어 모델의 다른 예를 도시한다. 도 4a를 참조하면, 언어 모델(410)의 구조는, 임의로 선택된 한 단어(word)를 제외한 문자 기반의(character-based) 입력(411), 하나의 인코딩 레이어(413), 및 위치 어텐션(positional attention)(415)을 포함할 수 있다. 위치 어텐션(415)은, 라이트 하우스 위치 인코딩을 이용하여 구성될 수 있다. 언어 모델의 학습 동작에서, 소프트맥스 근사(softmax approximation)에 관한 정규화(normalization)가 이용될 수 있다.
도 4b는, 다양한 실시 예들에 따른 슬롯 채우기 모델의 다른 예를 도시한다. 도 4b를 참조하면, 슬롯 채우기 모델(420)의 구조는, 문자 기반의 입력(421), 두 개의 인코딩 레이어들(423), 및 장기 기억 어텐션(425)(예: LA1, LA2, LA3)를 포함할 수 있다. 장기 기억 어텐션(425)(예: LA1, LA2, LA3)은, 라이트 하우스 위치 인코딩과 결합될 수 있다.
도 4c는, 다양한 실시 예들에 따른 의도 탐지 모델의 다른 예를 도시한다. 도 4c를 참조하면, 의도 탐지 모델(430)의 구조는, 문자 기반의 입력(431), 두 개의 인코딩 레이어들(433), 및 장기 기억 어텐션(435)(예: LAintent)를 포함할 수 있다. 장기 기억 어텐션(435)(예: LAintent)은, 마지막 단어의 위치에 기반한 라이트 하우스 위치 인코딩과 결합될 수 있다.
다양한 실시 예들에서. LA-RNN 모델(예: 410, 420, 430)을 학습하기 위한 장치(예: 프로세서 기반의 장치)는, 언어 모델(410), 슬롯 채우기 모델(420), 및 의도 탐지 모델(430)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 학습된 슬롯 채우기 모델(420) 및 학습된 의도 탐지 모델(430)은, 지능형 서버(200)의 메모리(202)(또는 자연어 이해 모듈(220))에 구현 또는 저장될 수 있다.
도 4a, 4b, 및 4c를 참조하면, 인공 신경망(예: RNN)의 입력은, 문자
Figure PCTKR2018013416-appb-I000055
들의 시퀀스일 수 있다. i는, 단어(word)를 나타내는 인덱스일 수 있다. j는, 단어 안에서 문자를 나타내는 인덱스일 수 있다. 다양한 실시 예들에서, LA-RNN 모델은, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)을 나타내는 태스크 모델들과, 언어 모델(410)을 포함할 수 있다.
다양한 실시 예들에서, 세 가지 모델들(410, 420, 430)은 문자 임베딩(character embedding)(예: 벡터) 및 단어와 관련된 레이어(예: 411, 421, 431)를 공유할 수 있다. 태스크 모델들(420, 430)은, 문자 임베딩 및 단어와 관련된 레이어(예: 411, 421, 431)뿐 아니라, 두 개의 인코딩 레이어들(예: 423, 433)도 공유할 수 있다.
다양한 실시 예들에서, 인공 신경망(예: RNN)은, 숨은 인코딩 표현(hidden encoding representation)
Figure PCTKR2018013416-appb-I000056
로 구성될 수 있다. k는 레이어들의 인덱스로써, 1, 2, 및
Figure PCTKR2018013416-appb-I000057
일 수 있다. k는, 태스크 모델들(420, 430)의 제1 인코딩 레이어(예: 하단의 레이어)의 인덱스로써 1일 수 있고, 태스크 모델들(420, 430)의 제2 인코딩 레이어(예: 상단의 레이어)의 인덱스로써 2일 수 있으며, 언어 모델(410)의 제1 레이어(413)의 인덱스로써
Figure PCTKR2018013416-appb-I000058
일 수 있다. 또한, 슬롯 채우기 모델(420)은, 순차적인 출력을, 슬롯 레이블 임베딩(예: 벡터)들 oi의 형태로, 다음 디코더의 입력으로써 이용할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, 언어 모델(410)의 위치 어텐션(positional attention)(415)과 태스크 모델들(420, 430)의 어텐션 벡터(425, 435)를 제공할 수 있다. 다양한 실시 예들은, RNN으로써 양방향(bi-directional) GRU(gated recurrent unit)(Chung et al., 2014)를 이용할 수 있다. 다양한 실시 예들은, 문자 임베딩들(character embeddings)로부터 단어 표현(word representation)(예: 411, 421, 431)을 구성하기 위해, 순방향 RNN 및 역방향 RNN의 최종 상태들의 합 연산을 이용할 수 있다. 다양한 실시 예들은, 순방향 RNN 및 역방향 RNN의 상태들 각각을 연결할(concatenate) 수 있다. 드롭 아웃(dropout)(Srivastava et al., 2014) 및 배치 정규화(batch normalization)(Ioffe and Szegedy, 2015)의 위치, 활성 함수(activation function)의 선택, 디코더의 입력들에 관한 연결은, 실험으로부터 획득될 수 있다.
다양한 실시 예들에서, 문자 기반 입력(character-based input)이 이용될 수 있다. 단어 임베딩을 이용하면, 많은 어휘 작업에 대해, 단어 임베딩들의 사이즈가 나머지 파라미터들의 수를 훨씬 초과할 수 있다. 또한, 문자 기반의(character-based) 접근 방식은, 단어 기반의(word-based) 접근 방식보다, 알려지지 않거나 희소한 단어에 대해 더 안정적인 처리를 수행할 수 있다. 문자 임베딩에 기반한 단어 표현(word representation)은, 철자 형태와 의미적 기능을 탐지하는 데 유용할 수 있다. 문자 임베딩에 기반한 단어 표현(word representation)은, 단어 임베딩보다, 접두어(prefixes)나 접미사(suffixes)와 같은 형태소들을 구별하는 데 유용할 수 있다. 다만, 이에 한정되지 않으며, 단어 기반 입력(word-based input)이 이용될 수도 있다.
정렬 기반의(alignment-based) RNN 모델의 어텐션 메커니즘은, 예를 들면, 다음과 같이 나타낼 수 있다(Mnih et al., 2014; Bahdanau et al., 2015; Firat et al., 2016).
Figure PCTKR2018013416-appb-I000059
수학식 3을 참조하면, j는 단어(word)의 순차적인 인덱스를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, ci는, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고, αij는, f 함수에 의해 획득된, si-1에 관한 위치 별 가중치(position-wise weight)를 나타낼 수 있다.
수학식 3에서, 어텐션의 쿼리(query)는 현재 디코더 상태 si-1일 수 있고, 어텐션의 키(key)와 밸류(value)는, 각각의 hi일 수 있다. 어텐션 가중치(weight) αij는, 예를 들면, 쿼리와 키에 기반한 신경망 f 및 소프트맥스(softmax)에 기반하여 획득될 수 있다. 최종 어텐션(final attention) ci는, 어텐션 가중치들(즉, αij)과 밸류들(values)의 가중치 합(weighted sum)으로 획득될 수 있다.
단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있는 점에 착안하여, 다양한 실시 예들에 따른 장기 기억 어텐션(LA) 구조를 가지는 RNN 모델(즉, LA-RNN 모델(예: 420, 430))은, 인코더에 RNN의 두 레이어들을 쌓고(stack), 상기 두 레이어들을 단기 기억(short-term) 및 장기 기억(long-term)의 쌍으로써 활용할 수 있다. 상기 두 개의 인코더 RNN 레이어들 중 제1 레이어(예: 하단의 레이어)는 단기 기억(short-term) 또는 상대적으로 지역적인(local) 정보를 나타낼 수 있다. 상기 두 레이어들 중 제2 레이어(예: 상단의 레이어)는, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 나타낼 수 있다. 장기 기억 어텐션(LA) 구조에서, 인코더 RNN의 제1 레이어는 키(key) 및 밸류(value)로 이용될 수 있고, 인코더 RNN의 제2 레이어는 키로 이용될 수 있다. 인코더 RNN의 제2 레이어의 숨은 표현(hidden representation)의 양 끝은, 쿼리 정보를 만들기 위해 이용될 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000060
수학식 4를 참조하면, LAi은, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고,
Figure PCTKR2018013416-appb-I000061
는, 인코더 RNN의 제1 레이어의 숨은 표현(hidden representation)을 나타내고,
Figure PCTKR2018013416-appb-I000062
은, 인코더 RNN의 제2 레이어의 숨은 표현을 나타낼 수 있다.
수학식 4와 같은 계산을 통해, 장기 기억 어텐션(LA) 구조는, 단어(word)의 구체적인 의미를 나타내기 위한 단기 기억(short-term) 정보를 유지할 수 있다. 장기 기억 어텐션(LA) 구조는, 상기 단기 기억 정보를, 문장에서 실질적인 의미 또는 역할을 나타내기 위해, 추가적인 문장 수준 정보(sentence-level information)를 이용하여 결합할 수 있다.
f 함수는, 완전 연결(fully connected) 신경망에 의해 가중치(weight)를 계산하기 위해 이용되도록 구성될 수 있다. 예를 들면, f 함수는 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000063
수학식 5에서, FC는 함수 또는 방법론으로써, 완전 연결(fully connected) 신경망 레이어를 나타낼 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, 디코더에 추가적인 RNN을 구성할 수 있다. 전자 장치 및 방법은, 획득된 장기 기억 어텐션(LA)에 기반하여, 추가적인 디코더 RNN을 통해 슬롯(slot) 또는 의도(intent)를 추출할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, LA-RNN 모델에서 이용되는 새로운 위치 인코딩으로써, 라이트 하우스 위치 인코딩(light-house positional encoding)을 제공할 수 있다. 라이트 하우스 위치 인코딩은, 현재 위치(current position)와 비교 위치(comparison position) 사이의 상대적 거리(relative distance)를 고려할 수 있다. 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding) 및 고정 인코딩(fixed-encoding)과는 달리, 하나의 학습된 임베딩(embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현 (starting representation)에 위치되지 않고, 어텐션 계산의 내부에만 위치될 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000064
수학식 6을 참조하면, i는 단어(word)의 순차적인 인덱스를 나타내고, b는, 현재 위치 인덱스를 나타내고, D∈Rd는, 차원 d를 가지는, 거리 임베딩(distance embedding)을 나타내고, β는, 거리에 따라 증가된 인코딩의 놈(norm)을 제어하는 파라미터를 나타낼 수 있다.
라이트 하우스 위치 인코딩은, 정현파 형(sinusoid type)과 같이 고정된 인코딩(fixed encoding) 또는 각각의 위치에 대해 독립적으로 설정된 학습된 위치 별 인코딩(position-wise encoding)과는 달리, 하나의 거리 임베딩(distance embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 상기 하나의 거리 임베딩(distance embedding)에 파라미터 β 및 현재 위치 b를 기준으로 한 절대적 거리를 곱함으로써, 각각의 단어 위치 i에 대한 위치 인코딩
Figure PCTKR2018013416-appb-I000065
를 구성할 수 있다. 따라서, 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding)에 비하여, 더 적은 개수의 위치 관련(position-related) 파라미터를 가질 수 있다. 또한, 비교 위치와의 거리가 멀어질수록, 위치 인코딩의 놈(norm)이 커질 수 있다. 따라서, 깊은 레이어에 대하여, 가중치 및 인코딩의 양음(positive and negative)로부터, 거리 관련(distance-related) 정보가 효과적으로 고려될 수 있다.
일 실시 예에 따르면, β는, 문장의 평균 길이에 관련된 하이퍼-파라미터(hyper-parameter)일 수 있다. 예를 들면, β는 1로 설정될 수 있을 것이다. 다른 실시 예에 따르면, β는, 학습되는 파라미터일 수도 있다.
다양한 실시 예들에 따른 LA-RNN 모델에서, 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현(starting representation)에 삽입되지 않고, 어텐션을 계산하기 위한 함수 (예: 수학식 2의 a, 수학식 5의 f)의 내부에 삽입될 수 있다.
예를 들면, 어텐션을 계산하기 위한 함수 a에 삽입된 라이트 하우스 위치 인코딩은, 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000066
수학식 7을 참조하면, a는, 수학식 2에서 장기 기억 어텐션을 획득하기 위해 이용되는 함수일 수 있다. 라이트 하우스 위치 인코딩
Figure PCTKR2018013416-appb-I000067
는, 장기 기억 어텐션을 획득하기 위해, 가중치(weight) αij를 획득하기 위한 키(key)로써 이용될 수 있다. 다양한 실시 예들에서, LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들(예: 423, 433)로부터 구성된 숨은 표현들(예:
Figure PCTKR2018013416-appb-I000068
,
Figure PCTKR2018013416-appb-I000069
)에 라이트 하우스 위치 인코딩
Figure PCTKR2018013416-appb-I000070
를 결합할 수 있다. 예를 들면, LA-RNN 모델은, 숨은 표현들(예:
Figure PCTKR2018013416-appb-I000071
,
Figure PCTKR2018013416-appb-I000072
)에 라이트 하우스 위치 인코딩
Figure PCTKR2018013416-appb-I000073
가 결합된 새로운 키 f2, f3를 구성할 수 있다. LA-RNN 모델은, 라이트 하우스 위치 인코딩
Figure PCTKR2018013416-appb-I000074
가 결합된 키 f2, f3를 이용하여 장기 기억 어텐션을 획득할 수 있다.
예를 들면, 어텐션을 계산하기 위한 함수 f에 삽입된 라이트 하우스 위치 인코딩은, 다음과 같은 수학식으로 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000075
수학식 8에서, 연산 [a, b]는, a와 b의 결합 벡터(concatenating)를 나타낼 수 있다. 일 실시 예에 따르면, LA-RNN 모델은, 상술한 바와 같이 어텐션 계산 내부에 라이트 하우스 위치 인코딩을 삽입함으로써, 필요한 경우에만 위치 인코딩을 사용할 수 있다.
다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템(예: 시스템(390))에서, LA-RNN 모델을 학습하기 위한 장치는, 멀티 태스크 학습(multi-task learning)을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치는, 언어 모델(310 또는 410), 슬롯 채우기 모델(320 또는 420), 및 의도 탐지 모델(330 또는 430)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 이하, 도 4를 참조하여 설명한다.
다양한 실시 예들에 따른 멀티 태스크 학습 동작에서, LA-RNN 모델을 학습하기 위한 장치 및 방법은, 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)을 곱함으로써, 멀티 태스크 학습에 대한 코스트(cost)를 구성할 수 있다.
예를 들면, 세 모델(410, 420, 430)의 태스크 각각에 대한 코스트는, 동등하게 적용되지 않을 수 있다. 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)이 곱해진 항은, 정규화자(regularizer)로써 이용될 수 있다. 예를 들면, 언어 모델(410)은, 정규화자(regularizer)로써, 태스크 모델들(420, 430)의 학습에 도움을 주기 위한 도구로 이용될 수 있다. 예를 들면, 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)을 곱함으로써, 태스크 모델(420, 430)의 학습에 제약을 줄 수 있다. 따라서, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)은, 정규화자(regularizer)에 기반하여 학습될 수 있다.
일 실시 예에 따르면, LA-RNN 모델을 학습하기 위한 장치 및 방법은, 멀티 태스크 학습에 대한 코스트(cost)를 구성하기 위해, 슬롯 채우기 모델(420)에 대한 코스트 및 의도 탐지 모델(430)에 대한 코스트에 대하여, 동등한 합 연산을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치 및 방법은, 멀티 태스크 학습에 대한 코스트(cost)를 구성하기 위해, 언어 모델(410)에 대한 코스트에 대하여, 가중치 감소(weight-decay) 항(term)을 곱할 수 있다. 예를 들어, 언어 모델(410)의 태스크는, 메인 태스크가 아닌 하위(sub) 태스크로써, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)의 학습에 기여할 수 있다. 가중치 감소(weight-decay) 항(term)은, 예를 들면, 하이퍼-파라미터(hyper-parameter)로써, 모델을 학습하기 이전에 결정될 수 있다. 예를 들면, 가중치 감소(weight-decay) 항(term)은, 사전 학습에 의해 결정될 수 있다.
다양한 실시 예들에서, 세 가지 모델들(즉, 슬롯 채우기 모델, 의도 탐지 모델, 언어 모델) 및 그 코스트들은, 멀티 태스크 학습을 통해, 안정적으로(stably) 학습할 수 있으며 빠르게 수렴할(converge) 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른, 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델(예: LA-RNN 모델, 320, 330, 420, 430)을 이용하는 전자 장치(예: 지능형 서버(200))는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하도록 설정된 메모리(예: 메모리(202)), 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure PCTKR2018013416-appb-I000076
,
Figure PCTKR2018013416-appb-I000077
)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000078
,
Figure PCTKR2018013416-appb-I000079
)을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션(예: LAi, LA1, LA2, LA3, LAintent)을 획득하도록 설정되는 적어도 하나의 프로세서(예: 프로세서(201))를 포함할 수 있다.
다양한 실시 예들에서, 상기 인공 신경망(예: LA-RNN, 320, 330, 420, 430) 내에서, 상기 적어도 하나의 제1 레이어(예: 301)는, 상기 적어도 하나의 제2 레이어(예: 302)보다 하단에 위치되고, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 상기 적어도 하나의 제1 숨은 표현(예:
Figure PCTKR2018013416-appb-I000080
,
Figure PCTKR2018013416-appb-I000081
)으로부터 상기 적어도 하나의 제2 레이어(예: 302)를 통해 상기 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000082
,
Figure PCTKR2018013416-appb-I000083
)을 획득하도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단(예: 디코더 RNN)에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 상기 제1 키(예:
Figure PCTKR2018013416-appb-I000084
)에 대한 데이터 및 상기 제2 키(예:
Figure PCTKR2018013416-appb-I000085
)에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치(예: αij)에 대한 데이터를 획득하고, 상기 가중치(예: αij)에 대한 데이터와 상기 밸류(예:
Figure PCTKR2018013416-appb-I000086
)에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션(예: LAi, LAintent)을 획득하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 하기 수식에 기반하여 상기 어텐션(예: LAi)을 획득하도록 설정되고,
Figure PCTKR2018013416-appb-I000087
상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고, Tx는, 입력 시퀀스의 길이를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, LAi는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고, αij는, a에 의해 획득된, si-1에 관한 가중치(weight)를 나타내고,
Figure PCTKR2018013416-appb-I000088
는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
Figure PCTKR2018013416-appb-I000089
은, 상기 적어도 하나의 제2 숨은 표현을 나타낼 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)(예:
Figure PCTKR2018013416-appb-I000090
)이 적용된 제3 키(예: f2)에 대한 데이터를 획득하고, 상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩(예:
Figure PCTKR2018013416-appb-I000091
)이 적용된 제4 키(예: f3)에 대한 데이터를 획득하고, 상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션(예: LAi)을 획득하도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 하기 수식에 기반하여 상기 a를 획득하도록 설정되고,
Figure PCTKR2018013416-appb-I000092
상기 수식에서,
Figure PCTKR2018013416-appb-I000093
는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고, f1, f2, f3, 및 f4는, 함수 또는 인공 신경망을 나타낼 수 있다.
다양한 실시 예들에서, 상기 순환 인공 신경망(예: LA-RNN)에 관한 언어 모델(language model)(예: 310, 410)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)(예: 320, 420)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)(예: 330, 430)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어(예: 301, 302, 303), 상기 적어도 하나의 제1 숨은 표현(예:
Figure PCTKR2018013416-appb-I000094
), 또는 상기 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000095
) 중 적어도 하나를 공유할 수 있다.
예를 들면, 상기 순환 인공 신경망(예: LA-RNN)에 대한 코스트는, 상기 언어 모델(예: 310, 410)에 대한 코스트를 나타내는 데이터에 가중치 감소 항(weight-decay term)을 곱하는 것에 적어도 기반하여 획득될 수 있다.
다양한 실시 예들에서, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어는 양방향 순환 인공 신경망(bi-directional RNN) 레이어를 포함할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure PCTKR2018013416-appb-I000096
,
Figure PCTKR2018013416-appb-I000097
)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000098
,
Figure PCTKR2018013416-appb-I000099
)을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션(예: LAi, LA1, LA2, LA3, LAintent)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시 예들에서, 상기 인공 신경망(예: LA-RNN, 320, 330, 420, 430) 내에서, 상기 적어도 하나의 제1 레이어(예: 301)는, 상기 적어도 하나의 제2 레이어(예: 302)보다 하단에 위치되고, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 적어도 하나의 제1 숨은 표현(예:
Figure PCTKR2018013416-appb-I000100
,
Figure PCTKR2018013416-appb-I000101
)으로부터 상기 적어도 하나의 제2 레이어(예: 302)를 통해 상기 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000102
,
Figure PCTKR2018013416-appb-I000103
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단(예: 디코더 RNN)에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
다양한 실시 예들에서, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 제1 키(예:
Figure PCTKR2018013416-appb-I000104
)에 대한 데이터 및 상기 제2 키(예:
Figure PCTKR2018013416-appb-I000105
)에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치(예: αij)에 대한 데이터를 획득하는 동작과, 상기 가중치(예: αij)에 대한 데이터와 상기 밸류(예:
Figure PCTKR2018013416-appb-I000106
)에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션(예: LAi, LAintent)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
다양한 실시 예들에서, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 하기 수식에 기반하여 상기 어텐션(예: LAi)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
Figure PCTKR2018013416-appb-I000107
상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고, Tx는, 입력 시퀀스의 길이를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, LAi는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고, αij는, a에 의해 획득된, si-1에 관한 가중치(weight)를 나타내고,
Figure PCTKR2018013416-appb-I000108
는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
Figure PCTKR2018013416-appb-I000109
은, 상기 적어도 하나의 제2 숨은 표현을 나타낼 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)(예:
Figure PCTKR2018013416-appb-I000110
)이 적용된 제3 키(예: f2)에 대한 데이터를 획득하는 동작과, 상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩(예:
Figure PCTKR2018013416-appb-I000111
)이 적용된 제4 키(예: f3)에 대한 데이터를 획득하는 동작과, 상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션(예: LAi)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 하기 수식에 기반하여 상기 a를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
Figure PCTKR2018013416-appb-I000112
상기 수식에서,
Figure PCTKR2018013416-appb-I000113
는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고, f1, f2, f3, 및 f4는, 함수 또는 인공 신경망을 나타낼 수 있다.
다양한 실시 예들에서, 상기 순환 인공 신경망(예: LA-RNN)에 관한 언어 모델(language model)(예: 310, 410)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)(예: 320, 420)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)(예: 330, 430)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어(예: 301, 302, 303), 상기 적어도 하나의 제1 숨은 표현(예:
Figure PCTKR2018013416-appb-I000114
), 또는 상기 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000115
) 중 적어도 하나를 공유할 수 있다.
예를 들면, 상기 순환 인공 신경망(예: LA-RNN)에 대한 코스트는, 상기 언어 모델(예: 310, 410)에 대한 코스트를 나타내는 데이터에 가중치 감소 항(weight-decay term)을 곱하는 것에 적어도 기반하여 획득될 수 있다.
표 2 내지 표 6을 통해, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상이 기술될 수 있다. 그러나 이는 예시일 뿐, 다양한 실시 예들은, 표 2 내지 표 6에 기재된 수치적 특징에 한정되지 않는다.
표 2는, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상을 실험하기 위해 이용된 데이터셋을 나타낼 수 있다. 표 3 내지 표 6은, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상을 나타낼 수 있다.
ATIS(air travel information system) 코퍼스(corpus)(또는 말뭉치) (Hemphill et al., 1990)는, 언어 이해에 관한 연구에 보편적으로 이용되는 데이터셋(dataset)일 수 있다. 예를 들면, 상기 데이터셋(dataset)은, 항공편 예약을 하는 사람들의 문장으로 구성될 수 있다. 표 3 내지 표 6은, Hakkani-Tur et al. (2016)에서 이용된 ATIS 코퍼스를 이용한 실험 결과를 나타낼 수 있다. 표 3 내지 표 6은, 삼성 빅스비의 5개 도메인들의 데이터셋(dataset) 및 ATIS 데이터셋에 대한 실험 결과를 나타낼 수 있다. 표 2는, 삼성 빅스비의 5개 도메인들의 데이터셋을 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000116
표 2를 참조하면, 훈련 셋(training)의 수, 테스트 셋의 수, 슬롯 레이블들(slot labels)의 수, 의도 유형들(intent types)의 수를 나타낼 수 있다
표 3은, ATIS에 대하여, 다른 모델들에 비해 LA-RNN 모델의 슬롯 채우기 성능(예: F1-score)이 향상됨을 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000117
표 4는, ATIS에 대하여, 다른 모델들에 비해 LA-RNN 모델의 의도 탐지 성능이 향상됨(예: error rate이 감소됨)을 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000118
표 3 및 표 4을 참조하면, "공동(joint)" 학습 및 "슬롯만(slot only)"학습에 대한 LA-RNN 모델이, 다른 모델들에 비해, 슬롯 채우기 및 의도 탐지에 있어서, 향상된 성능을 가질 수 있다. 특히, "공동(joint)" 학습에 대한 RNN 모델은, 슬롯 채우기에 대해 최고 성능인 96.09 F1-score과, 의도 탐지에 대해 최저 오류율(error rate)인 1.46을 제공할 수 있다. 따라서, 슬롯 채우기 모델을 의도 정보와 함께 학습하는 동작은, 슬롯 채우기의 성능도 향상시킬 수 있다.
표 5는, 삼성 빅스비의 5개 도메인들에 대하여, 다른 모델들에 비해 LA-RNN 모델의 슬롯 채우기 성능(예: F1-score)이 향상됨을 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000119
표 5를 참조하면, 슬롯 채우기에 대하여, ATIS 데이터셋보다 삼성 빅스비의 5개 도메인들의 데이터셋의 경우, LA-RNN 모델과 다른 모델들 간의 성능 차이가 더 벌어질 수 있다. 특히, 일정(calendar) 도메인과 메시지(message) 도메인과 같은 복잡도가 높은 데이터셋들의 경우, LA-RNN 모델이 다른 모델들보다 약 5% 이상의 성능 향상을 가질 수 있다. 표 5에서, "슬롯만(slot only)" 학습 모델과 "공동(joint)" 학습 모델은 모두, 다른 모델들보다 높은 F1-score를 가질 수 있다. LA-RNN의 "공동(joint)" 학습 모델은, 대부분 "슬롯만(slot only)" 학습 모델보다 더 성능이 좋으므로, 공동 훈련(joint training)이 더 유리한 효과를 가질 수 있다.
표 6은, 삼성 빅스비의 5개 도메인들에 대하여, 다른 모델들에 비해 LA-RNN 모델의 의도 탐지 성능이 향상됨(예: 오류율(error rate)이 감소됨)을 나타낼 수 있다.
Figure PCTKR2018013416-appb-I000120
표 6을 참조하면, 삼성 빅스비의 5개 도메인들의 데이터셋에 대한 의도 탐지에 대하여, LA-RNN 모델이 다른 모델들보다 더 작은 오류율(error rate)을 가질 수 있다. 일정(calendar) 도메인과 메시지(message) 도메인과 같은 복잡도가 높은 데이터셋들에서, LA-RNN 모델은, 더 감소된 오류율을 가질 수 있다. 표 2 내지 표 6은, 다양한 실시 예들을 한정하려는 목적이 아니다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다. 도 5의 동작들은, LA-RNN 모델을 학습하기 위한(for training) 장치 또는 학습된 LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))에 의해 수행될 수 있다. 이하, 전자 장치는, LA-RNN 모델을 학습하기 위한(for training) 장치 또는 학습된 LA-RNN 모델이 구현된 장치를 나타낼 수 있다. 전자 장치는, 복수의 레이어들을 포함하는 RNN(또는 RNN에 대한 정보)을 메모리에 저장할 수 있다.
도 5를 참조하면, 동작 501에서, 전자 장치는, 상기 복수의 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정할 수 있다.
예를 들면, 전자 장치의 메모리에 저장된 순환 RNN은, 인코더 부분과 디코더 부분을 포함할 수 있다. 인코더 RNN은, 입력(예: 문자 기반의 문장, 단어 기반의 문장 등)을 나타내는 시퀀스로부터, 디코더 RNN에서 이용되기 위한 숨은 표현(hidden representation)들을 구성(또는 획득)할 수 있다. 전자 장치는 인코더 RNN에서, 입력 시퀀스로부터, 적어도 하나의 제1 레이어를 이용하여, 제1 숨은 표현을 획득할 수 있다. 전자 장치는 디코더 RNN에서, 제1 숨은 표현을, 어텐션을 획득하기 위한 제1 키 및 밸류로써 이용할 수 있다.
동작 503에서, 전자 장치는, 상기 복수의 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현(hidden representation)을 제2 키(key)로 설정할 수 있다. 전자 장치는 인코더 RNN에서, 적어도 하나의 제2 레이어를 이용하여, 제2 숨은 표현을 획득할 수 있다. 예를 들면, 전자 장치는 인코더 RNN에서, 제1 숨은 표현으로부터, 적어도 하나의 제2 레이어를 이용하여, 제2 숨은 표현을 획득할 수 있다. 따라서, 제2 레이어는 제1 레이어보다 상단에 위치될 수 있다. 전자 장치는 디코더 RNN에서, 제2 숨은 표현을, 어텐션을 획득하기 위한 제2 키로써 이용할 수 있다. 전자 장치는 디코더 RNN에서, 제2 숨은 표현을 밸류로 이용하지 않을 수 있다.
적어도 하나의 제1 레이어는, 단기 기억(short-term)에 대한 정보와 관련될 수 있다. 적어도 하나의 제2 레이어는, 장기 기억(long-term)에 대한 정보와 관련될 수 있다. 예를 들면, RNN의 입력 시퀀스 중에서, 상기 제2 숨은 표현에 기여하는 입력 시퀀스의 부분은, 제1 숨은 표현에 기여하는 입력 시퀀스의 부분보다 더 넓을 수 있다.
동작 505에서, 전자 장치는, 디코더 RNN에서 제1 키, 제2 키, 밸류에 기반하여 어텐션을 획득할 수 있다. 예를 들면, 전자 장치는 디코더 RNN에서, 상기 어텐션으로부터, 추가 레이어를 이용하여, 슬롯(slot)에 관한 정보 또는 의도(intent)에 관한 정보를 획득할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치(예: 지능형 서버(200))의 동작 방법에 있어서, 상기 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure PCTKR2018013416-appb-I000121
,
Figure PCTKR2018013416-appb-I000122
)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure PCTKR2018013416-appb-I000123
,
Figure PCTKR2018013416-appb-I000124
)을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션(예: LAi, LA1, LA2, LA3, LAintent)을 획득하는 동작을 포함할 수 있다.
도 6은 다양한 실시예들에 따른, 네트워크 환경(600) 내의 전자 장치(601)의 블럭도이다. 도 6을 참조하면, 네트워크 환경(600)에서 전자 장치(601)는 제 1 네트워크(698)(예: 근거리 무선 통신)를 통하여 전자 장치(602)와 통신하거나, 또는 제 2 네트워크(699)(예: 원거리 무선 통신)를 통하여 전자 장치(604) 또는 서버(608)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(601)는 서버(608)를 통하여 전자 장치(604)와 통신할 수 있다.
예를 들면, 서버(608)는, 도 2의 지능형 서버(200), 개인화 정보 서버(300), 제안 서버(400)를 포함할 수 있다. 서버(608)(예: 지능형 서버(200))는, 다른 서버(예: 개인화 정보 서버(300), 제안 서버(400))와 통신할 수 있다. 다른 예를 들면, 전자 장치(601)는, 서버(예: 지능형 서버(200), 개인화 정보 서버(300), 제안 서버(400))에 상응할 수 있다. 전자 장치(601)가 지능형 서버(200)에 상응하는 경우, 프로세서(620)는 프로세서(201)에 상응할 수 있고, 메모리(630)는, 메모리(202)에 상응할 수 있다.
일실시예에 따르면, 전자 장치(601)는 프로세서(620), 메모리(630), 입력 장치(650), 음향 출력 장치(655), 표시 장치(660), 오디오 모듈(670), 센서 모듈(676), 인터페이스(677), 햅틱 모듈(679), 카메라 모듈(680), 전력 관리 모듈(688), 배터리(689), 통신 모듈(690), 가입자 식별 모듈(696), 및 안테나 모듈(697)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(601)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(660) 또는 카메라 모듈(680))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(660)(예: 디스플레이)에 임베디드된 센서 모듈(676)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(620)는, 예를 들면, 소프트웨어(예: 프로그램(640))를 구동하여 프로세서(620)에 연결된 전자 장치(601)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(620)는 다른 구성요소(예: 센서 모듈(676) 또는 통신 모듈(690))로부터 수신된 명령 또는 데이터를 휘발성 메모리(632)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(634)에 저장할 수 있다. 일실시예에 따르면, 프로세서(620)는 메인 프로세서(621)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(621)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(623)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(623)는 메인 프로세서(621)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(623)는, 예를 들면, 메인 프로세서(621)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(621)를 대신하여, 또는 메인 프로세서(621)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(621)와 함께, 전자 장치(601)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(660), 센서 모듈(676), 또는 통신 모듈(690))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(623)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(680) 또는 통신 모듈(690))의 일부 구성 요소로서 구현될 수 있다. 메모리(630)는, 전자 장치(601)의 적어도 하나의 구성요소(예: 프로세서(620) 또는 센서모듈(676))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(640)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(630)는, 휘발성 메모리(632) 또는 비휘발성 메모리(634)를 포함할 수 있다.
프로그램(640)은 메모리(630)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(642), 미들 웨어(644) 또는 어플리케이션(646)을 포함할 수 있다.
입력 장치(650)는, 전자 장치(601)의 구성요소(예: 프로세서(620))에 사용될 명령 또는 데이터를 전자 장치(601)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(655)는 음향 신호를 전자 장치(601)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(660)는 전자 장치(601)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(660)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(670)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(670)은, 입력 장치(650) 를 통해 소리를 획득하거나, 음향 출력 장치(655), 또는 전자 장치(601)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(602)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(676)은 전자 장치(601)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(676)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(677)는 외부 전자 장치(예: 전자 장치(602))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(677)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(678)는 전자 장치(601)와 외부 전자 장치(예: 전자 장치(602))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(679)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(679)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(680)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(680)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(688)은 전자 장치(601)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(689)는 전자 장치(601)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(690)은 전자 장치(601)와 외부 전자 장치(예: 전자 장치(602), 전자 장치(604), 또는 서버(608))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(690)은 프로세서(620)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(690)은 무선 통신 모듈(692)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(694)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(698)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(699)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(690)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(692)은 가입자 식별 모듈(696)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(601)를 구별 및 인증할 수 있다.
안테나 모듈(697)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(690)(예: 무선 통신 모듈(692))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(699)에 연결된 서버(608)를 통해서 전자 장치(601)와 외부의 전자 장치(604)간에 송신 또는 수신될 수 있다. 전자 장치(602, 604) 각각은 전자 장치(601)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(601)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(601)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(601)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(601)로 전달할 수 있다. 전자 장치(601)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
하기의 문서들이 본 문서에 통합되어 적용된다.
(1) Ankur Bapna, Gokhan Tur, Dilek Hakkani-Tur, and Larry Heck. 2017. Towards Zero-Shot Frame Semantic Parsing for Domain Scaling. in Proc. Interspeech.
(2) Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. arXiv preprint arXiv:1706.03762.
(3) Baolin Peng, Kaisheng Yao, Li Jing, and Kam-Fai Wong. 2015. Recurrent Neural Networks with External Memory for Spoken Language Understanding. Natural Language Processing and Chinese Computing, pp. 25-35, Springer.
(4) Bing Liu and Ian Lane. 2015. Recurrent Neural Network Structured Output Prediction for Spoken Language Understanding. in Proc. NIPS.
(5) Bing Liu and Ian Lane. 2016. Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling. in Proc. Interspeech.
(6) Charles T. Hemphill, John J. Godfrey, and George R. Doddington.1990. The ATIS Spoken Language Systems Pilot Corpus. in Proc. DARPA Speech and natural language workshop.
(7) Dilek Hakkani-Tur, Gokhan Tur, Asli Celikyilmaz, Yun-Nung Chen, Jianfeng Gao, Li Deng, and Ye-Yi Wang. 2016. Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM. in Proc. Interspeech.
(8) Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015. Neural Machine Translation by jointly learning to align and translate. in ICLR.
(9) Felix A. Gers and Jurgen Schmidhuber. 2000. Recurrent Nets that Time and Count. In Neural Networks. in Proc. IJCNN.
(10) Gαbor Melis, Chris Dyer, and Phil Blunsom. 2017. On the state of the art of evaluation in neural language models. arXiv preprint arXiv:1707.05589.
(11) Gakuto Kurata, Bing Xiang, Bowen Zhou, and Mo Yu. 2016. Leveraging Sentence-level Information with Encoder LSTM for Natural Language Understanding. arXiv preprint arXiv:1601.01530.
(12) Grιgoire Mesnil, Yann Dauphin, Kaisheng Yao, Yoshua Bengio, Li Deng, Dilek Hakkani-Tur, Xiaodong He, Larry Heck, Gokhan Tur, Dong Yu, and Geoffrey Zweig. 2015. Using Recurrent Neural Networks for Slot Filling in Spoken Language Understanding. in Proc. IEEE/ACM.
(13) Jacob Andreas and Dan Klein. 2014. When and why are log-linear models self-normalizing? in Proc. NAACL.
(14) Jason PC Chiu and Eric Nichols. 2015. Named Entity Recognition with Bidirectional LSTM-CNNs. arXiv preprint arXiv:1511.08308.
(15) Jonas Gehring, Michael Auli, David Grangier, and Yann N. Dauphin. 2016. A Convolutional Encoder Model for Neural Machine Translation. arXiv preprint arXiv:1611.02344.
(16) Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. 2017. Convolutional Sequence to Sequence Learning. arXiv preprint arXiv:1705.03122.
(17) Joo-Kyung Kim, Gokhan Tur, Asli Celikyilmaz, Bin Cao, and Ye-Yi Wang. 2016. Intent detection using semantically enriched word embeddings. in Proc. IEEE SLT.
(18) Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. in Proc. NIPS.
(19) Kaisheng Yao, Baolin Peng, Yu Zhang, Dong Yu, Geoffrey Zweig, and Yangyang Shi. 2014. Spoken Language Understanding using Long Short-Term Memory Neural Networks. in Proc. IEEE SLT.
(20) Lyan Verwimp, Joris Pelemans, Hugo Van hamme, and Patrick Wambacq. 2017. Character-Word LSTM Language Models. in Proc. EACL.
(21) Matthew D. Zeiler. 2012. ADADELTA: An adaptive learning rate method. arXiv preprint arXiv:1212.5701.
(22) Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. 2014. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. JMLR, 15:1929-1958.
(23) Orhan Firat, Kyunghyun Cho, and Yoshua Bengio. 2016. Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism. in Proc. NAACL.
(24) Sergey Ioffe and Christian Szegedy. 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. in Proc. ICML.
(25) Stephen Merity, Nitish Shirish Keskar, and Richard Socher. 2017. Regularizing and Optimizing LSTM Language Models. arXiv preprint arXiv:1708.02182.
(26) Suman Ravuri and Andreas Stolcke. 2015a. A comparative study of neural network models for lexical intent classification. in Proc. IEEE ASRU.
(27) Suman Ravuri and Andreas Stolcke. 2015b. Recurrent Neural Network and LSTM Models for Lexical Utterance Classification. in Proc. Interspeech.
(28) Volodymyr Mnih, Nicolas Heess, Alex Graves, and Koray Kavukcuoglu. 2014. Recurrent Models of Visual Attention. in Proc. NIPS.
(29) Yangyang Shi, Kaisheng Yao, Hu Chen, Yi-Cheng Pan, Mei-Yuh Hwang, and Baolin Peng. 2015. Contextual spoken language understanding using recurrent neural networks. in Proc. ICASSP.
(30) Yarin Gal and Zoubin Ghahramani. 2016. A Theoretically Grounded Application of Dropout in Recurrent Neural Networks. in Proc. NIPS.
(31) Yoon Kim, Yacine Jernite, David Sontag, and Alexander M. Rush. 2016. Character-Aware Neural Language Models. in Proc. AAAI.
(32) Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF Models for Sequence Tagging. arXiv preprint arXiv:1508.01991.

Claims (15)

  1. 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치에 있어서,
    복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리; 및
    상기 메모리와 연결되고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 인공 신경망 내에서, 상기 적어도 하나의 제1 레이어는, 상기 적어도 하나의 제2 레이어보다 하단에 위치되고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 숨은 표현으로부터 상기 적어도 하나의 제2 레이어를 통해 상기 적어도 하나의 제2 숨은 표현을 획득하도록 설정된 전자 장치.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하도록 설정되는 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 키에 대한 데이터 및 상기 제2 키에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치에 대한 데이터를 획득하고,
    상기 가중치에 대한 데이터와 상기 밸류에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션을 획득하도록 설정되는 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    하기 수식에 기반하여 상기 어텐션을 획득하도록 설정되고,
    Figure PCTKR2018013416-appb-I000125
    상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고, Tx는, 입력 시퀀스의 길이를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, LAi는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고, αij는, a에 의해 획득된, si-1에 관한 가중치(weight)를 나타내고,
    Figure PCTKR2018013416-appb-I000126
    는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
    Figure PCTKR2018013416-appb-I000127
    은, 상기 적어도 하나의 제2 숨은 표현을 나타내는 전자 장치.
  6. 청구항 5에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)이 적용된 제3 키에 대한 데이터를 획득하고,
    상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩이 적용된 제4 키에 대한 데이터를 획득하고,
    상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션을 획득하도록 설정되는 전자 장치.
  7. 청구항 1에 있어서,
    상기 순환 인공 신경망에 관한 언어 모델(language model)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어, 상기 적어도 하나의 제1 숨은 표현, 또는 상기 적어도 하나의 제2 숨은 표현 중 적어도 하나를 공유하고,
    상기 순환 인공 신경망에 대한 코스트는,
    상기 언어 모델에 대한 코스트를 나타내는 데이터에 가중치 감소 치(weight-decay term)을 곱하는 것에 적어도 기반하여 획득되는 전자 장치.
  8. 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)에 있어서,
    상기 비일시적 컴퓨터-판독 가능 저장 매체는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  9. 청구항 8에 있어서,
    상기 인공 신경망 내에서, 상기 적어도 하나의 제1 레이어는, 상기 적어도 하나의 제2 레이어보다 하단에 위치되고,
    상기 적어도 하나의 제1 숨은 표현으로부터 상기 적어도 하나의 제2 레이어를 통해 상기 적어도 하나의 제2 숨은 표현을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  10. 청구항 9에 있어서,
    상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  11. 청구항 8에 있어서,
    상기 제1 키에 대한 데이터 및 상기 제2 키에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치에 대한 데이터를 획득하는 동작과,
    상기 가중치에 대한 데이터와 상기 밸류에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  12. 청구항 8에 있어서,
    하기 수식에 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
    Figure PCTKR2018013416-appb-I000128
    상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고, Tx는, 입력 시퀀스의 길이를 나타내고, si-1는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고, LAi는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고, αij는, a에 의해 획득된, si-1에 관한 가중치(weight)를 나타내고,
    Figure PCTKR2018013416-appb-I000129
    는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
    Figure PCTKR2018013416-appb-I000130
    은, 상기 적어도 하나의 제2 숨은 표현을 나타내는 비일시적 컴퓨터-판독 가능 저장 매체.
  13. 청구항 12에 있어서,
    상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)이 적용된 제3 키에 대한 데이터를 획득하는 동작과,
    상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩이 적용된 제4 키에 대한 데이터를 획득하는 동작과,
    상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  14. 청구항 8에 있어서,
    상기 순환 인공 신경망에 관한 언어 모델(language model)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어, 상기 적어도 하나의 제1 숨은 표현, 또는 상기 적어도 하나의 제2 숨은 표현 중 적어도 하나를 공유하고,
    상기 순환 인공 신경망에 대한 코스트는,
    상기 언어 모델에 대한 코스트를 나타내는 데이터에 가중치 감소치(weight-decay term)을 곱하는 것에 적어도 기반하여 획득되는 비일시적 컴퓨터-판독 가능 저장 매체.
  15. 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치의 동작 방법에 있어서,
    상기 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장를 저장하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하는 동작을 포함하는 방법.
PCT/KR2018/013416 2017-12-14 2018-11-07 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 WO2019117466A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/954,019 US11482212B2 (en) 2017-12-14 2018-11-07 Electronic device for analyzing meaning of speech, and operation method therefor
EP18889592.4A EP3726525A4 (en) 2017-12-14 2018-11-07 ELECTRONIC DEVICE FOR LANGUAGE MEANING ANALYSIS AND OPERATING PROCEDURES FOR IT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170172637A KR102462426B1 (ko) 2017-12-14 2017-12-14 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
KR10-2017-0172637 2017-12-14

Publications (1)

Publication Number Publication Date
WO2019117466A1 true WO2019117466A1 (ko) 2019-06-20

Family

ID=66819408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013416 WO2019117466A1 (ko) 2017-12-14 2018-11-07 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US11482212B2 (ko)
EP (1) EP3726525A4 (ko)
KR (1) KR102462426B1 (ko)
WO (1) WO2019117466A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354345A (zh) * 2020-03-11 2020-06-30 北京字节跳动网络技术有限公司 生成语音模型和语音识别的方法、装置、设备以及介质
CN112133304A (zh) * 2020-09-18 2020-12-25 中科极限元(杭州)智能科技股份有限公司 基于前馈神经网络的低延时语音识别模型及训练方法
CN112199953A (zh) * 2020-08-24 2021-01-08 广州九四智能科技有限公司 一种电话通话中信息提取方法、装置及计算机设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
JP6969443B2 (ja) * 2018-02-27 2021-11-24 日本電信電話株式会社 学習品質推定装置、方法、及びプログラム
US10978051B2 (en) * 2018-09-28 2021-04-13 Capital One Services, Llc Adversarial learning framework for persona-based dialogue modeling
US11880658B2 (en) * 2019-03-25 2024-01-23 Jpmorgan Chase Bank, N.A. Method and system for implementing a natural language interface to data stores using deep learning
US11749281B2 (en) * 2019-12-04 2023-09-05 Soundhound Ai Ip, Llc Neural speech-to-meaning
US11308938B2 (en) 2019-12-05 2022-04-19 Soundhound, Inc. Synthesizing speech recognition training data
KR20210100446A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법
US11880411B2 (en) * 2020-02-12 2024-01-23 Home Depot Product Authority, Llc Named entity recognition in search queries
CN112487305B (zh) * 2020-12-01 2022-06-03 重庆邮电大学 一种基于gcn的动态社交用户对齐方法
CN117391051B (zh) * 2023-12-12 2024-03-08 江西师范大学 一种融合情感的共同注意网络多模态虚假新闻检测方法
CN117617911B (zh) * 2024-01-25 2024-03-26 长春理工大学 一种睡眠阶段分期方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150364128A1 (en) * 2014-06-13 2015-12-17 Microsoft Corporation Hyper-structure recurrent neural networks for text-to-speech
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
KR20170050029A (ko) * 2015-10-29 2017-05-11 삼성에스디에스 주식회사 음성 인식 시스템 및 방법
US20170148431A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc End-to-end speech recognition
KR20170095582A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 뉴럴 네트워크를 이용한 오디오 인식 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310862A1 (en) 2014-04-24 2015-10-29 Microsoft Corporation Deep learning for semantic parsing including semantic utterance classification
US10572447B2 (en) 2015-03-26 2020-02-25 Nokia Technologies Oy Generating using a bidirectional RNN variations to music
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US20170262996A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
CN107220231A (zh) * 2016-03-22 2017-09-29 索尼公司 用于自然语言处理的电子设备和方法以及训练方法
US10296793B2 (en) 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition
US9858263B2 (en) 2016-05-05 2018-01-02 Conduent Business Services, Llc Semantic parsing using deep neural networks for predicting canonical forms
CN109074242A (zh) 2016-05-06 2018-12-21 电子湾有限公司 在神经机器翻译中使用元信息
US9959272B1 (en) * 2017-07-21 2018-05-01 Memsource a.s. Automatic classification and translation of written segments
US20190156220A1 (en) * 2017-11-22 2019-05-23 Microsoft Technology Licensing, Llc Using machine comprehension to answer a question
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
US20150364128A1 (en) * 2014-06-13 2015-12-17 Microsoft Corporation Hyper-structure recurrent neural networks for text-to-speech
KR20170050029A (ko) * 2015-10-29 2017-05-11 삼성에스디에스 주식회사 음성 인식 시스템 및 방법
US20170148431A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc End-to-end speech recognition
KR20170095582A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 뉴럴 네트워크를 이용한 오디오 인식 장치 및 방법

Non-Patent Citations (33)

* Cited by examiner, † Cited by third party
Title
ANKUR BAPNAGOKHAN TURDILEK HAKKANI-TURLARRY HECK.: "Towards Zero-Shot Frame Semantic Parsing for Domain Scaling", PROC. INTERSPEECH, 2017
ASHISH VASWANINOAM SHAZEERNIKI PARMARJAKOB USZKOREITLLION JONESAIDAN N. GOMEZLUKASZ KAISERILLIA POLOSUKHIN., ATTENTION IS ALL YOU NEED., 2017
BAOLIN PENGKAISHENG YAOLI JINGKAM-FAI WONG: "ecurrent Neural Networks with External Memory for Spoken Language Understanding", NATURAL LANGUAGE PROCESSING AND CHINESE COMPUTING, 2015, pages 25 - 35
BING LIUIAN LANE: "Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling", PROC. INTERSPEECH, 2016
BING LIUIAN LANE: "Recurrent Neural Network Structured Output Prediction for Spoken Language Understanding", PROC. NIPS, 2015
CHARLES T. HEMPHILLJOHN J. GODFREYGEORGE R. DODDINGTON: "The ATIS Spoken Language Systems Pilot Corpus", PROC. DARPA SPEECH AND NATURAL LANGUAGE WORKSHOP, 1990
DILEK HAKKANI-TURGOKHAN TURASLI CELIKYILMAZYUN-NUNG CHENJIANFENG GAOLI DENGYE-YI WANG: "Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM", PROC. INTERSPEECH, 2016
DZMITRY BAHDANAUKYUNGHYUN CHOYOSHUA BENGIO: "Neural Machine Translation by jointly learning to align and translate", ICLR, 2015
FELIX A.: "Gers and Jurgen Schmidhuber. 2000. Recurrent Nets that Time and Count. In Neural Networks", PROC. IJCNN
GABOR MELISCHRIS DYERPHIL BLUNSOM., ON THE STATE OF THE ART OF EVALUATION IN NEURAL LANGUAGE MODELS, 2017
GAKUTO KURATABING XIANGBOWEN ZHOUMO YU., LEVERAGING SENTENCE-LEVEL INFORMATION WITH ENCODER LSTM FOR NATURAL LANGUAGE UNDERSTANDING, 2016
GREGOIRE MESNILYANN DAUPHINKAISHENG YAOYOSHUA BENGIOLI DENGDILEK HAKKANI-TURXIAODONG HELARRY HECKGOKHAN TURDONG YU: "Using Recurrent Neural Networks for Slot Filling in Spoken Language Understanding", IEEE/ACM, 2015
JACOB ANDREASDAN KLEIN: "When and why are log-linear models self-normalizing?", PROC. NAACL, 2014
JASON PC CHIUERIC NICHOLS., NAMED ENTITY RECOGNITION WITH BIDIRECTIONAL LSTM-CNNS, 2015
JONAS GEHRINGMICHAEL AULIDAVID GRANGIERDENIS YARATSYANN N. DAUPHIN: "Convolutional Sequence to Sequence Learning", ARXIV, 2017
JONAS GEHRINGMICHAEL AULIDAVID GRANGIERYANN N. DAUPHIN: "A Convolutional Encoder Model for Neural Machine Translation", ARXIV, 2016
JOO-KYUNG KIMGOKHAN TURASLI CELIKYILMAZBIN CAOYE- YI WANG: "Intent detection using semantically enriched word embeddings", PROC. IEEE SLT, 2016
JUNYOUNG CHUNGCAGLAR GULCEHREKYUNGHYUN CHOYOSHUA BENGIO.: "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling", PROC. NIPS, 2014
KAISHENG YAOBAOLIN PENGYU ZHANGDONG YUGEOFFREY ZWEIGYANGYANG SHI.: "Spoken Language Understanding using Long Short-Term Memory Neural Networks", PROC. IEEE SLT, 2014
LYAN VERWIMPJORIS PELEMANSHUGO VAN HAMMEPATRICK WAMBACQ.: "Character-Word LSTM Language Models", PROC. EACL, 2017
MATTHEW D. ZEILER., ADADELTA: AN ADAPTIVE LEARNING RATE METHOD, 2012
NITISH SRIVASTAVAGEOFFREY HINTONALEX KRIZHEVSKYILYA SUTSKEVERRUSLAN SALAKHUTDINOV.: "Dropout: A Simple Way to Prevent Neural Networks from Overfitting", JMLR, vol. 15, 2014, pages 1929 - 1958, XP055193568
ORHAN FIRATKYUNGHYUN CHOYOSHUA BENGIO.: "Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism", PROC. NAACL, 2016
See also references of EP3726525A4
SERGEY IOFFECHRISTIAN SZEGEDY.: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", PROC. ICML, 2015
STEPHEN MERITYNITISH SHIRISH KESKARRICHARD SOCHER, REGULARIZING AND OPTIMIZING LSTM LANGUAGE MODELS, 2017
SUMAN RAVURIANDREAS STOLCKE: "A comparative study of neural network models for lexical intent classification", PROC. IEEE ASRU, 2015
SUMAN RAVURIANDREAS STOLCKE: "Recurrent Neural Network and LSTM Models for Lexical Utterance Classification", PROC. INTERSPEECH, 2015
VOLODYMYR MNIHNICOLAS HEESSALEX GRAVESKORAY KAVUKCUOGLU: "Recurrent Models of Visual Attention", PROC. NIPS, 2014
YANGYANG SHIKAISHENG YAOHU CHENYI-CHENG PANMEI-YUH HWANGBAOLIN PENG.: "Contextual spoken language understanding using recurrent neural networks", PROC. ICASSP, 2015
YARIN GALZOUBIN GHAHRAMANI.: "A Theoretically Grounded Application of Dropout in Recurrent Neural Networks", PROC. NIPS, 2016
YOON KIMYACINE JERNITEDAVID SONTAGALEXANDER M. RUSH: "Character-Aware Neural Language Models", PROC. AAAI, 2016
ZHIHENG HUANGWEI XUKAI YU., BIDIRECTIONAL LSTM-CRF MODELS FOR SEQUENCE TAGGING, 2015

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354345A (zh) * 2020-03-11 2020-06-30 北京字节跳动网络技术有限公司 生成语音模型和语音识别的方法、装置、设备以及介质
CN112199953A (zh) * 2020-08-24 2021-01-08 广州九四智能科技有限公司 一种电话通话中信息提取方法、装置及计算机设备
CN112133304A (zh) * 2020-09-18 2020-12-25 中科极限元(杭州)智能科技股份有限公司 基于前馈神经网络的低延时语音识别模型及训练方法

Also Published As

Publication number Publication date
KR102462426B1 (ko) 2022-11-03
EP3726525A1 (en) 2020-10-21
US11482212B2 (en) 2022-10-25
KR20190071527A (ko) 2019-06-24
US20210082406A1 (en) 2021-03-18
EP3726525A4 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
WO2019117466A1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
WO2020246702A1 (en) Electronic device and method for controlling the electronic device thereof
WO2020105856A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
WO2020130447A1 (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2018097439A1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2019190062A1 (en) Electronic device for processing user voice input
WO2020226213A1 (ko) 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법
WO2021029643A1 (en) System and method for modifying speech recognition result
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
WO2021029642A1 (en) System and method for recognizing user's speech
WO2020116818A1 (en) Electronic device and method of controlling thereof
WO2022164192A1 (ko) 사용자의 발화 입력에 관련된 추천 문장을 제공하는 디바이스 및 방법
WO2020180000A1 (ko) 음성 인식 모델에서 사용되는 언어를 확장시키는 방법 및 음성 인식 모델을 포함하는 전자 장치
WO2019135599A1 (ko) 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
WO2020032381A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
WO2019225997A1 (en) System including electronic device of processing speech of user and method of controlling speech recognition on electronic device
WO2022177224A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022131566A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022092901A1 (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
WO2020171545A1 (en) Electronic device and system for processing user input and method thereof
WO2022092796A1 (ko) 전자 장치 및 전자 장치의 음성 인식 수행 방법
WO2021075820A1 (en) Method of generating wakeup model and electronic device therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018889592

Country of ref document: EP

Effective date: 20200714