WO2018199483A1 - 지능형 에이전트 관리 방법 및 장치 - Google Patents

지능형 에이전트 관리 방법 및 장치 Download PDF

Info

Publication number
WO2018199483A1
WO2018199483A1 PCT/KR2018/003612 KR2018003612W WO2018199483A1 WO 2018199483 A1 WO2018199483 A1 WO 2018199483A1 KR 2018003612 W KR2018003612 W KR 2018003612W WO 2018199483 A1 WO2018199483 A1 WO 2018199483A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
information
user
version
user input
Prior art date
Application number
PCT/KR2018/003612
Other languages
English (en)
French (fr)
Inventor
우경구
제갈호준
전재훈
박현진
강상욱
김경태
여재영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/608,656 priority Critical patent/US11301266B2/en
Publication of WO2018199483A1 publication Critical patent/WO2018199483A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • Various embodiments of the present invention relate to an intelligent agent management method and apparatus.
  • Intelligent agents can service various functions to users on their own.
  • the intelligent agent may control various applications installed in the electronic device to provide a function of the corresponding application to the user.
  • the intelligent agent may provide various functions to the user by controlling various external devices functionally connected to the electronic device.
  • the intelligent agent may provide a service corresponding to the intent of the user identified through analysis of the user input.
  • Various existing intelligent agents can show the processing result of a task requested by a user through a graphic interface such as a chat window.
  • the intelligent agent recognizes that the task desired by the user through the dialogue with the user is 'SMS message transmission', and provides the user with an interface for controlling the SMS application through the dialogue window of the intelligent agent.
  • the intelligent agent recognizes that the user wants the weather of a specific place through a conversation with the user, obtains weather information of the place from a weather application, and provides the user with the conversation window of the intelligent agent.
  • the part showing the function of the application in the dialogue window of the intelligent agent may be irrelevant to the screen configuration information of the application, because the intelligent agent only quotes the function part of the application.
  • the method and apparatus may provide an intelligent agent configured to control the operation of an application based on information about the application.
  • an electronic device may include a housing; A touch screen display located inside the housing and exposed through the first portion of the housing; A microphone located within the housing and exposed through the second portion of the housing; At least one speaker located within the housing and exposed through a third portion of the housing; Wireless communication circuitry located within the housing; A processor located within the housing and electrically connected to the display, the microphone, the speaker, and the communication circuit; And a memory located within the housing and electrically coupled to the processor, the memory configured to store a plurality of application programs installed in the electronic device, wherein the memory, when executed, is configured by the processor: the application programs.
  • a user input comprising a request to perform a task using at least one of the data
  • receive data related to the user input via the communication circuitry, to an external server.
  • the pass rule includes information regarding a sequence of states of the electronic device for performing the task, wherein at least one of the states is based on at least a portion of the version information, to the external server. It may be determined by.
  • an electronic device may include a housing; A touch screen display located inside the housing and exposed through the first portion of the housing; A microphone located within the housing and exposed through the second portion of the housing; At least one speaker located within the housing and exposed through a third portion of the housing; Wireless communication circuitry located within the housing; A processor located within the housing and electrically connected to the display, the microphone, the speaker, and the communication circuit; And a memory located within the housing and electrically connected to the processor, wherein the memory, when executed, is configured to: receive a user input via at least one of the display or the microphone and send the user input to an external server.
  • a path rule in the path rule set database based on version information corresponding to at least a portion of the analysis result and applications installed in the electronic device, respectively. Selecting a set, based on at least a portion of the analysis result, selects a pass rule in the pass rule set, and stores instructions for controlling the operations of at least one application using the pass rule.
  • the pass rule may include information about the operations and an order of the operations.
  • the server may receive version information corresponding to each of the applications installed in the user terminal from the user terminal, and obtain path rule sets corresponding to the version information from the path rule set database.
  • a configured pass planner module ; Analyzing a user input received from a user terminal, selecting a path rule set from among path rule sets obtained by the path planner module based on at least a portion of the result of the analysis, and based on at least a portion of the result.
  • a natural language understanding module configured to select a pass rule from the selected pass rule set and transmit the selected pass rule to the user terminal.
  • the selected path rule may be to control operations of at least one of applications installed in the user terminal.
  • a method of operating an electronic device may include: receiving a user input through at least one of a touch screen display and a microphone; In response to the user input, obtaining version information corresponding to applications installed in the electronic device, respectively; Transmitting the user input and the version information to an external server through a communication module; Receiving a pass rule from the external server; And controlling operations of at least one application by using the pass rule, wherein the pass rule is generated based on at least one of the version informations and the user input, and includes information about the actions and It may include the order of the operations.
  • the method and apparatus may provide an intelligent agent configured to execute an application according to a user input.
  • a method and apparatus may provide an intelligent agent configured to control an application based on metadata (eg, version information) of the application.
  • metadata eg, version information
  • FIG. 1 is a diagram illustrating an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating a user terminal of an integrated intelligence system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating executing an intelligent app of a user terminal according to an exemplary embodiment.
  • FIG. 4 is a block diagram illustrating an intelligent server of an integrated intelligence system according to an embodiment of the present invention.
  • FIG. 5 illustrates a method of generating a path rule by a path planner module according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a context module of a processor collecting a current state according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a persona module managing user information according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a suggestion module according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an operation in which an intelligent agent controls an application in response to a user's speech in an electronic device according to various embodiments of the present disclosure as a step change of a graphic interface.
  • FIG. 10 is a diagram illustrating an operation of managing a version of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 11 is a diagram illustrating an operation of processing an utterance in an NLU module according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart illustrating an agent service method in an integrated intelligence system configured to determine a path rule by a server according to various embodiments of the present disclosure.
  • FIG. 13 is a diagram for describing an integrated intelligence system configured to determine a path rule by a server according to various embodiments of the present disclosure.
  • FIG. 14 is a diagram for describing an integrated intelligence system configured to process user input through interworking of a DNLU and an RNLU, according to various embodiments of the present disclosure.
  • 15 is a flowchart illustrating an agent service method in an integrated intelligence system configured to determine a path rule by an electronic device (user terminal) according to various embodiments of the present disclosure.
  • FIG. 16 is a diagram illustrating an integrated intelligence system configured to determine a path rule by an electronic device (user terminal) according to various embodiments of the present disclosure.
  • 17 is a diagram illustrating an operation of managing version information of an application in an electronic device according to various embodiments of the present disclosure.
  • FIG. 18 is a diagram illustrating an entire synchronization operation in a version information management method according to various embodiments of the present disclosure.
  • FIG. 19 is a diagram illustrating a partial synchronization operation in a version information management method according to various embodiments of the present disclosure.
  • 20 is a view illustrating an interaction synchronization operation in the version information management method according to various embodiments of the present disclosure.
  • 21 is a diagram illustrating an operation of updating a version of an application in an electronic device according to various embodiments of the present disclosure.
  • 22 is a flowchart illustrating operations of a server for an agent service based on version information of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 23 is a diagram illustrating a process of changing user input and application version information into a pass rule in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 24 is a diagram for describing an operation of extracting a path rule set for each version in a server of an integrated intelligence system according to various embodiments of the present disclosure.
  • 25 is a diagram illustrating an intent classification operation for each version in the integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 26 is a diagram illustrating an example of an operation of processing a user input for each version in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 27 is a diagram illustrating another example of an operation of processing a user input for each version in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 28 is a diagram illustrating an operation of selecting a pass rule using a separate intent classification manager (SICM) in an integrated intelligence system according to various embodiments of the present disclosure.
  • SICM intent classification manager
  • FIG. 29 is a diagram illustrating a distributed processing structure for SICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 30 is a flowchart illustrating a path rule selection method using SICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 31 is a diagram for describing an operation of selecting a pass rule using a conditional ICM (CICM) in an integrated intelligence system according to various embodiments of the present disclosure.
  • CICM conditional ICM
  • FIG. 32 is a flowchart illustrating a path rule selection method using CICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 33 is a diagram for describing an operation of selecting a pass rule using a version layered ICM (VLICM) in an integrated intelligence system according to various embodiments of the present disclosure.
  • VLICM version layered ICM
  • FIG. 34 is a diagram illustrating an internal structure of an operation of selecting a pass rule using VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • 35 is a flowchart illustrating a path rule selection method using VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 36 is a diagram illustrating an operation of selecting a pass rule using a separate VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 37 is a diagram illustrating an operation of providing a hint to a user in a graphic interface based on version information of an application in an electronic device according to various embodiments of the present disclosure.
  • FIG. 38 is a diagram illustrating an operation of managing a hint based on version information of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • processor configured (or configured to) perform A, B, and C may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a CPU or an application processor (AP)) capable of performing the corresponding operations.
  • a dedicated processor eg, an embedded processor
  • AP application processor
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • HMDs head-mounted-devices
  • an electronic device may comprise, for example, a television, a digital video disk (DVD) player, Audio, Refrigerator, Air Conditioner, Cleaner, Oven, Microwave Oven, Washing Machine, Air Purifier, Set Top Box, Home Automation Control Panel, Security Control Panel, Media Box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ) , A game console (eg, Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include a variety of medical devices (e.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters
  • MRA magnetic resonance angiography
  • an electronic device may be a part of a furniture, building / structure or automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, Gas, or a radio wave measuring instrument).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • Electronic devices according to embodiments of the present disclosure are not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system 10 may include a user terminal 100, an intelligent server 200, a personalization information server 300, or a proposal server 400.
  • the user terminal 100 is a service required by the user through an app (or application program) (eg, an alarm app, a message app, a photo (gallery) app, etc.) stored in the user terminal 100.
  • an app or application program
  • the user terminal 100 may execute and operate another app through an intelligent app (or a voice recognition app) stored in the user terminal 100.
  • the intelligent app of the user terminal 100 may receive a user input for executing the other app and executing an operation.
  • the user input may be received through, for example, a physical button, a touch pad, a voice input, a remote input, or the like.
  • the user terminal 100 may correspond to various terminal devices (or electronic devices) that can be connected to the Internet such as a mobile phone, a smart phone, a personal digital assistant (PDA) or a notebook computer.
  • PDA personal digital assistant
  • the user terminal 100 may receive a user's speech as a user input.
  • the user terminal 100 may receive an utterance of a user and generate a command for operating an app based on the utterance of the user. Accordingly, the user terminal 100 may operate the app by using the command.
  • the intelligent server 200 may receive a user voice input from the user terminal 100 through a communication network and change the text data into text data.
  • the intelligent server 200 may generate (or select) a path rule based on the text data.
  • the pass rule may include information on an action (or operation) for performing a function of an app or information on a parameter required to execute the action.
  • the path rule may include an order of the operation of the app.
  • the user terminal 100 may receive the path rule, select an app according to the path rule, and execute an operation included in the path rule in the selected app.
  • the user terminal 100 may execute the operation and display a screen corresponding to the state of the user terminal 100 that executes the operation on the display.
  • the user terminal 100 may execute the operation and may not display a result of performing the operation on the display.
  • the user terminal 100 may execute a plurality of operations and display only a partial result of the plurality of operations on the display.
  • the user terminal 100 may display only a result of performing the last order of operations on the display.
  • the user terminal 100 may receive a user input and display a result of executing the operation on a display.
  • the personalization information server 300 may include a database in which user information is stored.
  • the personalization information server 300 may receive user information (eg, context information, app execution information, etc.) from the user terminal 100 and store it in the database.
  • the intelligent server 200 may use the user information received from the personalization information server 300 through a communication network to generate a pass rule for a user input.
  • the user terminal 100 may receive user information from the personalization information server 300 through a communication network and use the information as information for managing a database.
  • the proposal server 400 may include a database in which information about a function or an application to be introduced or provided is stored in the terminal.
  • the proposal server 400 may include a database of functions that a user can use by receiving user information of the user terminal 100 from the personalization information server 300.
  • the user terminal 100 may provide information to the user by receiving information on the function to be provided from the proposal server 400 through a communication network.
  • FIG. 2 is a block diagram illustrating a user terminal of an integrated intelligence system according to an embodiment of the present invention.
  • the user terminal 100 may include an input module 110, a display 120, a speaker 130, a memory 140, or a processor 150.
  • the user terminal 100 may further include a housing, and the components of the user terminal 100 may be seated inside or located on the housing.
  • the input module 110 may receive a user input from a user.
  • the input module 110 may receive a user input from a connected external device (eg, a keyboard or a headset).
  • the input module 110 may include a touch screen (eg, a touch screen display) coupled with the display 120.
  • the input module 110 may include a hardware key (eg, 112 of FIG. 3) (or a physical key) located in the user terminal 100 (or the housing of the user terminal 100). have.
  • the input module 110 may include a microphone (eg, 111 of FIG. 2) capable of receiving a user's speech as a voice signal.
  • the input module 110 may include a speech input system, and may receive a speech of a user as a voice signal through the speech input system.
  • the display 120 may display an image, a video, and / or an execution screen of an application.
  • the display 120 may display a graphical user interface (GUI) of the app.
  • GUI graphical user interface
  • the speaker 130 may output a voice signal.
  • the speaker 130 may output the voice signal generated inside the user terminal 100 to the outside.
  • the memory 140 may store a plurality of apps 141 and 143.
  • the plurality of apps 141 and 143 stored in the memory 140 may be selected, executed, and operated according to a user input.
  • the memory 140 may include a database capable of storing information necessary to recognize a user input.
  • the memory 140 may include a log database capable of storing log information.
  • the memory 140 may include a persona database that may store user information.
  • the memory 140 may store a plurality of apps 141 and 143, and the plurality of apps 141 and 143 may be loaded and operated in a volatile memory.
  • the plurality of apps 141 and 143 stored in the memory 140 may be loaded into the volatile memory by the execution manager module 153 of the processor 150 to operate.
  • the plurality of apps 141 and 143 may include execution services 141a and 143a performing a function or a plurality of operations (or unit operations) 141b and 143b.
  • the execution services 141a and 143a may be generated by the execution manager module 153 of the processor 150 and execute a plurality of operations 141b and 143b.
  • the execution status screen when the operations 141b and 143b of the apps 141 and 143 are executed, the execution status screen according to the execution of the operations 141b and 143b may be displayed on the display 120.
  • the execution status screen may be, for example, a screen in which operations 141b and 143b are completed.
  • the execution status screen may be a screen in a state in which execution of operations 141b and 143b is stopped (for example, when a parameter required for operations 141b and 143b is not input). .
  • the execution services 141a and 143a may execute operations 141b and 143b according to a pass rule.
  • the execution services 141a and 143a are activated by the execution manager module 153, receive an execution request from the execution manager module 153 according to the pass rule, and operate according to the execution request 141b, 143b) may execute operations of the apps 141 and 143.
  • the execution services 141a and 143a may transmit completion information to the execution manager module 153 when the execution of the operations 141b and 143b is completed.
  • the plurality of operations 141b and 143b may be sequentially executed.
  • the execution services 141a and 143a may open the next operation (operation 2) when the execution of one operation (operation 1) is completed and transmit the completion information of operation 1 to the execution manager module 153. Opening any operation herein may be understood as transitioning any operation to an executable state or preparing to execute any operation. In other words, if any action is not open, that action cannot be executed.
  • the execution manager module 153 may transmit an execution request for a next operation (for example, operation 2) to execution services 141a and 143a.
  • the plurality of apps 141 and 143 may be sequentially executed. For example, when the execution manager module 153 completes execution of the last operation of the first app 141 and receives completion information from the execution service 141a, the execution manager module 153 requests execution of the first operation of the second app 143. Can be sent to the execution service 143a.
  • the result screen according to each of the executed operations 141b and 143b is displayed on the display 120. Can be displayed. According to an embodiment of the present disclosure, only a part of the plurality of result screens according to the execution of the executed operations 141b and 143b may be displayed on the display 120.
  • the memory 140 may store an intelligent app (for example, a voice recognition app) linked with the intelligent agent 151.
  • An app linked with the intelligent agent 151 may receive and process a user's speech as a voice signal.
  • the app linked with the intelligent agent 151 may be operated by a specific input (for example, input through a hardware key, input through a touch screen, or specific voice input) input through the input module 110. Can be.
  • the processor 150 may control overall operations of the user terminal 100.
  • the processor 150 may control the input module 110 to receive a user input.
  • the processor 150 may control the display 120 to display an image.
  • the processor 150 may control the speaker 130 to output a voice signal.
  • the processor 150 may load or store necessary information by controlling the memory 140.
  • the processor 150 may include an intelligent agent 151, an execution manager module 153, or an intelligent service module 155.
  • the processor 150 may execute the instructions stored in the memory 140 to drive the intelligent agent 151, the execution manager module 153, or the intelligent service module 155.
  • Various modules mentioned in various embodiments of the present disclosure may be implemented in hardware or in software.
  • an operation performed by the intelligent agent 151, the execution manager module 153, or the intelligent service module 155 may be understood as an operation performed by the processor 150.
  • the intelligent agent 151 may generate a command for operating an app based on a voice signal received through a user input.
  • the execution manager module 153 may receive the generated command from the intelligent agent 151 and select and execute and operate the apps 141 and 143 stored in the memory 140.
  • the intelligent service module 155 may manage information of the user and use the same to process user input.
  • the intelligent agent 151 may transmit and process the user input received through the input module 110 to the intelligent server 200.
  • the intelligent agent 151 may preprocess the user input before transmitting the user input to the intelligent server 200.
  • the intelligent agent 151 may include an adaptive echo canceller (AEC) module, a noise suppression (NS) module, and an end-point end point for preprocessing the user input. detection (EPD) module or automatic gain control (AGC) module.
  • the adaptive echo cancellation module may cancel an echo included in the user input.
  • the noise suppression module may suppress background noise included in the user input.
  • the end point detection module may detect an end point of the user voice included in the user input and find a portion in which the voice of the user exists.
  • the automatic gain control module may adjust the volume of the user input to be suitable for recognizing and processing the user input.
  • the intelligent agent 151 may include all of the preprocessing components for performance, but in other embodiments, the intelligent agent 151 may include some of the preprocessing components to operate at low power. .
  • the intelligent agent 151 may include a wake up recognition module that recognizes a user's call.
  • the wakeup recognition module may recognize a wakeup command of a user through a voice recognition module, and activate the intelligent agent 151 to receive a user input when the wakeup command is recognized.
  • the wake-up recognition module of the intelligent agent 151 may be implemented in a low power processor (eg, a processor included in an audio codec).
  • the intelligent agent 151 may be activated according to a user input through a hardware key. When the intelligent agent 151 is activated, an intelligent app (for example, a voice recognition app) linked with the intelligent agent 151 may be executed.
  • the intelligent agent 151 may include a voice recognition module for recognizing a user input.
  • the voice recognition module may recognize a user input for executing an action in an app.
  • the voice recognition module may include a “click” to execute a shooting operation when a limited user (voice) input (eg, a camera app is running) that executes an action such as the wake up command in an app 141 or 143. Same speech, etc.) can be recognized.
  • the voice recognition module that recognizes a user input by assisting the intelligent server 200 may recognize a user command that can be processed in the user terminal 100 and process the user command quickly.
  • a voice recognition module for recognizing a user input of the intelligent agent 151 may be implemented in an app processor.
  • the voice recognition module of the intelligent agent 151 may recognize a user input by using an algorithm for recognizing the voice.
  • the algorithm used to recognize the voice may be, for example, at least one of a hidden markov model (HMM) algorithm, an artificial neural network (ANN) algorithm, or a dynamic time warping (DTW) algorithm.
  • HMM hidden markov model
  • ANN artificial neural network
  • DTW dynamic time warping
  • the intelligent agent 151 may convert the voice input of the user into text data. According to an embodiment of the present disclosure, the intelligent agent 151 may transmit the voice of the user to the intelligent server 200 to receive the converted text data. Accordingly, the intelligent agent 151 may display the text data on the display 120.
  • the intelligent agent 151 may receive a pass rule from the intelligent server 200. According to an embodiment of the present disclosure, the intelligent agent 151 may transmit the path rule to the execution manager module 153.
  • the intelligent agent 151 transmits an execution result log according to the path rule received from the intelligent server 200 to the intelligence service module 155, and transmits the execution result.
  • the log may be accumulated and managed in the user's preference information of the persona module 155b.
  • the execution manager module 153 receives the path rule from the intelligent agent 151 to execute the apps 141 and 143, and the app 141 and 143 includes the path rule 141b. , 143b).
  • the execution manager module 153 may transmit command information for executing the operations 141b and 143b to the apps 141 and 143, and the operations 141b and 143b from the apps 141 and 143. Can receive completion information.
  • the execution manager module 153 may transmit and receive command information for executing the operations 141b and 143b of the apps 141 and 143 between the intelligent agent 151 and the apps 141 and 143. Can be.
  • the execution manager module 153 binds the apps 141 and 143 to be executed according to the path rule and transmits command information of the operations 141b and 143b included in the path rule to the app 141 and 143. can do.
  • the execution manager module 153 sequentially transmits the operations 141b and 143b included in the path rule to the apps 141 and 143 to execute the operations 141b and 143b of the apps 141 and 143. It can be executed sequentially according to the pass rule.
  • the execution manager module 153 may manage execution states of operations 141b and 143b of the apps 141 and 143.
  • the execution manager module 153 may receive information on an execution state of the operations 141b and 143b from the apps 141 and 143.
  • the execution state of the operations 141b and 143b is, for example, a partial landing (eg, when a parameter required for the operations 141b and 143b is not input)
  • the execution manager module 153 is executed. May transmit information about the stopped state to the intelligent agent 151.
  • the intelligent agent 151 may request the user to input necessary information (eg, parameter information) using the received information.
  • the intelligent agent 151 may receive a utterance from a user, and the execution manager module 153 may execute the running app ( 141 and 143 and information about an execution state of the apps 141 and 143 may be transmitted to the intelligent agent 151.
  • the intelligent agent 151 may receive parameter information of the user's speech through the intelligent server 200, and may transmit the received parameter information to the execution manager module 153.
  • the execution manager module 153 may change the parameters of operations 141b and 143b into new parameters using the received parameter information.
  • the execution manager module 153 may deliver the parameter information included in the path rule to the apps 141 and 143.
  • the execution manager module 153 may deliver parameter information included in the pass rule from one app to another app.
  • the execution manager module 153 may receive a plurality of path rules selected based on the user's speech. For example, the execution manager module 153 may specify some apps 141 to execute some operations 141b but not specify other apps 143 to execute the remaining operations 143b. Run the same app 141 (e.g. gallery app) that will execute action 141b and run a different app 143 (e.g. messaging app, telegram app) that can execute the remaining action 143b. A plurality of different pass rules can be received. The execution manager module 153 may execute, for example, the same operations 141b and 143b (eg, successive identical operations 141b and 143b) of the plurality of pass rules. When the execution manager module 153 executes the same operation, the display manager 120 may display a status screen for selecting different apps 141 and 143 included in the plurality of pass rules, respectively.
  • the intelligent service module 155 may include a context module 155a, a persona module 155b, or a proposal module 155c.
  • the context module 155a may collect the current state of the app 141, 143 from the app 141, 143.
  • the context module 155a may receive context information indicating the current state of the apps 141 and 143 to collect the current state of the apps 141 and 143.
  • the persona module 155b may manage personal information of a user who uses the user terminal 100.
  • the persona module 155b may manage the personal information of the user by collecting the usage information and the execution result of the user terminal 100.
  • the suggestion module 155c may recommend a command to the user in anticipation of the user's intention. For example, the suggestion module 155c may recommend a command to the user in consideration of the current state (eg, time, place, situation, app) of the user.
  • the current state eg, time, place, situation, app
  • FIG. 3 is a diagram illustrating executing an intelligent app of a user terminal according to an exemplary embodiment.
  • the user terminal 100 receives a user input and executes an intelligent app (eg, a voice recognition app) linked with the intelligent agent 151.
  • an intelligent app eg, a voice recognition app
  • the user terminal 100 may execute an intelligent app for recognizing a voice through the hardware key 112. For example, when the user terminal 100 receives a user input through the hardware key 112, the user terminal 100 may display a user interface (UI) 121 of the intelligent app on the display 120. For example, the user may touch the voice recognition button 121a on the UI 121 of the intelligent app to input the voice 161b while the UI 121 of the intelligent app is displayed on the display 120. . For example, the user may input the voice 161b by continuously pressing the hardware key 112 to input the voice 161b.
  • UI user interface
  • the user terminal 100 may execute an intelligent app for recognizing a voice through the microphone 111.
  • the user terminal 100 displays the UI 121 of the intelligent app on the display 120 when a specified voice (eg, wake up!) Is input through the microphone 111 (161a). can do.
  • a specified voice eg, wake up
  • FIG. 4 is a block diagram illustrating an intelligent server of an integrated intelligence system according to an embodiment of the present invention.
  • the intelligent server 200 may include an automatic speech recognition (ASR) module 210, a natural language understanding (NLU) module 220, and a path planner module. 230, a dialogue manager (DM) module 240, a natural language generator (NLG) module 250, or a text to speech (TTS) module 260. can do.
  • ASR automatic speech recognition
  • NLU natural language understanding
  • DM dialogue manager
  • NLG natural language generator
  • TTS text to speech
  • the natural language understanding module 220 or the path planner module 230 of the intelligent server 200 may generate a path rule.
  • the automatic speech recognition (ASR) module 210 may convert user input received from the user terminal 100 into text data.
  • the automatic voice recognition module 210 may convert a user input received from the user terminal 100 into text data.
  • the automatic voice recognition module 210 may include a speech recognition module.
  • the speech recognition module may include an acoustic model and a language model.
  • the acoustic model may include information related to speech
  • the language model may include information about a combination of unit phoneme information and unit phoneme information.
  • the speech recognition module may convert user speech into text data by using information related to speech and unit phoneme information.
  • Information about the acoustic model and the language model may be stored, for example, in an automatic speech recognition database (ASR DB) 211.
  • ASR DB automatic speech recognition database
  • the natural language understanding module 220 may determine a user's intention by performing syntactic analysis or semantic analysis.
  • the grammatical analysis may divide user input into grammatical units (eg, words, phrases, morphemes, etc.) and determine which grammatical elements the divided units have.
  • the semantic analysis may be performed using semantic matching, rule matching, formula matching, or the like. Accordingly, the natural language understanding module 220 may obtain a domain, an intent, or a parameter (or a slot) necessary to express the intention from the user input.
  • the natural language understanding module 220 uses a matching rule divided into a domain, an intent, and a parameter (or a slot) necessary to determine the intention.
  • the intention and parameters of can be determined.
  • the one domain e.g. alarm
  • the one intent is a plurality of parameters (e.g. time, number of repetitions, alarm sound).
  • the plurality of parameters may include, for example, one or more mandatory element parameters.
  • the matching rule may be stored in a natural language understanding database (NLU DB) 221.
  • the natural language understanding module 220 may identify a meaning of a word extracted from a user input by using linguistic features (eg, grammatical elements) such as morphemes and phrases, and may determine the meaning of the identified word in a domain. And the intention of the user by matching the intention. For example, the natural language understanding module 220 may calculate how much a word extracted from the user input is included in each domain and intention to determine the user intention. According to an embodiment of the present disclosure, the natural language understanding module 220 may determine a parameter of a user input using a word based on the intention.
  • linguistic features eg, grammatical elements
  • morphemes and phrases e.g., morphemes and phrases
  • the natural language understanding module 220 may determine the intention of the user using the natural language recognition database 221 which stores the linguistic features for determining the intention of the user input. According to another embodiment, the natural language understanding module 220 may determine a user's intention using a personal language model (PLM). For example, the natural language understanding module 220 may determine a user's intention using personalized information (eg, a contact list or a music list). The personalized language model may be stored, for example, in the natural language recognition database 221. According to an embodiment of the present disclosure, the automatic speech recognition module 210 as well as the natural language understanding module 220 may recognize the user's voice by referring to the personalized language model stored in the natural language recognition database 221.
  • PLM personal language model
  • the natural language understanding module 220 may generate a pass rule based on the intention and the parameter of the user input. For example, the natural language understanding module 220 may select an app to be executed based on the intention of the user input, and determine an action to be performed in the selected app. The box salmon understanding module 220 may generate a pass rule by determining a parameter corresponding to the determined operation. According to an embodiment of the present disclosure, the path rule generated by the natural language understanding module 220 may include information about an app to be executed, an action to be executed in the app, and a parameter required to execute the action.
  • the natural language understanding module 220 may generate one pass rule or a plurality of pass rules based on the intention and parameters of the user input. For example, the natural language understanding module 220 receives a path rule set corresponding to the user terminal 100 from the path planner module 230, and maps an intention and a parameter of a user input to the received path rule set. The rule can be determined.
  • the natural language understanding module 220 determines an app to be executed, an action to be executed in the app, and a parameter required to execute the action based on an intention and a parameter of a user input to determine one pass rule or a plurality of passes.
  • You can create rules.
  • the natural language understanding module 220 may use the information of the user terminal 100 in the form of an ontology or a graph model according to the intention of a user input of the app to be executed and the operation to be executed in the app.
  • Arrangement can be used to create path rules.
  • the generated path rule may be stored in, for example, a path rule database (PR DB) 231 through the path planner module 230.
  • the generated path rule may be added to a path rule set of the database 231.
  • the natural language understanding module 220 may select at least one pass rule from the generated plurality of pass rules. For example, the natural language understanding module 220 may select an optimal path rule of the plurality of path rules. For another example, the natural language understanding module 220 may select a plurality of pass rules when only a few actions are specified based on user speech. The natural language understanding module 220 may determine one pass rule among the plurality of pass rules by an additional input of a user.
  • the natural language understanding module 220 may transmit a path rule to the user terminal 100 as a request for a user input.
  • the natural language understanding module 220 may transmit one pass rule corresponding to the user input to the user terminal 100.
  • the natural language understanding module 220 may transmit a plurality of pass rules corresponding to the user input to the user terminal 100.
  • the plurality of pass rules may be generated by the natural language understanding module 220 when only some of the actions are specified based on, for example, user speech.
  • the path planner module 230 may select at least one path rule from among a plurality of path rules.
  • the path planner module 230 may transmit a path rule set including a plurality of path rules to the natural language understanding module 220.
  • the plurality of path rules of the path rule set may be stored in a table form in the path rule database 231 connected to the path planner module 230.
  • the path planner module 230 may transfer the path rule set corresponding to the information (eg, OS information and app information) of the user terminal 100 received from the intelligent agent 151 to the natural language understanding module 220. Can be.
  • the table stored in the path rule database 231 may be stored, for example, by domain or version of a domain.
  • the path planner module 230 may select one path rule or a plurality of path rules from the path rule set and transmit the selected path rules to the natural language understanding module 220.
  • the path planner module 230 may select one path rule or a plurality of path rules by matching a user's intention and parameters with a path rule set corresponding to the user terminal 100, and then may use the natural language understanding module 220. Can be delivered to.
  • the path planner module 230 may generate one path rule or a plurality of path rules using user intentions and parameters. For example, the path planner module 230 may generate one path rule or a plurality of path rules by determining an app to be executed and an operation to be executed in the app based on a user intention and a parameter. According to an embodiment of the present disclosure, the path planner module 230 may store the generated path rule in the path rule database 231.
  • the path planner module 230 may store the path rule generated by the natural language understanding module 220 in the path rule database 231.
  • the generated path rule may be added to a path rule set stored in the path rule database 231.
  • the plurality of pass rules or the plurality of pass rule sets may reflect the type, version, type, or characteristic of a device that performs each pass rule.
  • the conversation manager module 240 may determine whether the parameters identified in the natural language understanding module 220 are sufficient to perform a task. According to an embodiment of the present disclosure, when the intention of the user is not clear, the conversation manager module 240 may perform feedback for requesting necessary information from the user. For example, the conversation manager module 240 may perform feedback for requesting information about a parameter for determining a user's intention.
  • the dialog manager module 240 may include a content provider module.
  • the content providing module may generate a result of performing a task corresponding to a user input when the content providing module can perform an operation based on the intention and the parameter identified by the natural language understanding module 220.
  • the conversation manager module 240 may transmit the result generated by the content providing module to the user terminal 100 in response to a user input.
  • the natural language generation module (NLG) 250 may change the designated information into a text form.
  • the information changed in the text form may be in the form of natural language speech.
  • the specified information may be, for example, information about an additional input, information for guiding completion of an operation corresponding to a user input, or information (eg, feedback information for a user input) for guiding an additional input of a user.
  • the information changed in the text form may be transmitted to the user terminal 100 to be displayed on the display 120, or may be transmitted to the text-to-speech module 260 to be changed to the voice form.
  • the text-to-speech module 260 may change the text-type information into voice-type information.
  • the text-to-speech module 260 may receive information in text form from the natural language generation module 250, change the text form information into information in speech form, and transmit it to the user terminal 100.
  • the user terminal 100 may output the voice type information to the speaker 130.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as one module.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as one module to determine a user's intention and parameters, and correspond to the determined user's intent and parameters. You can create a response (for example, a pass rule). Accordingly, the generated response may be transmitted to the user terminal 100.
  • FIG. 5 is a diagram illustrating a method of generating a path rule of a path planner module according to one embodiment of the present invention.
  • the natural language understanding module 220 may divide a function of an app into unit operations A through F and store it in the path rule database 231.
  • the natural language understanding module 220 may apply a plurality of pass rules A-B1-C1, A-B1-C2, A-B1-C3-DF, and A-B1-C3-DEF that are divided into unit operations.
  • the included pass rule set may be stored in the pass rule database 231.
  • the path rule database 231 of the path planner module 230 may store a path rule set for performing a function of an app.
  • the pass rule set may include a plurality of pass rules including a plurality of operations. In the plurality of pass rules, operations executed according to parameters input to each of the plurality of operations may be sequentially arranged.
  • the plurality of path rules may be configured in an ontology or graph model and stored in the path rule database 231.
  • the natural language understanding module 220 may include the plurality of pass rules A-B1-C1, A-B1-C2, A-B1-C3-DF, and A- corresponding to intentions and parameters of a user input.
  • the optimal pass rule (A-B1-C3-DF) can be selected among B1-C3-DEF).
  • the natural language understanding module 220 may transmit a plurality of rules to the user terminal 100 when there is no pass rule that perfectly matches the user input. For example, the natural language understanding module 220 may select a pass rule (eg, A-B1) partially corresponding to the user input.
  • the natural language understanding module 220 may include one or more pass rules (eg, A-B1-C1, A-B1-C2, and A-B1-C3) that include pass rules (eg, A-B1) that correspond in part to user input.
  • -DF, A-B1-C3-DEF can be selected and delivered to the user terminal 100.
  • the natural language understanding module 220 may select one of a plurality of pass rules based on an additional input of the user terminal 100 and transmit the selected one pass rule to the user terminal 100.
  • the natural language understanding module 220 may include a plurality of pass rules (eg, A-B1-C1 and A-B1) according to a user input (eg, an input for selecting C3) additionally input from the user terminal 100.
  • One pass rule eg, A-B1-C3-DF
  • A-B1-C3-DF among -C2, A-B1-C3-DF, and A-B1-C3-DEF may be selected and transmitted to the user terminal 100.
  • the natural language understanding module 220 corresponds to a user's intention corresponding to a user input (eg, an input for selecting C3) additionally input to the user terminal 100 through the natural language understanding module 220.
  • the parameter may be determined, and the determined intention or parameter of the user may be transmitted to the user terminal 100.
  • the user terminal 100 determines a plurality of pass rules (eg, A-B1-C1, A-B1-C2, A-B1-C3-DF, A-B1-C3- based on the transmitted intention or the parameter).
  • One pass rule eg, A-B1-C3-DF
  • One pass rule can be selected.
  • the user terminal 100 may complete the operation of the apps 141 and 143 according to the selected one pass rule.
  • the natural language understanding module 220 may generate a pass rule partially corresponding to the received user input. For example, the natural language understanding module 220 may transmit (1) the partially corresponding path rule to the intelligent agent 151. The intelligent agent 151 transmits the partially corresponding path rule to the execution manager module 153 (2), and the execution manager module 153 may execute the first app 141 according to the path rule. . The execution manager module 153 may transmit (3) information about the insufficient parameters to the intelligent agent 151 while executing the first app 141. The intelligent agent 151 may request additional input from the user by using the information about the insufficient parameter. The intelligent agent 151 may transmit and process the intelligent server 200 when the additional input is received by the user. The natural language understanding module 220 may generate an added pass rule based on the additionally input user input intention and parameter information and transmit the generated pass rule to the intelligent agent 151. The intelligent agent 151 may transmit the path rule to the execution manager module 153 to execute the second app 143.
  • the natural language understanding module 220 may transmit a user information request to the personalization information server 300 when a user input missing some information is received by the intelligent server 200.
  • the personalization information server 300 may transmit the information of the user who inputs the user input stored in the persona database to the natural language understanding module 220.
  • the natural language understanding module 220 may select a pass rule corresponding to a user input missing some operations using the user information. Accordingly, even if a user input missing some information is received by the intelligent server 200, the natural language understanding module 220 receives a further input by requesting the missing information or uses a user information to pass a path rule corresponding to the user input. Can be determined.
  • FIG. 6 is a diagram illustrating a context module of a processor collecting a current state according to an embodiment of the present invention.
  • the context module 155a when the context module 155a receives the context request (1) from the intelligent agent 151, the context module 155a requests the context information indicating the current state of the app 141 or 143 from the app 141 or 143 ( 2) can be. According to an embodiment of the present disclosure, the context module 155a may receive the context information 3 from the apps 141 and 143 and transmit the context information to the intelligent agent 151.
  • the context module 155a may receive a plurality of context information through the apps 141 and 143.
  • the context information may be information about the most recently executed app (141, 143).
  • the context information may be information about a current state in the app 141 or 143 (for example, when viewing a picture in a gallery).
  • the context module 155a may receive context information indicating the current state of the user terminal 100 from the device platform as well as the apps 141 and 143.
  • the context information may include general context information, user context information, or device context information.
  • the general context information may include general information of the user terminal 100.
  • the general context information may be confirmed through an internal algorithm by receiving data through a sensor hub of a device platform.
  • the general context information may include information about the current space time.
  • the information about the current space time may include, for example, information about a current time or a current location of the user terminal 100.
  • the current time may be confirmed through time on the user terminal 100, and the information about the current location may be confirmed through a global positioning system (GPS).
  • GPS global positioning system
  • the general context information may include information about physical movement.
  • the information on the physical movement may include, for example, information on walking, running, driving, and the like.
  • the physical motion information may be identified through a motion sensor.
  • the information on the driving may not only confirm driving through the motion sensor, but also check boarding and parking by detecting a Bluetooth connection in the vehicle.
  • the general context information may include user activity information.
  • the user activity information may include, for example, information about commute, shopping, travel, and the like.
  • the user activity information may be confirmed using information on a place registered by the user or the app in the database.
  • the user context information may include information about a user.
  • the user context information may include information about the emotional state of the user.
  • the information on the emotional state may include, for example, information about a user's happiness, sadness, anger, and the like.
  • the user context information may include information about the current state of the user.
  • the information on the current state may include, for example, information on interest, intention (eg, shopping).
  • the device context information may include information about the state of the user terminal 100.
  • the device context information may include information about a pass rule executed by the execution manager module 153.
  • the device information may include information about a battery. Information about the battery may be confirmed through, for example, the charging and discharging states of the battery.
  • the device information may include information about a connected device and a network. Information about the connected device may be confirmed through, for example, a communication interface to which the device is connected.
  • FIG. 7 is a diagram illustrating a persona module managing user information according to an embodiment of the present invention.
  • the persona module 155b may receive information of the user terminal 100 from the apps 141 and 143, the execution manager module 153, or the context module 155a.
  • the apps 141 and 143 and the execution manager module 153 may store the result information of executing the operations 141b and 143b of the app in the motion log database.
  • the context module 155a may store information about the current state of the user terminal 100 in the context database.
  • the persona module 155b may receive the stored information from the operation log database or the context database. Data stored in the motion log database and the context database may be analyzed by, for example, an analysis engine and transmitted to the persona module 155b.
  • the persona module 155b may transmit information received from the apps 141 and 143, the execution manager module 153, or the context module 155a to the suggestion module 155c.
  • the persona module 155b may transmit data stored in the motion log database or the context database to the suggestion module 155c.
  • the persona module 155b may transmit information received from the apps 141 and 143, the execution manager module 153, or the context module 155a to the personalization information server 300.
  • the persona module 155b may periodically transmit data accumulated and stored in the operation log database or the context database to the personalization information server 300.
  • the persona module 155b may transmit data stored in the operation log database or the context database to the suggestion module 155c.
  • User information generated by the persona module 155b may be stored in the persona database.
  • the persona module 155b may periodically transmit the user information stored in the persona database to the personalization information server 300.
  • the information transmitted to the personalization information server 300 by the persona module 155b may be stored in the persona database.
  • the personalization information server 300 may infer user information necessary for generating the pass rule of the intelligent server 200 using the information stored in the persona database.
  • the user information inferred using the information transmitted by the persona module 155b may include profile information or preference information.
  • the profile information or preference information may be inferred from the user's account and accumulated information.
  • the profile information may include personal information of the user.
  • the profile information may include demographic information of the user.
  • the demographic information may include, for example, the gender and age of the user.
  • the profile information may include life event information.
  • the life event information may be inferred, for example, by comparing log information with a life event model, and reinforced by analyzing a behavior pattern.
  • the profile information may include interest information.
  • the interest information may include, for example, a shopping item of interest, a field of interest (eg, sports, politics, etc.).
  • the profile information may include activity area information.
  • the activity area information may include, for example, information about a home, a place of work, and the like.
  • the information on the activity area may include not only information on the location of the place, but also information on an area in which priority is recorded based on the accumulated stay time and the number of visits.
  • the profile information may include activity time information.
  • the activity time information may include, for example, information on wake up time, commute time, sleep time, and the like.
  • Information about the commute time can be inferred using the activity area information (eg, information about home and work place).
  • Information about the sleep time may be inferred through the unused time of the user terminal 100.
  • the preference information may include user preference information.
  • the preference information may include information about app preference.
  • the app preference may be inferred through, for example, a usage record of the app (eg, a usage record by hour and place).
  • the preference of the app may be used to determine an app to be executed according to the current state (eg, time and place) of the user.
  • the preference information may include information on contact preference.
  • the contact preference may be inferred by analyzing, for example, information on contact frequency (eg, frequency of contact by time and place) of the contact.
  • the contact preference may be used to determine a contact to contact based on the user's current status (eg, contact for a duplicate name).
  • the preference information may include setting information.
  • the setting information may be inferred, for example, by analyzing information on a setting frequency of a specific setting value (for example, a frequency for setting a setting value for each time and a place).
  • the setting information may be used to set a specific setting value according to the current state (eg, time, place, situation) of the user.
  • the preference information may include place preference.
  • the place preference may be inferred, for example, through a visit history (eg, hourly visit history) of a specific place.
  • the place preference may be used to determine a place being visited according to the current state (eg, time) of the user.
  • the preference information may include instruction preferences.
  • the command preference may be inferred through, for example, the frequency of command usage (eg, frequency of use by hour and place).
  • the command preference may be used to determine a command pattern to be used according to the current state (eg, time and place) of the user.
  • the command preference may include information on a menu most selected by the user in the current state of the app being executed by analyzing log information.
  • FIG. 8 is a block diagram illustrating a suggestion module according to an embodiment of the present invention.
  • the suggestion module 155c may include a hint providing module 155c_1, a context hint generating module 155c_2, a condition checking module 155c_3, a condition model module 155c_4, a reuse hint generating module 155c_5, or an introduction.
  • the hint generation module 155c_6 may be included.
  • the hint providing module 155c_1 may provide a hint to the user.
  • the hint providing module 155c_1 may receive a hint generated from the context hint generation module 155c_2, the reuse hint generation module 155c_5, or the introduction hint generation module 155c_6 and provide the hint to the user.
  • the context hint generation module 155c_2 may generate a hint that may be recommended according to the current state through the condition checking module 155c_3 or the condition model module 155c_4.
  • the condition checking module 155c_3 may receive information corresponding to the current state through the intelligent service module 155, and the condition model module 155c_4 may set a condition model using the received information. have.
  • the condition model module 155c_4 identifies the time, location, and situation of the app in use at the time of giving the user a hint, and provides the user with the hints most likely to be used in the condition in the order of high priority. can do.
  • the reuse hint generation module 155c_5 may generate a hint that may be recommended in consideration of the frequency of use according to the current state.
  • the reuse hint generation module 155c_5 may generate a hint in consideration of a user's usage pattern.
  • the introduction hint generation module 155c_6 may generate a hint for introducing a new function or a function frequently used by another user.
  • the hint for introducing the new function may include an introduction (eg, an operation method) for the intelligent agent 151.
  • the context hint generation module 155c_2, the condition checking module 155c_3, the condition model module 155c_4, the reuse hint generation module 155c_5, or the introduction hint generation module 155c_6 of the suggestion module 155c may be configured. It may be included in the personalized information server 300.
  • the hint providing module 155c_1 of the suggestion module 155c may include a hint from the context hint generation module 155c_2, the reuse hint generation module 155c_5, or the introduction hint generation module 155c_6 of the user personalization information server 300. The received hint may be provided to the user by receiving.
  • the user terminal 100 may provide a hint according to the following series of processes.
  • the hint providing module 155c_1 may transmit a hint generation request to the context hint generating module 155c_2 when receiving the hint providing request from the intelligent agent 151.
  • the context hint generation module 155c_2 receives the hint generation request
  • the context hint generation module 155c_2 receives information corresponding to the current state from the context module 155a and the persona module 155b by using the condition checking module 155c_3 (3). )can do.
  • the condition checking module 155c_3 transmits the received information to the condition model module 155c_4 (5), and the condition model module 155c_4 uses the information and has a high possibility of using the condition among the hints provided to the user. You can give priority to hints in order.
  • the context hint generation module 155c_2 may check (6) the condition and generate a hint corresponding to the current state.
  • the context hint generation module 155c_2 may transmit (7) the generated hint to the hint providing module 155c_1.
  • the hint providing module 155c_1 may align the hint according to a specified rule and transmit the hint to the intelligent agent 151.
  • the hint providing module 155c_1 may generate a plurality of context hints, and assign a priority to the plurality of context hints according to a specified rule. According to an embodiment of the present disclosure, the hint providing module 155c_1 may first provide a user with a high priority among the plurality of context hints.
  • the user terminal 100 may suggest a hint according to a use frequency.
  • the hint providing module 155c_1 may transmit a hint generation request to the reuse hint generation module 155c_5 when receiving a hint providing request from the intelligent agent 151.
  • the reuse hint generation module 155c_5 may receive user information 3 from the persona module 155b.
  • the reuse hint generation module 155c_5 may receive the pass rule included in the user's preference information of the persona module 155b, the parameters included in the pass rule, the frequency of execution of the app, and the spatiotemporal information in which the app is used. have.
  • the reuse hint generation module 155c_5 may generate a hint corresponding to the received user information.
  • the reuse hint generation module 155c_5 may transmit the generated hint to the hint providing module 155c_1.
  • the hint providing module 155c_1 may align the hint and transmit the hint to the intelligent agent 151.
  • the user terminal 100 may suggest a hint for a new function.
  • the hint providing module 155c_1 may transmit a hint generating request to the introductory hint generating module 155c_6 (2).
  • the introduction hint generation module 155c_6 may receive the information about the function to be introduced from the proposal server 400 by transmitting the introduction hint providing request 3 from the proposal server 400.
  • the proposal server 400 may store information about the function to be introduced, and the hint list for the function to be introduced may be updated by the service operator.
  • the introduction hint generation module 155c_6 may transmit the generated hint to the hint providing module 155c_1.
  • the hint providing module 155c_1 may align the hint and transmit the hint to the intelligent agent 151.
  • the suggestion module 155c may provide the user with the hint generated by the context hint generation module 155c_2, the reuse hint generation module 155c_5, or the introduction hint generation module 155c_6.
  • the suggestion module 155c may display the generated hint on an execution screen of an app operating the intelligent agent 151 and receive an input for selecting the hint from a user through the execution screen of the app. can do.
  • FIG. 9 is a diagram illustrating an operation of an intelligent agent controlling an application in response to a user's speech in an electronic device according to various embodiments of the present disclosure as a change in a graphical interface.
  • an electronic device 900 may be an application program installed in the electronic device 900.
  • an intelligent agent for example, the intelligent agent 151
  • the electronic device 900 may convert the user's speech into text and display the same to the user through the conversation window 910.
  • the electronic device 900 may execute an operation of the application using a path rule generated through analysis of the speech.
  • the execution manager module selects a picture taken in Hawaii in the electronic device 900. And instruct the gallery application to select an SMS application as a medium to transmit the selected picture. Upon being notified of the completion of the command from the gallery application, the execution manager module may instruct the SMS application to select 'Mom' as the message destination and send the picture attached to the message by the gallery application.
  • a series of execution procedures of the pass rule may be expressed to the user through the interface of the application that is the execution agent, not the dialogue window 910 of the intelligent agent.
  • first interfaces 930 showing the process by which the gallery application finds Hawaiian photos are provided sequentially on the display, and then a second interface 940 of the gallery application for selection of the transmission medium is provided.
  • a third interface 950 is provided that shows how the SMS application attaches a picture to the message, and finally a fourth interface 960 that shows that the SMS application has finished sending the message to the mother. Can be.
  • the intelligent agent may, for example, make a voice inquiry, “Who will you send to?”, And in response, if the user utters “to the mother in a message,” the agent may additionally provide a fourth interface 960. Can be performed.
  • the user's utterance is “Share Hawaii picture as a message” (925), and the destination is not obtained from the utterance, it may only be performed until the process of providing the third interface 950 through the display. If the user additionally speaks to "Mom,” it may be additionally performed until the process of providing the fourth interface 960.
  • the user's utterance is “Share Hawaii picture with mother” (927), since there is no transmission medium in the utterance, it can only be performed until the process of providing the second interface 940 on the display. If the user further utters "in a message", the process may further be performed until the fourth interface 960 is provided. As another example, the transmission medium may be additionally performed until the process of automatically selecting the SMS based on the contact information and providing the fourth interface 960, for example.
  • the electronic device 900 not only executes a pass rule by controlling an application in the electronic device 900 through an intelligent agent, but also functions of an external electronic device that is functionally connected to the electronic device 900. Functions can also be controlled to perform pass rules.
  • the electronic device 900 may recognize a change (expansion or limitation) of a function provided by an application or an external electronic device, and use the same to select a pass rule.
  • the electronic device 900 may recognize whether a specific function is provided and change of a state for performing a function in an application and use the same to select a pass rule.
  • the change of state may be linked to the change of the function according to the version of the application, but the state may be changed even when the function is not changed, and the electronic device 900 may recognize the change and use it to select a pass rule.
  • FIG. 10 is a diagram illustrating an operation of managing a version of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • an electronic device 1010 may include an execution manager module 1011, an intelligent agent 1013, and applications 1015.
  • the server 1020 may include an NLU module 1021, a path planner module 1023, and a path rule set DB 1025.
  • the execution manager module 1011 may manage execution of applications 1015 installed in the electronic device 1010.
  • the execution manager module 1011 may collect (A) metadata including the type and version information of each application from the applications 1015 and transmit the metadata (B) to the intelligent agent 1013.
  • the intelligent agent 1013 receives a user input (eg, utterance or touch input) for controlling an application through an input module, and then receives an NLU module 1021 of the server 1020. (C) can be sent. In addition, metadata of an application collected by the execution manager module 1011 may be transmitted (D) to the path planner module 1023 through the intelligent agent 1013.
  • a user input eg, utterance or touch input
  • NLU module 1021 of the server 1020 receives an NLU module 1021 of the server 1020.
  • C can be sent.
  • metadata of an application collected by the execution manager module 1011 may be transmitted (D) to the path planner module 1023 through the intelligent agent 1013.
  • the pass rule set DB 1025 may include a pass rule set corresponding to each version for each application.
  • the path planner module 1023 may set a path rule set 1027 that matches the version of each application installed in the electronic device 1010 based on metadata received from the electronic device 1010. May be obtained from the DB 1025 to allow the NLU module 1021 to access (E).
  • the NLU module 1021 may read the path rule set 1027 selected by the path planner module 1023 by accessing the DB 1025.
  • the path planner module 1023 temporarily stores the path rule set 1027 in a separate storage space, and notifies the NLU module 1021 so that the NLU module 1021 can pass the path rule set 1027. Can be read from the separate storage space.
  • the NLU module 1021 may analyze a user input (speech or touch input) to determine a user's intent and select a path rule corresponding to the intent from the path rule set 1027. Can be.
  • execution manager module 1011 of each application The metadata including the type and version information may be collected and transferred to the server 1020 through the intelligent agent 1013.
  • a user input such as “Call Mom” is received through the input module of the electronic device 1010
  • the collected metadata may be transferred to the path planner module 1023.
  • the path planner module 1023 may use a path rule set 1027 that matches the version of each application installed in the electronic device 1010 based on the received metadata, for example, “Call application rule set ver 1.1, Health application rule set”.
  • SMS application rule set ver 3.0 may be read from the pass rule set DB 1025 and provided to the NLU module 1021.
  • the NLU module 1021 may determine the domain of the user input as “Call application” and finally select one of the path rules in “Call application rule set ver 1.1” as the path rule corresponding to the analyzed user intention.
  • an application functionally connected to the intelligent agent 1013 through the execution manager module 1011 may be changed.
  • the function is expanded or changed through the information, the information may be recognized by the intelligent agent 1013. Therefore, it may be easy for a user to control an application or an external electronic device through the intelligent agent 1013.
  • the complexity of selecting a specific path rule may increase exponentially as the types and versions of applications increase, thereby providing a method and apparatus for efficiently controlling the same. .
  • Various embodiments of the present invention relate to a system for individually controlling each application using an intelligent agent.
  • the application and the intelligent agent may be individually updated in their versions, and even if the versions of the intelligent agent in each electronic device of the user are the same, the versions of the applications installed in the electronic device may be different.
  • the function of the application provided by the intelligent agent may change depending on the version of the application. Table 1 below is an example of changing the supported pass rules according to the version change of the application.
  • VER_1.0 and VER_2.0 are examples of changing the path rules supported by the application version.
  • a pass rule is a set of states that can mean the complete action of processing user input, such as "run gallery", using the app / service.
  • the state may refer to a state of moving to a specific screen as a result of a user's action (touch, etc.).
  • FIG. 11 is a diagram illustrating an operation of processing an utterance in an NLU module according to various embodiments of the present disclosure.
  • the model 1110 on the left side of FIG. 11 is an example in which various versions of an application do not exist.
  • the NLU module 1113 processes the spoken words.
  • the intent of and the path rule corresponding to this intent can be selected from the set 1115.
  • the model 1120 on the right side of FIG. 11 is a model that considers the version of the application together with the user's speech when selecting the pass rule, and when the user speaks 1121, version information of the application.
  • 1122 may be delivered to NLU module 1123 with utterance 1121.
  • the NLU module 1123 may select one set corresponding to the version information 1122 among the various pass rule sets 1125 in consideration of the version information.
  • the NLU module 1123 may select a pass rule corresponding to the user intention from the selected set.
  • FIG. 12 is a flowchart illustrating an agent service method in an integrated intelligence system configured to determine a path rule by a server according to various embodiments of the present disclosure.
  • a processor (eg, 150 of FIG. 2) of the electronic device 1210 receives a user input (speech or touch input) for controlling an application through an input module (eg, 110 of FIG. 2). Can be received.
  • the processor of the electronic device 1210 may collect version information of each application installed in the electronic device 1210 that can be controlled by the intelligent agent.
  • various information such as region and business name may be collected as metadata. The additionally collected information may be used when selecting a pass rule set together with version information.
  • the processor of the electronic device 1210 may transmit the collected metadata (including at least version information of each application) to the server 1220 together with the user input.
  • the server 1220 may send user input to the NLU module to analyze the user intent.
  • the server 1220 may send the metadata to the path planner module to select a path rule set corresponding to the metadata in the path rule set DB.
  • the server 1220 may select a path rule that matches the user intention from the selected path rule set and transmit the same to the electronic device 1210.
  • the server 1220 if there is no path rule that matches the user's intention in the selected path rule set, or if the selected path rule does not support the version of the application, the server 1220 notifies the user that instead of the path rule, the user input cannot be processed. May be transmitted to the electronic device.
  • the processor of the electronic device 1210 may control the operation of the application by using the path rule received from the server 1220.
  • FIG. 13 is a diagram for describing an integrated intelligence system configured to determine a path rule by a server according to various embodiments of the present disclosure.
  • the execution manager module 1311 of the electronic device 1310 may be versioned from applications controllable by the execution manager module 1311 installed in the electronic device 1310.
  • Information 1312 can be obtained.
  • the version information 1312 may be provided to the intelligent agent 1313 through the execution manager module 1311 in the form of a version set, that is, the version information of each application is collected. This information can be passed to the server 1320 along with the user input or after the user input is passed to the server 1320.
  • the server 1320 may include a communication module 1321, an NLU module 1322, a path planner module 1323, and a path rule set DB 1324.
  • the NLU module 1322 may include an NLU service selection module 1322a, a deep learning-based NLU module 1322b, and a rule-based NLU module 1322c.
  • the NLU service selection module 1322a may select one of the DNLU module 1322b and the RNLU module 1322c as a module to analyze user input.
  • RNLU module 1322c may be preferentially selected as an analysis module.
  • any one of a kind of domain, a kind of intention, a variable value of the NLU engine, a kind of speech, or a complexity of the speech may be used as a criterion for selecting an analysis module.
  • one of the two modules may be selected as the analysis module based on the size of the text data generated by the ASR module (eg, 210 of FIG. 4).
  • the DNLU module 1322b may be selected as the analysis module.
  • the NLU service selection module 1322a sends a user input received from the electronic device 1310 through the communication module 1321 to the selected analysis module to apply to the user input in the path rule set selected by the path planner module 1323. Allows you to select the corresponding path rule.
  • the path planner module 1323 receives version information received from the electronic device 1310 from the communication module 1321 through the NLU module 1322, and transmits the electronic device from the version information. It is possible to recognize a version of each of the applications executed in the 1310.
  • the path planner module 1323 may manage the path rule set DB 1324 including a path rule set corresponding to each version for each application.
  • the path planner module 1323 may obtain a path rule set corresponding to the version information of the application installed in the electronic device 1310 from the DB 1324 and provide it to the selected analysis module.
  • the pass rule sets in the DB may be managed not only by version information but also by other information (for example, region and business name).
  • the path planner module 1323 and the path rule set DB 1324 may be implemented as one module with the NLU module 1322.
  • the path rule set may be the same even if the versions of the application are different.
  • Gallery_2.1.0, Gallery_2.2.0, and Galley_2.3.0 may have the same pass rule set “Galley_KOR_SKT_R1”.
  • application _version application _area_ Business name _Path rule set version Galley_2.1.0 Galley_kor_skt_r1 Galley_2.2.0 Galley_2.3.0 Galley_2.4.0 Galley_kor_skt_r2
  • the operation of determining a pass rule corresponding to a user input may be divided into a domain classifier model, an intent classifier model, and a parameter tagger model. These models can be performed sequentially in the selected analysis module.
  • RNLU module 1322c may be selected as an analysis module to receive user input. For example, if the user input is “text me late”, the RNLU service module 1322c_1 may perform a domain classification model 1322c_2 on the user input to determine the SMS application as the domain. Next, the RNLU service module 1322c_1 performs an intent classification model 1322c_3 on user input (e.g., searching for keywords (e.g., 'character', 'transfer') in the text data according to a predetermined rule).
  • keywords e.g., 'character', 'transfer'
  • the RNLU service module 1322c_1 performs the parameter tagger model 1322c_4 on the user input to determine 'delayed (content)' and 'mother (destination)' as the parameter in the user input, and passes the parameter to the pass rule.
  • the electronic device 1310 may transmit the information to the electronic device 1310 through the communication module 1321.
  • the DNLU module 1322b may be selected as an analysis module to receive user input.
  • the DNLU service module 1322b_1 sequentially performs domain classification model 1322b_2, intent classification model 1322b_3 (e.g., grammatical and / or semantic analysis based on deep learning), and parameter tagging model 1322b_4 on user input. , Determine a domain, an intention, and a parameter, select a pass rule corresponding to an intention from the determined pass rule set of the domain, and transmit the parameter to the electronic device 1310 through the communication module 1321 together with the pass rule. .
  • the DNLU module 1322b and the RNLU module 1322c may interoperate to analyze user input.
  • the RNLU module 1322c may perform domain classification and parameter tagging, and the DNLU module 1322b may perform intent classification.
  • the RNLU module 1322c is preferentially selected as an analysis module to determine a domain, and then the intent classification model 1322c_3 performs the intention probability (a degree indicating the likelihood of the user's intention) determined by the predetermined reference value.
  • the DNLU module 1322b may be determined as the intention analysis module, and the user input and the domain may be transmitted to the DNLU module 1322b.
  • the DNLU module 1322b may finally select a pass rule by performing an intention classification model instead of the RNLU module 1322c.
  • the RNLU module 1322c is preferentially selected as an analysis module to determine a domain, and when there are a plurality of determined domains, the DNLU module 1322b is determined as the intention analysis module to determine the user input and domain as the DNLU module 1322b.
  • the fragmentation of pass rules can also increase. This can make the operation of the integrated intelligence system more difficult, such as an increased amount of computation for path rule determination and less and less probability of selecting the desired path rule.
  • the domain classifier model and the parameter tagger module may be fixed so as not to change from version to version, and only the intention classifier model may be changed for each version to reduce the amount of computation for determining the pass rule.
  • FIG. 14 is a diagram for describing an integrated intelligence system configured to process user input through interworking of a DNLU and an RNLU, according to various embodiments of the present disclosure.
  • the server 1420 may include a communication module 1421, an NLU module 1422, a path planner module 1423, and a path rule set DB 1424.
  • the NLU module 1422 may include a DNLU module 1422a and an RNLU module 1422b.
  • the DNLU module 1422a may include a domain classification manager 1422a_1, an intent classification manager 1422a_2, and a parameter tagger 1422a_3.
  • the RNLU module 1422b may include an intent classification manager 1422b_1, a parameter tagger 1422b_2, and a version manager 1422b_3.
  • the version manager 1422b_3 may be a component of the pass planner module 1423.
  • the path planner module 1423 and the path rule set DB 1424 may be implemented as one module with the NLU module 1422.
  • the communication module 1421 may receive a user input from the electronic device 1410 and transmit it to the NLU module 1422.
  • the communication module 1421 may receive the respective version information of the applications from the electronic device 1410 together with the user input or after receiving the user input and transmit the received version information to the NLU module 1422 or the path planner module 1423.
  • the communication module 1421 may receive the selected path rule from the NLU module 1422 based on the user input and the version information by the NLU module 1422 and transmit the received path rule to the electronic device 1410.
  • the domain classification manager 1422a_1 of the DNLU module 1422a may determine a domain of a user input and transmit it to the intent classification manager 1422a_2 of the DNLU module 1422a.
  • the intent classification manager 1422a_2 of the DNLU module 1422a analyzes user input to determine a user's intention and sets a plurality of path rules as candidates for a path rule corresponding to the intent. Can be selected from DB 1424.
  • the intent classification manager 1422a_2 of the DNLU module 1422a may forward the selected candidates to the intent classification manager 1422b_1 of the RNLU module 1422b.
  • the intent classification manager 1422b_1 of the RNLU module 1422b may compare candidates received from the DNLU module 1422a with each candidate through a rule-based intent classification technique. The degree of matching of the user input may be determined. For example, the intent classification manager 1422b_1 of the RNLU module 1422b may determine the accuracy of path rule matching between user inputs of each candidate by calculating a matching quality (MQ) of each candidate. All of the candidates may request path rule matching from the DNLU module 1422a if the MQ level is below a certain threshold.
  • MQ matching quality
  • the intent classification manager 1422a_2 of the DNLU module 1422a may grasp the intention through a deep learning based intent classification technique, A path rule corresponding to the intention may be selected from the path rule set.
  • the path rule set may be selected by the path planner module 1423 from the path rule set DB 1424 based on the version information.
  • parameter tagger 1422a_3 of DNLU module 1422a may obtain a parameter from a user input.
  • the DNLU module 1422a may transmit a path rule selected by the intent classification manager 1422a_2 and a parameter obtained from the parameter tagger 1422a_3 to the electronic device 1410 through the communication module 1421 according to the request.
  • the version manager 1422b_3 of the RNLU module 1422b determines whether the candidate corresponds to version information of an application installed in the electronic device 1410. You can check whether or not. For example, if the candidate is found to be able to support the version of the application, the version manager 1422b_3 determines the candidate as a pass rule to be sent to the user, and with the parameters obtained from the parameter tagger 1422b_2 to the electronic device 1410. Can transmit If it is determined that the candidate cannot support the version of the application, the version manager 1422b_3 may transmit a notification to the electronic device 1410 indicating that the user input cannot be processed instead of the pass rule.
  • the version manager 1422b_3 may transmit another pass rule to the electronic device 1410 instead of the unsupported pass rule (candidate).
  • the version manager 1422b_3 may convert the path rule (candidate) into a path rule suitable for a version of an application installed in the electronic device 1410 and transmit the converted path rule to the electronic device 1410.
  • the path rule list for version change may be stored in the path rule set DB 1424 or another repository by the version manager 1422b_3.
  • 15 is a flowchart illustrating an agent service method in an integrated intelligence system configured to determine a path rule by an electronic device (user terminal) according to various embodiments of the present disclosure.
  • a processor (eg, 150 of FIG. 2) of the electronic device 1510 may use a user input (eg, a utterance or touch input) for controlling an application through an input module (eg, 110 of FIG. 2). Can be received.
  • the processor of the electronic device 1510 may transmit the received user input to the server 1520.
  • the server 1520 may send a user input to an NLU module (eg, 220 of FIG. 4) to analyze the user input to acquire a domain, intention, and parameters. For example, if the user's request is "text me late", the domain can be determined by the SMS application, the intent is “message sent,” and the parameters are “late (content)” and “mother (destination).” have.
  • the server 1520 may transmit “domain, intent, and parameters” to the electronic device 1510 as a result of analyzing the user input.
  • the processor of the electronic device 1510 may collect version information of each of the applications installed in the electronic device 1510, which can be controlled by an intelligent agent (eg, 151 of FIG. 2).
  • an intelligent agent eg, 151 of FIG. 2
  • various information such as region and business name may be collected as metadata.
  • the additionally collected information may be used when selecting a pass rule set together with version information.
  • the electronic device 1510 may include a DB including a pass rule set corresponding to each version for each application that can be controlled by the intelligent agent.
  • the processor of the electronic device 1510 may obtain path rule sets corresponding to the collected metadata from the DB.
  • the processor of the electronic device 1510 may select a pass rule set corresponding to the domain from among the pass rule sets obtained from the DB.
  • the processor of the electronic device 1510 may select a pass rule corresponding to the user intention from the selected pass rule set.
  • the processor of the electronic device 1510 may perform a user request by controlling the operation of the application using the selected path rule and parameters.
  • FIG. 16 is a diagram for describing an integrated intelligence system configured to determine a pass rule by an electronic device according to various embodiments of the present disclosure.
  • the execution manager module 1611 of the electronic device 1610 may be versioned from applications controllable by the execution manager module 1611 installed in the electronic device 1610.
  • Information 1615 can be obtained.
  • the version information 1615 may be provided from the execution manager module 1611 to the version manager module 1614 in a version set form, that is, in a form in which version information of each application is collected.
  • various information such as region and business name may be collected as metadata. The additionally collected information may be used when selecting a pass rule set together with version information.
  • the intelligent agent 1612 in the electronic device 1610 may transmit a user input for controlling the application, which is received through the input module, to the server 1620 through the communication module 1616. Can be analyzed.
  • the path planner module 1613 of the electronic device 1610 is set in a path rule corresponding to each version for each application installed in the electronic device 1610 and controlled by the intelligent agent 1612. DB can be managed.
  • the path planner module 1613 may be located in an external electronic device, for example, a server 1620, instead of the electronic device 1610.
  • the electronic device 1610 manages the path rule set DB 1617 and determines the path rule using the DB 1617.
  • the amount of calculation of the server 1620 can be reduced, and a process of registering the same in the server 1620 every time a version of an application installed in the electronic device 1610 is changed can be omitted, thus efficiently managing the server 1620. It can be done.
  • the version manager module 1614 may receive a domain, an intention, and a parameter from the server 1620 through the communication module 1616 as a result of analyzing the user input.
  • the version manager module 1614 may send version information collected from the execution manager module 1611 to the pass planner module 1613 to obtain corresponding path rule sets from the DB.
  • the version manager module 1614 may send the domain to the path planner module 1613 to select one set corresponding to the domain from the obtained path rule sets.
  • the version manager module 1614 may send a user intent to the path planner module 1613 to select, or determine, one path rule from the selected one path rule set.
  • the version manager module 1614 may send parameters to the execution manager module 1611 together with the determined path rules. Accordingly, the execution manager module 1611 may execute an operation corresponding to the user input by controlling the application using the received path rule and parameters.
  • the path rule determined by the version manager module 1614 and the path planner module 1613 may be used as a path rule for controlling an application in the execution manager module 1611. If a pass rule that exactly matches the user's intent is not in the set, the intelligent agent 1612 cannot perform the operation of the application corresponding to the user input (e.g., speaker 130, display 120). Can be used to inform the user or a hint similar to user input.
  • the user input e.g., speaker 130, display 120.
  • the server 1620 may include a communication module 1621 and an NLU module 1622.
  • the NLU module 1622 may include an NLU service selection module 1622a, a DNLU module 1622b, and an RNLU module 1622c. Each module may perform the same function as each module of FIG. 13.
  • 17 is a diagram illustrating an operation of managing version information of an application in an electronic device according to various embodiments of the present disclosure.
  • the application 1710 installed in the electronic device 1700 may store information necessary for version management in the storage 1720.
  • the application 1710 may store its version in the storage 1720 as a file in a specific format.
  • the file may include information such as the name of the application, the version of the application, or the package name.
  • the execution manager module 1730 may collect respective version information from all applications installed in the electronic device 1700. For example, the execution manager module 1730 may, upon first execution, collect metadata from the repository 1720 including version information. When the application is installed, updated, or deleted, the corresponding metadata may be collected into the execution manager module 1730. In addition, when the SIM card is changed, metadata of the application may be aggregated into the execution manager module 1730.
  • an application that can be controlled by an intelligent agent may mark “PathRuleAppName” in metadata of “androidNanifest.xml”.
  • the metadata may be separated by commas “,” such as “PathRuleAppName1”, “PathRuleAppName2”, and “PathRuleAppName3”.
  • the version information may be configured as PathRuleAppName, packageName, or versionName.
  • the execution manager module 1730 may retrieve metadata and package information of “androidNanifest.xml” and collect version information of an application that can be controlled by an intelligent agent.
  • the application can update the application information to the storage 1720 at the time of Install / Update / Delete, and the execution manager module 1630 confirms the application change even when the SD card is attached / removed. Can be.
  • FIG. 18 is a diagram illustrating an entire synchronization operation in a version information management method according to various embodiments of the present disclosure.
  • the applications 1810 that can be controlled by the intelligent agent in the electronic device 1800 are required for version management when they are preloaded or installed in the electronic device 1800. May be managed in the form of a file in a specific storage 1820.
  • the intelligent agent 1830 recognizes completion of booting of the electronic device 1800, insertion of an SD card into the electronic device 1800, or removal of the SD card from the electronic device 1800 (A). If so, it may request (B) the execution manager module 1840 for full synchronization of the applications. The intelligent agent 1830 may receive (C) version information of each of the applications from the execution manager module 1840 in response to the request (B) and transmit (D) the server to the server.
  • the execution manager module 1840 accesses the repository 1820 according to the request (B), collects version information (E), and transmits the collected information to the intelligent agent 1830 (C). can do.
  • FIG. 19 is a diagram illustrating a partial synchronization operation in a version information management method according to various embodiments of the present disclosure.
  • the applications 1910 controllable by the intelligent agent may store information necessary for version management when preloaded or installed in the electronic device 1900. It can be managed in the form of a file.
  • the intelligent agent 1930 may request (B) the execution manager module 1940 to perform partial synchronization of applications when the agent recognizes the SIM card change or the first execution of the agent. .
  • the intelligent agent 1930 may receive (C) version information of each of the applications from the execution manager module 1940 as a response to the request (B) and transmit it (D) to the server.
  • the execution manager module 1940 may request the applications 1910 to update the version information in response to the request (B).
  • the application whose version information is changed among the applications 1910 may respond to the request (E). Accordingly, the execution manager module 1940 may access (F) the version information of the application which responds by accessing the repository 1920 and transmit the collected information to the intelligent agent 1930 (C).
  • 20 is a view illustrating an interaction synchronization operation in the version information management method according to various embodiments of the present disclosure.
  • the application 2010 installed in the electronic device 2000 notifies the execution manager module 2020 of its change (installation, update, or deletion). can do.
  • the application 2010 may store (B) the change in a file format in the specific storage 2030 as information required for version management.
  • Execution manager module 2020 accesses the repository 2030 in response to the notification (A) to read the version information of the application 2010 (C) intelligent agent And transmit (D) to 2040.
  • the intelligent agent 2040 may transmit (E) version information received from the execution manager module 2020 to the server.
  • 21 is a diagram illustrating an operation of updating a version of an application in an electronic device according to various embodiments of the present disclosure.
  • the intelligent agent 2111 in the electronic device 2110 may receive (A) version information of an application from the server 2120.
  • the received version information may include supportable version information of the agent service.
  • an application may be controlled by the intelligent agent 2111 when it is Version 2.0 or higher, and may not be controlled by the intelligent agent 2111 when it is a lower version.
  • the received version information (A) may include the latest version information of the application.
  • the supportable version information of the agent service may be stored in the electronic device 2110 as data related to the corresponding application instead of the server 2120, and the intelligent agent 2111 may refer to such data and refer to the electronic device 2110. It is possible to determine whether the version of the corresponding application installed in the agent service version is supported.
  • the intelligent agent 2111 may collect (B) version information of the application 2112 installed in the electronic device 2110 through the execution manager module 2113.
  • the intelligent agent 2111 may determine whether the version of the application 2112 is the latest version by comparing the received (A) with the collected (B).
  • the intelligent agent 2111 may determine whether the update of the application 2112 is necessary through the comparison. For example, when the intelligent agent 2111 has a minimum version that can be controlled by the intelligent agent 2111 is Version 2.0, and the version of the application 2112 installed in the electronic device 2110 is Version 1.0, You can decide that you need to update.
  • the update module 2114 may receive (C) an update request for the application 2112 of the intelligent agent 2111.
  • the update module 2114 may update the application 2112 by downloading the latest version of the application 2112 from an external electronic device (eg, an application providing server) in response to the update request.
  • an external electronic device eg, an application providing server
  • Various embodiments of the present invention can prevent version fragmentation of an application by updating the application 2112 as described above.
  • various embodiments of the present disclosure may provide the user with an agent service that enables the intelligent agent 2111 to control the function of the application 2112 by automatically updating the application 2112.
  • the update module when the intelligent agent 2111 is initially driven, if a version of a specific application is a version that does not support the agent service, the update module is first updated to the latest version supporting the agent service. Agent service may be initiated after performing at 2114.
  • 22 is a flowchart illustrating operations of a server for an agent service based on version information of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • a server sends a user input received from an electronic device (eg, 100 of FIG. 2) to an NLU module (eg, 220 of FIG. 4) to perform domain classification. It can be done.
  • the NLU module may first perform domain classification of the user input. This may be a process of determining which domain the user input belongs to.
  • the server may transmit a domain of the user input to the path planner module (eg, 230 of FIG. 4) so as to select version information of an application corresponding to the domain. That is, the path planner module may select version information of an application corresponding to the domain from among version information of applications received from the electronic device.
  • the version information received from the electronic device is Call Application ver 1.1, Health Application ver 2.1, and SMS Application ver 4.0.
  • version information corresponding to the domain may be SMS Application ver 4.0.
  • the server may control the path planner module to select a path rule set corresponding to the selected version information from the DB.
  • the path planner module may select an SMS Application ver 4.0 rule set.
  • the information received from the electronic device may include not only version information but also various information such as region and business name as metadata. Such metadata may be utilized in selecting a pass rule set together with the selected version information.
  • the server may send the selected path rule set to the NLU module to perform intent classification to select a path rule corresponding to a user input. That is, in analyzing the user input, the NLU module may perform intent classification after domain classification of the user input. This may be a process of selecting at least one path rule corresponding to the user intention from the path rule set selected according to the domain of the user input in the path planner module. For example, when a user speaks “send text”, the NLU module can determine that the speech belongs to the SMS domain through domain classification. The path planner module may provide a path rule set corresponding to the SMS domain to the NLU module for intent classification.
  • the path planner module may provide the NLU module with a path rule set corresponding to the version of the SMS application installed in the electronic device among the SMS_path rule sets.
  • the NLU module may analyze user input to identify user intent and determine path rules corresponding to the identified intent in the set provided from the path planner module.
  • the server may transmit the parameter extracted from the user input through the parameter classification to the electronic device along with the pass rule to allow the electronic device to execute the operation of the application.
  • FIG. 23 is a diagram illustrating a process of changing user input and application version information into a pass rule in an integrated intelligence system according to various embodiments of the present disclosure.
  • the intelligent agent 2301 may transmit a user input, for example, a speech A to the domain classification manager 2302 and the intention classification manager 2303. Also, the intelligent agent 2301 may send version information B of applications to the version selection module 2304. Additionally, the intelligent agent 2301 may send metadata C to the pass rule set selection module 2305. Table 3 below is an example of metadata (C).
  • the metadata C may include various information such as region, operator model name as well as version information of the application, and may be used to select a pass rule set. For example, even if the version information of the SMS application is the same, there may be a difference between a pass rule that can be supported and a pass rule that are not, depending on the carrier. Information other than version information of the application is collected from the metadata C, which may be taken into consideration when selecting a pass rule.
  • the domain classification manager 2302 may determine the domain D of the speech A and transmit the domain D to the version selection module 2304 and the ICM selection module 2306.
  • the version selection module 2304 may select version information E corresponding to the domain D from the version information B. That is, even if the intelligent agent 2301 transmits version information of all the applications installed in the electronic device, for example, if the domain D is, for example, an SMS application, the version selection module 2304 determines the version information E of the SMS application. Only the selection may be delivered to the pass rule set selection module 2305.
  • the path rule set selection module 2305 may select a path rule set corresponding to the version information E from the path rule set DB 2307.
  • the path rule set selection module 2305 may consider metadata C when selecting a path rule set.
  • the path rule set selection module 2305 may finalize the path rule set F matched with the metadata C (eg, region and business name) among the path rule sets corresponding to the version information E. It can be selected and delivered to the intent classification manager 2303.
  • the ICM selection module 2306 selects one ICM among given intent classification managers (ICMs) using the domain D and classifies the identification information G into the intent classification. It may be delivered to the manager 2303.
  • the intention classification manager 2303 performs the intention classification on the utterance A using the corresponding ICM on the identification information G, thereby generating a path rule H corresponding to the user intention in the path rule set F.
  • FIG. It can be determined and sent to the intelligent agent 2301.
  • the intelligent agent 2301 may be configured as a user terminal, and the remaining 2302 to 2307 may be configured as an intelligent server. In some embodiments, at least some of the remaining 2302-2307 may be provided in the user terminal.
  • FIG. 24 is a diagram for describing an operation of extracting a path rule set for each version in a server of an integrated intelligence system according to various embodiments of the present disclosure.
  • a server 2400 may include an NLU service selection module 2410, a communication module 2420, a path planner module 2430, a DNLU module 2440, and an RNLU module 2450. And a pass rule set DB 2460.
  • the NLU service selection module 2410 may select one of the DNLU module 2440 and the RNLU module 2450 as a module to analyze user input.
  • the NLU service selection module 2410 may receive respective version information of applications from the electronic device (eg, 100 of FIG. 1) through the communication module 2420.
  • the NLU service selection module 2410 may send each version information of applications to the pass planner module 2430 to select a corresponding pass rule set and transmit the selected pass rule set to the selected analysis module.
  • the NLU service selection module 2410 sends a user input received from the electronic device through the communication module 2420 to the selected analysis module to correspond to the user input in the path rule set selected by the path planner module 2430. You can select a rule.
  • the path planner module 2430 may manage a path rule set DB 2460 including a path rule set corresponding to each version for each application.
  • the path planner module 2430 may obtain a path rule set corresponding to the version information of the application installed in the electronic device from the DB 2460 and provide it to the selected analysis module.
  • the pass rule sets in the DB 2460 may be managed not only by version information but also by other information (for example, region and business name).
  • the operation of determining the path rule corresponding to the user input in the DNLU module 2440 may include a domain classification model (eg, 1322b_2 in FIG. 13) and an intention classification model (eg, 1322b_3 in FIG. 13). And a parameter tagger model (eg, 1322b_4), and these models may be performed sequentially.
  • a domain classification model eg, 1322b_2 in FIG. 13
  • an intention classification model eg, 1322b_3 in FIG. 13
  • a parameter tagger model eg, 1322b_4
  • the operation of determining the path rule corresponding to the user input in the RNLU module 2450 may include a domain classification model (eg, 1322c_2), an intention classification model (eg, 1322c_3), and a parameter tagger model (eg, 1322c_4), and these models may be performed sequentially.
  • a domain classification model eg, 1322c_2
  • an intention classification model eg, 1322c_3
  • a parameter tagger model eg, 1322c_4
  • a domain may be fixedly operated without changing even if a version of an application changes.
  • the parameters may also be fixed depending on the user input, but do not change even if the version of the application changes.
  • the intent may change depending on the version of the application.
  • the pass rule sets may be managed in one superset per domain.
  • the pass rule sets may be managed as a plurality of subsets, which are divided according to versions of an application, so that the DNLU service module 2441 or the RNLU service module 2251 may be intentionally selected.
  • the subset supporting the corresponding pass rule and the subset not supporting may be distinguished by referring to the version information of the application, and the DNLU service module 2441 or the RNLU service module 2251 may correspond to the version information of the application. You can select a pass rule corresponding to the intent from the subset.
  • 25 is a diagram illustrating an intent classification operation for each version in the integrated intelligence system according to various embodiments of the present disclosure.
  • the intelligent agent 2510 may transmit the user's speech and application version information to the domain classification manager 2520 as a user input.
  • the domain classification manager 2520 may determine a domain of a user input.
  • the information indicating the path rule, the parameter, and the support for each version corresponding to the determined domain may be organized and managed as shown in Table 6 below, for example, by an intelligent server.
  • KT and SKT may refer to service provider names.
  • the same path rule may be applied regardless of a communication provider in Version 1.0, but in Version 1.1, a path rule applied according to a communication provider to which the corresponding electronic device is subscribed may be different.
  • the domain may be fixed without changing for each version of the application. Therefore, when the domain of the user input is determined as the text service in the domain classification manager 2520, the same pass rules R1, R2, R3, and R4 as the 'text service' may be selected for intent classification.
  • the intention classification manager 2530 may analyze the user input to identify the intention and select a pass rule corresponding to the intention. Version information may be considered when selecting a pass rule. For example, if the version information received from the intelligent agent 2510 is Ver_1.1_SKT, the intent classification manager 2530 may select a path rule R2 supporting this as a path rule corresponding to a user input. If the received version information is Ver_1.1_KT, since the selected path rule R2 is not supported by the version of the corresponding application, processing such as a message indicating to the user that the agent service corresponding to the user input cannot be performed is performed. Can be performed.
  • the parameter tagger 2540 may extract a parameter from a user input and tag it on a path rule selected by the intent classification manager 2530.
  • the parameter may have a fixed value that does not change for each pass rule. For example, when pass rule R2 is selected, 'st2 (smiley emoticon)' may be selected as a parameter to be tagged in R2. Finally, the pass rule R2 and the tagged parameter may be transferred to the execution manager module 2550 to execute an application operation.
  • the intelligent agent 2510 and the execution manager module 2550 may be configured as a user terminal, and the remaining 2520 to 2540 may be configured as an intelligent server. In some embodiments, at least some of the remaining 2520-2540 may be provided in the user terminal.
  • FIG. 26 is a diagram illustrating an example of an operation of processing a user input for each version in an integrated intelligence system according to various embodiments of the present disclosure.
  • an electronic device may receive a user's speech as a user input, for example, “send as a smiling emoticon character” through an input module.
  • the electronic device may convert the utterance into text 2610 and display it on the display.
  • the user input 2611 is transmitted to the intelligent server 2620 to find a matching pass rule.
  • the version information of the SMS application installed in the electronic device for example, “SMS ver_1.1_SKT 2612” is the intelligent server 2620. Can be delivered.
  • the version information of all the applications controlled by the intelligent agent installed in the electronic device may be transmitted to the intelligent server 2620.
  • the intelligent server 2620 may search for a pass rule matching the corresponding speech.
  • the version information "SMS ver_1.1_SKT” is taken into consideration when searching for a pass rule.
  • R1 supporting "SMS ver_1.1_SKT” may be determined as a pass rule matching the speech.
  • the intelligent server 2620 may transmit the determined path rule 2621 and the parameter 2622 matched thereto (for example, st1 (smile emoticon)) to the electronic device.
  • the electronic device may control the application based on the received pass rule and parameters to display the corresponding execution screen 2630 on the display.
  • FIG. 27 is a diagram illustrating another example of an operation of processing a user input for each version in an integrated intelligence system according to various embodiments of the present disclosure.
  • an electronic device may receive a user's speech as a user input, for example, “send as a smiling emoticon character” through an input module.
  • the electronic device may convert the utterance into text 2710 and display it on the display.
  • the user input 2711 is transmitted to the intelligent server 2720 to find a matching pass rule.
  • version information of an application in the electronic device for example, “SMS ver_1.1_KT” 2712 is determined by the intelligent server 2720. Can be delivered.
  • the intelligent server 2720 may search for a pass rule matching the speech. For example, referring to Table 4, R1 may be searched for with a pass rule matching the speech. The intelligent server may determine that the retrieved R1 is a pass rule that does not support “SMS ver_1.1_KT”. Accordingly, the intelligent server 2720 may transmit a notification 2721 indicating that the user input cannot be processed, to the electronic device. The electronic device may display a message 2730 related to the notification 2721 on the display. In addition, the electronic device may present other similar commands on the display to be performed by the user, or, if the corresponding function is available through software upgrade, etc., the electronic device may present a version upgrade of the corresponding application to the user through the display. have.
  • the intention may be a specific pass rule that the user wants to execute.
  • the pass rule for each function is R1. , R2, R3, R4 may be present.
  • the pass rule may be configured in the order of execution of states.
  • the intention classification manager may perform a function that the user desires among the intentions, that is, the path rule.
  • intents can be skipped according to the version of the application, and intents belonging to one domain are in a superset form, and there may be a subset of pass rules and unsupported pass rules for each version. Therefore, the intention may be stored in a path rule that is supported and a path rule that does not support according to the version.
  • a domain may be referred to as a set of similar intentions.
  • applications such as SMS, KakaoTalk, LINE, and facebook masanger may belong to a domain called text service.
  • an SMS application may have its domain fixed to, for example, a 'text service' even if its version is changed from 1.0 to 2.0.
  • the parameter (slot) may refer to a condition for passing to a next state and information to be input from a user in a corresponding screen.
  • parameters may be divided into mandatory and optional items in order for a user to send a message to someone.
  • the "recipient” may be classified as a required item as a condition to move to the next state.
  • "Body” can be classified as mandatory items as information to be input from the user (ie, message content), and "attachments” can be classified as additional items.
  • the recipient can be the user's name or phone number, and the body can be replaced by several kinds.
  • the conditions of these parameters are defined in the pass rule DB so that the application can check the necessary conditions to move to the next step of the operation.
  • the parameter may be set to a value that does not change depending on the pass rule.
  • Table 5 illustrates the parameters that can be tagged in a pass rule whose intent is “Message Send”, classified into mandatory items (M) and minor items (O).
  • Artificial intelligence system is a computer system that realizes human-level intelligence. The machine learns and judges itself, and the recognition rate improves as it is used.
  • Artificial intelligence technology can be composed of deep learning technology that uses algorithms to classify / learn characteristics of input data and element technologies that simulate functions of human brain cognition and judgment using machine learning algorithms. have.
  • the element technologies are, for example, linguistic understanding technology for recognizing human language / character, visual understanding technology for recognizing objects as human vision, reasoning / prediction technology for determining and logically inferring and predicting information, and human experience information. May include at least one of a knowledge expression technique for processing the data as knowledge data, an autonomous driving of the vehicle, and an operation control technique for controlling the movement of the robot.
  • Linguistic understanding is a technology for recognizing and applying / processing a human language / character, and may include natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
  • Visual understanding is a technology for recognizing and processing objects as human vision, and may include object recognition, object tracking, image search, person recognition, scene understanding, spatial understanding, image enhancement, and the like.
  • Inference prediction is a technique of determining, logically inferring, and predicting information, and may include knowledge / probability based inference, optimization prediction, preference based planning, and recommendation.
  • Knowledge expression is a technology for automatically processing human experience information into knowledge data, and may include knowledge construction (data generation / classification), knowledge management (data utilization), and the like.
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and may include motion control (navigation, collision, driving), operation control (action control), and the like.
  • the integrated intelligent system may support an NLU, that is, a deep NLU (DNLU) module using various deep learning techniques.
  • the DNLU module is an intent classification manager for selecting a pass rule by identifying a user's intention, and includes a separate intent classification manager (SICM), a conditional ICM (CICM), a version layered ICM (VLICM), or the like. It may include a separate VLICM (SVLICM).
  • the DNLU module can use these ICMs to learn how to select pass rules for user input.
  • the DNLU module may select a pass rule having high similarity among the supported pass rules as a result value and transmit the result to the user terminal.
  • the DNLU module may recognize an operation of an application according to a pass rule as an abnormal operation to the user, when a user input corresponding to an unlearned pass rule is received, the DNLU module does not transmit the selected path rule to the user terminal. A message about the state may be transmitted to the user terminal.
  • FIG. 28 is a diagram illustrating an operation of selecting a pass rule using SICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system may include a plurality of SICMs trained by dividing a path rule by version of an application.
  • the domain classification manager 2810 may determine a domain of a user input.
  • the domain classification manager 2810 may receive version information of an application corresponding to the domain from a user terminal.
  • the domain classification manager 2810 may receive version information of a plurality of applications from a user terminal, and may select version information corresponding to the domain among them.
  • the domain classification manager 2810 may transmit a user input to the SICM corresponding to the received version information (or the selected version information) among the plurality of SICMs 2821, 2822, and 2833.
  • SICMs 2821, 2822, and 2833 may be identified as versions of an application, respectively, and may define a pass rule set, respectively.
  • the first pass rule set 2821a is generated when the version of the application is Version 1.0
  • the second pass rule set 2822a is generated when the version of the application is upgraded to Version 2.0
  • the third The pass rule set 2823a is generated when the version of the application is upgraded to Version 3.0.
  • the pass rules in each pass rule set may be distinguished and managed by the corresponding SICM into a pass rule that supports (processing of user input) and an unsupported pass rule in the corresponding version of the application.
  • R4 and R6 are supportable pass rules
  • R5, R7-1, and R7-2 are unsupported pass rules.
  • the second pass rule set 2822a, R4, R5, and R7-1 may be supported and the rest may not be supported.
  • R4, R5, and R7-2 may be supported, and the rest may not be supported.
  • the pass rule R4 or R6 may be transmitted to the user terminal.
  • the version of the SMS application selected by the domain classification manager 2810 is Version 1.0, so that user input is transmitted to the first SICM 2821, and the pass rule corresponding to the user input as a result of the analysis of the first SICM 2821 is supported. Possible R4 or R6.
  • the pass rule is not transmitted to the user terminal and other information (for example, the user) is selected.
  • a message indicating that the input cannot be processed or a message for guiding a version upgrade for processing of the user input may be transmitted to the user terminal.
  • FIG. 29 is a diagram illustrating a distributed processing structure for SICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system may divide the ICM into several SICMs based on a domain, and may be distributed and operated in various physically different servers.
  • the integrated intelligence system may include an intelligent server 2910, a plurality of SICM servers 2920, 2930, 2940, and 2950, and a selection module 2960.
  • the intelligent server 2910 may determine the domain of the user input received from the user terminal. In addition, the intelligent server 2910 may receive version information of an application corresponding to the domain from a user terminal. The intelligent server 2910 may receive version information of a plurality of applications from a user terminal, and may select version information corresponding to the domain among them. The intelligent server 2910 may transmit the domain and the corresponding version information to the selection module 2960 together with the user input.
  • the selection module 2960 may select a SICM server corresponding to a domain and transmit version information and a user input.
  • the selection module 2960 may be a component of the intelligent server 2910 or may be located in a separate server that is physically separated from the intelligent server 2910.
  • the plurality of SICM servers 2920, 2930, 2940, and 2950 may be identified by a domain, and may include a plurality of SICMs, each divided by a version of an application.
  • the plurality of SICM servers 2920, 2930, 2940, and 2950 may select a path rule based on the version information and the user input received from the selection module 2960 and transmit the selected path rule to the intelligent server 2910. Accordingly, the intelligent server 2910 may transmit the path rule and the corresponding parameter to the user terminal.
  • FIG. 30 is a flowchart illustrating a path rule selection method using SICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • a user terminal may receive a user input through an input module (eg, 110 of FIG. 2).
  • the intelligent server may determine a domain of the user input received from the user terminal using the domain classification manager.
  • the intelligent server may read version information of all applications that can be controlled by the intelligent agent (eg, 151 of FIG. 2) from the user terminal.
  • the intelligent agent eg, 151 of FIG. 2
  • the intelligent server may select version information corresponding to the domain from among read version information.
  • the intelligent server may select an intent classification manager corresponding to the selected version information among a plurality of SICMs as the path rule selection.
  • the intelligent server may send a user input to the selected intent classification manager to select a pass rule.
  • the selected intent classification manager may be configured as an intelligent server or may be located in a separate server that is physically divided.
  • the intelligent server may transmit the selected path rule and the corresponding parameter to the user terminal.
  • 31 is a diagram illustrating an operation of selecting a pass rule using CICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system may include a CICM that learns a path rule together with a version of an application that can be controlled by the corresponding path rule. Accordingly, the CICM can increase the learning amount of the ICM and reduce the size of the DNLU compared to the aforementioned SICM.
  • a domain classification manager 3110 may determine a domain of a user input.
  • the domain classification manager 3110 may receive version information of an application corresponding to the domain from a user terminal.
  • the domain classification manager 3110 may receive version information of a plurality of applications from a user terminal, and may select version information corresponding to the domain among them.
  • the domain classification manager 3110 may transmit the received version information (or the selected version information) to the CICM 3120 with a user input.
  • the CICM 3120 may have a plurality of pass rules. Each of the path rules may be managed together with version information of an application that can be controlled by the corresponding path rule. For example, as illustrated in FIG. 31, versions of an application controllable by the pass rule R1 may be V (version) 1, V2, and V3.
  • the CICM 3120 may select a pass rule corresponding to the user input by performing the intention classification on the user input received from the domain classification manager 3110.
  • the CICM 3120 may determine whether the selected path rule is a path rule corresponding to version information received from the domain classification manager 3110.
  • the path rule R5-2 may be transmitted to the user terminal together with the corresponding parameter. If the version information received from the domain classification manager 3110 is not supported by the selected path rule, the selected path rule is not transmitted to the user terminal and other information (for example, a message indicating that processing of the user input or user input is impossible) May be sent to the user terminal).
  • the learning amount of the intention classification manager may increase. This is because the intent classification manager must be trained whenever a pass rule and a version are added.
  • FIG. 32 is a flowchart illustrating a path rule selection method using CICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • a user terminal may receive a user input through an input module (eg, 110 of FIG. 2).
  • the intelligent server may determine a domain of the user input received from the user terminal using the domain classification manager.
  • the intelligent server may read version information of all applications that can be controlled by the intelligent agent (eg, 151 of FIG. 2) from the user terminal.
  • the intelligent agent eg, 151 of FIG. 2
  • the intelligent server may select version information corresponding to the domain from the read version information.
  • the intelligent server may send the domain and corresponding version information to CICM to select a pass rule.
  • the CICM may include a plurality of pass rules.
  • the path rules may be managed together with version information of an application that can be controlled by the corresponding path rule.
  • the intelligent server may transmit the selected path rule and the corresponding parameter to the user terminal.
  • FIG 33 is a diagram illustrating an operation of selecting a pass rule using VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system may include a VLICM trained by hierarchically configuring path rules according to an application version.
  • VLICM can reduce the learning amount of the ICM compared to the above-described CICM that learns the pass rule with the version.
  • a domain classification manager 3310 may determine a domain of a user input.
  • the domain classification manager 3310 may receive version information of the application corresponding to the domain, for example, V (version) 2, from the user terminal.
  • the domain classification manager 3310 may receive version information of a plurality of applications from a user terminal, and may select version information corresponding to the domain, for example, V2.
  • the domain classification manager 3310 may transmit the received version information (or the selected version information) A and the user input B to the VLICM 3320.
  • the VLICM 3320 may input a user's pass rules belonging to a domain of the user input B, for example, “R1, R2, R3, R4, R5, R6, R7-1, and R7-2”. It can select as a candidate group corresponding to (B).
  • the VLICM 3320 may analyze the user input B to grasp the intention of the user, and select a path rule corresponding to the intention from the candidate group. For example, the VLICM 3320 may determine that R7-1 and R7-2 are closest to the intentions with the same probability in the candidate group.
  • the VLICM 3320 may classify the pass rules into version hierarchical, supportable pass rules and unsupported pass rules.
  • version layers may be identified by version information of the application.
  • the VLICM 3320 selects version layer 2 corresponding to the version information, for example, V2, received from the domain classification manager 3310, and determines whether the path rule selected as corresponding to the intention is a pass rule supported by the selected version layer 2. It can be determined.
  • the VLICM 3320 may select R7-1 among the selected pass rules R7-1 and R7-2 as a pass rule that can be supported by the selected version layer 2, and determine the pass rule to be transmitted to the user terminal.
  • FIG. 34 is a diagram illustrating an internal structure of an operation of selecting a pass rule using VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the DNLU module 3410 may be configured to analyze user input to grasp user intentions and output a pass rule as a result.
  • the DNLU module 3410 includes a hierarchically configured convolution neural network (CNN) module 3411, a first fully connected layer (FCL) module 3412, a second FCL module 3413, and a version layer module ( 3414).
  • CNN convolution neural network
  • FCL fully connected layer
  • FCL second FCL module
  • the CNN module 3411, the first FCL module 3412, and the second FCL module 3413 analyze step-by-step the user input A received from the domain classification manager 3420.
  • the user may recognize the intention of the user and may output a pass rule B corresponding to the intention among the pass rules.
  • One of the modules 3411, 3412, and 3413, for example, the second FCL module 3413 may refer to state information.
  • the version layer module 3414 may classify the path rules into version hierarchical and supportable and non-supportable path rules.
  • the version layer module 3414 may receive version information C of an application corresponding to a domain of a user input from the domain classification manager 3420.
  • the version layer module 3414 may be configured to filter the results received from the second FCL module 3413 based on the version information (C). For example, the version layer module 3414 selects the version layer D corresponding to the version information C, determines whether the pass rule B is supported by the version layer D, and determines the result value ( E) can be output.
  • the result value E filtered and output by the version layer module 3414 may output a pass rule F as a final result value after the probabilities are readjusted in the softmax function.
  • the above structure can be used in the running process of DNLU and can also be used in the learning process of DNLU.
  • 35 is a flowchart illustrating a path rule selection method using VLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • a user terminal may receive a user input through an input module (eg, 110 of FIG. 2) and transmit the user input to an intelligent server (eg, 200 of FIG. 1). have.
  • the intelligent server may determine a domain of the user input received from the user terminal using the NLU module (eg, 220 of FIG. 4).
  • the intelligent server may obtain version information of all applications that can be controlled by the intelligent agent (eg, 151 of FIG. 2), for example, by communicating with a user terminal.
  • the intelligent agent eg, 151 of FIG. 2
  • the intelligent server may select version information corresponding to the domain from the obtained version information.
  • the intelligent server may send version information and user input to the VLICM (eg, 3410 of FIG. 34) to select a pass rule.
  • VLICM eg, 3410 of FIG. 34
  • the intelligent server may transmit the selected path rule and the corresponding parameter to the user terminal.
  • 36 is a diagram illustrating an operation of selecting a pass rule using SVLICM in an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system may operate by dividing the VLICM into several SVLICMs based on a version.
  • the domain classification manager 3610 may determine a domain of a user input.
  • the domain classification manager 3610 may receive version information of an application corresponding to the domain from a user terminal.
  • the domain classification manager 3610 may receive version information of a plurality of applications from a user terminal, and may select version information corresponding to the domain among them.
  • the domain classification manager 3610 may transmit a user input to the SVLICM corresponding to the received version information (or the selected version information) among the plurality of SVLICMs 3620, 3630, and 3640.
  • the selection module 3650 may select SVLICM corresponding to the version information received from the domain classification manager 3610 and transmit version information and user input.
  • the plurality of SVLICMs 3620, 3630, and 3640 may be identified as a version layer set.
  • the first SVLICM 3620 may have version layer sets V1 to V100
  • the second SVLICM 3630 may have version layer sets V101 to V200
  • the third SVLICM 3640 may have version layer sets V201 to 300. have.
  • the selection module 3650 may transmit the version information and the user input to the SVLICM having the version layer set to which the version information received from the domain classification manager 3610 belongs.
  • the SVLICM selected by the selection module 3650 may select a pass rule based on version information and user input.
  • FIG. 37 is a diagram illustrating an operation of providing a hint to a user in a graphic interface based on version information of an application in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may provide various hints to a user through a conversation window of an intelligent agent. If a user's desired hint, for example, “send as a smiling emoticon character” 3710 is selected, the electronic device may control the application with a pass rule corresponding to the selected hint.
  • the hint may be provided by analyzing a function that a user frequently uses.
  • a hint may be provided to introduce the user to the user that a new function has been added. Based on the context information of the user, a hint necessary for the current user may be provided.
  • the hint may be associated with a pass rule for controlling the application. That is, the control of the application can be made by the user's selection of the hint.
  • the hint to be provided to the user may vary depending on the version of the application. For example, referring to Table 4, if the version of the application is Version 1.1_KT or Version 1.1_SKT, as shown in (a) of FIG. 37, “Send as a smiling emoticon character” 3710 is provided as a hint. , Version 1.0, "send as a big smile emoticon character” 3720 may be provided as a hint, as shown in (b) of FIG. 37.
  • FIG. 38 is a diagram illustrating an operation of managing a hint based on version information of an application in an integrated intelligence system according to various embodiments of the present disclosure.
  • an integrated intelligence system may include a user terminal 3810, an intelligent server 3820, and a hint suggestion server 3830.
  • the user terminal 3810 may include an intelligent agent 3811, an execution manager module 3812, a hint display manager 3713, a hint collection module 3814, and a log / context collection module 3815. It may include.
  • the intelligent server 3820 may include an ASR module 3811, an NLU module 3822, a path planner module 3831, and a path rule set DB 3824.
  • the hint suggestion server 3830 may include a hint analysis module 3831, a context hint generation module 3832, a reuse hint generation module 3833, an introductory hint generation module 3834, and a log / context DB. 3835 and hint DB 3836.
  • the intelligent agent 3811 may transmit a user input for controlling an application to the intelligent server 3820.
  • the version information of the application collected by the execution manager module 3812 may be transmitted to the intelligent server 3820 through the intelligent agent 3811.
  • the intelligent agent 3811 may transfer the path rule and parameters selected by the intelligent server 3820 to the execution manager module 3812 based on the version information and the user input. Accordingly, the execution manager module 3812 may control the application based on the pass rule and the parameter.
  • the hint collecting module 3814 requests a hint from the hint suggestion server 3830 and displays the received hint accordingly. May be sent to the manager 3814 for display on the display.
  • the hint selected by the user among the displayed hints may be recognized by the intelligent agent 3811 through the hint indication manager 3813.
  • the intelligent agent 3811 may deliver the hint selected by the user to the intelligent server 3820 as user input.
  • the path rule selected by the intelligent server 3820 based on the hint i.e., user input
  • execution manager module 3812 via the intelligent agent 3820, and as a result, execution of the corresponding application based on the hint is performed. Can be done.
  • the log / context collecting module 3815 may collect log information and context information and transmit the log information and the context information to the hint suggestion server 3830.
  • the log information may include an execution result log of the application according to the pass rule, profile information of the user (eg, gender, age, life event information, activity time, etc.), or preference information of the user.
  • the context information may include general context information, user context information, or device context information described above with reference to FIG. 6.
  • path planner module 3823 there is a path rule set DB 3824 including a path rule set corresponding to each version for each application, and version information received from the user terminal 3810. Based on this, the path planner module 3831 may transmit a path rule set 3825 that matches the version of each application installed in the user terminal 3810 to the NLU module 3822.
  • the NLU module 3822 analyzes user input received from the user terminal 3810 through the ASR module 3811 to identify the intent of the user and selects a pass rule as a result. In response to the parameter, the user terminal 3810 is returned to the user terminal 3810. For the final path rule selection, the version information of the application installed in the user terminal 3810, that is, the path rule set 3825 may be referred to.
  • the hint analysis module 3831 collects log and context information of the user terminal 3810 through the log / context DB 3835, analyzes the information, and provides the hint to the user terminal 3810. For example, in the form of a list prioritized to each hint.
  • the hint analysis module 3831 may use the context hint generation module 3832 (eg, 155c_2), the reuse hint generation module 3833 (eg, 155c_5), and the introduction hint generation module 3834 (eg, 155c_6). Can be used to generate hints.
  • the hint analysis module 3831 may provide a list to the user terminal 3810 through the hint DB 3836.
  • the hint analysis module 3831 may receive version information of an application installed in the user terminal 3810 through the path planner module 3831. According to some embodiments, version information may be received from the user terminal 3810 to the hint suggestion server 3830 without passing through the intelligent server 3820. The hint analysis module 3831 determines whether the path rule corresponding to the generated hint is supported by the user terminal 3810 based on the version information, and according to the result of the determination, the hint analysis module 3831 Can be used to sort out hints. Through the screening operation, the hint list may be reconfigured into only supportable hints, stored in the hint DB 3836, and transmitted to the user terminal 3810 by a request for providing a hint of the user terminal 3810.
  • the screening operation may be omitted, but version information supporting the same may be transmitted to the user terminal 3810 with a hint.
  • the hint display manager 3813 of the user terminal 3810 may display the hints that can be supported on the display by performing the screening operation.
  • the hint display manager 3813 may send a pass rule and a parameter of the hint to the execution manager module 3812 to execute the application.
  • the hint may be transmitted to the user terminal 3810 with a corresponding pass rule and parameter.
  • the hint analysis module 3831 receives a pass rule and a parameter corresponding to the hint (that is, the utterance of the user) from the intelligent server 3820 and stores the hint in the hint DB 3836 together with the hint.
  • the request for providing a hint of "Hint, Pass Rule, and Parameter" may be transmitted to the user terminal 3810.
  • An electronic device and a housing according to various embodiments of the present disclosure;
  • a touch screen display located inside the housing and exposed through the first portion of the housing;
  • a microphone located within the housing and exposed through the second portion of the housing;
  • At least one speaker located within the housing and exposed through a third portion of the housing;
  • Wireless communication circuitry located within the housing;
  • a processor located within the housing and electrically connected to the display, the microphone, the speaker, and the communication circuit;
  • a memory located inside the housing and electrically connected to the processor.
  • the memory may be configured to store a plurality of application programs installed in the electronic device.
  • the memory when executed, the processor: receives, via at least one of the display or the microphone, a user input comprising a request to perform a task using at least one of the application programs, Transmitting data related to the user input to an external server through the communication circuit, and with the data transmission or after the data transmission, version information about at least one of the application programs, via the communication circuit, Transmitting instructions to the external server, receiving a pass rule from the external server through the communication circuit, in response to the request, and storing instructions to perform the task by causing the electronic device to have the sequence; Can be.
  • the pass rule may include information about a sequence of states of the electronic device for performing the task. At least one of the states may be determined by the external server based on at least part of the version information.
  • the sequence may be determined by the external server based on at least part of the version information.
  • the instructions may be such that the processor: receives a parameter required when at least one of the operations of the task is executed from the external electronic device.
  • the parameter may be obtained from the user input.
  • the instructions may be such that the processor: displays a user interface for user input required when at least one of the operations of the task is executed.
  • the instructions may be such that the processor: upgrades an application to a version required for the execution of the operations of the task.
  • the instructions may be such that the processor: displays, via the display, a stepwise change in operations of the task.
  • the instructions may be such that the processor: transmits information indicating a change of an application to the external server through the communication circuit.
  • the change may be a deletion, a version upgrade, or an installation on the electronic device.
  • the instructions may include version information corresponding to applications installed in the electronic device, when the processor recognizes that the booting of the electronic device is completed, the SD card is inserted into the electronic device, or the SD card is removed from the electronic device. It may be to transmit to the external server through the communication circuit.
  • the instructions may be generated by the processor: obtaining a hint based on at least one of version information corresponding to applications installed in the electronic device, displaying the hint through the display, and a second user for the hint. Receiving an input, in response to the second user input, it may be to control the operations of at least one application using a pass rule corresponding to the hint.
  • the hint may be different for each version of the application.
  • an electronic device may include a housing; A touch screen display located inside the housing and exposed through the first portion of the housing; A microphone located within the housing and exposed through the second portion of the housing; At least one speaker located within the housing and exposed through a third portion of the housing; Wireless communication circuitry located within the housing; A processor located within the housing and electrically connected to the display, the microphone, the speaker, and the communication circuit; And a memory located inside the housing and electrically connected to the processor.
  • the memory when executed, causes the processor to: receive user input via at least one of the display or the microphone, send the user input to an external server, receive an analysis result of the user input from the external server, and Selecting a path rule set from a path rule set database based on at least part of the analysis result and version information corresponding to applications installed in the electronic device, and based on at least a part of the analysis result, It may be to select instructions from the rule set, and to store instructions for controlling the operations of at least one application using the pass rule.
  • the pass rule may include information about the operations and an order of the operations.
  • the server may receive version information corresponding to each of the applications installed in the user terminal from the user terminal, and obtain path rule sets corresponding to the version information from the path rule set database.
  • a configured pass planner module ; Analyzing a user input received from a user terminal, selecting a path rule set from among path rule sets obtained by the path planner module based on at least a portion of the result of the analysis, and based on at least a portion of the result.
  • a natural language understanding module configured to select a pass rule from the selected pass rule set and transmit the selected pass rule to the user terminal.
  • the selected path rule may be to control operations of at least one of applications installed in the user terminal.
  • the result may include a domain indicating an application to be controlled using the selected path rule, an intention of a user corresponding to the selected path rule, and a parameter required when at least one of the operations is executed.
  • the natural language understanding module may be configured to select a path rule set corresponding to the domain from among the path rule sets obtained by the path planner module and transmit the parameter to the user terminal together with the selected path rule.
  • the natural language understanding module analyzes the user input to determine a user's intention, determines a path rule corresponding to the determined intention, determines a domain of the user input, and determines the version information. It may include a domain classification manager to select the version information corresponding to the domain from among these, and to determine one of the plurality of intent classification managers as a manager for analysis of the user input based on the selected version information.
  • the plurality of intent classification managers may be identified by a version of an application, and each of the intention classification managers may be classified and managed as supportable and unsupported.
  • the natural language understanding module may be configured to determine a domain of the user input and to select a version information corresponding to the domain among the version information, and to analyze the user input to determine a user's intention, An intent classification manager for selecting a corresponding pass rule and determining whether to transmit the selected pass rule to the user terminal based on the version information selected by the domain classification manager.
  • a method of operating an electronic device may include: receiving a user input through at least one of a touch screen display and a microphone; In response to the user input, obtaining version information corresponding to applications installed in the electronic device, respectively; Transmitting the user input and the version information to an external server through a communication module; Receiving a pass rule from the external server; And controlling operations of at least one application by using the pass rule.
  • the pass rule is generated based on at least one of the version information and the user input, and may include information about the operations and an order of the operations.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (e.g., modules or functions thereof) or method (e.g., operations) may be stored on a computer-readable storage medium (e.g., memory 140) in the form of a program module.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magnetic-optical media (e.g. floppy disks), internal memory, etc.
  • Instructions may include code generated by a compiler or code executable by an interpreter Modules or program modules according to various embodiments may include at least one or more of the above-described components. In some embodiments, operations performed by a module, a program module, or another component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least, or may include other components. Some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을 디스플레이 또는 마이크 중 적어도 하나를 통해 수신하고, 상기 사용자 입력과 관련된 데이터를 통신회로를 통해 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 데이터 전송 후에 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를 상기 통신회로를 통해 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을 상기 통신회로를 통해 상기 외부 서버로부터 수신하고, 전자 장치가 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고, 상기 상태들 중 적어도 하나는 상기 버전 정보의 적어도 일부에 기초하여 상기 외부 서버에 의해 결정된 것일 수 있다.

Description

지능형 에이전트 관리 방법 및 장치
본 발명의 다양한 실시예는 지능형 에이전트 관리 방법 및 장치에 관한 것이다.
최근 들어, 지능형 에이전트(intelligence agent)를 사용하여 전자 장치를 활용하는 서비스가 대중화되어 가는 추세이다. 지능형 에이전트는 자체적으로 여러 가지 기능을 사용자에게 서비스할 수 있다. 또한, 지능형 에이전트는 전자 장치에 설치된 여러 가지 어플리케이션을 제어하여 사용자에게 해당 어플리케이션의 기능을 제공할 수 있다. 지능형 에이전트는 전자 장치에 기능적으로 연결된 여러 외부 장치들을 제어하여 사용자에게 통합적인 기능을 제공할 수도 있다.
지능형 에이전트는, 입력 인터페이스를 통해 음성이나 텍스트 형태의 사용자 입력을 접수하게 되면, 사용자 입력의 분석을 통해 파악된 사용자의 의도(intent) 대응하는 서비스를 제공할 수 있다. 기존의 다양한 지능형 에이전트들은 대화 창과 같은 그래픽 인터페이스를 통해 사용자가 요청한 작업의 처리 결과를 보여줄 수 있다. 예를 들어, 지능형 에이전트는, 사용자와 대화를 통해 사용자가 원하는 작업이 'SMS 메시지 전송'임을 인식하고, SMS어플리케이션을 제어하기 위한 인터페이스를 지능형 에이전트의 대화 창을 통해 사용자에게 제공할 수 있다. 다른 예로서, 지능형 에이전트는 사용자와 대화를 통해 사용자가 특정 장소의 날씨를 원하고 있음을 인식하고, 날씨 어플리케이션으로부터 해당 장소의 날씨 정보를 획득하여 지능형 에이전트의 대화 창을 통해 사용자에게 제공할 수 있다. 여기서, 지능형 에이전트의 대화 창에서 어플리케이션의 기능을 보여 주는 부분은 어플리케이션의 화면 구성 정보와는 무관할 수 있지만, 이는 지능형 에이전트가 해당 어플리케이션의 기능 부분만을 인용하기 때문이다.
또한, 본 발명의 다양한 실시예에 따른 방법 및 장치는 어플리케이션에 대한 정보에 기초하여 어플리케이션의 동작을 제어하도록 구성된 지능형 에이전트를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성되고, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고, 상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고, 상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고, 상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고, 상기 사용자 입력을 외부 서버로 전송하고, 상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고, 상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고, 상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고, 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장할 수 있다. 상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및 사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함할 수 있다. 상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치를 동작하는 방법은, 터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작; 상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작; 상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작; 상기 외부 서버로부터 패스 룰을 수신하는 동작; 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함하고, 상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 방법 및 장치는 사용자 입력에 따라 어플리케이션을 실행하도록 구성된 지능형 에이전트를 제공할 수 있다.
또한, 본 발명의 다양한 실시예에 따른 방법 및 장치는 어플리케이션의 메타데이터(예컨대, 버전 정보)에 기초하여 어플리케이션을 제어하도록 구성된 지능형 에이전트를 제공할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 4은 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)이 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 프로세서의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 제안 모듈을 나타낸 블록도이다.
도 9 은 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자의 발화에 응답하여 지능형 에이전트가 어플리케이션을 제어하는 동작을 그래픽 인터페이스의 단계적인 변화로 보여 주는 도면이다.
도 10는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전을 관리하는 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 다양한 실시예에 따른 NLU 모듈에서 발화를 처리하는 동작을 설명하기 위한 도면이다.
도 12은 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 13는 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 14는 본 발명의 다양한 실시예에 따른, DNLU와 RNLU의 연동을 통해 사용자 입력을 처리하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 15은 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 16는 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 17는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 관리하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 전체 동기화 동작을 설명하기 위한 도면이다.
도 19은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 부분 동기화 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 인터렉션(interaction) 동기화 동작을 설명하기 위한 도면이다.
도 21는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 업데이트하는 동작을 설명하기 위한 도면이다.
도 22은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보에 기초한 에이전트 서비스를 위한 서버의 동작들을 설명하기 위한 흐름도이다.
도 23은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 사용자 입력 및 어플리케이션 버전 정보가 패스 룰로 변경되어 가는 과정을 보여 주는 도면이다.
도 24는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템의 서버에서 버전 별로 패스 룰 세트를 추출하는 동작을 설명하기 위한 도면이다.
도 25은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 의도 분류 동작을 설명하기 위한 도면이다.
도 26는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 일례를 설명하기 위한 도면이다.
도 27는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 다른 예를 설명하기 위한 도면이다.
도 28은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM(separate intent classification manager)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 29은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 위한 분산 처리 구조를 설명하기 위한 도면이다.
도 30은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 31는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM(conditional ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 32은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 33은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM(version layered ICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 34는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작의 내부 구조를 설명하기 위한 도면이다.
도 35은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 36는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SVLICM(separate VLICM)을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
도 37는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 토대로 사용자에게 힌트를 제공하는 동작을 그래픽 인터페이스로 보여 주는 도면이다.
도 38은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보를 토대로 힌트를 관리하는 동작을 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor(AP))를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 발명의 일 실시 예를 서술하기에 앞서, 본 발명의 일 실시 예가 적용될 수 있는 통합 지능화 시스템에 대해 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 1을 참조하면, 통합 지능화 시스템(10)은 사용자 단말(100), 지능형 서버(200), 개인화 정보 서버(300) 또는 제안 서버(400)를 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100) 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 메시지 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 단말(100) 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 다른 앱을 실행하고 동작시킬 수 있다. 사용자 단말(100)의 상기 지능형 앱을 통해 상기 다른 앱의 실행하고 동작을 실행시키기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)가 이에 해당될 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용자의 발화를 사용자 입력으로 수신할 수 있다. 사용자 단말(100)은 사용자의 발화를 수신하고, 상기 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 사용자 단말(100)은 상기 명령을 이용하여 상기 앱을 동작시킬 수 있다.
지능형 서버(200)는 통신망을 통해 사용자 단말(100)로부터 사용자 음성 입력(voice input)을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다른 실시 예에서는, 지능형 서버(200)는 상기 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 상기 패스 룰은 앱의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한, 상기 패스 룰은 상기 앱의 상기 동작의 순서를 포함할 수 있다. 사용자 단말(100)은 상기 패스 룰을 수신하고, 상기 패스 룰에 따라 앱을 선택하고, 상기 선택된 앱에서 상기 패스 룰에 포함된 동작을 실행시킬 수 있다.
예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 실행한 사용자 단말(100)의 상태에 대응되는 화면를 디스플레이에 표시할 수 있다. 다른 예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 수행한 결과를 디스플레이에 표시하지 않을 수 있다. 사용자 단말(100)은, 예를 들어, 복수의 동작을 실행하고, 상기 복수의 동작의 일부 결과 만을 디스플레이에 표시할 수 있다. 사용자 단말(100)은, 예를 들어, 마지막 순서의 동작을 실행한 결과만을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 사용자 단말(100)은 사용자의 입력을 수신하여 상기 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
개인화 정보 서버(300)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 개인화 정보 서버(300)는 사용자 단말(100)로부터 사용자 정보(예: 컨텍스트 정보, 앱 실행 정보 등)를 수신하여 상기 데이터베이스에 저장할 수 있다. 지능형 서버(200)는 통신망을 통해 개인화 정보 서버(300)로부터 수신된 상기 사용자 정보를 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 통신망을 통해 개인화 정보 서버(300)로부터 사용자 정보를 수신하여 데이터베이스를 관리하기 위한 정보로 이용할 수 있다.
제안 서버(400)는 단말 내에 기능 혹은 어플리케이션의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 제안 서버(400)는 개인화 정보 서버(300)로부터 사용자 단말기(100)의 사용자 정보를 수신하여 사용자가 사용 할 수 있는 기능에 대한 데이터베이스를 포함 할 수 있다. 사용자 단말(100)은 통신망을 통해 제안 서버(400)로부터 상기 제공될 기능에 대한 정보를 수신하여 사용자에게 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 2를 참조하면, 사용자 단말(100)은 입력 모듈(110), 디스플레이(120), 스피커(130), 메모리(140) 또는 프로세서(150)을 포함할 수 있다. 사용자 단말(100)은 하우징을 더 포함할 수 있고, 상기 사용자 단말(100)의 구성들은 상기 하우징의 내부에 안착되거나 하우징 상에(on the housing) 위치할 수 있다.
일 실시 예에 따른, 입력 모듈(110)은 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력 모듈(110)은 연결된 외부 장치(예: 키보드, 헤드셋)로부터 사용자 입력을 수신할 수 있다. 다른 예를 들어, 입력 모듈(110)은 디스플레이(120)와 결합된 터치 스크린(예: 터치 스크린 디스플레이)을 포함할 수 있다. 또 다른 예를 들어, 입력 모듈(110)은 사용자 단말(100)(또는, 사용자 단말(100)의 하우징)에 위치한 하드웨어 키(예: 도 3의 112)(또는, 물리적 키)를 포함할 수 있다.
일 실시 예에 따르면, 입력 모듈(110)은 사용자의 발화를 음성 신호로 수신할 수 있는 마이크(예: 도 2의 111)를 포함할 수 있다. 예를 들어, 입력 모듈(110)은 발화 입력 시스템(speech input system)을 포함하고, 상기 발화 입력 시스템을 통해 사용자의 발화를 음성 신호로 수신할 수 있다.
일 실시 예에 따른, 디스플레이(120)는 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 디스플레이(120)는 앱의 그래픽 사용자 인터페이스(graphic user interface)(GUI)를 표시할 수 있다.
일 실시 예에 따르면, 스피커(130)는 음성 신호를 출력할 수 있다. 예를 들어, 스피커(130)는 사용자 단말(100) 내부에서 생성된 음성 신호를 외부로 출력할 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(141, 143)을 저장할 수 있다. 메모리(140)에 저장된 복수의 앱(141, 143)은 사용자 입력에 따라 선택되어 실행되고 동작할 수 있다.
일 실시 예에 따르면, 메모리(140)는 사용자 입력을 인식하는데 필요한 정보를 저장할 수 있는 데이터베이스를 포함할 수 있다. 예를 들어, 메모리(140)은 로그(log) 정보를 저장할 수 있는 로그 데이터베이스를 포함할 수 있다. 다른 예를 들어, 메모리(140)는 사용자 정보를 저장할 수 있는 페르소나 데이터베이스를 포함할 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(141, 143)을 저장하고, 복수의 앱(141, 143)은 휘발성 메모리로 로드되어 동작할 수 있다. 예를 들어, 메모리(140)에 저장된 복수의 앱(141,143)은 프로세서(150)의 실행 매니저 모듈(153)에 의해 휘발성 메모리로 로드되어 동작할 수 있다. 복수의 앱(141, 143)은 기능을 수행하는 실행 서비스(141a, 143a) 또는 복수의 동작(또는, 단위 동작)(141b, 143b)을 포함할 수 있다. 실행 서비스(141a, 143a)는 프로세서(150)의 실행 매니저 모듈(153)에 의해 생성되고, 복수의 동작 (141b, 143b)을 실행할 수 있다.
일 실시 예에 따르면, 앱(141, 143)의 동작(141b, 143b)이 실행되었을 때, 동작(141b, 143b)의 실행에 따른 실행 상태 화면은 디스플레이(120)에 표시될 수 있다. 상기 실행 상태 화면은, 예를 들어, 동작(141b, 143b)이 완료된 상태의 화면일 수 있다. 상기 실행 상태 화면은, 다른 예를 들어, 동작(141b, 143b)의 실행이 정지된 상태(partial landing)(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우)의 화면일 수 있다.
일 실시 예에 따른, 실행 서비스(141a, 143a)는 패스 룰에 따라 동작(141b, 143b)을 실행할 수 있다. 예를 들어, 실행 서비스(141a, 143a)는 실행 매니저 모듈(153)에 의해 활성화되고, 실행 매니저 모듈(153)로부터 상기 패스 룰에 따라 실행 요청을 수신하고, 상기 실행 요청에 따라 동작(141b, 143b)을 앱(141, 143)의 동작을 실행할 수 있다. 실행 서비스(141a, 143a)는 상기 동작(141b, 143b)의 수행이 완료되면 완료 정보를 실행 매니저 모듈(153)로 송신할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)이 실행되는 경우, 복수의 동작(141b, 143b)은 순차적으로 실행될 수 있다. 실행 서비스(141a, 143a)는 하나의 동작(동작 1)의 실행이 완료되면 다음 동작(동작 2)을 오픈하고 동작 1의 완료 정보를 실행 매니저 모듈(153)로 송신할 수 있다. 여기서 임의의 동작을 오픈한다는 것은, 임의의 동작을 실행 가능한 상태로 천이시키거나, 임의의 동작의 실행을 준비하는 것으로 이해될 수 있다. 다시 말해서, 임의의 동작이 오픈되지 않으면, 해당 동작은 실행될 수 없다. 실행 매니저 모듈(153)은 상기 완료 정보가 수신되면 다음 동작(예: 동작 2)에 대한 실행 요청을 실행 서비스(141a, 143a)로 송신할 수 있다. 일 실시 예에 따르면, 복수의 앱(141, 143)이 실행되는 경우, 복수의 앱(141, 143)은 순차적으로 실행될 수 있다. 예를 들어, 실행 매니저 모듈(153)은, 제1 앱(141)의 마지막 동작의 실행이 완료되어 실행 서비스(141a)로부터 완료 정보를 수신하면, 제2 앱(143)의 첫번째 동작의 실행 요청을 실행 서비스(143a)로 송신할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)이 실행된 경우, 상기 실행된 복수의 동작(141b, 143b) 각각의 실행에 따른 결과 화면은 디스플레이(120)에 표시될 수 있다. 일 실시 예에 따르면, 상기 실행된 복수의 동작(141b, 143b)의 실행에 따른 복수의 결과 화면 중 일부만 디스플레이(120)에 표시될 수 있다.
일 실시 예에 따르면, 메모리(140)는 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)을 저장할 수 있다. 지능형 에이전트(151)와 연동된 앱은 사용자의 발화를 음성 신호로 수신하여 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)와 연동된 앱은 입력 모듈(110)을 통해 입력되는 특정 입력(예: 하드웨어 키를 통한 입력, 터치 스크린을 통한 입력, 특정 음성 입력)에 의해 동작될 수 있다.
일 실시 예에 따르면, 프로세서(150)는 사용자 단말(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(150)는 입력 모듈(110)을 제어하여 사용자 입력을 수신할 수 있다. 프로세서(150)는 디스플레이(120)를 제어하여 이미지를 표시할 수 있다. 프로세서(150)는 스피커(130)를 제어하여 음성 신호를 출력할 수 있다. 프로세서(150)는 메모리(140)를 제어하여 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예에 따르면 프로세서(150)는 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)를 포함할 수 있다. 일 실시 예에서, 프로세서(150)는 메모리(140)에 저장된 명령어들을 실행하여 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)을 구동시킬 수 있다. 본 발명의 다양한 실시 예에서 언급되는 여러 모듈들은 하드웨어로 구현될 수도 있고, 소프트웨어로 구현될 수도 있다. 본 발명의 다양한 실시 예에서 지능형 에이전트(151), 실행 매니저 모듈(153) 또는 지능형 서비스 모듈(155)에 의해 수행되는 동작은 프로세서(150)에 의해 수행되는 동작으로 이해될 수 있다.
일 실시 예에 따른, 지능형 에이전트(151)는 사용자 입력으로 수신된 음성 신호에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 일 실시 예에 따른, 실행 매니저 모듈(153)은 지능형 에이전트(151)로부터 상기 생성된 명령을 수신하여 메모리(140)에 저장된 앱(141, 143)을 선택하여 실행시키고 동작시킬 수 있다. 일 실시 예에 따르면, 지능형 서비스 모듈(155)은 사용자의 정보를 관리하여 사용자 입력을 처리하는데 이용할 수 있다.
지능형 에이전트(151)는 입력 모듈(110)을 통해 수신된 사용자 입력을 지능형 서버(200)로 송신하여 처리할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 상기 사용자 입력을 지능형 서버(200)로 송신하기 전에, 상기 사용자 입력을 전처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 상기 사용자 입력을 전처리하기 위하여, 적응 반향 제거(adaptive echo canceller)(AEC) 모듈, 노이즈 억제(noise suppression)(NS) 모듈, 종점 검출(end-point detection)(EPD) 모듈 또는 자동 이득 제어(automatic gain control)(AGC) 모듈을 포함할 수 있다. 상기 적응 반향 제거 모듈은 상기 사용자 입력에 포함된 에코(echo)를 제거할 수 있다. 상기 노이즈 억제 모듈은 상기 사용자 입력에 포함된 배경 잡음을 억제할 수 있다. 상기 종점 검출 모듈은 상기 사용자 입력에 포함된 사용자 음성의 종점을 검출하여 사용자의 음성이 존재하는 부분을 찾을 수 있다. 상기 자동 이득 제어 모듈은 상기 사용자 입력을 인식하여 처리하기 적합하도록 상기 사용자 입력의 음량을 조절할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 성능을 위하여 상기 전처리 구성을 전부 포함할 수 있지만, 다른 실시 예에서 지능형 에이전트(151)는 저전력으로 동작하기 위해 상기 전처리 구성 중 일부를 포함할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 호출을 인식하는 웨이크 업(wake up) 인식 모듈을 포함할 수 있다. 상기 웨이크 업 인식 모듈은 음성 인식 모듈을 통해 사용자의 웨이크 업 명령을 인식할 수 있고, 상기 웨이크 업 명령을 인식한 경우 사용자 입력을 수신하기 위해 지능형 에이전트(151)을 활성화시킬 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)의 웨이크 업 인식 모듈은 저전력 프로세서(예: 오디오 코덱에 포함된 프로세서)에 구현될 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 하드웨어 키를 통한 사용자 입력에 따라 활성화될 수 있다. 지능형 에이전트(151)가 활성화 되는 경우, 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)이 실행될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자 입력을 인식하기 위한 음성 인식 모듈을 포함할 수 있다. 상기 음성 인식 모듈은 앱에서 동작을 실행하도록 하기 위한 사용자 입력을 인식할 수 있다. 예를 들어, 상기 음성 인식 모듈은 앱(141, 143)에서 상기 웨이크 업 명령과 같은 동작을 실행하는 제한된 사용자 (음성) 입력(예: 카메라 앱이 실행 중일 때 촬영 동작을 실행시키는 “찰칵”과 같은 발화 등)을 인식할 수 있다. 상기 지능형 서버(200)를 보조하여 사용자 입력을 인식하는 음성 인식 모듈은, 예를 들어, 사용자 단말(100)내에서 처리할 수 있는 사용자 명령을 인식하여 빠르게 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)의 사용자 입력을 인식하기 위한 음성 인식 모듈은 앱 프로세서에서 구현될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)의 음성 인식 모듈(웨이크 업 인식 모듈의 음성 인식 모듈을 포함)은 음성을 인식하기 위한 알고리즘을 이용하여 사용자 입력을 인식할 수 있다. 상기 음성을 인식하기 위해 사용되는 알고리즘은, 예를 들어, HMM(hidden markov model) 알고리즘, ANN(artificial neural network) 알고리즘 또는 DTW(dynamic time warping) 알고리즘 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 음성 입력을 텍스트 데이터로 변환할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 사용자의 음성을 지능형 서버로(200)로 전달하여, 변환된 텍스트 데이터를 수신할 수 있다. 이에 따라, 지능형 에이전트(151)는 상기 텍스트 데이터를 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 지능형 서버(200)로부터 패스 룰을 수신할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(151)는 상기 패스 룰을 실행 매니저 모듈(153)로 송신할 수 있다.
일 실시 예에 따르면, 지능형 에이전트(151)는 지능형 서버(200)로부터 수신된 패스 룰에 따른 실행 결과 로그(log)를 지능형 서비스(intelligence service) 모듈(155)로 송신하고, 상기 송신된 실행 결과 로그는 페르소나 모듈(persona manager)(155b)의 사용자의 선호(preference) 정보에 누적되어 관리될 수 있다.
일 실시 예에 따른, 실행 매니저 모듈(153)은 지능형 에이전트(151)로부터 패스 룰을 수신하여 앱(141, 143)을 실행시키고, 앱(141, 143)이 상기 패스 룰에 포함된 동작(141b, 143b)을 실행하도록 할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 앱(141, 143)으로 동작(141b, 143b)을 실행하기 위한 명령 정보를 송신할 수 있고, 상기 앱(141, 143)로부터 동작(141b, 143b)의 완료 정보를 수신할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 지능형 에이전트(151)와 앱(141, 143)의 사이에서 앱(141, 143)의 동작(141b, 143b)을 실행하기 위한 명령 정보를 송수신할 수 있다. 실행 매니저 모듈(153)은 상기 패스 룰에 따라 실행할 앱(141, 143)을 바인딩(binding)하고, 상기 패스 룰에 포함된 동작(141b, 143b)의 명령 정보를 앱(141, 143)으로 송신할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 상기 패스 룰에 포함된 동작(141b, 143b)을 순차적으로 앱(141, 143)으로 송신하여, 앱(141, 143)의 동작(141b, 143b)을 상기 패스 룰에 따라 순차적으로 실행시킬 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 앱(141, 143)의 동작(141b, 143b)의 실행 상태를 관리할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 앱(141, 143)으로부터 상기 동작(141b, 143b)의 실행 상태에 대한 정보를 수신할 수 있다. 상기 동작(141b, 143b)의 실행 상태가, 예를 들어, 정지된 상태(partial landing)인 경우(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우), 실행 매니저 모듈(153)은 상기 정지된 상태에 대한 정보를 지능형 에이전트(151)로 송신할 수 있다. 지능형 에이전트(151)는 상기 수신된 정보를 이용하여, 사용자에게 필요한 정보(예: 파라미터 정보)의 입력을 요청할 수 있다. 상기 동작(141b, 143b)의 실행 상태가, 다른 예를 들어, 동작 상태인 경우에 지능형 에이전트(151)는 사용자로부터 발화를 수신할 수 있고, 실행 매니저 모듈(153)은 상기 실행되고 있는 앱(141, 143) 및 앱(141, 143)의 실행 상태에 대한 정보를 지능형 에이전트(151)로 송신할 수 있다. 지능형 에이전트(151)는 지능형 서버(200)를 통해 상기 사용자의 발화의 파라미터 정보를 수신할 수 있고, 상기 수신된 파라미터 정보를 실행 매니저 모듈(153)로 송신할 수 있다. 실행 매니저 모듈(153)은 상기 수신한 파라미터 정보를 이용하여 동작(141b, 143b)의 파라미터를 새로운 파라미터로 변경할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 패스 룰에 포함된 파라미터 정보를 앱(141, 143)으로 전달할 수 있다. 상기 패스 룰에 따라 복수의 앱(141, 143)이 순차적으로 실행되는 경우, 실행 매니저 모듈(153)은 하나의 앱에서 다른 앱으로 패스 룰에 포함된 파라미터 정보를 전달할 수 있다.
일 실시 예에 따르면, 실행 매니저 모듈(153)은 사용자의 발화에 기초하여 선택된 복수의 패스 룰을 수신할 수 있다. 예를 들어, 실행 매니저 모듈(153)은 사용자의 발화가 일부 동작(141b)을 실행할 일부 앱(141)을 특정하였지만, 나머지 동작(143b)을 실행할 다른 앱(143)을 특정하지 않은 경우, 일부 동작(141b)를 실행할 동일한 앱(141)(예: 갤러리 앱)이 실행되고 나머지 동작(143b)를 실행할 수 있는 서로 다른 앱(143)(예: 메시지 앱, 텔레그램 앱)이 각각 실행되는 서로 다른 복수의 패스 룰을 수신할 수 있다. 실행 매니저 모듈(153)은, 예를 들어, 상기 복수의 패스 룰의 동일한 동작(141b, 143b)(예: 연속된 동일한 동작(141b, 143b))을 실행할 수 있다. 실행 매니저 모듈(153)은 상기 동일한 동작까지 실행한 경우, 상기 복수의 패스 룰에 각각 포함된 서로 다른 앱(141, 143)을 선택할 수 있는 상태 화면을 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 서비스 모듈(155)는 컨텍스트 모듈(155a), 페르소나 모듈(155b) 또는 제안 모듈(155c)을 포함할 수 있다.
컨텍스트 모듈(155a)는 앱(141, 143)으로부터 앱(141, 143)의 현재 상태를 수집할 수 있다. 예를 들어, 컨텍스트 모듈(155a)은 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 수신하여 앱(141, 143)의 현재 상태를 수집할 수 있다.
페르소나 모듈(155b)은 사용자 단말(100)을 사용하는 사용자의 개인 정보를 관리할 수 있다. 예를 들어, 페르소나 모듈(155b)은 사용자 단말(100)의 사용 정보 및 수행 결과를 수집하여 사용자의 개인 정보를 관리할 수 있다.
제안 모듈(155c)는 사용자의 의도를 예측하여 사용자에게 명령을 추천해줄 수 있다. 예를 들어, 제안 모듈(155c)은 사용자의 현재 상태(예: 시간, 장소, 상황, 앱)을 고려하여 사용자에게 명령을 추천해줄 수 있다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 3을 참조하면, 사용자 단말(100)이 사용자 입력을 수신하여 지능형 에이전트(151)와 연동된 지능형 앱(예: 음성 인식 앱)을 실행시키는 것을 나타낸 것이다.
일 실시 예에 따르면, 사용자 단말(100)은 하드웨어 키(112)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 하드웨어 키(112)를 통해 사용자 입력을 수신한 경우 디스플레이(120)에 지능형 앱의 UI(user interface)(121)를 표시할 수 있다. 사용자는, 예를 들어, 지능형 앱의 UI(121)가 디스플레이(120)에 표시된 상태에서 음성을 입력(161b)하기 위해 지능형 앱의 UI(121)에 음성인식 버튼(121a)를 터치할 수 있다. 사용자는, 다른 예를 들어, 음성을 입력(161b)하기 위해 상기 하드웨어 키(112)를 지속적으로 눌러서 음성을 입력(161b)을 할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 마이크(111)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 마이크(111)를 통해 지정된 음성(예: 일어나!(wake up!))이 입력(161a)된 경우 디스플레이(120)에 지능형 앱의 UI(121)를 표시할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 4를 참조하면, 지능형 서버(200)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(260)을 포함할 수 있다.
지능형 서버(200)의 자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력으로부터 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인(domain), 의도(intent) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)을 포함할 수 있다. 복수의 파라미터는, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)뿐만 아니라 자동 음성 인식 모듈(210)도 자연어 인식 데이터베이스(221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상자연어 이해 모듈(220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 패스 플래너 모듈(230)로부터 사용자 단말(100)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 매핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 사용자 단말(100)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(230)에 연결된 패스 룰 데이터베이스(231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(230)은 지능형 에이전트(151)로부터 수신된 사용자 단말(100)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자의 의도 및 파라미터를 사용자 단말(100) 에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
대화 매니저 모듈(240)는 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)는 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)는 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 사용자 단말(100)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG)(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 사용자 단말(100)로 송신되어 디스플레이(120)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 음성 형태의 정보를 스피커(130)로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 사용자 단말(100)로 송신될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)의 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 5를 참조하면, 일 실시 예에 따른, 자연어 이해 모듈(220)은 앱의 기능을 단위 동작(A 내지 F)으로 구분하여 패스 룰 데이터베이스(231)에 저장할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 단위 동작으로 구분된 복수의 패스 룰(A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)을 포함하는 패스 룰 셋을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)의 패스 룰 데이터베이스(231)는 앱의 기능을 수행하기 위한 패스 룰 셋을 저장할 수 있다. 상기 패스 룰 셋은 복수의 동작을 포함하는 복수의 패스 룰을 포함할 수 있다. 상기 복수의 패스 룰은 복수의 동작 각각에 입력되는 파라미터에 따라 실행되는 동작이 순차적으로 배열될 수 있다. 일 실시 예에 따르면, 상기 복수의 패스 룰은 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 구성되어 패스 룰 데이터베이스(231)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 대응되는 상기 복수의 패스 룰(A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중에 최적의 패스 룰(A-B1-C3-D-F)을 선택할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 완벽히 매칭되는 패스 룰이 없는 경우 사용자 단말(100)에 복수의 룰을 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 포함하는 하나 이상의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)을 선택하여 사용자 단말(100)에 전달할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 단말(100)의 추가 입력에 기초하여 복수의 패스 룰 중 하나를 선택하고, 상기 선택된 하나의 패스 룰을 사용자 단말(100)에 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)에서 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 따라 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택하여 사용자 단말(100)에 송신할 수 있다.
또 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 자연어 이해 모듈(220)을 통해 사용자 단말(100)에 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 대응되는 사용자의 의도 및 파라미터를 결정할 수 있고, 상기 결정된 사용자의 의도 또는 파라미터를 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 송신된 의도 또는 상기 파라미터에 기초하여, 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F) 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택할 수 있다.
이에 따라, 사용자 단말(100)은 상기 선택된 하나의 패스 룰에 의해 앱(141, 143)의 동작을 완료시킬 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 정보가 부족한 사용자 입력이 지능형 서버(200)에 수신된 경우, 상기 수신한 사용자 입력에 부분적으로 대응되는 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 부분적으로 대응된 패스 룰을 지능형 에이전트(151)로 송신(①)할 수 있다. 지능형 에이전트(151)는 실행 매니저 모듈(153)로 상기 부분적으로 대응된 패스 룰을 송신(②)하고, 실행 매니저 모듈(153)는 상기 패스 룰에 따라 제1 앱(141)을 실행시킬 수 있다. 실행 매니저 모듈(153)는 제1 앱(141)을 실행하면서 부족한 파라미터에 대한 정보를 지능형 에이전트(151)로 송신(③)할 수 있다. 지능형 에이전트(151)는 상기 부족한 파라미터에 대한 정보를 이용하여 사용자에게 추가 입력을 요청할 수 있다. 지능형 에이전트(151)는 사용자에 의해 추가 입력이 수신(④)되면 지능형 서버(200)로 송신하여 처리할 수 있다. 자연어 이해 모듈(220)은 상기 추가로 입력된 사용자 입력의 의도 및 파라미터 정보에 기초하여 추가된 패스 룰을 생성하여 지능형 에이전트(151)로 송신(⑤)할 수 있다. 지능형 에이전트(151)는 실행 매니저 모듈(153)로 상기 패스 룰을 송신(⑥)하여 제2 앱(143)를 실행할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신된 경우, 개인화 정보 서버(300)로 사용자 정보 요청을 송신할 수 있다. 개인화 정보 서버(300)는 페르소나 데이터베이스에 저장된 사용자 입력을 입력한 사용자의 정보를 자연어 이해 모듈(220)로 송신할 수 있다. 자연어 이해 모듈(220)은 상기 사용자 정보를 이용하여 일부 동작이 누락된 사용자 입력에 대응되는 패스 룰을 선택할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신되더라도, 누락된 정보를 요청하여 추가 입력을 받거나 사용자 정보를 이용하여 상기 사용자 입력에 대응되는 패스 룰을 결정할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 프로세서의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 6을 참조하면, 컨텍스트 모듈(155a)은 지능형 에이전트(151)로부터 컨텍스트 요청을 수신(①)하면, 앱(141, 143)에 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 요청(②)할 수 있다. 일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)으로부터 상기 컨텍스트 정보를 수신(③)하여 지능형 에이전트(151)로 송신(④)할 수 있다.
일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)을 통해 복수의 컨텍스트 정보를 수신할 수 있다. 예를 들어, 상기 컨텍스트 정보는 가장 최근 실행된 앱(141, 143)에 대한 정보일 수 있다. 다른 예를 들어, 상기 컨텍스트 정보는 앱(141, 143) 내의 현재 상태에 대한 정보(예: 갤러리에서 사진을 보고 있는 경우, 해당 사진에 대한 정보)일 수 있다.
일 실시 예에 따르면, 컨텍스트 모듈(155a)은 앱(141, 143)뿐만 아니라, 디바이스 플랫폼(device platform)으로부터 사용자 단말(100)의 현재 상태를 나타내는 컨텍스트 정보를 수신할 수 있다. 상기 컨텍스트 정보는 일반적 컨텍스트 정보, 사용자 컨텍스트 정보 또는 장치 컨텍스트 정보를 포함할 수 있다.
상기 일반적 컨텍스트 정보는 사용자 단말(100)의 일반적인 정보를 포함할 수 있다. 상기 일반적 컨텍스트 정보는 디바이스 플랫폼의 센서 허브 등을 통해 데이터를 받아서 내부 알고리즘을 통해 확인될 수 있다. 예를 들어, 상기 일반적 컨텍스트 정보는 현재 시공간에 대한 정보를 포함할 수 있다. 상기 현재 시공간에 대한 정보는, 예를 들어, 현재 시간 또는 사용자 단말(100)의 현재 위치에 대한 정보를 포함할 수 있다. 상기 현재 시간은 사용자 단말(100) 상에서의 시간을 통해 확인될 수 있고, 상기 현재 위치에 대한 정보는 GPS(global positioning system)를 통해 확인될 수 있다. 다른 예를 들어, 상기 일반적 컨텍스트 정보는 물리적 움직임에 대한 정보를 포함할 수 있다. 상기 물리적 움직임에 대한 정보는, 예를 들어, 걷기, 뛰기, 운전 중 등에 대한 정보를 포함할 수 있다. 상기 물리적 움직임 정보는 모션 센서(motion sensor)를 통해 확인될 수 있다. 상기 운전 중에 대한 정보는 상기 모션 센서를 통해 운행을 확인할 수 있을 뿐만 아니라, 차량 내의 블루투스 연결을 감지하여 탑승 및 주차를 확인할 수 있다. 또 다른 예를 들어, 상기 일반적 컨텍스트 정보는 사용자 활동 정보를 포함할 수 있다. 상기 사용자 활동 정보는, 예를 들어, 출퇴근, 쇼핑, 여행 등에 대한 정보를 포함할 수 있다. 상기 사용자 활동 정보는 사용자 또는 앱이 데이터베이스에 등록한 장소에 대한 정보를 이용하여 확인될 수 있다.
상기 사용자 컨텍스트 정보는 사용자에 대한 정보를 포함할 수 있다. 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 감정적 상태에 대한 정보를 포함할 수 있다. 상기 감정적 상태에 대한 정보는, 예를 들어, 사용자의 행복, 슬픔, 화남 등에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 현재 상태에 대한 정보를 포함할 수 있다. 상기 현재 상태에 대한 정보는, 예를 들어, 관심, 의도 등(예: 쇼핑)에 대한 정보를 포함할 수 있다.
상기 장치 컨텍스트 정보는 사용자 단말(100)의 상태에 대한 정보를 포함할 수 있다. 예를 들어, 상기 장치 컨텍스트 정보는 실행 매니저 모듈(153)이 실행한 패스 룰에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 디바이스 정보는 배터리에 대한 정보를 포함할 수 있다. 상기 배터리에 대한 정보는, 예를 들어, 상기 배터리의 충전 및 방전 상태를 통해 확인될 수 있다. 또 다른 예를 들어, 상기 디바이스 정보는 연결된 장치 및 네트워크에 대한 정보를 포함할 수 있다. 상기 연결된 장치에 대한 정보는, 예를 들어, 상기 장치가 연결된 통신 인터페이스를 통해 확인될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 7을 참조하면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 사용자 단말(100)의 정보를 수신할 수 있다. 앱(141, 143) 및 실행 매니저 모듈(153)은 앱의 동작(141b, 143b)을 실행한 결과 정보를 동작 로그 데이터베이스에 저장할 수 있다. 컨텍스트 모듈(155a)은 사용자 단말(100)의 현재 상태에 대한 정보를 컨텍스트 데이터베이스에 저장할 수 있다. 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스로부터 상기 저장된 정보를 수신할 수 있다. 상기 동작 로그 데이터베이스 및 상기 컨텍스트 데이터베이스에 저장된 데이터는, 예를 들어, 분석 엔진(analysis engine)에 의해 분석되어 페르소나 모듈(155b)로 송신될 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 수신한 정보를 제안 모듈(155c)로 송신할 수 있다. 예를 들어, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(155c)로 송신할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 앱(141, 143), 실행 매니저 모듈(153) 또는 컨텍스트 모듈(155a)로부터 수신된 정보를 개인화 정보 서버(300)로 송신할 수 있다. 예를 들어, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 누적되어 저장된 데이터를 주기적으로 개인화 정보 서버(300)에 송신할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)은 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(155c)로 송신할 수 있다. 상기 페르소나 모듈(155b)에 의해서 생성된 사용자 정보는 페르소나 데이터베이스에 저장될 수 있다. 페르소나 모듈(155b)는 상기 페르소나 데이터베이스에 저장된 사용자 정보를 주기적으로 개인화 정보 서버(300)로 송신할 수 있다. 일 실시 예에 따르면, 페르소나 모듈(155b)에 의해 개인화 정보 서버(300)로 송신된 정보는 페르소나 데이터베이스에 저장될 수 있다. 개인화 정보 서버(300)는 상기 페르소나 데이터베이스에 저장된 정보를 이용하여 지능형 서버(200)의 패스 룰 생성에 필요한 사용자 정보를 추론할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(155b)이 송신한 정보를 이용하여 추론된 사용자 정보는 프로파일(profile) 정보 또는 프리퍼런스(preference) 정보를 포함할 수 있다. 상기 프로파일 정보 또는 프리퍼런스 정보는 사용자의 계정(account) 및 누적된 정보를 통해 추론될 수 있다.
상기 프로파일 정보는 사용자의 신상 정보를 포함할 수 있다. 예를 들어, 상기 프로파일 정보는 사용자의 인구 통계 정보를 포함할 수 있다. 상기 인구 통계 정보는, 예를 들어, 사용자의 성(gender), 나이 등을 포함할 수 있다. 다른 예를 들어, 상기 프로파일 정보는 라이프 이벤트(life event) 정보를 포함할 수 있다. 상기 라이프 이벤트 정보는, 예를 들어, 로그 정보를 라이프 이벤트 모델(life event model)과 비교하여 추론되고, 행동 패턴(behavior patter)을 분석하여 보강될 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 관심(interest) 정보를 포함할 수 있다. 상기 관심 정보는, 예를 들어, 관심 쇼핑 물품, 관심 분야(예: 스포츠, 정치 등) 등을 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 지역 정보를 포함할 수 있다. 상기 활동 지역 정보는, 예를 들어, 집, 일하는 곳 등에 대한 정보를 포함할 수 있다. 상기 활동 지역에 대한 정보는 장소의 위치에 대한 정보뿐만 아니라 누적 체류 시간 및 방문 횟수를 기준으로 우선 순위가 기록된 지역에 대한 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 시간 정보를 포함할 수 있다. 상기 활동 시간 정보는, 예를 들어, 기상 시간, 출퇴근 시간, 수면 시간 등에 대한 정보를 포함할 수 있다. 상기 출퇴근 시간에 대한 정보는 상기 활동 지역 정보(예: 집 및 일하는 곳에 대한 정보)를 이용하여 추론될 수 있다. 상기 수면 시간에 대한 정보는 사용자 단말(100)의 미사용 시간을 통해 추론될 수 있다.
상기 프리퍼런스 정보는 사용자의 선호도 정보를 포함할 수 있다. 예를 들어, 상기 프리퍼런스 정보는 앱 선호도에 대한 정보를 포함할 수 있다. 상기 앱 선호도는, 예를 들어, 앱의 사용 기록(예: 시간별, 장소별 사용 기록)을 통해 추론될 수 있다. 상기 앱의 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 실행될 앱을 결정하기 위해 이용될 수 있다. 다른 예를 들어, 상기 프리퍼런스 정보는 연락처 선호도에 대한 정보를 포함할 수 있다. 상기 연락처 선호도는, 예를 들어, 연락처의 연락 빈도(예: 시간별, 장소별 연락하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 연락처 선호도는 사용자의 현재 상태(예: 중복된 이름에 대한 연락)에 따라 연락할 연락처를 결정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 세팅(setting) 정보를 포함할 수 있다. 상기 세팅 정보는, 예를 들어, 특정 세팅 값의 설정 빈도(예: 시간별, 장소별 세팅 값으로 설정하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 세팅 정보는 사용자의 현재 상태(예: 시간, 장소, 상황)에 따라 특정 세팅 값을 설정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 장소 선호도를 포함할 수 있다. 상기 장소 선호도는, 예를 들어, 특정 장소의 방문 기록(예: 시간별 방문 기록)을 통해 추론될 수 있다. 상기 장소 선호도는 사용자의 현재 상태(예: 시간)에 따라 방문하고 있는 장소를 결정하기 위하여 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 명령 선호도를 포함할 수 있다. 상기 명령 선호도는, 예를 들어, 명령 사용 빈도(예: 시간별, 장소별 사용 빈도)를 통해 추론될 수 있다. 상기 명령 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 사용될 명령어 패턴을 결정하기 위해 이용될 수 있다. 특히, 상기 명령 선호도는 로그 정보를 분석하여 실행되고 있는 앱의 현재 상태에서 사용자가 가장 많이 선택한 메뉴에 대한 정보를 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 제안 모듈을 나타낸 블록도이다.
도 8을 참조하면, 제안 모듈(155c)은 힌트 제공 모듈(155c_1), 컨텍스트 힌트 생성 모듈(155c_2), 조건 체킹 모듈(155c_3), 조건 모델 모듈(155c_4), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)을 포함할 수 있다.
일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 사용자에게 힌트(hint)를 제공할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)로부터 생성된 힌트를 수신하여 사용자에게 힌트를 제공할 수 있다.
일 실시 예에 따르면, 컨텍스트 힌트 생성 모듈(155c_2)은 조건 체킹 모듈(155c_3) 또는 조건 모델 모듈(155c_4)을 통해 현재 상태에 따라 추천될 수 있는 힌트를 생성할 수 있다. 조건 체킹 모듈(155c_3)은 지능형 서비스 모듈(155)을 통해 현재 상태에 대응되는 정보를 수신할 수 있고, 조건 모델 모듈(155c_4)은 상기 수신된 정보를 이용하여 조건 모델(condition model)을 설정할 수 있다. 예를 들어, 조건 모델 모듈은(155c_4)는 사용자에게 힌트를 제공하는 시점의 시간, 위치, 상황 사용중인 앱 등을 파악하여 해당 조건에서 사용할 가능성이 높은 힌트를 우선 순위가 높은 순으로 사용자에게 제공 할 수 있다.
일 실시 예에 따르면, 재사용 힌트 생성 모듈(155c_5)은 현재 상태에 따라 사용 빈도를 고려하여 추천될 수 있는 힌트를 생성할 수 있다. 예를 들어, 재사용 힌트 생성 모듈(155c_5)은 사용자의 사용 패턴을 고려하여 힌트를 생성할 수 있다.
일 실시 예에 따르면, 소개 힌트 생성 모듈(155c_6)은 사용자에게 신규 기능 또는 다른 사용자가 많이 쓰는 기능을 소개하는 힌트를 생성할 수 있다. 예를 들어, 상기 신규 기능을 소개하는 힌트에는 지능형 에이전트(151)에 대한 소개(예: 작동 방법)를 포함할 수 있다.
다른 실시 예에 따르면, 제안 모듈(155c)의 컨텍스트 힌트 생성 모듈(155c_2), 조건 체킹 모듈(155c_3), 조건 모델 모듈(155c_4), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)는 개인화 정보 서버(300)에 포함될 수 있다. 예를 들어, 제안 모듈(155c)의 힌트 제공 모듈(155c_1)은 사용자 개인화 정보 서버(300)의 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)로부터 힌트를 수신하여 사용자에게 상기 수신된 힌트를 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 다음의 일련의 프로세스에 따라 힌트를 제공할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 컨텍스트 힌트 생성 모듈(155c_2)로 힌트 생성 요청을 송신(②)할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 힌트 생성 요청을 수신하면, 조건 체킹 모듈(155c_3)을 이용(③)하여 컨텍스트 모듈(155a) 및 페르소나 모듈(155b)로부터 현재 상태에 대응되는 정보를 수신(④)할 수 있다. 조건 체킹 모듈(155c_3)은 상기 수신된 정보를 조건 모델 모듈(155c_4)로 송신(⑤)하고, 조건 모델 모듈(155c_4)은 상기 정보를 이용하여 사용자에게 제공되는 힌트 중 상기 조건에 사용 가능성이 높은 순서로 힌트에 대해 우선순위를 부여 할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 조건을 확인(⑥)하고, 상기 현재 상태에 대응되는 힌트를 생성할 수 있다. 컨텍스트 힌트 생성 모듈(155c_2)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(⑦)할 수 있다. 힌트 제공 모듈(155c_1)은 지정된 규칙에 따라 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑧)할 수 있다.
일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 복수의 컨텍스트 힌트를 생성할 수 있고, 지정된 규칙에 따라 복수의 컨텍스트 힌트에 우선 순위를 지정할 수 있다. 일 실시 예에 따르면, 힌트 제공 모듈(155c_1)은 상기 복수의 컨텍스트 힌트 중에서 우선 순위가 높은 것을 사용자에게 먼저 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용 빈도에 따른 힌트를 제안할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 재사용 힌트 생성 모듈(155c_5)로 힌트 생성 요청을 송신(②)할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 힌트 생성 요청을 수신하면, 페르소나 모듈(155b)로부터 사용자 정보를 수신(③)할 수 있다. 예를 들어, 재사용 힌트 생성 모듈(155c_5)은 페르소나 모듈(155b)의 사용자의 프리퍼런스 정보에 포함된 패스 룰, 패스 룰에 포함된 파라미터, 앱의 실행 빈도, 앱이 사용된 시공간 정보를 수신할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 수신된 사용자 정보에 대응되는 힌트를 생성할 수 있다. 재사용 힌트 생성 모듈(155c_5)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(④)할 수 있다. 힌트 제공 모듈(155c_1)은 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑤)할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 새로운 기능에 대한 힌트를 제안할 수 있다. 예를 들어, 힌트 제공 모듈(155c_1)은 지능형 에이전트(151)로부터 힌트 제공 요청을 수신(①)하면 소개 힌트 생성 모듈(155c_6)로 힌트 생성 요청을 송신(②)할 수 있다. 소개 힌트 생성 모듈(155c_6)은 제안 서버(400)로부터 소개 힌트 제공 요청을 송신(③)하여 제안 서버(400)로부터 소개될 기능에 대한 정보를 수신(④)할 수 있다. 예를 들어, 제안 서버(400)는 소개될 기능에 대한 정보를 저장할 수 있고, 상기 소개될 기능에 대한 힌트 리스트(hint list)는 서비스 운영자에 의해 업데이트될 수 있다. 소개 힌트 생성 모듈(155c_6)은 상기 생성된 힌트를 힌트 제공 모듈(155c_1)로 송신(⑤)할 수 있다. 힌트 제공 모듈(155c_1)은 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(151)로 전송(⑥)할 수 있다.
이에 따라, 제안 모듈(155c)은 컨텍스트 힌트 생성 모듈(155c_2), 재사용 힌트 생성 모듈(155c_5) 또는 소개 힌트 생성 모듈(155c_6)에서 생성된 힌트를 사용자에게 제공할 수 있다. 예를 들어, 제안 모듈(155c)은 상기 생성된 힌트를 지능형 에이전트(151)를 동작시키는 앱의 실행 화면에 표시할 수 있고, 상기 앱의 실행 화면을 통해 사용자로부터 상기 힌트를 선택하는 입력을 수신할 수 있다.
도 9은 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자의 발화에 응답하여 지능형 에이전트가 어플리케이션을 제어하는 동작을 그래픽 인터페이스의 변화로 보여 주는 도면이다.
도 9을 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(900)는, 전자 장치(900)에 설치된 어플리케이션 프로그램으로서 예를 들어, 지능형 에이전트(예: 지능형 에이전트(151))를 사용자의 키(905) 입력에 의해 호출하여 대화 창(910)을 표시할 수 있다. 전자 장치(900)는 사용자의 발화를 텍스트로 변환하여 대화 창(910)을 통해 사용자에게 보여 줄 수 있다. 전자 장치(900)는 발화의 분석을 통해 생성된 패스 룰을 이용하여 어플리케이션의 동작을 실행할 수 있다.
예를 들어, 사용자가 “하와이 사진을 엄마한테 메시지로 공유해줘(921)”라고 발화하면, 전자 장치(900)에서 실행 매니저 모듈(예: 실행 매니저 모듈(153))은 하와이에서 찍은 사진을 선택하고 선택된 사진을 전송할 매체로서 SMS 어플리케이션을 선택하도록 갤러리 어플리케이션에게 명령할 수 있다. 명령의 수행 완료를 갤러리 어플리케이션으로부터 통보 받게 되면, 실행 매니저 모듈은 메시지 수신처로서 '엄마'를 선택하고 갤러리 어플리케이션에 의해 메시지에 첨부된 사진을 전송하도록 SMS 어플리케이션에게 명령할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 룰의 일련의 수행 과정은, 지능형 에이전트의 대화 창(910)이 아닌, 그 수행 주체인 어플리케이션의 인터페이스를 통해 사용자에게 표출될 수 있다. 예를 들어, 갤러리 어플리케이션이 하와이 사진을 찾는 과정을 보여 주는 제 1 인터페이스들(930)이 순차적으로 디스플레이를 통해 제공되고, 그 다음으로 전송 매체의 선택을 위한 갤러리 어플리케이션의 제 2 인터페이스(940)가 제공되며, 그 다음으로 SMS 어플리케이션이 메시지에 사진을 첨부하는 과정을 보여주는 제 3 인터페이스(950)가 제공되며, 마지막으로 SMS 어플리케이션이 엄마에게 메시지 전송을 완료하였음을 보여주는 제 4 인터페이스(960)가 제공될 수 있다.
한편, 사용자의 발화가 “하와이 사진을 공유해줘(923)”이고, 그 발화로부터 전송 매체와 수신처가 획득되지 않는 경우, 제 2 인터페이스(940)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 이에 따라 지능형 에이전트는 예컨대, “누구한테 무엇으로 보낼까요?”라고 음성 문의할 수 있고, 이에 응답하여 사용자가 “메시지로 엄마한테”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다.
사용자의 발화가 “하와이 사진을 메시지로 공유해줘(925)”이고, 그 발화로부터 수신처 획득되지 않는 경우, 제 3 인터페이스(950)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 사용자가 추가적으로 “엄마한테”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다.
사용자의 발화가 “하와이 사진을 엄마한테 공유해줘(927)”이면, 그 발화 속에 전송 매체가 없는 것이어서, 제 2 인터페이스(940)를 디스플레이를 통해 제공하는 과정까지만 수행될 수 있다. 사용자가 추가적으로 “메시지로”라고 발화하면, 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수 있다. 다른 예로, 전송 매체는 예컨대, 연락처 정보에 기초하여 SMS로 자동으로 선택되어 제 4 인터페이스(960)를 제공하는 과정까지 추가적으로 수행될 수도 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(900)는 지능형 에이전트를 통해 전자 장치(900) 내 어플리케이션을 제어하여 패스 룰을 수행할 뿐만 아니라, 전자 장치(900)에 기능적으로 연결된 외부 전자 장치의 기능들도 제어하여 패스 룰을 수행할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(900)는, 어플리케이션 혹은 외부 전자 장치에서 제공되는 기능의 변경(확장이나 제한)을 인지하고, 이를 패스 룰을 선택하는데 이용할 수 있다. 또한, 전자 장치(900)는 특정 기능의 제공 여부와 더불어 어플리케이션에서 기능을 수행하기 위한 상태(state)의 변화를 인지하고 이를 패스 룰 선택에 이용할 수 있다. 상태의 변화는 어플리케이션의 버전에 따른 기능의 변경과 연동될 수 있으나, 기능이 바뀌지 않은 상태에서도 상태의 변화가 가능하고 이를 전자 장치(900)에서 인지하여 패스 룰 선택에 활용할 수 있다.
도 10는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전을 관리하는 동작을 설명하기 위한 도면이다.
도 10를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치(1010)는 실행 매니저 모듈(1011), 지능형 에이전트(1013) 및 어플리케이션들(1015)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버(1020)는 NLU 모듈(1021), 패스 플래너 모듈(1023) 및 패스 룰 세트 DB(1025)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1011)은 전자 장치(1010)에 설치된 어플리케이션들(1015)의 실행을 관리할 수 있다. 또한, 실행 매니저 모듈(1011)은 각 어플리케이션의 종류 및 버전 정보를 포함하는 메타데이터를 어플리케이션들(1015)로부터 수집(A)하여 지능형 에이전트(1013)로 전송(B)할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1013)는, 입력 모듈을 통해 어플리케이션의 제어를 위한 사용자 입력(예: 발화(utterance)나 터치 입력 등)을 수신하여 서버(1020)의 NLU 모듈(1021)로 전송(C)할 수 있다. 또한, 실행 매니저 모듈(1011)에 의해 수집된 어플리케이션의 메타데이터는 지능형 에이전트(1013)를 통해 패스 플래너 모듈(1023)로 전송(D)될 수 있다.
본 발명의 다양한 실시예에 따른 패스 룰 세트 DB(1025)는 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 패스 플래너 모듈(1023)은, 전자 장치(1010)로부터 받은 메타데이터를 토대로, 전자 장치(1010)에 설치되어 있는 각 어플리케이션의 버전과 일치하는 패스 룰 세트(1027)를 DB(1025)로부터 획득하여 NLU 모듈(1021)가 접근(E)하게 할 수 있다. 예를 들어, NLU 모듈(1021)은 패스 플래너 모듈(1023)에 의해 선별된 패스 룰 세트(1027)를 DB(1025)에 접근하여 읽어 갈 수 있다. 다른 예로, 패스 플래너 모듈(1023)은 패스 룰 세트(1027)를 별도의 저장 공간에 임시 저장하고, 이것을 NLU 모듈(1021)에 통보하고, 이에 따라 NLU 모듈(1021)이 패스 룰 세트(1027)를 상기 별도의 저장 공간으로부터 읽어 갈 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 모듈(1021)은 사용자 입력(발화 혹은 터치 입력)를 분석하여 사용자의 의도(intent)를 파악하고 의도에 대응하는 패스 룰을 패스 룰 세트(1027)에서 선택할 수 있다.
일 실시예에 따르면, 실행 매니저 모듈(1011)이 직접 제어 할 수 있는 어플리케이션이 통화 어플리케이션(1015a), 헬스 어플리케이션(1015b) 및 SMS 어플리케이션(1015c)라고 한다면, 실행 매니저 모듈(1011)은 각 어플리케이션의 종류와 버전 정보를 포함하는 메타데이터를 수집하여 지능형 에이전트(1013)를 통해 서버(1020)로 전달할 수 있다. 전자 장치(1010)의 입력 모듈을 통해 사용자 입력 예컨대, “엄마에게 전화를 걸어줘” 라는 발화가 수신되면, 상기 수집된 메타데이터는 패스 플래너 모듈(1023)로 전달될 수 있다. 패스 플래너 모듈(1023)은, 수신된 메타데이터에 기초하여, 전자 장치(1010)에 설치된 각 어플리케이션의 버전과 일치하는 패스 룰 세트(1027) 예컨대, “Call application rule set ver 1.1, Health application rule set v2.1, SMS application rule set ver 3.0”을 패스 룰 세트 DB(1025)에서 읽어 와 NLU 모듈(1021)에 제공할 수 있다. NLU 모듈(1021)은 사용자 입력의 도메인을 “Call application”으로 결정하고, 분석된 사용자 의도에 해당하는 패스 룰을 “Call application rule set ver 1.1”에 있는 패스 룰들 중에서 하나로 최종 선택할 수 있다.
본 발명의 다양한 실시예에 따르면, 사용자가 지능형 에이전트(1013)를 사용하여 전자 장치(1010)를 제어함에 있어서, 실행 매니저 모듈(1011)을 통해 지능형 에이전트(1013)에 기능적으로 연결된 어플리케이션이 버전 변경 등을 통해 기능이 확장되거나 변경될 경우, 해당 정보는 지능형 에이전트(1013)에서 인지될 수 있다. 따라서, 사용자가 지능형 에이전트(1013)를 통해 어플리케이션이나 외부 전자 장치를 제어하는 것이 용이할 수 있다. 또한, 본 발명의 다양한 실시예는, 어플리케이션의 종류와 버전이 많아짐에 따라 특정 패스 룰을 선택하는 작업의 복잡도가 기하급수적으로 증가할 수 있는데, 이를 효율적으로 제어하는 방법 및 장치를 제공할 수 있다.
본 발명의 다양한 실시예는 지능형 에이전트를 이용하여 각각의 어플리케이션을 개별 제어하는 시스템에 관한 것이다. 이와 같은 시스템의 경우 어플리케이션과 지능형 에이전트는 각각 버전이 개별적으로 업데이트될 수 있고 또한, 사용자의 각각의 전자 장치에 있는 지능형 에이전트의 버전이 동일하더라도 전자 장치에 설치된 어플리케이션의 버전은 각각 상이할 수 있다. 이러한 경우 지능형 에이전트에서 제공하는 어플리케이션의 기능은 어플리케이션의 버전에 따라 바뀔 수 있다. 아래 표 1은 어플리케이션의 버전 변화에 따라 지원되는 패스 룰이 바뀌는 상황에 대한 하나의 예시이다.
사용자 명령 Path rule VER 1.0 VER 2.0 비고
갤러리 실행해줘 Rule 1 O O 둘다 지원(Case 1)
가장 최근 하와이 사진 즐겨찾기 취소해줘 Rule 2 X O 신규 패스 룰 추가(Case 2)
가장 최근 하와이 사진 자동 보정해줘 Rule 3 O X 기존 패스 룰 삭제(Case 3)
가장 최근 하와이 사진 정보 보여줘 Rule 4 O X Conflict(Case 4)
Rule 5 X O Conflict
표 1에서 VER_1.0과 VER_2.0은 어플리케이션의 버전에 따라 지원하는 패스 룰이 바뀌는 예이다. 패스 룰은 상태(state)의 집합으로 “갤러리 실행해줘”와 같은 사용자 입력을, 해당 앱/서비스를 사용하여, 처리하는 완전한 행위를 의미할 수 있다. 상태는 사용자의 행동(터치 등) 결과의 상태로 특정 스크린으로 이동한 상태를 의미할 수 있다.
표 1에서 Rule 1과 같이 두 가지 버전에 상관 없이 모두 지원하는 형태도 있으나, Rule 2와 같이 기존에 지원하지 않던 패스 룰이 어플리케이션의 버전이 바뀌면서 새롭게 지원되는 경우도 있고, 반대로 Rule 3과 같이 기존에 지원하던 패스 룰이 어플리케이션의 버전이 바뀌면서 삭제되는 경우도 있다.
표 1에서 Rule 4 및 Rule 5의 경우, “가장 최근 하와이 사진 정보 보여줘” 라는 동작에 해당되는 패스 룰이 버전에 따라 Rule 4 로 수행되던 경우가 다른 버전에서는 Rule 5로 수행되어야 하는 경우도 존재할 수 있다. 위와 같은 경우 사용자가 원하는 “가장 최근 하와이 사진 정보 보여줘”를 수행하기 위해서는 어플리케이션에서는 받아야 하는 패스 룰이 달라질 수 있다. 따라서 어플리케이션의 버전 정보에 따라 패스 룰의 추가, 삭제, 수정되는 경우가 발생할 수 있다. 패스 룰 정보를 기반으로 어플리케이션의 동작을 관리하는 지능형 에이전트의 경우, 사용자의 의도대로 어플리케이션을 수행하기 위해 해당 버전에 따른 패스 룰의 변화를 인지할 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 NLU 모듈에서 발화를 처리하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따르면, 도 11에서 좌측의 모델(1110)은, 어플리케이션의 다양한 버전이 존재하지 않는 예시로서, 사용자가 발화(1111)를 하게 되면 이를 NLU 모듈(1113)에서 처리하여 발화의 의도(intent)를 파악하고 이러한 의도에 해당하는 패스 룰을 그 세트(1115)에서 선택할 수 있다.
본 발명의 다양한 실시예에 따르면, 도 11에서 우측의 모델(1120)은 패스 룰 선택 시 사용자의 발화와 함께 어플리케이션의 버전을 고려하는 모델로서, 사용자가 발화(1121)를 하게 되면 어플리케이션의 버전 정보(1122)가 발화(1121)와 함께 NLU 모듈(1123)로 전달될 수 있다. NLU 모듈(1123)은 버전 정보를 고려하여 여러 패스 룰 세트들(1125) 중 버전 정보(1122)에 해당하는 하나의 세트를 선택할 수 있다. NLU 모듈(1123)은 선택된 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다.
도 12은 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 12을 참조하면, 동작 1201에서 전자 장치(1210)의 프로세서(예: 도 2의 150)는 입력 모듈(예: 도 2의 110)을 통해 어플리케이션 제어를 위한 사용자 입력(발화나 터치 입력)을 수신할 수 있다. 동작 1202에서 전자 장치(1210)의 프로세서는 지능형 에이전트로 제어가 가능한 전자 장치(1210)에 설치된 어플리케이션들의 각 버전 정보를 수집할 수 있다. 버전 정보뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다. 동작 1203에서 전자 장치(1210)의 프로세서는 사용자 입력과 함께, 수집된 메타데이터(적어도 각 어플리케이션의 버전 정보를 포함)를 서버(1220)로 전송할 수 있다.
동작 1204에서 서버(1220)는 사용자 입력을 NLU 모듈로 보내어 사용자 의도를 분석하게 할 수 있다. 또한, 서버(1220)는 메타데이터를 패스 플래너 모듈로 보내어 패스 룰 세트 DB에서 메타데이터에 대응하는 패스 룰 세트를 선택하게 할 수 있다. 동작 1205에서 서버(1220)는 선택된 패스 룰 세트에서 사용자 의도에 일치하는 패스 룰을 선택하여 전자 장치(1210)로 전송할 수 있다. 한편, 선택된 패스 룰 세트에서 사용자 의도에 일치하는 패스 룰이 없거나 선택된 패스 룰이 해당 어플리케이션의 버전을 지원하지 못하는 경우, 서버(1220)는 패스 룰 대신, 사용자 입력을 처리할 수 없음을 의미하는 통보를 전자 장치로 전송할 수도 있다.
동작 1206에서 전자 장치(1210)의 프로세서는 서버(1220)로부터 수신된 패스 룰을 이용하여 어플리케이션의 동작을 제어할 수 있다.
도 13는 본 발명의 다양한 실시예에 따른, 패스 룰을 서버에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 13를 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(1310)에서 실행 매니저 모듈(1311)은 전자 장치(1310)에 설치된, 실행 매니저 모듈(1311)에 의해 제어 가능한 어플리케이션들로부터 버전 정보들(1312)을 획득할 수 있다. 버전 정보들(1312)은 실행 매니저 모듈(1311)을 통해 지능형 에이전트(1313)로 버전 세트 형태, 즉 어플리케이션들의 각 버전 정보가 모여 있는 형태로 제공될 수 있다. 이 정보는, 사용자 입력과 함께 또는 사용자 입력이 서버(1320)로 전달된 후, 서버(1320)에 전달될 수 있다.
본 발명의 다양한 실시예에 따르면, 서버(1320)는 통신 모듈(1321), NLU 모듈(1322), 패스 플래너 모듈(1323) 및 패스 룰 세트 DB(1324)를 포함할 수 있다. NLU 모듈(1322)는 NLU 서비스 선택 모듈(1322a), DNLU(deep learning-based NLU) 모듈(1322b), 및 RNLU(rule-based NLU) 모듈(1322c)을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 서비스 선택 모듈(1322a)은, DNLU 모듈(1322b) 및 RNLU 모듈(1322c) 중 하나를, 사용자 입력을 분석할 모듈로서, 선택할 수 있다. 예컨대, 분석 모듈로서 RNLU 모듈(1322c)이 우선적으로 선택될 수 있다. 또는, 도메인의 종류, 의도의 종류, NLU 엔진의 변수 값, 발화의 종류, 또는 발화의 복잡도 중 어느 하나가 분석 모듈의 선택을 위한 기준으로서 사용될 수 있다. 또는, ASR 모듈(예: 도 4의 210)에 의해 생성된 텍스트 데이터의 크기(size)에 기초하여 두 모듈 중 하나가 분석 모듈로 선택될 수 있다. 예컨대, 크기가 기 정해진 기준치를 상회할 경우 DNLU 모듈(1322b)가 분석 모듈로 선택될 있다. 또한, NLU 서비스 선택 모듈(1322a)은 통신 모듈(1321)을 통해 전자 장치(1310)로부터 수신된 사용자 입력을 상기 선택된 분석 모듈로 보내어 패스 플래너 모듈(1323)에 의해 선택된 패스 룰 세트에서 사용자 입력에 대응하는 패스 룰을 선택하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1323)은 NLU 모듈(1322)을 통해 통신 모듈(1321)로부터 전자 장치(1310)로부터 수신된 버전 정보들을 수신하고, 버전 정보들로부터 전자 장치(1310)에 실행되는 어플리케이션들 각각의 버전을 인식할 수 있다. 패스 플래너 모듈(1323)은 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(1324)를 관리할 수 있다. 패스 플래너 모듈(1323)은 전자 장치(1310)에 설치된 어플리케이션의 버전 정보에 해당하는 패스 룰 세트를 그 DB(1324)에서 획득하여 상기 선택된 분석 모듈에 제공할 수 있다. 추가적으로, DB에서 패스 룰 세트들은 버전 정보뿐 아니라, 다른 정보(예: 지역, 사업자 명)별로 관리될 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1323)과 패스 룰 세트 DB(1324)는 NLU 모듈(1322)와 하나의 모듈로 구현될 수 있다.
본 발명의 다양한 실시예에 따르면, 어플리케이션의 버전이 다르더라도 패스 룰 세트는 동일할 수 있다. 예를 들어, 아래 표 2와 같이, Gallery_2.1.0, Gallery_2.2.0, 및 Galley_2.3.0은 동일한 패스 룰 세트 “Galley_KOR_SKT_R1”를 가질 수 있다.
어플리케이션 _버전 어플리케이션 _지역_ 사업자 명 _패스 룰 세트 버전
Galley_2.1.0 Galley_KOR_SKT_R1
Galley_2.2.0
Galley_2.3.0
Galley_2.4.0 Galley_KOR_SKT_R2
본 발명의 다양한 실시예에 따르면, 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(domain classifier model), 의도 분류 모델(intent classifier model) 및 파라미터 태거 모델(parameter tagger model)로 나뉠 수 있고, 이러한 모델들은 상기 선택된 분석 모듈에서 순차적으로 수행될 수 있다.
한 실시예에 따르면, RNLU 모듈(1322c)이 분석 모듈로서 선택되어 사용자 입력을 수신할 수 있다. 예컨대, 사용자 입력이 “엄마한테 늦는다고 문자 보내줘”인 경우, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 도메인 분류 모델(1322c_2)를 수행하여 SMS 어플리케이션을 도메인으로 결정할 수 있다. 다음으로, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 의도 분류 모델(1322c_3)을 수행(예컨대, 기 정해진 규칙(Rule)에 따라 텍스트 데이터에서 키워드(예: '문자', '전송')를 검색함으로써 문법적 및/또는 의미적 분석을 수행)하여 “문자 전송”을 사용자의 의도로 파악하고, 패스 플래너 모듈(1323)로부터 수신된, SMS 어플리케이션(결정된 도메인)의 패스 룰 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다. 다음으로, RNLU 서비스 모듈(1322c_1)은 사용자 입력에 대해 파라미터 태거 모델(1322c_4)을 수행하여 사용자 입력에서 '늦는다(내용)'와 '엄마(수신처)'를 파라미터로 결정하고, 파라미터를 패스 룰과 함께 통신 모듈(1321)을 통해 전자 장치(1310)로 전송할 수 있다.
다른 실시예에 따르면, DNLU 모듈(1322b)이 분석 모듈로서 선택되어 사용자 입력을 수신할 수 있다. DNLU 서비스 모듈(1322b_1)은 사용자 입력에 대해 도메인 분류 모델(1322b_2), 의도 분류 모델(1322b_3; 예: 딥러닝에 기반한 문법적 및/또는 의미적 분석) 및 파라미터 태거 모델(1322b_4)를 순차적으로 수행하여, 도메인, 의도 및 파라미터를 결정하고, 상기 결정된 도메인의 패스 룰 세트에서 의도에 대응하는 패스 룰을 선택하고, 패스 룰과 함께 파라미터를 통신 모듈(1321)을 통해 전자 장치(1310)로 전송할 수 있다.
또 다른 실시예에 따르면, DNLU 모듈(1322b)와 RNLU 모듈(1322c)은 상호 연동하여 사용자 입력을 분석할 수 있다. 예를 들어, RNLU 모듈(1322c)이 도메인 분류와 파라미터 태깅을 수행하고, DNLU 모듈(1322b)가 의도 분류를 수행할 수 있다. 다른 예로서, RNLU 모듈(1322c)이 분석 모듈로서 우선적으로 선택되어 도메인을 결정한 후, 의도 분류 모델(1322c_3)를 수행하여 파악한 의도의 확률(사용자의 의도일 가능성을 나타내는 정도)이 미리 정해진 기준치를 밑돌 경우, DNLU 모듈(1322b)을 의도 분석 모듈로 결정하여 사용자 입력과 도메인을 DNLU 모듈(1322b)에게 전달할 수 있다. 이에 따라, DNLU 모듈(1322b)은 RNLU 모듈(1322c) 대신, 의도 분류 모델을 수행하여 최종적으로 패스 룰을 선택할 수 있다. 또 다른 예로서, RNLU 모듈(1322c)이 분석 모듈로서 우선적으로 선택되어 도메인을 결정한 후, 결정된 도메인이 다수인 경우 DNLU 모듈(1322b)을 의도 분석 모듈로 결정하여 사용자 입력과 도메인을 DNLU 모듈(1322b)에게 전달할 수 있다.버전이나 어플리케이션이 점점 증가할 경우, 패스 룰의 파편화 역시 증가할 수 있다. 이로 인해 패스 룰 확정을 위한 연산 량이 증가되고 사용자가 원하는 패스 룰이 선택될 가능성이 점점 낮아지는 등 통합 지능화 시스템의 운영이 더 어려워질 수 있다. 본 발명의 다양한 실시예는 도메인 분류자 모델과 파라미터 태거 모듈을 버전 별로 변화가 없도록 고정하고 의도 분류자 모델에 한해서만 버전 별로 변경함으로써 패스 룰 확정을 위한 연산 량을 줄어들게 할 수 있다.
도 14는 본 발명의 다양한 실시예에 따른, DNLU와 RNLU의 연동을 통해 사용자 입력을 처리하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따르면, 서버(1420)는 통신 모듈(1421), NLU 모듈(1422), 패스 플래너 모듈(1423) 및 패스 룰 세트 DB(1424)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 모듈(1422)은 DNLU 모듈(1422a)과 RNLU 모듈(1422b)을 포함할 수 있다. DNLU 모듈(1422a)은 도메인 분류 매니저(1422a_1), 의도 분류 매니저(1422a_2) 및 파라미터 태거(1422a_3)를 포함할 수 있다. RNLU 모듈(1422b)은 의도 분류 매니저(1422b_1), 파라미터 태거(1422b_2) 및 버전 매니저(1422b_3)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저(1422b_3)는 패스 플래너 모듈(1423)의 구성 요소일 수도 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(1423)과 패스 룰 세트 DB(1424)는 NLU 모듈(1422)과 하나의 모듈로 구현될 수 있다.
본 발명의 다양한 실시예에 따르면, 통신 모듈(1421)은 전자 장치(1410)로부터 사용자 입력을 수신하여 NLU 모듈(1422)로 전달할 수 있다. 통신 모듈(1421)은, 사용자 입력과 함께 또는 사용자 입력을 수신한 후, 전자 장치(1410)로부터 어플리케이션들의 각 버전 정보를 수신하여 NLU 모듈(1422) 또는 패스 플래너 모듈(1423)로 전달할 수 있다. 통신 모듈(1421)은 NLU 모듈(1422)의 의해, 사용자 입력 및 상기 버전 정보들에 기초하여, 선택된 패스 룰을 NLU 모듈(1422)로부터 전달 받아 전자 장치(1410)로 전송할 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(1422a)의 도메인 분류 매니저(1422a_1)는 사용자 입력의 도메인을 결정하여 DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 사용자 입력을 분석하여 사용자의 의도를 파악하고 의도에 대응하는 패스 룰의 후보로서 다수의 패스 룰들을 패스 룰 세트 DB(1424)에서 선택할 수 있다. DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 선택된 후보들을 RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)는 DNLU 모듈(1422a)로부터 전달받은 후보들을 규칙(rule) 기반의 의도 분류(intent classification) 기법을 통해 각 후보와 사용자 입력의 매칭(matching) 정도를 판단할 수 있다. 예컨대, RNLU 모듈(1422b)의 의도 분류 매니저(1422b_1)는 각 후보의 MQ(matching Quality)를 계산함으로써 각 후보의 사용자 입력 간의 패스 룰 매칭(path rule matching)의 정확도를 판단할 수 있다. 후보들 모두, MQ 레벨이 특정 임계치 이하인 경우, DNLU 모듈(1422a)에 패스 룰 매칭(path rule matching)을 요청할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 룰 매칭(path rule matching)의 요청에 반응하여, DNLU 모듈(1422a)의 의도 분류 매니저(1422a_2)는 딥러닝 기반의 의도 분류 기법을 통해 의도를 파악하고, 의도에 대응하는 패스 룰을 패스 룰 세트에서 선택할 수 있다. 여기서, 패스 룰 세트는 패스 플래너 모듈(1423)이 상기 버전 정보들에 기초하여 패스 룰 세트 DB(1424)로부터 선별한 것일 수 있다. 또한, 상기 요청에 반응하여, DNLU 모듈(1422a)의 파라미터 태거(1422a_3)는 사용자 입력으로부터 파라미터를 획득할 수 있다. DNLU 모듈(1422a)은 상기 요청에 따라 의도 분류 매니저(1422a_2)에 의해 선택된 패스 룰과 파라미터 태거(1422a_3)로부터 획득한 파라미터를 통신 모듈(1421)을 통해 전자 장치(1410)로 전송할 수 있다.
본 발명의 다양한 실시예에 따르면, 어떠한 후보의 MQ 레벨이 특정 임계치 이상인 경우, RNLU 모듈(1422b)의 버전 매니저(1422b_3)는 해당 후보가 전자 장치(1410)에 설치된 어플리케이션의 버전 정보에 해당하는 것인지 여부를 확인할 수 있다. 예를 들어, 후보가 어플리케이션의 버전을 지원 가능한 것으로 확인된 경우, 버전 매니저(1422b_3)는 후보를 사용자에게 전송할 패스 룰로 결정하고, 파라미터 태거(1422b_2)로부터 획득한 파라미터와 함께 전자 장치(1410)으로 전송할 수 있다. 후보가 어플리케이션의 버전을 지원 불가능한 것으로 확인된 경우, 버전 매니저(1422b_3)는 패스 룰 대신, 사용자 입력을 처리할 수 없음을 의미하는 통보를 전자 장치(1410)로 전송할 수도 있다. 이러한 통보 대신 다른 예로, 버전 매니저(1422b_3)는 지원 불가능한 패스 룰(후보) 대신, 다른 패스 룰을 전자 장치(1410)로 전송할 수도 있다. 예를 들어, 버전 매니저(1422b_3)는 상기 패스 룰(후보)를 전자 장치(1410)에 설치된 어플리케이션의 버전에 맞는 패스 룰로 변환하여 전자 장치(1410)로 전송할 수 있다. 여기서, 버전 변경을 위한 패스 룰 리스트는 버전 매니저(1422b_3)에 의해 패스 룰 세트 DB(1424) 또는 다른 저장소에 저장될 수 있다.
도 15은 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치(사용자 단말)에 의해 결정하도록 구성된 통합 지능화 시스템에서 에이전트 서비스 방법을 설명하기 위한 흐름도이다.
도 15을 참조하면, 동작 1501에서 전자 장치(1510)의 프로세서(예: 도 2의 150)는 입력 모듈(예: 도 2의 110)을 통해 어플리케이션 제어를 위한 사용자 입력(발화나 터치 입력 등)을 수신할 수 있다. 동작 1502에서 전자 장치(1510)의 프로세서는 수신된 사용자 입력을 서버(1520)로 전송할 수 있다.
동작 1503에서 서버(1520)는 사용자 입력을 NLU 모듈(예: 도 4의 220)로 보내어 사용자 입력을 분석하여 도메인, 의도 및 파라미터를 획득하게 할 수 있다. 예컨대, 사용자의 요청이 “엄마한테 늦는다고 문자 보내줘”인 경우, 도메인은 SMS 어플리케이션으로, 의도는 “메시지 전송”로, 그리고 파라미터는 '늦는다(내용)'와 '엄마(수신처)”로 결정될 수 있다. 동작 1504에서 서버(1520)는 사용자 입력의 분석 결과로서 “도메인, 의도 및 파라미터”를 전자 장치(1510)에 전송할 수 있다.
동작 1505에서 전자 장치(1510)의 프로세서는 지능형 에이전트(예: 도 2의 151)로 제어 가능한, 전자 장치(1510)에 설치된 어플리케이션들 각각의 버전 정보들을 수집할 수 있다. 버전 정보들뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다. 또한, 전자 장치(1510)에는 지능형 에이전트에 의해 제어 가능한 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 DB가 존재할 수 있다.
동작 1506에서 전자 장치(1510)의 프로세서는 수집된 메타데이터에 대응하는 패스 룰 세트들을 DB에서 획득할 수 있다. 동작 1507에서 전자 장치(1510)의 프로세서는 DB로부터 획득된 패스 룰 세트들 중 도메인에 대응하는 패스 룰 세트를 선택할 수 있다. 동작 1508에서 전자 장치(1510)의 프로세서는 선택된 패스 룰 세트에서 사용자 의도에 대응하는 패스 룰을 선택할 수 있다. 동작 1509에서 전자 장치(1510)의 프로세서는 선택된 패스 룰과 파라미터를 이용하여 어플리케이션의 동작을 제어함으로써 사용자의 요청을 수행할 수 있다.
도 16는 본 발명의 다양한 실시예에 따른, 패스 룰을 전자 장치에 의해 결정하도록 구성된 통합 지능화 시스템을 설명하기 위한 도면이다.
도 16를 참조하면, 본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 실행 매니저 모듈(1611)은 전자 장치(1610)에 설치된, 실행 매니저 모듈(1611)에 의해 제어 가능한 어플리케이션들로부터 버전 정보들(1615)을 획득할 수 있다. 버전 정보들(1615)은 실행 매니저 모듈(1611)에서 버전 매니저 모듈(1614)로, 버전 세트 형태, 즉 어플리케이션들의 각 버전 정보가 모여 있는 형태로 제공될 수 있다. 버전 정보뿐 아니라, 메타데이터로서 지역, 사업자 명 등 다양한 정보가 수집될 수 있다. 이렇게 추가적으로 수집된 정보는 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 지능형 에이전트(1612)는 입력 모듈을 통해 수신된, 어플리케이션의 제어를 위한 사용자 입력을 통신 모듈(1616)을 통해 서버(1620)로 전송하여 분석하게 할 수 있다. 본 발명의 다양한 실시예에 따르면, 전자 장치(1610)에서 패스 플래너 모듈(1613)은 전자 장치(1610)에 설치되어 지능형 에이전트(1612)에 의해 제어 가능한 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 DB를 관리할 수 있다. 어떠한 실시예에 따르면, 패스 플래너 모듈(1613)은 전자 장치(1610)가 아닌, 외부 전자 장치 예컨대, 서버(1620)에 위치할 수도 있다.
본 발명의 다양한 실시예는, 전자 장치(1610)에서 패스 룰 세트 DB(1617)를 관리하고 이러한 DB(1617)를 이용하여 패스 룰을 확정함으로써, 예컨대 도 13의 서버(1320)와 비교해보면, 서버(1620)의 연산 량을 줄일 수 있고, 전자 장치(1610)에 설치된 어플리케이션의 버전이 바뀔 때마다 이를 서버(1620)에 등록하는 과정을 생략할 수 있으며, 따라서 서버(1620)를 효율적으로 관리하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저 모듈(1614)은 사용자 입력의 분석 결과로서 서버(1620)로부터 도메인, 의도 및 파라미터를 통신 모듈(1616)을 통해 수신할 수 있다. 버전 매니저 모듈(1614)는 실행 매니저 모듈(1611)로부터 수집된 버전 정보들을 패스 플래너 모듈(1613)로 보내어 대응하는 패스 룰 세트들을 DB에서 획득하게 할 수 있다. 또한, 버전 매니저 모듈(1614)는 상기 도메인을 패스 플래너 모듈(1613)로 보내어 상기 획득된 패스 룰 세트들에서 상기 도메인에 해당하는 하나의 세트를 선택하게 할 수 있다. 또한, 버전 매니저 모듈(1614)은 패스 플래너 모듈(1613)로 사용자 의도를 보내어 상기 선택된 하나의 패스 룰 세트에서 하나의 패스 룰을 선택 즉, 확정하게 할 수 있다. 또한, 버전 매니저 모듈(1614)은 확정된 패스 룰과 함께 파라미터를 실행 매니저 모듈(1611)로 보낼 수 있다. 이에 따라 실행 매니저 모듈(1611)은 수신된 패스 룰 및 파라미터를 이용하여 어플리케이션을 제어함으로써 사용자 입력에 대응하는 동작을 실행할 수 있다.
본 발명의 다양한 실시예에 따르면, 버전 매니저 모듈(1614) 및 패스 플래너 모듈(1613)에 의해 확정된 패스 룰은 실행 매니저 모듈(1611)에서 어플리케이션의 제어를 위한 패스 룰로 활용될 수 있다. 사용자 의도에 정확히 매칭되는 패스 룰이 해당 세트에 없는 경우, 지능형 에이전트(1612)는 사용자 입력에 대응하는 어플리케이션의 동작을 수행할 수 없음을 출력 모듈(예: 스피커(130), 디스플레이(120))을 통해 사용자에게 알려주거나 사용자 입력에 유사한 힌트를 사용자에게 알려줄 수 있다.
본 발명의 다양한 실시예에 따르면, 서버(1620)는 통신 모듈(1621) 및 NLU 모듈(1622)를 포함할 수 있다. NLU 모듈(1622)는, NLU 서비스 선택 모듈(1622a), DNLU 모듈(1622b), 및 RNLU 모듈(1622c)을 포함할 수 있는데, 각 모듈은 도 13의 각 모듈과 동일한 기능을 수행할 수 있다.
도 17는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 관리하는 동작을 설명하기 위한 도면이다.
도 17를 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(1700)에 설치된 어플리케이션(1710)은 버전 관리에 필요한 정보를 저장소(1720)에 저장할 수 있다. 예를 들어, 어플리케이션(1710)은 자신의 버전을 특정 포멧의 파일로 저장소(1720)에 저장할 수 있다. 해당 파일에는 어플리케이션의 이름, 어플리케이션의 버전, 혹은 패키지(package) 명 등의 정보가 포함될 수 있다.
본 발명의 다양한 실시예에 따르면, 실행 매니저 모듈(1730)은, 전자 장치(1700)에 설치된 모든 어플리케이션들로부터 각각의 버전 정보를 취합할 수 있다. 예를 들어, 실행 매니저 모듈(1730)은, 첫 실행 시에, 버전 정보를 포함하는 메타데이터를 저장소(1720)로부터 취합할 수 있다. 어플리케이션이 설치(install), 업데이트(update), 혹은 삭제(delete) 될 때 해당 메타데이터가 실행 매니저 모듈(1730)로 취합될 수도 있다. 또한, 심(SIM) 카드가 변경될 때, 어플리케이션의 메타데이터가 실행 매니저 모듈(1730)로 취합될 수 있다.
예를 들어, 지능형 에이전트에 의해 제어 가능한 어플리케이션은 “androidNanifest.xml”의 메타데이터에 “PathRuleAppName”을 표기할 수 있다. 단일 패키지 내 에이전트 지원 가능한 어플리케이션이 여럿인 경우 메타데이터 내에 콤마 “,”로 구분하여 예컨대, “PathRuleAppName1”, “PathRuleAppName2”, “PathRuleAppName3”과 같이 표기 가능하다. 또한, 버전 정보는 PathRuleAppName, packageName, 또는 versionName 등으로 구성될 수 있다. 실행 매니저 모듈(1730)은, 최초 실행 시, “androidNanifest.xml”의 메타데이터와 패키지 정보를 검색하여 지능형 에이전트에 의해 제어 가능한 어플리케이션의 버전 정보를 취합 할 수 있다. 또한 어플리케이션이, Install/Update/Delete 시에 해당 어플리케이션 정보의 변경 사항을 저장소(1720)에 업데이트할 수 있고, SD 카드의 탈/부착 시에도 어플리케이션의 변경 사항이 실행 매니저 모듈(1630)에 의해 확인될 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 전체 동기화 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(1800)에서 지능형 에이전트에 의해 제어 가능한 어플리케이션들(1810)은 전자 장치(1800)에 프리로드되거나 설치될 때 버전 관리에 필요한 정보를 특정 저장소(1820)에 파일 형태로 관리할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1830)는, 전자 장치(1800)의 부팅 완료, 전자 장치(1800)로 SD 카드의 삽입 또는 전자 장치(1800)로부터 SD 카드의 제거를 인지(A)하면, 어플리케이션들의 전체 동기화를 실행 매니저 모듈(1840)에게 요청(B)할 수 있다. 지능형 에이전트(1830)는 요청(B)에 대한 응답으로서 어플리케이션들 각각의 버전 정보를 실행 매니저 모듈(1840)로부터 수신(C)하여 서버로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1840)은 요청(B)에 따라 저장소(1820)에 액세스하여 버전 정보들을 취합(E)하고 취합된 정보를 지능형 에이전트(1830)로 전송(C)할 수 있다.
도 19은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 부분 동기화 동작을 설명하기 위한 도면이다.
도 19을 참조하면, 본 발명의 다양한 실시예에 따른, 지능형 에이전트에 의해 제어 가능한 어플리케이션들(1910)은 전자 장치(1900)에 프리로드되거나 설치될 때 버전 관리에 필요한 정보를 특정 저장소(1920)에 파일 형태로 관리할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(1930)는, SIM 카드의 변경 또는 에이전트의 최초 실행을 인지(A)하면, 어플리케이션들의 부분 동기화를 실행 매니저 모듈(1940)에게 요청(B)할 수 있다. 지능형 에이전트(1930)는 요청(B)에 대한 응답으로서 어플리케이션들 각각의 버전 정보를 실행 매니저 모듈(1940)로부터 수신(C)하여 서버로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(1940)은 요청(B)에 반응하여 어플리케이션들(1910)에게 버전 정보의 업데이트를 요청(E)할 수 있다. 어플리케이션들(1910) 중 버전 정보가 변경된 어플리케이션은 요청(E)에 응답할 수 있다. 이에 따라 실행 매니저 모듈(1940)은 저장소(1920)에 액세스하여 응답을 한 어플리케이션의 버전 정보를 취합(F)하고 취합된 정보를 지능형 에이전트(1930)로 전송(C)할 수 있다.
도 20은 본 발명의 다양한 실시예에 따른 버전 정보 관리 방법에 있어서 인터렉션(interaction) 동기화 동작을 설명하기 위한 도면이다.
도 20을 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(2000)에 설치된 어플리케이션(2010)은 자신의 변경 사항(설치, 업데이트 또는 삭제)을 실행 매니저 모듈(2020)에 통보(A)할 수 있다. 또한, 어플리케이션(2010)은 버전 관리에 필요한 정보로서 상기 변경 사항을 특정 저장소(2030)에 파일 형태로 저장(B)할 수 있다.
본 발명의 다양한 실시예에 따른 실행 매니저 모듈(2020)은, 인터렉션 동기화 동작으로서, 통보(A)에 반응하여 저장소(2030)에 액세스하여 어플리케이션(2010)의 버전 정보를 읽어 와(C) 지능형 에이전트(2040)로 전송(D)할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(2040)는 실행 매니저 모듈(2020)로부터 수신된 버전 정보를 서버로 전송(E)할 수 있다.
도 21는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 업데이트하는 동작을 설명하기 위한 도면이다.
도 21를 참조하면, 본 발명의 다양한 실시예에 따른, 전자 장치(2110)에서 지능형 에이전트(2111)는 서버(2120)로부터 어플리케이션의 버전 정보를 수신(A)할 수 있다. 예컨대, 수신(A)된 버전 정보는 에이전트 서비스의 지원 가능한 버전 정보를 포함할 수 있다. 예를 들어, 어플리케이션은, Version 2.0 이상인 경우, 지능형 에이전트(2111)에 의해 제어 가능하고 그 보다 아래 버전인 경우 지능형 에이전트(2111)에 의한 제어가 불가능할 수 있다. 또한, 수신(A)된 버전 정보는 해당 어플리케이션의 최신 버전 정보를 포함할 수도 있다. 한편, 에이전트 서비스의 지원 가능한 버전 정보는 서버(2120)가 아닌, 해당 어플리케이션과 관련된 데이터로서 전자 장치(2110)에 저장된 것일 수 있고, 지능형 에이전트(2111)는 이러한 데이터를 참조하여 전자 장치(2110)에 설치된 해당 어플리케이션의 버전이 에이전트 서비스를 지원 가능한 버전인지 여부를 파악할 수 있다.
지능형 에이전트(2111)는 전자 장치(2110)에 설치된 어플리케이션(2112)의 버전 정보를 실행 매니저 모듈(2113)를 통해 수집(B)할 수 있다. 지능형 에이전트(2111)는 수신(A)된 것과 수집(B)된 것의 비교를 통해 어플리케이션(2112)의 버전이 최신 버전인지 여부를 파악할 수 있다. 또한, 지능형 에이전트(2111)는 상기 비교를 통해 어플리케이션(2112)의 업데이트가 필요한지 여부를 파악할 수 있다. 예컨대, 지능형 에이전트(2111)는, 지능형 에이전트(2111)에 의해 제어 가능한 최소한의 버전이 Version 2.0인데, 전자 장치(2110)에 설치된 어플리케이션(2112)의 버전이 Version 1.0인 경우, 어플리케이션(2112)의 업데이트가 필요한 것으로 결정할 수 있다.
본 발명의 다양한 실시예에 따른 업데이트 모듈(2114)은 지능형 에이전트(2111)의 어플리케이션(2112)에 대한 업데이트 요청을 수신(C)할 수 있다. 예컨대, 업데이트 모듈(2114)은 업데이트 요청의 응답으로서 외부 전자 장치(예: 어플리케이션 제공 서버)로부터 어플리케이션(2112)의 최신 버전을 다운로드하여 어플리케이션(2112)을 업데이트할 수 있다.
본 발명의 다양한 실시예는, 상술한 바와 같이 어플리케이션(2112)을 업데이트함으로써 어플리케이션의 버전 파편화를 방지할 수 있다. 또한, 본 발명의 다양한 실시예는, 어플리케이션(2112)을 자동으로 업데이트 함으로써 어플리케이션(2112)의 기능을 지능형 에이전트(2111)로 제어할 수 있도록 한 에이전트 서비스를 사용자에게 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 지능형 에이전트(2111)에서 제어 가능한 모든 어플리케이션의 버전을 통합 관리하여 한꺼번에 버전 업데이트를 실시하거나 일부 어플리케이션의 업데이트를 실시하는 것이 가능하다.
본 발명의 다양한 실시예에 따르면, 지능형 에이전트(2111)를 최초 구동 할 때 특정 어플리케이션의 버전이 에이전트 서비스를 지원하지 못하는 버전인 경우 에이전트 서비스를 지원하는 최신 버전으로 어플리케이션의 버전 업데이트를 먼저, 업데이트 모듈(2114)에서 수행한 후 에이전트 서비스가 개시될 수 있다.
도 22은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보에 기초한 에이전트 서비스를 위한 서버의 동작들을 설명하기 위한 흐름도이다.
도 22을 참조하면, 동작 2201에서 서버(예: 도 2의 200)는 전자 장치(예: 도 2의 100)로부터 수신된 사용자 입력을 NLU 모듈(예: 도 4의 220)로 보내어 도메인 분류를 수행하게 할 수 있다. NLU 모듈에서는 사용자 입력을 분석함에 있어 먼저, 사용자 입력의 도메인 분류를 수행할 수 있다. 이는 사용자 입력이 어떠한 도메인에 속하는지 판단하는 과정일 수 있다.
동작 2202에서 서버는 사용자 입력의 도메인을 패스 플래너 모듈(예: 도 4의 230)로 전달하여 도메인에 해당하는 어플리케이션의 버전 정보를 선택하게 할 수 있다. 즉, 패스 플래너 모듈은 전자 장치로부터 수신된 어플리케이션들의 버전 정보들 중 상기 도메인에 해당하는 어플리케이션의 버전 정보를 선택할 수 있다. 예컨대, 전자 장치로부터 수신된 버전 정보는 Call Application ver 1.1, Health Application ver 2.1, SMS Application ver 4.0인데, 이들 중 상기 도메인에 해당하는 버전 정보는 SMS Application ver 4.0일 수 있다.
동작 2203에서 서버는 상기 선택된 버전 정보에 대응하는 패스 룰 세트를 DB에서 선택하게 패스 플래너 모듈을 제어할 수 있다. 예를 들어, 패스 플래너 모듈은 SMS Application ver 4.0 rule set을 선택할 수 있다. 전자 장치로부터 수신된 정보에는 버전 정보뿐 아니라 메타데이터로서 지역, 사업자 명 등 다양한 정보가 포함될 수 있다. 이러한 메타데이터는 상기 선택된 버전 정보와 함께 패스 룰 세트의 선택 시 활용될 수 있다.
동작 2204에서 서버는 선택된 패스 룰 세트를 NLU 모듈로 보내어 의도 분류를 수행하여 사용자 입력에 해당하는 패스 룰을 선택하게 할 수 있다. 즉, NLU 모듈은 사용자 입력을 분석함에 있어, 사용자 입력의 도메인 분류 후 의도 분류를 수행할 수 있다. 이는 패스 플래너 모듈에서 사용자 입력의 도메인에 맞게 선택한 패스 룰 세트에서 사용자 의도에 해당하는 적어도 하나의 패스 룰을 선택하는 과정일 수 있다. 예를 들어, 사용자가 “문자 보내줘” 라고 발화를 하게 되면 NLU 모듈은 도메인 분류를 통해 해당 발화가 SMS 도메인에 속한 것으로 판단할 수 있다. 패스 플래너 모듈은 SMS 도메인에 해당하는 패스 룰 세트를 의도 분류를 위해 NLU 모듈에 제공할 수 있다. 예컨대, 패스 플래너 모듈은 SMS_패스 룰 세트들 중 전자 장치에 설치된 SMS 어플리케이션의 버전에 해당하는 패스 룰 세트를 NLU 모듈에 제공할 수 있다. NLU 모듈은 사용자 입력을 분석하여 사용자 의도를 파악하고 파악된 의도에 해당하는 패스 룰을 패스 플래너 모듈로부터 제공된 세트에서 확정할 수 있다.
동작 2205에서 서버는 파라미터 분류를 통해 사용자 입력으로부터 추출된 파라미터를 패스 룰과 함께 전자 장치로 전송함으로써 전자 장치가 어플리케이션의 동작을 실행하게 할 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 사용자 입력 및 어플리케이션 버전 정보가 패스 룰로 변경되어 가는 과정을 보여 주는 도면이다.
도 23을 참조하면, 본 발명의 다양한 실시예에 따른 지능형 에이전트(2301)는 사용자 입력 예컨대, 발화(A)를 도메인 분류 매니저(2302) 및 의도 분류 매니저(2303)로 전송할 수 있다. 또한, 지능형 에이전트(2301)는 어플리케이션들의 버전 정보들(B)을 버전 선택 모듈(2304)에 전송할 수 있다. 추가적으로, 지능형 에이전트(2301)는 메타데이터(C)를 패스 룰 세트 선택 모듈(2305)로 전송할 수 있다. 아래 표 3은 메타데이터(C)의 일 예시이다.
Path Rule set name Product region country Sales code App name App version
Gallery_Dream_OTHERS_D1 Sch-M380 OTHERS US VZW Gallery 3.1.1
표 3을 보면, 메타데이터(C)는 어플리케이션의 버전 정보뿐 아니라 지역, 사업자 모델명 등 다양한 정보를 포함 할 수 있으며, 패스 룰 세트의 선택에 이용될 수 있다. 예를 들어, SMS 어플리케이션의 버전 정보가 동일하더라도, 통신 사업자에 따라 지원 가능한 패스 룰과 그렇지 않은 패스 룰 등의 차이점이 존재 할 수 있다. 메타데이터(C)로부터 어플리케이션의 버전 정보 외 다른 정보가 수집되고, 이는 패스 룰의 선택 시 고려될 수 있다.
본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2302)는 발화(A)의 도메인(D)을 결정하여 버전 선택 모듈(2304) 및 ICM 선택 모듈(2306)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 버전 선택 모듈(2304)은 버전 정보들(B) 중 도메인(D)에 해당하는 버전 정보(E)를 선택할 수 있다. 즉, 지능형 에이전트(2301)가 예컨대, 전자 장치에 설치된 모든 어플리케이션들의 버전 정보를 전송하더라도, 도메인(D)이 예컨대, SMS 어플리케이션인 경우, 버전 선택 모듈(2304)은 SMS 어플리케이션의 버전 정보(E)만을 선별하여 패스 룰 세트 선택 모듈(2305)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 패스 룰 세트 선택 모듈(2305)은 패스 룰 세트 DB(2307)에서 버전 정보(E)에 해당하는 패스 룰 세트를 선택할 수 있다. 추가적으로, 패스 룰 세트 선택 모듈(2305)은 패스 룰 세트 선택 시 메타데이터(C)를 고려할 수 있다. 예를 들어, 패스 룰 세트 선택 모듈(2305)은 버전 정보(E)에 해당하는 패스 룰 세트들 중 메타데이터(C)(예: 지역 및 사업자 명)에 매칭된 패스 룰 세트(F)를 최종 선택하여 의도 분류 매니저(2303)로 전달할 수 있다.
본 발명의 다양한 실시예에 따른 ICM 선택 모듈(2306)은 도메인(D)을 이용하여 주어진 의도 분류 매니저(intent classification manager; ICM)들 중 하나의 ICM을 선택하여 그 식별 정보(G)를 의도 분류 매니저(2303)로 전달할 수 있다. 또한, 의도 분류 매니저(2303)는 식별 정보(G)에 해당 ICM을 이용하여 발화(A)에 대한 의도 분류를 수행함으로써, 패스 룰 세트(F)에서 사용자 의도에 대응하는 패스 룰(H)을 확정하여 지능형 에이전트(2301)로 전송할 수 있다.
일 실시예에 따르면, 지능형 에이전트(2301)은 사용자 단말의 구성이고 나머지(2302~2307)는 지능형 서버의 구성일 수 있다. 어떠한 실시예에서는 나머지(2302~2307) 중 적어도 일부가 사용자 단말에 구비될 수도 있다.
도 24는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템의 서버에서 버전 별로 패스 룰 세트를 추출하는 동작을 설명하기 위한 도면이다.
도 24를 참조하면, 본 발명의 다양한 실시예에 따른 서버(2400)는 NLU 서비스 선택 모듈(2410), 통신 모듈(2420), 패스 플래너 모듈(2430), DNLU 모듈(2440), RNLU 모듈(2450), 및 패스 룰 세트 DB(2460)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, NLU 서비스 선택 모듈(2410)은 DNLU 모듈(2440) 및 RNLU 모듈(2450) 중 하나를, 사용자 입력을 분석할 모듈로서, 선택할 수 있다. 또한, NLU 서비스 선택 모듈(2410)은 어플리케이션들의 각 버전 정보를 통신 모듈(2420)을 통해 전자 장치(예: 도 1의 100)로부터 수신할 수 있다. NLU 서비스 선택 모듈(2410)은 어플리케이션들의 각 버전 정보를 패스 플래너 모듈(2430)로 보내어 대응하는 패스 룰 세트를 선택하여 상기 선택된 분석 모듈로 전송하게 할 수 있다. 또한, NLU 서비스 선택 모듈(2410)은 통신 모듈(2420)을 통해 전자 장치로부터 수신된 사용자 입력을 상기 선택된 분석 모듈로 보내어 패스 플래너 모듈(2430)에 의해 선택된 패스 룰 세트에서 사용자 입력에 대응하는 패스 룰을 선택하게 할 수 있다.
본 발명의 다양한 실시예에 따르면, 패스 플래너 모듈(2430)은 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(2460)를 관리할 수 있다. 패스 플래너 모듈(2430)은 전자 장치에 설치된 어플리케이션의 버전 정보에 해당하는 패스 룰 세트를 그 DB(2460)에서 획득하여 상기 선택된 분석 모듈에 제공할 수 있다. 추가적으로, DB(2460)에서 패스 룰 세트들은 버전 정보뿐 아니라, 다른 정보(예: 지역, 사업자 명)별로 관리될 수 있다.
본 발명의 다양한 실시예에 따르면, DNLU 모듈(2440)에서 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(예: 도 13의 1322b_2), 의도 분류 모델(예: 도 13의 1322b_3) 및 파라미터 태거 모델(예: 1322b_4)로 나눌 수 있고, 이러한 모델들은 순차적으로 수행될 수 있다.
본 발명의 다양한 실시예에 따르면, RNLU 모듈(2450)에서 사용자 입력에 대응하는 패스 룰을 확정하는 동작은 도메인 분류 모델(예: 1322c_2), 의도 분류 모델(예: 1322c_3) 및 파라미터 태거 모델(예: 1322c_4)로 나눌 수 있고, 이러한 모델들은 순차적으로 수행될 수 있다. 여기서, 적어도 하나의 동작(예: 의도 분류 동작)은 DNLU 모듈(2440)에서 수행될 수도 있다.
어플리케이션의 종류가 점점 다양해지고 버전 업그레이드됨에 따라 패스 룰의 파편화가 증가할 수 있다. 이로 인해 패스 룰 확정을 위해 급속히 늘어나는 연산량이 통합 지능화 시스템에서 부담으로 작용할 수 있다. 이는 또한 연산 결과의 속도의 저하를 불러 올 수 있다. 또한 버전에 의한 파편화가 심해지면 이에 따라 정확한 패스 룰을 선택하는 확률 역시 반비례하여 저하될 수 있다. 다양한 어플리케이션의 다양한 버전을 관리하기 위한 본 발명의 다양한 실시예에 따르면, 도메인 분류 모델(예: 2442 또는 2452)에서 도메인은 어플리케이션의 버전이 변하더라도 바뀌지 않고 고정적으로 운영될 수 있다. 파라미터 태거 모델(예 2444 또는 2454)에서 파라미터 역시, 사용자 입력에 따라 달라지긴 하겠으나, 어플리케이션의 버전이 변하더라도 바뀌지 않고 고정적으로 운영될 수 있다. 의도 분류 모델(예: 2443 또는 2453)에서 의도는 어플리케이션의 버전에 따라 바뀔 수 있다. 예컨대, 패스 룰 세트들은 도메인 별로 하나의 슈퍼 세트(superset)로 관리될 수 있다. 또한, 하나의 슈퍼 세트에서 패스 룰 세트들은 어플리케이션의 버전 별로 구분되는 복수의 서브 세트((subset)들로 관리될 수 있다. 따라서, DNLU 서비스 모듈(2441) 또는 RNLU 서비스 모듈(2451)은 의도에 대응하는 패스 룰을 지원하는 서브 세트와 지원하지 않은 서브 세트를 어플리케이션의 버전 정보를 참고하여 구분할 수 있다. 또한, DNLU 서비스 모듈(2441) 또는 RNLU 서비스 모듈(2451)은 어플리케이션의 버전 정보에 해당하는 서브 세트에서 의도에 대응하는 패스 룰을 선택할 수 있다.
도 25은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 의도 분류 동작을 설명하기 위한 도면이다.
도 25을 참조하면, 본 발명의 다양한 실시예에 따른 지능형 에이전트(2510)는 사용자 입력으로서 사용자의 발화와 어플리케이션의 버전 정보를 도메인 분류 매니저(2520)로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2520)는 사용자 입력의 도메인을 결정할 수 있다. 결정된 도메인에 해당하는 패스 룰, 파라미터 그리고 버전 별 지원 여부를 나타내는 정보는 예컨대, 지능형 서버에 의해 아래 표 6와 같이 정리되어 관리될 수 있다. 아래 표 4에서 KT와 SKT는 통신 사업자 명을 지칭할 수 있다. 예컨대, 해당 도메인의 어플리케이션은 Version 1.0에서는 통신 사업자와 무관하게 동일한 패스 룰이 적용될 수 있으나, Version 1.1에서는 해당 전자 장치가 가입된 통신 사업자에 따라 적용되는 패스 룰이 다를 수 있다.
도메인 발화 패스 룰 파라미터 Version 1.0 Version 1.1_KT Version 1.1_SKT
문자서비스 웃고 있는 이모티콘 문자로 보내줘 R1 st1 O X O
곤란한 웃음 이모티콘 문자로 보내줘 R2 st2 O X O
큰 웃음 이모티콘 문자로 보내줘 R3 st3 O X X
현금 이모티콘 문자로 보내줘 R4 st4 O O X
표 4에 나타낸 바와 같이, 도메인은 해당 어플리케이션의 버전 별로 변하지 않고 고정될 수 있다. 따라서 도메인 분류 매니저(2520)에서 사용자 입력의 도메인이 문자 서비스로 결정되면, 도메인이 '문자 서비스'로 동일한 패스 룰들(R1, R2, R3, R4)이 의도 분류를 위해 선별될 수 있다.
본 발명의 다양한 실시예에 따른 의도 분류 매니저(2530)는 사용자 입력을 분석하여 의도를 파악하고 의도에 해당하는 패스 룰을 선택할 수 있다. 패스 룰 선택 시 버전 정보가 고려될 수 있다. 예를 들어, 의도 분류 매니저(2530)는 지능형 에이전트(2510)로부터 수신된 버전 정보가 Ver_1.1_SKT인 경우, 이를 지원하는 패스 룰 R2를 사용자 입력에 대응하는 패스 룰로 선택할 수 있다. 만약 수신된 버전 정보가 Ver_1.1_KT인 경우, 상기 선택된 패스 룰 R2는 해당 어플리케이션의 버전에서 지원되지 않는 것이므로, 사용자 입력에 대응하는 에이전트 서비스가 이루어질 수 없음을 나타내는 메시지가 사용자에게 보여주는 등의 처리가 수행될 수 있다.
본 발명의 다양한 실시예에 따른, 파라미터 태거(2540)는 사용자 입력에서 파라미터를 추출하여 의도 분류 매니저(2530)에 의해 선택된 패스 룰에 태깅(tagging)할 수 있다. 파라미터는 각각의 패스 룰에 대해 변하지 않는 고정 값을 가질 수 있다. 예컨대, 패스 룰 R2가 선택될 경우, 'st2(웃고 있는 이모티콘)'이 R2에 태깅될 파라미터로서 선택될 수 있다. 최종적으로, 패스 룰 R2와 이에 태깅된 파라미터는 실행 매니저 모듈(2550)로 전달되어 어플리케이션의 동작이 실행될 수 있다.
일 실시예에 따르면, 지능형 에이전트(2510)와 실행 매니저 모듈(2550)은 사용자 단말의 구성이고 나머지(2520~2540)는 지능형 서버의 구성일 수 있다. 어떠한 실시예에서는 나머지(2520~2540) 중 적어도 일부가 사용자 단말에 구비될 수도 있다.
도 26는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 일례를 설명하기 위한 도면이다.
도 26를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자 입력으로서 사용자의 발화 예컨대, “웃고 있는 이모티콘 문자로 보내줘”를 입력 모듈을 통해 수신할 수 있다. 전자 장치는 발화를 텍스트(2610)로 변환하여 디스플레이에 표시할 수 있다. 사용자 입력(2611)은 지능형 서버(2620)로 전달되어 매칭되는 패스 룰이 찾아지게 되는데, 이를 위해 전자 장치에 설치된 SMS 어플리케이션의 버전 정보 예컨대, “SMS ver_1.1_SKT(2612)”가 지능형 서버(2620)로 전달될 수 있다. SMS 어플리케이션의 버전 정보뿐 아니라, 전자 장치에 설치된, 지능형 에이전트로 제어 가능한 모든 어플리케이션들의 버전 정보가 지능형 서버(2620)로 전송될 수도 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2620)는 해당 발화에 매칭되는 패스 룰을 검색할 수 있다. 패스 룰 검색할 때 버전 정보 “SMS ver_1.1_SKT”가 고려되며 예컨대, 표 4에 나타낸 바와 같이, “SMS ver_1.1_SKT”를 지원하는 R1이 발화에 매칭되는 패스 룰로 확정될 수 있다. 지능형 서버(2620)는 확정된 패스 룰(2621)과 이에 매칭되는 파라미터(2622)(예: st1(웃고 있는 이모티콘))를 전자 장치로 전송할 수 있다. 전자 장치는 수신된 패스 룰과 파라미터에 기반하여 어플리케이션을 제어하여 해당 실행 화면(2630)을 디스플레이에 표시할 수 있다.
도 27는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 버전 별 사용자 입력을 처리하는 동작의 다른 예를 설명하기 위한 도면이다.
도 27를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자 입력으로서 사용자의 발화 예컨대, “웃고 있는 이모티콘 문자로 보내줘”를 입력 모듈을 통해 수신할 수 있다. 전자 장치는 발화를 텍스트(2710)로 변환하여 디스플레이에 표시할 수 있다. 사용자 입력(2711)은 지능형 서버(2720)로 전달되어 매칭되는 패스 룰이 찾아지게 되는데, 이를 위해 전자 장치에 있는 어플리케이션의 버전 정보 예컨대, “SMS ver_1.1_KT”(2712)가 지능형 서버(2720)로 전달될 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2720)는 발화에 매칭되는 패스 룰을 검색할 수 있다. 예컨대, 표 4를 참조하면, R1이 발화에 매칭되는 패스 룰로 검색될 수 있다. 지능형 서버는 검색된 R1이 “SMS ver_1.1_KT”를 지원하지 못하는 패스 룰인 것으로 결정할 수 있다. 이에 따라 지능형 서버(2720)는 사용자 입력을 처리할 수 없음을 의미하는 통보(2721)를 전자 장치로 전송할 수 있다. 전자 장치는 통보(2721)와 관련된 메시지(2730)를 디스플레이에 표시할 수 있다. 추가적으로, 전자 장치는 유사한 다른 명령어를 디스플레이를 통해 제시하여 사용자가 수행할 수 있도록 하거나, 혹은 소프트웨어 업그레이드 등을 통해 해당 기능이 수행 가능하다면, 해당 어플리케이션의 버전 업그레이드 등을 디스플레이를 토해 사용자에게 제시할 수도 있다.
본 발명의 다양한 실시예에 따르면, 의도는 사용자가 실행하기를 원하는 특정 패스 룰이라 할 수 있다. 예를 들어, 표 4를 참조하면, 사용자가 원하는 특정 기능이 4개 있다고 가정해보자. 해당 기능이 “웃고 있는 이모티콘 문자로 보내줘”,”곤란한 웃음 이모티콘 문자로 보내줘”, “큰 웃음 이모티콘 문자로 보내줘”,”현금 이모티콘 문자로 보내줘”라고 하면, 각각의 기능에 해당하는 패스 룰이 R1, R2, R3, R4가 존재할 수 있다. 해당 패스 룰은 상태(state)들의 실행 순서로 구성될 수 있다.
본 발명의 다양한 실시예에 따른 의도 분류 매니저는 해당 의도 중 사용자가 원하는 기능 즉, 패스 룰이 어떠한 것인지 구분하는 기능을 수행할 수 있다. 의도 분류 매니저에서 의도는 어플리케이션의 버전에 따라 바뛸 수 있으며 하나의 도메인에 속하는 의도는 슈퍼 세트 형태로 되어 있고 각각의 버전마다 지원하는 패스 룰과 지원하지 않는 패스 룰이 서브 세트로 존재할 수 있다. 따라서, 의도는 버전에 따라 지원하는 패스 룰과 지원하지 않는 패스 룰로 구분되어 저장될 수 있다.
본 발명의 다양한 실시예에 따르면, 도메인은 서로 유사한 의도들의 집합이라고 할 수 있다. 예를 들어, 문자 서비스라는 도메인에 SMS, 카카오톡, 라인, facebook masanger 등의 어플리케이션이 속할 수 있다. 예컨대, SMS 어플리케이션은 그 버전이 1.0에서 2.0으로 바뀌더라도 그 도메인은 예컨대, '문자 서비스'로 고정될 수 있다.
본 발명의 다양한 실시예에 따르면, 파라미터(슬롯)는 다음 상태(state)로 넘어가기 위한 조건, 해당 화면에서 사용자로부터 입력 받아야 할 정보를 의미할 수 있다. 예를 들어, 파라미터들은 사용자가 누군가에게 메시지를 보내기 위해서는 필수적인(mandatory) 항목과 부수적인(optional) 항목으로 나눌 수 있다. 예컨대, 의도가 “메시지 전송”인 패스 룰에 태깅될 파라미터에 있어서, “수신인”은 다음 상태로 넘어가기 위한 조건으로서 필수 항목으로 분류될 수 있다. “본문”은 사용자로부터 입력 받아야 할 정보(즉, 메시지 내용)로서 필수 항목으로 분류될 수 있고, “첨부파일”은 부수적인 항목으로 분류될 수 있다. 수신인은 사용자의 이름 또는 전화번호가 될 수 있으며 본문은 여러 종류로 대체할 수 있다. 이러한 파라미터의 조건 등이 패스 룰 DB에 정의되어 어플리케이션은 이를 이용하여 동작의 다음 단계로 넘어갈 수 있는 필수 조건을 체크할 수 있다. 예컨대, 표 4을 참조하면, 파라미터는 패스 룰에 종속되어 변하지 않는 값으로 설정될 수 있다.
아래 표 5는 의도가 “메시지 전송(Message Send)”인 패스 룰에 태깅 가능한 파라미터들을 필수 항목(M)과 부수 항목(O)으로 분류하여 예시한다.
Message Send
Group 1 Parameter
Group Name M/O Logic Parameter Name M/O
Receiver M Radio Contact Name O
Phone Number O
Mandatory M Plain text O
emoticon O
Camera O
image O
video O
audio O
calendar O
memo O
contact O
cloud server O
VoiceRecorder O
Location O
Slideshow O
Optional O Plain Subject O
Scheduled(date/time) O
인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(deep learning) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성될 수 있다.
요소기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함할 수 있다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함할 수 있다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함할 수 있다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함할 수 있다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 통합 지능형 시스템은 다양한 딥 러닝(deep learning) 기법을 활용한 NLU 즉, DNLU(deep NLU) 모듈을 지원할 수 있다. 본 발명의 다양한 실시예에 따른 DNLU 모듈은 사용자의 의도를 파악하여 패스 룰을 선택하기 위한 의도 분류 매니저로서, SICM(separate intent classification manager), CICM(conditional ICM), VLICM(version layered ICM), 또는 SVLICM(separate VLICM)을 포함할 수 있다. DNLU 모듈은 이러한 ICM들을 이용하여 사용자 입력에 대해 패스 룰을 선택하는 것을 학습할 수 있다. 학습되지 않는 패스 룰에 해당하는 사용자 입력이 사용자에 의해 DNLU 모듈로 들어오는 경우, DNLU 모듈은 지원하는 패스 룰들 중에 유사성이 높은 패스 룰을 결과 값으로 선택하여 사용자 단말로 전송할 수 있다. 대안적으로, DNLU 모듈은 패스 룰에 따른 어플리케이션의 동작이 사용자에게 이상 동작으로 인식될 가능성이 있으므로, 학습되지 않은 패스 룰에 해당하는 사용자 입력이 수신되면, 선택된 패스 룰을 사용자 단말로 전송하지 않고 해당 상태에 대한 메시지를 사용자 단말로 전송할 수도 있다.
도 28은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰을 어플리케이션의 버전 별로 나눠서 학습시킨 복수의 SICM들을 포함할 수 있다.
도 28을 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(2810)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(2810)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(2810)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(2810)는 복수의 SICM들(2821, 2822, 2833) 중에서 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)에 해당하는 SICM에게 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 SICM들(2821, 2822, 2833)은 각각, 어플리케이션의 버전으로 식별되며, 각각, 패스 룰 세트를 정의할 수 있다. 예를 들어, 제 1 패스 룰 세트(2821a)는 어플리케이션의 버전이 Version 1.0일 때 생성된 것이고, 제 2 패스 룰 세트(2822a)는 어플리케이션의 버전이 Version 2.0으로 업그레이드될 때 생성된 것이며, 제 3 패스 룰 세트(2823a)는 어플리케이션의 버전이 Version 3.0으로 업그레이드될 때 생성된 것이다.
본 발명의 다양한 실시예에 따르면, 각각의 패스 룰 세트에서 패스 룰들은 해당 버전의 어플리케이션에서 (사용자 입력의 처리를) 지원하는 패스 룰과 지원 불가능한 패스 룰로 해당 SICM에 의해 구분되고 관리될 수 있다. 예를 들어, 제 1 패스 룰 세트(2821a)의 경우 패스 룰들 중 R4, R6는 지원 가능한 패스 룰이고, R5, R7-1, R7-2는 지원 불가능한 패스 룰이다. 제 2 패스 룰 세트(2822a)의 경우 R4, R5 및 R7-1은 지원 가능하고 나머지는 지원 불가능할 수 있다. 제 3 패스 룰 세트(2823a)의 경우 R4, R5 및 R7-2는 지원 가능하고 나머지는 지원 불가능할 수 있다.
일 실시예에 따라, 제 1 SICM(2821)이 도메인 분류 매니저(2810)를 통해 사용자 입력의 의도를 분석하기 위한 것으로 선택되고, 제 1 SICM(2821)에 의해 패스 룰 R4 또는 R6가 선택된다면, 패스 룰 R4 또는 R6는 사용자 단말로 전송될 수 있다. 예컨대, 도메인 분류 매니저(2810)에 의해 선택된 SMS 어플리케이션의 버전이 Version 1.0이어서 사용자 입력이 제 1 SICM(2821)로 전송되고, 제 1 SICM(2821)의 분석 결과 사용자 입력에 대응하는 패스 룰이 지원 가능한 R4 또는 R6일 수 있다. 그런데, 제 1 SICM(2821)의 분석 결과 사용자 입력에 대응하는 패스 룰이 지원 불가능한 R5, R7-1, 또는 R7-2가 선택된다면, 패스 룰은 사용자 단말로 전송되지 않고 다른 정보(예: 사용자 입력의 처리가 불가함을 나타내는 메시지 또는 사용자 입력의 처리를 위한 버전 업그레이드를 안내하는 메시지)가 사용자 단말로 전송될 수도 있다.
위와 같은 SICM을 이용한 패스 룰 선택 동작에 따르면, 버전 별로 다수의 의도 분류 매니저가 생성되기 때문에 DNLU의 학습 과정에서 버전 명을 함께 학습할 필요가 없다. 하지만, 해당 어플리케이션이 버전 업그레이드됨에 따라 의도 분류 매니저가 증가되는 바, 이는 DNLU 크기의 증가를 야기할 수 있다. 또한 크기가 커짐으로 인해 패스 룰 로딩 시간(path rule loading time)이 증가할 수 있다.
도 29은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 위한 분산 처리 구조를 설명하기 위한 도면이다.
지능형 에이전트로 제어 가능한 어플리케이션의 수가 증가하고 또한, 그 버전이 증가함에 따라 ICM이 계속 증가할 수 있다. 이에 따라, 본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 ICM을 도메인을 기준으로 여럿 SICM들로 나눠서, 물리적으로 다른 여러 서버들에 분산하여 운영할 수 있다.
도 29을 참조하면, 통합 지능화 시스템은 지능형 서버(2910), 복수의 SICM 서버들(2920, 2930, 2940, 2950) 및 선택 모듈(2960)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(2910)는 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다. 또한, 지능형 서버(2910)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 지능형 서버(2910)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 지능형 서버(2910)는 사용자 입력과 함께, 도메인 및 대응하는 버전 정보를 선택 모듈(2960)로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 선택 모듈(2960)은 도메인에 대응하는 SICM 서버를 선택하여 버전 정보와 사용자 입력을 전송할 수 있다. 선택 모듈(2960)은 지능형 서버(2910)의 한 구성이거나, 지능형 서버(2910)와 물리적으로 구분되는 별도의 서버에 위치할 수도 있다.
본 발명의 다양한 실시예에 따른 복수의 SICM 서버들(2920, 2930, 2940, 2950)은 도메인으로 식별될 수 있고, 각각, 어플리케이션의 버전으로 구분되는 복수의 SICM들을 구비할 수 있다. 또한, 복수의 SICM 서버들(2920, 2930, 2940, 2950)은 각각, 선택 모듈(2960)로부터 수신된 버전 정보와 사용자 입력에 기초하여 패스 룰을 선택하여 지능형 서버(2910)로 전송할 수 있다. 이에 따라 지능형 서버(2910)는 패스 룰과 함께 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 30은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 30을 참조하면, 동작 3001에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신할 수 있다.
동작 3002에서 지능형 서버(예: 도 2의 200)는 도메인 분류 매니저를 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3003에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말로부터 읽어 올 수 있다.
동작 3004에서 지능형 서버는 읽어 온 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3005에서 지능형 서버는 복수의 SICM들 중 상기 선택된 버전 정보에 대응하는 의도 분류 매니저를 패스 룰 선택을 위한 것으로 선택할 수 있다.
동작 3006에서 지능형 서버는 사용자 입력을 상기 선택된 의도 분류 매니저로 보내어 패스 룰을 선택하게 할 수 있다. 상기 선택된 의도 분류 매니저는 지능형 서버의 구성이거나 물리적으로 구분되는 별도의 서버에 위치할 수도 있다.
동작 3007에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 31는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰을 해당 패스 룰로 제어 가능한 어플리케이션의 버전과 함께 학습시킨 CICM을 포함할 수 있다. 따라서, CICM은 전술한 SICM과 비교하여 ICM의 학습량은 증가할 수 있고, DNLU의 크기는 감소할 수 있다
도 31를 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3110)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3110)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(3110)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(3110)는 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)를 사용자 입력과 함께 CICM(3120)에게 전송할 수 있다.
본 발명의 다양한 실시예에 따른 CICM(3120)은 복수의 패스 룰들을 구비할 수 있다. 패스 룰들은 각각, 해당 패스 룰로 제어 가능한 어플리케이션의 버전 정보와 함께 관리될 수 있다. 예를 들어, 도 31에 도시된 바와 같이, 패스 룰 R1으로 제어 가능한 어플리케이션의 버전은 V(version)1, V2 및 V3일 수 있다. CICM(3120)은 도메인 분류 매니저(3110)로부터 수신된 사용자 입력에 대한 의도 분류를 수행함으로써 사용자 입력에 해당하는 패스 룰을 선택할 수 있다. CICM(3120)은 선택된 패스 룰이 도메인 분류 매니저(3110)로부터 수신된 버전 정보에 해당하는 패스 룰인지 여부를 판단할 수 있다. 예컨대, 선택된 패스 룰이 R5-2이고 도메인 분류 매니저(3110)로부터 수신된 버전 정보가 V2인 경우, 패스 룰 R5-2는 해당 파라미터와 함께 사용자 단말로 전송될 수 있다. 도메인 분류 매니저(3110)로부터 수신된 버전 정보가 상기 선택된 패스 룰에 의해 지원 불가능한 경우, 선택된 패스 룰은 사용자 단말로 전송되지 않고 다른 정보(예: 사용자 입력의 처리가 불가함을 나타내는 메시지 또는 사용자 입력의 처리를 위한 버전 업그레이드를 안내하는 메시지)가 사용자 단말로 전송될 수도 있다.
위와 같은 CICM을 이용한 패스 룰 선택 동작에 따르면, 패스 룰과 버전의 조합으로 학습 데이터가 생성되기 때문에 의도 분류 매니저의 학습량이 증가할 수 있다. 이는 패스 룰과 버전이 추가될 때마다 의도 분류 매니저에 대한 학습이 이루어져야 하기 때문이다.
도 32은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 CICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 32을 참조하면, 동작 3201에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신할 수 있다.
동작 3202에서 지능형 서버(예: 도 2의 200)는 도메인 분류 매니저를 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3203에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말로부터 읽어 올 수 있다.
동작 3204에서 지능형 서버는 읽어 온 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3205에서 지능형 서버는 상기 도메인과 이에 해당하는 버전 정보를 CICM으로 보내서 패스 룰을 선택하게 할 수 있다. 여기서 CICM은 복수의 패스 룰들을 구비할 수 있다. 예를 들어, 패스 룰들은 도 31에 도시된 바와 같이, 각각, 해당 패스 룰로 제어 가능한 어플리케이션의 버전 정보와 함께 관리될 수 있다.
동작 3206에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 33은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 패스 룰들을 어플리케이션의 버전에 따라 계층적으로 구성하여 학습시킨 VLICM을 포함할 수 있다. VLICM은 패스 룰을 버전과 함께 학습시키는 전술한 CICM과 비교하여 ICM의 학습량을 줄일 수 있다.
도 33을 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3310)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3310)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보 예컨대, V(version)2를 수신할 수 있다. 도메인 분류 매니저(3310)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보 예컨대, V2를 선택할 수도 있다. 도메인 분류 매니저(3310)는 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)(A)와 사용자 입력(B)을 VLICM(3320)으로 전송할 수 있다.
본 발명의 다양한 실시예에 따른 VLICM(3320)은 사용자 입력(B)의 도메인에 속한 패스 룰들 예컨대, “R1, R2, R3, R4, R5, R6, R7-1 및 R7-2”를 사용자 입력(B)에 대응하는 후보 군으로서 선택할 수 있다. VLICM(3320)은 사용자 입력(B)을 분석하여 사용자의 의도를 파악하고, 상기 의도에 대응하는 패스 룰을 후보 군에서 선택할 수 있다. 예컨대, VLICM(3320)은 후보 군에서 R7-1 및 R7-2를 동일한 확률로 상기 의도에 가장 가깝다고 판단할 수 있다.
본 발명의 다양한 실시예에 따른 VLICM(3320)은 패스 룰들을, 버전 계층적으로, 지원 가능한 패스 룰과 지원 불가능한 패스 룰로 구분할 수 있다. 예를 들어, 버전 계층들은 어플리케이션의 버전 정보에 의해 식별될 수 있다. VLICM(3320)은 도메인 분류 매니저(3310)로부터 수신된 버전 정보 예컨대, V2에 대응하는 버전 계층 2를 선택하고, 상기 의도에 대응하는 것으로 선택된 패스 룰이 상기 선택된 버전 계층 2에서 지원 가능한 패스 룰인지 여부를 판단할 수 있다. 예컨대, VLICM(3320)은 상기 선택된 패스 룰 R7-1 및 R7-2 중 R7-1을 상기 선택된 버전 계층 2에서 지원 가능한 패스 룰로 선별하고, 이를 사용자 단말로 전송할 패스 룰로 확정할 수 있다.
도 34는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용하여 패스 룰을 선택하는 동작의 내부 구조를 설명하기 위한 도면이다.
도 34를 참조하면, 본 발명의 다양한 실시예에 따른 DNLU 모듈(3410)은 사용자 입력을 분석하여 사용자 의도를 파악하고 결과 물로서 패스 룰을 출력하도록 구성될 수 있다. 예를 들어, DNLU 모듈(3410)은 계층적으로 구성된 CNN(convolution neural network) 모듈(3411), 제 1 FCL(fully connected layer) 모듈(3412), 제 2 FCL 모듈(3413) 및 버전 계층 모듈(3414)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른, CNN 모듈(3411), 제 1 FCL 모듈(3412) 및 제 2 FCL 모듈(3413)에서는 도메인 분류 매니저(3420)으로부터 수신된 사용자 입력(A)을 단계적으로 분석하여 사용자의 의도를 인식하고, 패스 룰들 중 의도에 대응하는 패스 룰(B)을 출력할 수 있다. 상기 모듈들(3411, 3412, 3413) 중 하나 예컨대, 제 2 FCL 모듈(3413)은 상태(state) 정보를 참조할 수 있다.
본 발명의 다양한 실시예에 따른 버전 계층 모듈(3414)은 패스 룰들을, 버전 계층적으로, 지원 가능한 패스 룰과 지원 불가능한 패스 룰로 구분할 수 있다. 또한, 버전 계층 모듈(3414)은 사용자 입력의 도메인에 해당하는 어플리케이션의 버전 정보(C)를 도메인 분류 매니저(3420)로부터 수신할 수 있다. 버전 계층 모듈(3414)은 버전 정보(C)에 기초하여 제 2 FCL 모듈(3413)로부터 수신된 결과물을 필터링하도록 구성될 수 있다. 예를 들어, 버전 계층 모듈(3414)은 버전 정보(C)에 대응하는 버전 계층(D)을 선택하고, 패스 룰(B)이 버전 계층(D)에서 지원 가능한지 여부를 판단하여 그 결과 값(E)을 출력할 수 있다. 버전 계층 모듈(3414)에 의해 필터링되어 출력된 결과 값(E)은 소프트맥스 함수(softmax function; )에서 확률을 재조정한 후 최종 결과값으로 예컨대, 패스 룰(F)을 출력할 수 있다. 위 구조는 DNLU의 운영(running) 과정에 사용될 수 있고 DNLU의 학습 과정에서도 사용될 수 있다.
도 35은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 VLICM을 이용한 패스 룰 선택 방법을 설명하기 위한 흐름도이다.
도 35을 참조하면, 동작 3501에서 사용자 단말(예: 도 1의 100)은 입력 모듈(예: 도 2의 110)을 통해 사용자 입력을 수신하여 지능형 서버(예: 도 1의 200)로 전송할 수 있다.
동작 3502에서 지능형 서버는 NLU 모듈(예: 도 4의 220)을 이용하여 사용자 단말로부터 수신된 사용자 입력의 도메인을 결정할 수 있다.
동작 3503에서 지능형 서버는 지능형 에이전트(예: 도 2의 151)에 의해 제어 가능한 모든 어플리케이션의 버전 정보들을 예컨대, 사용자 단말과 통신을 통해, 획득할 수 있다.
동작 3504에서 지능형 서버는 획득된 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택할 수 있다.
동작 3505에서 지능형 서버는 버전 정보와 사용자 입력을 VLICM(예: 도 34의 3410)으로 보내어 패스 룰을 선택하게 할 수 있다.
동작 3506에서 지능형 서버는 선택된 패스 룰과 이에 대응하는 파라미터를 사용자 단말로 전송할 수 있다.
도 36는 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 SVLICM을 이용하여 패스 룰을 선택하는 동작을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 VLICM을 버전을 기준으로 여럿 SVLICM들로 나눠서 운영할 수 있다.
도 36를 참조하면, 본 발명의 다양한 실시예에 따른 도메인 분류 매니저(3610)는 사용자 입력의 도메인을 결정할 수 있다. 또한, 도메인 분류 매니저(3610)는 사용자 단말로부터 상기 도메인에 해당하는 어플리케이션의 버전 정보를 수신할 수 있다. 도메인 분류 매니저(3610)는 사용자 단말로부터 복수의 어플리케이션의 버전 정보들을 수신할 수 있으며, 이들 중 상기 도메인에 해당하는 버전 정보를 선택할 수도 있다. 도메인 분류 매니저(3610)는 복수의 SVLICM(3620, 3630, 3640) 중에서 상기 수신된 버전 정보(또는 상기 선택된 버전 정보)에 해당하는 SVLICM에게 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 선택 모듈(3650)은 도메인 분류 매니저(3610)로부터 수신된 버전 정보에 대응하는 SVLICM을 선택하여 버전 정보와 사용자 입력을 전송할 수 있다.
본 발명의 다양한 실시예에 따른 복수의 SVLICM들(3620, 3630, 3640)은 버전 계층 세트로 식별될 수 있다. 예컨대, 제 1 SVLICM(3620)은 버전 계층 세트 V1~V100을 가지고, 제 2 SVLICM(3630)은 버전 계층 세트 V101~V200을 가지며, 제 3 SVLICM(3640)은 버전 계층 세트 V201~300을 가질 수 있다. 선택 모듈(3650)은 도메인 분류 매니저(3610)로부터 수신된 버전 정보가 속한 버전 계층 세트를 갖는 SVLICM에게 버전 정보와 사용자 입력을 전송할 수 있다. 선택 모듈(3650)에 의해 선택된 SVLICM은 버전 정보와 사용자 입력에 기초하여 패스 룰을 선택할 수 있다.
도 37는 본 발명의 다양한 실시예에 따른 전자 장치에서 어플리케이션의 버전 정보를 토대로 사용자에게 힌트를 제공하는 동작을 그래픽 인터페이스로 보여 주는 도면이다.
도 37의 (a)를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 사용자에게 다양한 힌트를 지능형 에이전트의 대화 창을 통해 제공할 수 있다. 제공된 힌트들 중 사용자가 원하는 힌트 예컨대, “웃고 있는 이모티콘 문자로 보내줘”(3710)가 선택되면, 전자 장치는 선택된 힌트에 대응하는 패스 룰로 어플리케이션을 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 힌트는 사용자가 평소에 자주 사용하는 기능을 분석하여 제공될 수 있다. 제조사 쪽에서 신규 기능이 추가된 것을 사용자에게 소개하기 위한 힌트가 제공될 수도 있다. 사용자의 컨텍스트 정보를 기반으로 현재 사용자에게 필요한 힌트가 제공될 수도 있다.
본 발명의 다양한 실시예에 따르면, 힌트는 어플리케이션의 제어를 위한 패스 룰과 연관될 수 있다. 즉, 힌트에 대한 사용자의 선택에 의해 어플리케이션의 제어가 이루어질 수 있다. 따라서, 사용자에게 제공될 힌트는 어플리케이션의 버전에 따라 다를 수 있다. 예를 들어, 표 4을 참조하면, 어플리케이션의 버전이 Version 1.1_KT이거나 Version 1.1_SKT인 경우 도 37의 (a)에 도시된 바와 같이 “웃고 있는 이모티콘 문자로 보내줘”(3710)가 힌트로서 제공되고, Version 1.0인 경우 도 37의 (b)에 도시된 바와 같이 “큰 웃음 이모티콘 문자로 보내줘”(3720)가 힌트로서 제공될 수 있다.
도 38은 본 발명의 다양한 실시예에 따른 통합 지능화 시스템에서 어플리케이션의 버전 정보를 토대로 힌트를 관리하는 동작을 설명하기 위한 도면이다.
도 38을 참조하면, 본 발명의 다양한 실시예에 따른 통합 지능화 시스템은 사용자 단말(3810), 지능형 서버(3820) 및 힌트 제안 서버(3830)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 사용자 단말(3810)은 지능형 에이전트(3811), 실행 매니저 모듈(3812), 힌트 표시 매니저(3813), 힌트 수집 모듈(3814) 및 로그/컨텍스트 수집 모듈(3815)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 서버(3820)는 ASR 모듈(3821), NLU 모듈(3822), 패스 플래너 모듈(3823) 및 패스 룰 세트 DB(3824)을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 제안 서버(3830)는 힌트 분석 모듈(3831), 컨텍스트 힌트 생성 모듈(3832), 재사용 힌트 생성 모듈(3833), 소개 힌트 생성 모듈(3834), 로그/컨텍스트 DB(3835) 및 힌트 DB(3836)를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 지능형 에이전트(3811)는 어플리케이션의 제어를 위한 사용자 입력을 지능형 서버(3820)로 전송할 수 있다. 또한, 실행 매니저 모듈(3812)에 의해 수집된 어플리케이션의 버전 정보가 지능형 에이전트(3811)를 통해 지능형 서버(3820)로 전송될 수 있다. 지능형 에이전트(3811)는 버전 정보와 사용자 입력에 기초하여 지능형 서버(3820)에 의해 선택된 패스 룰과 파라미터를 실행 매니저 모듈(3812)로 전달할 수 있다. 이에 따라 실행 매니저 모듈(3812)은 패스 룰 및 파라미터에 기초하여 어플리케이션을 제어할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 수집 모듈(3814)은, 지능형 에이전트(3811)로부터 힌트 제공 요청이 수신될 경우, 힌트 제안 서버(3830)에 힌트를 요청하고, 이에 따라 수신된 힌트를 힌트 표시 매니저(3813)로 보내어 디스플레이에 표시하게 할 수 있다. 표시된 힌트들 중 사용자에 의해 선택된 힌트는 힌트 표시 매니저(3813)를 통해 지능형 에이전트(3811)에게 인식될 수 있다. 지능형 에이전트(3811)는 사용자에 의해 선택된 힌트를 사용자 입력으로서 지능형 서버(3820)로 전달할 수 있다. 이에 따라 힌트(즉, 사용자 입력)에 기초하여 지능형 서버(3820)에 의해 선택된 패스 룰이 지능형 에이전트(3820)를 통해 실행 매니저 모듈(3812)로 전달되고 결과적으로, 힌트에 기초한 해당 어플리케이션의 실행이 이루어질 수 있다.
본 발명의 다양한 실시예에 따른 로그/컨텍스트 수집 모듈(3815)은 로그(log) 정보와 컨텍스트(context) 정보를 수집하여 힌트 제안 서버(3830)로 전송할 수 있다. 여기서, 로그 정보는 패스 룰에 따른 어플리케이션의 실행 결과 로그, 사용자의 프로파일 정보(예: 성, 나이, 라이프 이벤트 정보, 활동 시간 등), 또는 사용자의 프리퍼런스 정보 등을 포함할 수 있다. 컨텍스트 정보는 앞서 도 6을 통해 설명한, 일반적 컨텍스트 정보, 사용자 컨텍스트 정보 또는 장치 컨텍스트 정보를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 패스 플래너 모듈(3823)에는 어플리케이션 별로 각각의 버전에 해당하는 패스 룰 세트를 포함하는 패스 룰 세트 DB(3824)가 존재하게 되고, 사용자 단말(3810)로부터 받은 버전 정보를 토대로 패스 플래너 모듈(3823)은 사용자 단말(3810)에 설치되어 있는 각 어플리케이션의 버전과 일치하는 패스 룰 세트(3825)를 NLU 모듈(3822)에 전달할 수 있다.
본 발명의 다양한 실시예에 따른 NLU 모듈(3822)은 ASR 모듈(3821)을 통해 사용자 단말(3810)로부터 수신된 사용자 입력을 분석하여 사용자의 의도(intent)를 파악하고 그 결과로서 패스 룰을 선택하여 파라미터와 함께 사용자 단말(3810)에게로 회신하는데, 최종적인 패스 룰 선택에 있어서 사용자 단말(3810)에 설치되어 있는 어플리케이션의 버전 정보 즉, 패스 룰 세트(3825)를 참고할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 분석 모듈(3831)은 로그/컨텍스트 DB(3835)를 통해 사용자 단말(3810)의 로그 및 컨텍스트 정보를 수집하고, 이를 분석하여 사용자 단말(3810)에게 제공할 힌트들을 예컨대, 각각의 힌트에 우선 순위 부여된 리스트 형태로 생성할 수 있다. 예를 들어, 힌트 분석 모듈(3831)은 컨텍스트 힌트 생성 모듈(3832)(예: 155c_2), 재사용 힌트 생성 모듈(3833)(예: 155c_5), 소개 힌트 생성 모듈(3834)(예: 155c_6)을 이용하여 힌트를 생성할 수 있다. 힌트 분석 모듈(3831)은 힌트 DB(3836)를 통해 사용자 단말(3810)에게 리스트를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 힌트 분석 모듈(3831)은 패스 플래너 모듈(3823)을 통해 사용자 단말(3810)에 설치된 어플리케이션의 버전 정보를 수신할 수 있다. 어떠한 실시예에 따르면, 버전 정보는 지능형 서버(3820)를 통하지 않고 사용자 단말(3810)로부터 힌트 제안 서버(3830)로 수신될 수도 있다. 힌트 분석 모듈(3831)은 버전 정보에 기초하여, 상기 생성된 힌트에 대응하는 패스 룰이 사용자 단말(3810)에서 지원 가능한 것인지 여부를 판단하고, 이러한 판단 결과에 따라 힌트 리스트에서 지원 가능한 힌트와 그렇지 않은 힌트를 선별하는 작업을 수행할 수 있다. 선별 작업을 통해 힌트 리스트는 지원 가능한 힌트만으로 재구성되어 힌트 DB(3836)에 보관되고 사용자 단말(3810)의 힌트 제공 요청에 의해 사용자 단말(3810)로 전송될 수 있다.
어떠한 실시예에 따르면, 상기 선별 작업은 생략되는 대신, 힌트와 함께, 이를 지원하는 버전 정보가 사용자 단말(3810)로 전송될 수도 있다. 이에 따르면, 사용자 단말(3810)의 힌트 표시 매니저(3813)는 상기 선별 작업을 수행하여 지원 가능한 힌트를 디스플레이를 통해 표시할 수 있다. 힌트 표시 매니저(3813)은, 디스플레이에 표시된 힌트가 사용자에 의해 선택되면, 해당 힌트의 패스 룰과 파라미터를 실행 매니저 모듈(3812)로 보내어 어플리케이션을 실행하게 할 수 있다.
어떠한 실시예에 따르면, 힌트는 그에 해당하는 패스 룰 및 파라미터와 함께 사용자 단말(3810)로 전송될 수도 있다. 예컨대, 힌트 분석 모듈(3831)은 힌트(즉, 사용자의 발화)에 해당하는 패스 룰과 파라미터를 지능형 서버(3820)로부터 수신하여 힌트와 함께 힌트 DB(3836)에 보관하고, 사용자 단말(3810)의 힌트 제공 요청에 의해 사용자 단말(3810)로 “힌트, 패스 룰 및 파라미터”를 전송할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성될 수 있다. 또한, 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고, 상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고, 상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고, 상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고, 상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장하는 것일 수 있다. 상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함할 수 있다. 상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것일 수 있다.
상기 시퀀스는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정되는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 상기 외부 전자 장치로부터 수신하도록 하는 것일 수 있다.
상기 파라미터는 상기 사용자 입력으로부터 획득된 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 사용자 입력을 위한 사용자 인터페이스를 표시하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들의 실행에 필요한 버전으로 어플리케이션을 업그레이드하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 태스크의 동작들의 단계적인 변화를 상기 디스플레이를 통해 표시하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 어플리케이션의 변경을 나타내는 정보를 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 것일 수 있다.
상기 변경은 삭제, 버전 업그레이드, 또는 상기 전자 장치로의 설치인 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 전자 장치의 부팅 완료, 상기 전자 장치로 SD 카드의 삽입 또는 상기 전자 장치로부터 SD 카드의 제거를 인지한 경우, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 것일 수 있다.
상기 인스트럭션들은 상기 프로세서가: 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들 중 적어도 하나의 기초하여, 힌트를 획득하고, 상기 힌트를 상기 디스플레이를 통해 표시하고, 상기 힌트에 대한 제 2 사용자 입력을 수신하고, 상기 제 2 사용자 입력에 반응하여, 상기 힌트에 대응하는 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 것일 수 있다.
상기 힌트는 어플리케이션의 버전 별로 다른 것일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 하우징; 상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이; 상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크; 상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커; 상기 하우징 내부에 위치한 무선 통신 회로; 상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및 상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행될 때, 상기 프로세서가: 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고, 상기 사용자 입력을 외부 서버로 전송하고, 상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고, 상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고, 상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고, 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장하는 것일 수 있다. 상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 서버는 상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및 사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함할 수 있다. 상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것일 수 있다.
상기 결과는, 상기 선택된 패스 룰을 이용하여 제어할 어플리케이션을 나타내는 도메인, 상기 선택된 패스 룰에 대응하는 사용자의 의도, 및 상기 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 포함할 수 있다.
상기 자연어 이해 모듈은 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 상기 도메인에 대응하는 패스 룰 세트를 선택하고, 상기 파라미터를 상기 선택된 패스 룰과 함께 상기 사용자 단말로 전송하도록 구성된 것일 수 있다.
상기 자연어 이해 모듈은, 상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 파악된 의도에 해당하는 패스 룰을 결정하는 복수의 의도 분류 매니저들과, 상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하고, 상기 선택된 버전 정보에 기초하여 상기 복수의 의도 분류 매니저들 중 하나를 상기 사용자 입력의 분석을 위한 매니저로 결정하는 도메인 분류 매니저를 포함할 수 있다.
상기 복수의 의도 분류 매니저들은 어플리케이션의 버전으로 식별되고, 각각 패스 룰들을 지원 가능한 것과 지원 불가능한 것으로 분류하여 관리하는 것일 수 있다.
상기 자연어 이해 모듈은, 상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하는 도메인 분류 매니저와, 상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 의도에 해당하는 패스 룰을 선택하고, 상기 도메인 분류 매니저에 의해 선택된 버전 정보에 기초하여 상기 선택된 패스 룰을 상기 사용자 단말로 전송할지 여부를 결정하는 의도 분류 매니저를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치를 동작하는 방법은, 터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작; 상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작; 상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작; 상기 외부 서버로부터 패스 룰을 수신하는 동작; 및 상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함할 수 있다. 상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(140))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(150))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    하우징;
    상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이;
    상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크;
    상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커;
    상기 하우징 내부에 위치한 무선 통신 회로;
    상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및
    상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는 상기 전자 장치에 설치된 복수개의 어플리케이션 프로그램들을 저장하도록 구성되고,
    상기 메모리는, 실행될 때, 상기 프로세서가:
    상기 어플리케이션 프로그램들 중 적어도 하나를 사용하여 태스크를 수행하기 위한 요청을 포함하는 사용자 입력을, 상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해, 수신하고,
    상기 사용자 입력과 관련된 데이터를, 상기 통신 회로를 통해, 외부 서버로 전송하고,
    상기 데이터 전송과 함께 또는 상기 데이터 전송 후에, 상기 어플리케이션 프로그램들 중 적어도 하나에 관한 버전 정보를, 상기 통신 회로를 통해, 상기 외부 서버로 전송하고,
    상기 요청에 대한 응답으로서 패스 룰을, 상기 통신 회로를 통해, 상기 외부 서버로부터 수신하고,
    상기 패스 룰은 상기 태스크를 수행하기 위한, 상기 전자 장치의 상태들의 시퀀스(sequence)에 관한 정보를 포함하고,
    상기 상태들 중 적어도 하나는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정된 것이고,
    상기 전자 장치가 상기 시퀀스를 갖게 함으로써 상기 태스크를 수행하도록 하는 인스트럭션들을 저장하는 것인,
    전자 장치.
  2. 제 1 항에 있어서, 상기 시퀀스는, 상기 버전 정보의 적어도 일부에 기초하여, 상기 외부 서버에 의해 결정되는 것인,
    전자 장치.
  3. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 상기 외부 전자 장치로부터 수신하도록 하는 것이고,
    상기 파라미터는 상기 사용자 입력으로부터 획득된 것인 전자 장치.
  4. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 태스크의 동작들 중 적어도 하나가 실행될 때 필요한 사용자 입력을 위한 사용자 인터페이스를 표시하도록 하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 태스크의 동작들의 실행에 필요한 버전으로 어플리케이션을 업그레이드하도록 하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 태스크의 동작들의 단계적인 변화를 상기 디스플레이를 통해 표시하도록 하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    어플리케이션의 변경을 나타내는 정보를 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 것이고,
    상기 변경은 삭제, 버전 업그레이드, 또는 상기 전자 장치로의 설치인 것인, 전자 장치.
  8. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 전자 장치의 부팅 완료, 상기 전자 장치로 SD 카드의 삽입 또는 상기 전자 장치로부터 SD 카드의 제거를 인지한 경우, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 상기 통신 회로를 통해 상기 외부 서버로 전송하도록 하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 인스트럭션들은 상기 프로세서가:
    상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들 중 적어도 하나의 기초하여, 힌트를 획득하고,
    상기 힌트를 상기 디스플레이를 통해 표시하고,
    상기 힌트에 대한 제 2 사용자 입력을 수신하고,
    상기 제 2 사용자 입력에 반응하여, 상기 힌트에 대응하는 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 것이고,
    상기 힌트는 어플리케이션의 버전 별로 다른 것인, 전자 장치.
  10. 전자 장치에 있어서,
    하우징;
    상기 하우징 내부에 위치하고 상기 하우징의 제 1 부분을 통해 노출된 터치스크린 디스플레이;
    상기 하우징 내부에 위치하고 상기 하우징의 제 2 부분을 통해 노출된 마이크;
    상기 하우징 내부에 위치하고 상기 하우징의 제 3 부분을 통해 노출된 적어도 하나의 스피커;
    상기 하우징 내부에 위치한 무선 통신 회로;
    상기 하우징 내부에 위치하고, 상기 디스플레이, 상기 마이크, 상기 스피커 및 상기 통신 회로에 전기적으로 연결된 프로세서; 및
    상기 하우징 내부에 위치하고 상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행될 때, 상기 프로세서가:
    상기 디스플레이 또는 상기 마이크 중 적어도 하나를 통해 사용자 입력을 수신하고,
    상기 사용자 입력을 외부 서버로 전송하고,
    상기 외부 서버로부터 상기 사용자 입력의 분석 결과를 수신하고,
    상기 분석 결과의 적어도 일부와 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들에 기초하여, 패스 룰 세트 데이터베이스에서 패스 룰 세트를 선택하고,
    상기 분석 결과의 적어도 일부에 기초하여, 상기 패스 룰 세트에서 패스 룰을 선택하고,
    상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하도록 하는 인스트럭션들을 저장하고,
    상기 패스 룰은 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함하는 것인,
    전자 장치.
  11. 서버에 있어서,
    상기 사용자 단말로부터 상기 사용자 단말에 설치된 어플리케이션들 각각에 대응하는 버전 정보들을 수신하고, 패스 룰 세트 데이터베이스에서 상기 버전 정보들에 각각 대응하는 패스 룰 세트들을 획득하도록 구성된 패스 플래너 모듈; 및
    사용자 단말로부터 수신된 사용자 입력을 분석하고, 상기 분석의 결과의 적어도 일부에 기초하여 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 패스 룰 세트를 선택하고, 상기 결과의 적어도 일부에 기초하여, 상기 선택된 패스 룰 세트에서 패스 룰을 선택하고, 상기 선택된 패스 룰을 상기 사용자 단말로 전송하도록 구성된 자연어 이해 모듈을 포함하고,
    상기 선택된 패스 룰은 상기 사용자 단말에 설치된 어플리케이션들 중 적어도 하나의 동작들을 제어하도록 하는 것인,
    서버.
  12. 제 11 항에 있어서,
    상기 결과는,
    상기 선택된 패스 룰을 이용하여 제어할 어플리케이션을 나타내는 도메인,
    상기 선택된 패스 룰에 대응하는 사용자의 의도, 및
    상기 동작들 중 적어도 하나가 실행될 때 필요한 파라미터를 포함하고,
    상기 자연어 이해 모듈은 상기 패스 플래너 모듈에 의해 획득된 패스 룰 세트들 중에서 상기 도메인에 대응하는 패스 룰 세트를 선택하고, 상기 파라미터를 상기 선택된 패스 룰과 함께 상기 사용자 단말로 전송하도록 구성된 것인 서버.
  13. 제 11 항에 있어서,
    상기 자연어 이해 모듈은,
    상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 파악된 의도에 해당하는 패스 룰을 결정하는 복수의 의도 분류 매니저들과,
    상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하고, 상기 선택된 버전 정보에 기초하여 상기 복수의 의도 분류 매니저들 중 하나를 상기 사용자 입력의 분석을 위한 매니저로 결정하는 도메인 분류 매니저를 포함하고,
    상기 복수의 의도 분류 매니저들은 어플리케이션의 버전으로 식별되고, 각각 패스 룰들을 지원 가능한 것과 지원 불가능한 것으로 분류하여 관리하는 것인 서버.
  14. 제 11 항에 있어서,
    상기 자연어 이해 모듈은,
    상기 사용자 입력의 도메인을 결정하고, 상기 버전 정보들 중 상기 도메인에 해당하는 버전 정보를 선택하는 도메인 분류 매니저와,
    상기 사용자 입력을 분석하여 사용자의 의도를 파악하고 상기 의도에 해당하는 패스 룰을 선택하고, 상기 도메인 분류 매니저에 의해 선택된 버전 정보에 기초하여 상기 선택된 패스 룰을 상기 사용자 단말로 전송할지 여부를 결정하는 의도 분류 매니저를 포함하는,
    서버.
  15. 전자 장치를 동작하는 방법에 있어서,
    터치스크린 디스플레이 또는 마이크 중 적어도 하나를 통해 사용자 입력을 수신하는 동작;
    상기 사용자 입력에 응답하여, 상기 전자 장치에 설치된 어플리케이션들에 각각 대응하는 버전 정보들을 획득하는 동작;
    상기 사용자 입력 및 상기 버전 정보들을 통신 모듈을 통해 외부 서버로 전송하는 동작;
    상기 외부 서버로부터 패스 룰을 수신하는 동작;
    상기 패스 룰을 이용하여 적어도 하나의 어플리케이션의 동작들을 제어하는 동작을 포함하고,
    상기 패스 룰은, 상기 버전 정보들 중 적어도 하나 및 상기 사용자 입력에 기초하여 생성된 것으로, 상기 동작들에 대한 정보 및 상기 동작들의 순서를 포함하는, 방법.
PCT/KR2018/003612 2017-04-27 2018-03-27 지능형 에이전트 관리 방법 및 장치 WO2018199483A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/608,656 US11301266B2 (en) 2017-04-27 2018-03-27 Method and apparatus for managing intelligent agent

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0054350 2017-04-27
KR1020170054350A KR102309031B1 (ko) 2017-04-27 2017-04-27 지능형 에이전트 관리 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018199483A1 true WO2018199483A1 (ko) 2018-11-01

Family

ID=63919003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003612 WO2018199483A1 (ko) 2017-04-27 2018-03-27 지능형 에이전트 관리 방법 및 장치

Country Status (3)

Country Link
US (1) US11301266B2 (ko)
KR (1) KR102309031B1 (ko)
WO (1) WO2018199483A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020167294A1 (en) * 2019-02-12 2020-08-20 Google Llc Directing a vehicle client device to use on-device functionality
US20210304755A1 (en) * 2020-03-30 2021-09-30 Honda Motor Co., Ltd. Conversation support device, conversation support system, conversation support method, and storage medium
CN117251500A (zh) * 2023-11-20 2023-12-19 深圳市雁联计算系统有限公司 一种数据库动态读写分离的系统及方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102426704B1 (ko) 2017-08-28 2022-07-29 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US11189285B2 (en) * 2017-09-20 2021-11-30 Sharp Kabushiki Kaisha Air purifier
US11544303B1 (en) * 2018-03-23 2023-01-03 Amazon Technologies, Inc. Responding with unresponsive content
US20190354874A1 (en) * 2018-05-16 2019-11-21 Agentz, Inc Platform for autonomous and goal-driven digital assistants
US11615208B2 (en) * 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
KR102704312B1 (ko) * 2019-07-09 2024-09-06 엘지전자 주식회사 커뮤니케이션 로봇 및 그의 구동 방법
US11037571B2 (en) * 2019-10-04 2021-06-15 Motorola Solutions, Inc. Speech-based two-way radio assistant
US11158308B1 (en) * 2019-11-27 2021-10-26 Amazon Technologies, Inc. Configuring natural language system
CN111192578B (zh) * 2019-12-28 2023-04-07 惠州Tcl移动通信有限公司 应用控制方法、装置、存储介质及电子设备
CN112099892B (zh) * 2020-09-22 2023-10-31 青岛海信移动通信技术有限公司 一种通信终端及快速扫描二维码的方法
CN112468934B (zh) * 2020-11-16 2022-07-26 深圳康佳电子科技有限公司 一种麦克风控制方法、装置、智能终端及存储介质
US20230094274A1 (en) * 2021-09-28 2023-03-30 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059647A (ja) * 2012-09-14 2014-04-03 Sharp Corp アプリケーションサーバ装置、クライアント端末装置、ガイダンス表示方法、ガイダンス表示プログラム、ガイダンス表示システム
US20140206332A1 (en) * 2008-10-08 2014-07-24 Blackberry Limited Server for sending new application portions to mobile wireless communications devices and related methods
WO2015102124A1 (ko) * 2013-12-31 2015-07-09 엘지전자 주식회사 대화 서비스 제공 장치 및 방법
US20160328270A1 (en) * 2015-05-05 2016-11-10 Microsoft Technology Licensing, Llc Building multimodal collaborative dialogs with task frames
KR20160142802A (ko) * 2011-09-30 2016-12-13 애플 인크. 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212649B1 (en) * 1996-12-30 2001-04-03 Sentar, Inc. System and method for providing highly-reliable coordination of intelligent agents in a distributed computing system
US6185535B1 (en) * 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
US6678716B1 (en) * 2000-06-19 2004-01-13 J. D. Edwards World Source Company System and method for managing processes
US20090106353A1 (en) * 2001-09-19 2009-04-23 Belovich Steven G Method and system for providing an event auditing client server software arrangement
US6889191B2 (en) 2001-12-03 2005-05-03 Scientific-Atlanta, Inc. Systems and methods for TV navigation with compressed voice-activated commands
US20060179116A1 (en) * 2003-10-10 2006-08-10 Speeter Thomas H Configuration management system and method of discovering configuration data
US8230222B2 (en) * 2005-08-23 2012-07-24 International Business Machines Corporation Method, system and computer program for deploying software packages with increased security
US7761591B2 (en) 2005-12-16 2010-07-20 Jean A. Graham Central work-product management system for coordinated collaboration with remote users
US7693718B2 (en) 2006-01-31 2010-04-06 International Business Machines Corporation Update technique for speech recognition applications with uninterrupted (24X7) operation
EP2047420A4 (en) * 2006-07-27 2009-11-18 Hewlett Packard Development Co USER EXPERIENCE AND DEPENDENCE MANAGEMENT IN A MOBILE DEVICE
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8418168B2 (en) * 2008-05-29 2013-04-09 Research In Motion Limited Method and system for performing a software upgrade on an electronic device connected to a computer
US8739074B2 (en) * 2008-08-28 2014-05-27 Kyocera Corporation User interface generation apparatus for generating user interfaces of mobile terminals
US8892699B2 (en) * 2008-12-31 2014-11-18 Schneider Electric USA, Inc. Automatic firmware updates for intelligent electronic devices
EP2384469B1 (en) 2009-01-19 2016-06-22 Telefonaktiebolaget LM Ericsson (publ) Mobile specialized software code update
JP2012018657A (ja) * 2010-06-11 2012-01-26 Nintendo Co Ltd 情報処理端末、情報処理システム、情報処理プログラム
US8806471B2 (en) * 2010-09-28 2014-08-12 Red Hat, Inc. Upgrade and downgrade in package update operations
US9623096B2 (en) * 2011-11-09 2017-04-18 Celverum Inc. Virally infected hematopoietic cells and uses thereof
US9570086B1 (en) * 2011-11-18 2017-02-14 Google Inc. Intelligently canceling user input
US8918712B2 (en) * 2011-12-13 2014-12-23 Fmr Llc Dynamically generating a mobile application
KR101951171B1 (ko) * 2012-08-09 2019-02-25 삼성전자 주식회사 멀티미디어 프로세싱 시스템 및 그 동작 방법
GB2507305A (en) 2012-10-25 2014-04-30 Ibm Server client negotiation of version selection in a messaging system
US9699271B2 (en) * 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
US9292254B2 (en) * 2013-05-15 2016-03-22 Maluuba Inc. Interactive user interface for an intelligent assistant
US9753796B2 (en) * 2013-12-06 2017-09-05 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
US10120667B2 (en) * 2014-04-30 2018-11-06 Schneider Electric Industries Sas Systems and methods for delivering and accessing software components
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US10523537B2 (en) * 2015-06-30 2019-12-31 Amazon Technologies, Inc. Device state management
US10671428B2 (en) * 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10586535B2 (en) * 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140206332A1 (en) * 2008-10-08 2014-07-24 Blackberry Limited Server for sending new application portions to mobile wireless communications devices and related methods
KR20160142802A (ko) * 2011-09-30 2016-12-13 애플 인크. 가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용
JP2014059647A (ja) * 2012-09-14 2014-04-03 Sharp Corp アプリケーションサーバ装置、クライアント端末装置、ガイダンス表示方法、ガイダンス表示プログラム、ガイダンス表示システム
WO2015102124A1 (ko) * 2013-12-31 2015-07-09 엘지전자 주식회사 대화 서비스 제공 장치 및 방법
US20160328270A1 (en) * 2015-05-05 2016-11-10 Microsoft Technology Licensing, Llc Building multimodal collaborative dialogs with task frames

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020167294A1 (en) * 2019-02-12 2020-08-20 Google Llc Directing a vehicle client device to use on-device functionality
CN113424255A (zh) * 2019-02-12 2021-09-21 谷歌有限责任公司 引导车辆客户端设备使用设备上的功能
US11315559B2 (en) 2019-02-12 2022-04-26 Google Llc Directing a vehicle client device to use on-device functionality
US11727934B2 (en) 2019-02-12 2023-08-15 Google Llc Directing a vehicle client device to use on-device functionality
EP4339940A3 (en) * 2019-02-12 2024-05-15 Google LLC. Directing a vehicle client device to use on-device functionality
CN113424255B (zh) * 2019-02-12 2024-10-01 谷歌有限责任公司 引导车辆客户端设备使用设备上的功能
US20210304755A1 (en) * 2020-03-30 2021-09-30 Honda Motor Co., Ltd. Conversation support device, conversation support system, conversation support method, and storage medium
CN117251500A (zh) * 2023-11-20 2023-12-19 深圳市雁联计算系统有限公司 一种数据库动态读写分离的系统及方法
CN117251500B (zh) * 2023-11-20 2024-02-09 深圳市雁联计算系统有限公司 一种数据库动态读写分离的方法

Also Published As

Publication number Publication date
US11301266B2 (en) 2022-04-12
US20200192684A1 (en) 2020-06-18
KR20180120427A (ko) 2018-11-06
KR102309031B1 (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
WO2018199483A1 (ko) 지능형 에이전트 관리 방법 및 장치
WO2018182202A1 (en) Electronic device and method of executing function of electronic device
WO2020017849A1 (en) Electronic device and method for providing artificial intelligence services based on pre-gathered conversations
WO2020222444A1 (en) Server for determining target device based on speech input of user and controlling target device, and operation method of the server
WO2018097478A1 (en) Electronic device for processing multi-modal input, method for processing multi-modal input and sever for processing multi-modal input
WO2018194268A9 (en) Electronic device and method for processing user speech
WO2019078588A1 (ko) 전자 장치 및 그의 동작 방법
WO2019182226A1 (en) System for processing sound data and method of controlling system
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2019078576A1 (ko) 음성 신호를 제어하기 위한 전자 장치 및 방법
WO2018182270A1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
WO2019212213A1 (en) Electronic device and method of executing function of electronic device
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
WO2018084576A1 (en) Electronic device and controlling method thereof
EP3603040A1 (en) Electronic device and method of executing function of electronic device
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
WO2021029627A1 (en) Server that supports speech recognition of device, and operation method of the server
WO2019017715A1 (en) ELECTRONIC DEVICE AND SYSTEM FOR DETERMINING SPEECH INPUT RECEIVING TIME BASED ON CONTEXTUAL INFORMATION
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2019172627A1 (en) System for processing user utterance and controlling method thereof
AU2019319322B2 (en) Electronic device for performing task including call in response to user utterance and operation method thereof
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2019221440A1 (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
WO2019050242A1 (en) ELECTRONIC DEVICE, SERVER, AND RECORDING MEDIUM SUPPORTING THE EXECUTION OF A TASK USING AN EXTERNAL DEVICE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18791990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18791990

Country of ref document: EP

Kind code of ref document: A1