WO2019164191A1 - 음성 입력 처리 방법 및 이를 지원하는 전자 장치 - Google Patents

음성 입력 처리 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2019164191A1
WO2019164191A1 PCT/KR2019/001884 KR2019001884W WO2019164191A1 WO 2019164191 A1 WO2019164191 A1 WO 2019164191A1 KR 2019001884 W KR2019001884 W KR 2019001884W WO 2019164191 A1 WO2019164191 A1 WO 2019164191A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
processor
information
password
Prior art date
Application number
PCT/KR2019/001884
Other languages
English (en)
French (fr)
Inventor
이보람
전택수
김선아
김용호
조경선
주가현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2019164191A1 publication Critical patent/WO2019164191A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • Embodiments disclosed herein relate to voice input processing techniques.
  • An artificial intelligence system (or integrated intelligence system) is a computer system that implements human-level intelligence. The machine learns and judges itself, and the recognition rate improves as it is used.
  • Machine learning deep learning technology that uses algorithms to classify / learn characteristics of input data and elemental technologies that simulate functions such as cognition and judgment of the human brain using machine learning algorithms. It consists of.
  • Elemental skills include, for example, linguistic comprehension skills that recognize human language / characters, visual comprehension skills that recognize things as human vision, reasoning / prediction skills that determine and logically infer and predict information, and It may include at least one of a knowledge expression technology for processing the experience information as knowledge data, autonomous driving of the vehicle, an operation control technology for controlling the movement of the robot.
  • linguistic understanding is a technology for recognizing and applying / processing human language / character, and includes natural language processing, machine translation, dialogue system, question answering, speech recognition / synthesis, and the like.
  • An electronic device equipped with an artificial intelligence system analyzes voice data input by a user's speech and determines a task (or function) to be performed in the electronic device or an external electronic device connected to the electronic device based on the analyzed result.
  • the task may be performed by the electronic device or an external electronic device.
  • the electronic device may receive a password required for performing the task from the user.
  • the electronic device may receive a set voice password to confirm whether the task is performed by the authenticated user.
  • Embodiments disclosed in the present disclosure may provide a voice input processing method for changing a setting of password authentication required to perform a task according to surrounding information of an electronic device, and an electronic device supporting the same.
  • embodiments disclosed herein may provide a voice input processing method for providing related information so as to guide a user to change a setting of password authentication, and an electronic device supporting the same.
  • An electronic device includes a microphone, a communication circuit for communicating with an external electronic device, a processor operatively connected to the microphone and the communication circuit, and a memory operatively connected to the processor.
  • the memory may be configured to, when executed, cause the processor to acquire, via the microphone, a first voice input associated with performing a task, identify a first voice password required to perform the task, and obtain peripheral information of the electronic device. Acquire a message, if the surrounding information satisfies a specified condition, change the setting of the password authentication required to perform the task, and transmits a signal related to the setting change of the password authentication to the external electronic device through the communication circuit. You can store instructions that let you do this.
  • the voice input processing method of the electronic device the operation of obtaining a first voice input associated with the performance of the task through the microphone, the first voice password required to perform the task Performing peripheral operations, acquiring peripheral information of the electronic device, changing a setting of password authentication required to perform the task when the peripheral information satisfies a specified condition, and performing an operation on the external electronic device through a communication circuit. And transmitting a signal related to a setting change of the password authentication.
  • FIG. 1 is a diagram illustrating an integrated intelligence system according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram illustrating a user terminal of an integrated intelligence system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating executing an intelligent app of a user terminal according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a context module of an intelligent service module collecting a current state according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a proposal module of an intelligent service module according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating an intelligent server of an integrated intelligence system according to an embodiment of the present invention.
  • FIG. 7 illustrates a method of generating a path rule of a path planner module according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a persona module of an intelligent service module managing user information according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an electronic device associated with voice input processing according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a method of operating an electronic device associated with voice input processing according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a method of changing a setting of password authentication according to whether a user is authenticated according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a method of changing a setting of password authentication according to whether an input means can be changed according to an embodiment of the present invention.
  • FIG. 13 is a diagram for describing a method of changing a password authentication setting to a common voice password input method according to an embodiment of the present invention.
  • FIG. 14 is a diagram for describing a method of changing the setting of password authentication according to an embodiment of the present invention to an input method of a one-time voice password.
  • 15 is a view for explaining a method of setting a one-time voice password according to an embodiment of the present invention.
  • 16 is a view for explaining a method of authenticating a password through a one-time voice password according to an embodiment of the present invention.
  • 17 is a view for explaining a method of changing the input means of the password according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a method of guiding a user when a setting of password authentication is not changed according to an embodiment of the present invention.
  • 19 is a diagram illustrating a method of guiding a user to change a setting of password authentication according to an embodiment of the present invention.
  • 20 is a block diagram of an electronic device associated with voice input processing in a network environment according to various embodiments of the present disclosure.
  • FIG. 1 is a diagram illustrating an integrated intelligence system according to various embodiments of the present disclosure.
  • the integrated intelligence system 10 may include a user terminal 100, an intelligent server 200, a personalization information server 300, or a proposal server 400.
  • the user terminal 100 is a service required by the user through an app (or application program) (eg, an alarm app, a message app, a photo (gallery) app, etc.) stored in the user terminal 100.
  • an app or application program
  • the user terminal 100 may execute and operate another app through an intelligent app (or a voice recognition app) stored in the user terminal 100.
  • the user terminal 100 may receive a user input for executing and operating the other app through the intelligent app.
  • the user input may be received through, for example, a physical button, a touch pad, a voice input, a remote input, or the like.
  • the user terminal 100 may correspond to various terminal devices (or electronic devices) that can be connected to the Internet such as a mobile phone, a smart phone, a personal digital assistant (PDA) or a notebook computer.
  • PDA personal digital assistant
  • the user terminal 100 may receive a user's speech as a user input.
  • the user terminal 100 may receive an utterance of a user and generate a command for operating an app based on the utterance of the user. Accordingly, the user terminal 100 may operate the app by using the command.
  • the intelligent server 200 may receive a user voice input from the user terminal 100 through a communication network and change the text data into text data.
  • the intelligent server 200 may generate (or select) a path rule based on the text data.
  • the pass rule may include information on an action (or operation) for performing a function of an app or information on a parameter required to execute the action.
  • the path rule may include an order of the operation of the app.
  • the user terminal 100 may receive the path rule, select an app according to the path rule, and execute an operation included in the path rule in the selected app.
  • path rule in this document may generally refer to a sequence of states for the electronic device to perform a task requested by a user, but is not limited thereto.
  • the pass rule may include information about the sequence of states.
  • the task may be, for example, any action that an intelligent app can provide.
  • the task may include generating a schedule, transmitting a photo to a desired counterpart, or providing weather information.
  • the user terminal 100 may perform the task by sequentially having at least one or more states (for example, an operating state of the user terminal 100).
  • the pass rule may be provided or generated by an artificial intelligent (AI) system.
  • the AI system may be a rule-based system, a neural network-based system (e.g., a feedforward neural network (FNN), a recurrent neural network (RNN) May be))). Or combinations of the foregoing or other AI systems.
  • the path rule may be selected from a predefined set of path rules or generated in real time in response to a user request.
  • the AI system may select at least one pass rule from among a plurality of predefined pass rules, or generate a pass rule dynamically (or in real time).
  • the user terminal 100 may use a hybrid system to provide a pass rule.
  • the user terminal 100 may execute the operation and display a screen corresponding to the state of the user terminal 100 that executes the operation on the display.
  • the user terminal 100 may execute the operation and may not display a result of performing the operation on the display.
  • the user terminal 100 may execute a plurality of operations and display only a partial result of the plurality of operations on the display.
  • the user terminal 100 may display only a result of performing the last order of operations on the display.
  • the user terminal 100 may receive a user input and display a result of executing the operation on a display.
  • the personalization information server 300 may include a database in which user information is stored.
  • the personalization information server 300 may receive user information (eg, context information, app execution, etc.) from the user terminal 100 and store it in the database.
  • the intelligent server 200 may use the user information when receiving the user information from the personalized information server 300 through a communication network and generating a pass rule for a user input.
  • the user terminal 100 may receive user information from the personalization information server 300 through a communication network and use the information as information for managing a database.
  • the proposal server 400 may include a database in which information about a function or an application to be introduced or provided is stored in the terminal.
  • the suggestion server 400 may receive a user information of the user terminal 100 from the personalization information server 300, and may include a database in which information about a function that a user can use is stored.
  • the user terminal 100 may receive information on the function to be provided from the proposal server 400 through the communication network and provide the received information to the user.
  • FIG. 2 is a block diagram illustrating a user terminal of an integrated intelligence system according to an embodiment of the present invention.
  • the user terminal 100 may include an input module 110, a display 120, a speaker 130, a memory 140, or a processor 150.
  • the user terminal 100 may further include a housing, and the components of the user terminal 100 may be seated inside or located on the housing.
  • the user terminal 100 may further include a communication circuit located inside the housing.
  • the user terminal 100 may transmit / receive data (or information) with an external server (eg, the intelligent server 200) through the communication circuit.
  • the input module 110 may receive a user input from a user.
  • the input module 110 may receive a user input from a connected external device (eg, a keyboard or a headset).
  • the input module 110 may include a touch screen (eg, a touch screen display) coupled with the display 120.
  • the input module 110 may include a hardware key (or a physical key) located in the user terminal 100 (or a housing of the user terminal 100).
  • the input module 110 may include a microphone capable of receiving a user's speech as a voice signal.
  • the input module 110 may include a speech input system, and may receive a speech of a user as a voice signal through the speech input system.
  • the microphone may be exposed through, for example, a portion of the housing (eg, the first portion).
  • the display 120 may display an image, a video, and / or an execution screen of an application.
  • the display 120 may display a graphical user interface (GUI) of the app.
  • GUI graphical user interface
  • the display 120 may be exposed through a portion of the housing (eg, the second portion).
  • the speaker 130 may output a voice signal.
  • the speaker 130 may output the voice signal generated inside the user terminal 100 to the outside.
  • the speaker 130 may be exposed through a portion (eg, a third portion) of the housing.
  • the memory 140 may store a plurality of apps (or application programs) 141 and 143.
  • the plurality of apps 141 and 143 may be, for example, a program for performing a function corresponding to a user input.
  • the memory 140 may store the intelligent agent 145, the execution manager module 147, or the intelligent service module 149.
  • the intelligent agent 145, the execution manager module 147, and the intelligent service module 149 may be, for example, a framework (or application framework) for processing received user input (eg, user utterance). (application framework)).
  • the memory 140 may include a database capable of storing information necessary to recognize a user input.
  • the memory 140 may include a log database capable of storing log information.
  • the memory 140 may include a persona database that may store user information.
  • the memory 140 stores a plurality of apps 141 and 143, and the plurality of apps 141 and 143 may be loaded and operated.
  • the plurality of apps 141 and 143 stored in the memory 140 may be loaded and operated by the execution manager module 147.
  • the plurality of apps 141 and 143 may include execution service modules 141a and 143a that perform a function.
  • the plurality of apps 141 and 143 may execute a plurality of operations (eg, a sequence of states) 141b and 143b through the execution service modules 141a and 143a to perform a function.
  • the execution service modules 141a and 143a may be activated by the execution manager module 147 and execute a plurality of operations 141b and 143b.
  • the execution status screen when the operations 141b and 143b of the apps 141 and 143 are executed, the execution status screen according to the execution of the operations 141b and 143b may be displayed on the display 120.
  • the execution status screen may be, for example, a screen in which operations 141b and 143b are completed.
  • the execution status screen may be a screen in a state in which execution of operations 141b and 143b is stopped (for example, when a parameter required for operations 141b and 143b is not input). .
  • the execution service module 141a or 143a may execute operations 141b and 143b according to a pass rule.
  • the execution service modules 141a and 143a are activated by the execution manager module 147, receive an execution request from the execution manager module 147 according to the path rule, and operate according to the execution request 141b. 143b), the functions of the apps 141 and 143 can be executed.
  • the execution service module 141a or 143a may transfer the completion information to the execution manager module 147 when the execution of the operations 141b and 143b is completed.
  • the plurality of operations 141b and 143b when executed in the apps 141 and 143, the plurality of operations 141b and 143b may be sequentially executed.
  • the execution service modules 141a and 143a may perform the next operation (eg, the first app 141) when execution of one operation (eg, operation 1 of the first app 141 and operation 1 of the second app 143) is completed.
  • Operation 2), operation 2) of the second app 143 may be opened, and the completion information may be transmitted to the execution manager module 147. Opening any operation herein may be understood as transitioning any operation to an executable state or preparing to execute any operation. In other words, if any action is not open, that action cannot be executed.
  • the execution manager module 147 may transmit an execution request for a next operation (for example, operation 2 of the first app 141 and operation 2 of the second app 143) to the execution service module. .
  • a next operation for example, operation 2 of the first app 141 and operation 2 of the second app 143
  • the plurality of apps 141 and 143 may be sequentially executed.
  • the execution manager module 147 may execute the second app 143.
  • the execution request of the first operation (eg, operation 1 of the second app 143) may be transmitted to the execution service 143a.
  • the result screen according to the execution of each of the executed plurality of operations 141b and 143b is displayed on the display 120. May be displayed. According to an embodiment of the present disclosure, only a part of the plurality of result screens according to the execution of the executed operations 141b and 143b may be displayed on the display 120.
  • the memory 140 may store an intelligent app (eg, a voice recognition app) linked to the intelligent agent 145.
  • An app linked with the intelligent agent 145 may receive and process a user's speech as a voice signal.
  • the app linked with the intelligent agent 145 may be operated by a specific input (for example, input through a hardware key, input through a touch screen, or specific voice input) input through the input module 110. Can be.
  • the intelligent agent 145, the execution manager module 147, or the intelligent service module 149 stored in the memory 140 may be executed by the processor 150.
  • the functionality of the intelligent agent 145, the execution manager module 147 or the intelligent service module 149 may be implemented by the processor 150.
  • the functions of the intelligent agent 145, the execution manager module 147, and the intelligent service module 149 may be described as operations of the processor 150.
  • the intelligent agent 145, the execution manager module 147, or the intelligent service module 149 stored in the memory 140 may be implemented in hardware as well as software.
  • the processor 150 may control overall operations of the user terminal 100.
  • the processor 150 may control the input module 110 to receive a user input.
  • the processor 150 may control the display 120 to display an image.
  • the processor 150 may control the speaker 130 to output a voice signal.
  • the processor 150 controls the memory 140 to execute a program, and load or store necessary information.
  • the processor 150 may execute the intelligent agent 145, the execution manager module 147, or the intelligent service module 149 stored in the memory 140. Accordingly, the processor 150 may implement the functions of the intelligent agent 145, the execution manager module 147, or the intelligent service module 149.
  • the processor 150 may execute the intelligent agent 145 to generate a command for operating an app based on a voice signal received as a user input. According to an embodiment of the present disclosure, the processor 150 may execute the execution manager module 147 to execute the apps 141 and 143 stored in the memory 140 according to the generated command. According to an embodiment of the present disclosure, the processor 150 may execute the intelligent service module 149 to manage user information and process user input using the user information.
  • the processor 150 may execute the intelligent agent 145 to transmit the user input received through the input module 110 to the intelligent server 200, and process the user input through the intelligent server 200.
  • the processor 150 may execute the intelligent agent 145 to preprocess the user input before transmitting the user input to the intelligent server 200.
  • the intelligent agent 145 may include an adaptive echo canceller (AEC) module, a noise suppression (NS) module, and an end-point end point for preprocessing the user input. detection (EPD) module or automatic gain control (AGC) module.
  • the adaptive echo canceller may remove an echo included in the user input.
  • the noise suppression module may suppress background noise included in the user input.
  • the end point detection module may detect an end point of a user voice included in the user input, and find a portion in which the voice of the user exists using the detected end point.
  • the automatic gain control module may recognize the user input and adjust the volume of the user input to be suitable for processing the recognized user input.
  • the processor 150 may execute all of the preprocessing configurations for performance, but in other embodiments, the processor 150 may execute some of the preprocessing configurations to operate at low power.
  • the intelligent agent 145 may execute a wake up recognition module stored in the memory 140 to recognize a user call. Accordingly, the processor 150 may recognize the wake up command of the user through the wake up recognition module, and execute the intelligent agent 145 for receiving the user input when the wake up command is received. .
  • the wake-up recognition module may be implemented as a low power processor (eg, a processor included in an audio codec).
  • the processor 150 when the processor 150 receives a user input through a hardware key, the processor 150 may execute the intelligent agent 145.
  • an intelligent app for example, a voice recognition app linked with the intelligent agent 145 may be executed.
  • the intelligent agent 145 may include a voice recognition module for executing a user input.
  • the processor 150 may recognize a user input for executing an operation in an app through the voice recognition module.
  • the processor 150 uses the voice recognition module to perform a shooting operation when a limited user (voice) input (for example, a camera app is running) that executes an action such as the wake up command in an app 141 or 143. Utterances such as "clicks" to launch.
  • the processor 150 may recognize the user command that can be processed in the user terminal 100 through the voice recognition module to assist the intelligent server 200 to quickly process the intelligent server 200.
  • the voice recognition module of the intelligent agent 145 for executing user input may be implemented in an app processor.
  • the voice recognition module of the intelligent agent 145 may recognize a user input by using an algorithm for recognizing the voice.
  • the algorithm used to recognize the voice may be, for example, at least one of a hidden markov model (HMM) algorithm, an artificial neural network (ANN) algorithm, or a dynamic time warping (DTW) algorithm.
  • HMM hidden markov model
  • ANN artificial neural network
  • DTW dynamic time warping
  • the processor 150 may execute the intelligent agent 145 to convert the voice input of the user into text data.
  • the processor 150 may transmit the voice of the user to the intelligent server 200 through the intelligent agent 145 and receive text data corresponding to the voice of the user from the intelligent server 200. Accordingly, the processor 150 may display the converted text data on the display 120.
  • the processor 150 may execute the intelligent agent 145 to receive a pass rule from the intelligent server 200. According to an embodiment of the present disclosure, the processor 150 may transmit the path rule to the execution manager module 147 through the intelligent agent 145.
  • the processor 150 executes the intelligent agent 145 to transfer an execution result log according to the pass rule received from the intelligent server 200 to the intelligence service module 149.
  • the execution result log may be accumulated and managed in the user's preference information of the persona module 149b.
  • the processor 150 executes the execution manager module 147 to receive a path rule from the intelligent agent 145 to execute the apps 141 and 143, and the apps 141 and 143 pass the path.
  • the operations 141b and 143b included in the rule may be executed.
  • the processor 150 may transmit command information (eg, path rule information) for executing the operations 141b and 143b to the apps 141 and 143 through the execution manager module 147.
  • Complete information of the operations 141b and 143b may be received from the apps 141 and 143.
  • the processor 150 executes the execution manager module 147 to execute operations 141b and 143b of the apps 141 and 143 between the intelligent agent 145 and the apps 141 and 143.
  • Command information for example, pass rule information
  • the processor 150 binds the apps 141 and 143 to be executed according to the path rule through the execution manager module 147 and executes command information (eg, for example, operations 141b and 143b included in the path rule).
  • Pass rule information may be transmitted to the apps 141 and 143.
  • the processor 150 sequentially transmits the operations 141b and 143b included in the path rule to the apps 141 and 143 through the execution manager module 147 to operate the apps 141 and 143.
  • 141b and 143b may be executed sequentially according to the pass rule.
  • the processor 150 may execute the execution manager module 147 to manage execution states of operations 141b and 143b of the apps 141 and 143.
  • the processor 150 may receive information about an execution state of the operations 141b and 143b from the apps 141 and 143 through the execution manager module 147.
  • the execution state of the operations 141b and 143b is, for example, a partial landing (eg, when a parameter required for the operations 141b and 143b is not input)
  • the processor 150 executes the execution.
  • the manager module 147 may transmit information about the stopped state to the intelligent agent 145.
  • the processor 150 may request the user to input necessary information (eg, parameter information) using the received information through the intelligent agent 145.
  • the processor 150 may receive a speech from a user through the intelligent agent 145.
  • the processor 150 may transmit the information about the executed apps 141 and 143 and the execution states of the apps 141 and 143 to the intelligent agent 145 through the execution manager module 147.
  • the processor 150 may transmit the user speech to the intelligent server 200 through the intelligent agent 145.
  • the processor 150 may receive parameter information of the user's speech from the intelligent server 200 through the intelligent agent 145.
  • the processor 150 may transmit the received parameter information to the execution manager module 147 through the intelligent agent 145.
  • the execution manager module 147 may change the parameters of operations 141b and 143b into new parameters using the received parameter information.
  • the processor 150 may execute the execution manager module 147 and transfer the parameter information included in the pass rule to the apps 141 and 143.
  • the execution manager module 147 may transfer parameter information included in the pass rule from one app to another app.
  • the processor 150 may execute the execution manager module 147 to receive a plurality of pass rules.
  • the processor 150 may receive a plurality of pass rules based on the user's speech through the execution manager module 147. For example, the processor 150 has specified some apps 141 through which the user's speech is to execute some operations 141b through the execution manager module 147, but the other apps 143 to execute the remaining operations 143b. If not specified, the same app 141 (e.g. gallery app) that will execute some action 141b will run, and the different apps 143 (e.g. messaging app, telegram app) that can execute the other action 143b. ) May receive a plurality of different pass rules, each of which is executed.
  • the same app 141 e.g. gallery app
  • the different apps 143 e.g. messaging app, telegram app
  • the processor 150 may execute, for example, the same operations 141b and 143b (eg, consecutive same operations 141b and 143b) of the plurality of pass rules through the execution manager module 147.
  • the display 120 displays a status screen for selecting different apps 141 and 143 included in the plurality of pass rules through the execution manager module 147. I can display it.
  • the intelligent service module 149 may include a context module 149a, a persona module 149b, or a proposal module 149c.
  • the processor 150 may execute the context module 149a to collect the current state of the apps 141 and 143 from the apps 141 and 143.
  • the processor 150 executes the context module 149a to receive context information indicating the current state of the app 141, 143, and the current state of the app 141, 143 through the received context information. Can be collected.
  • the processor 150 may execute the persona module 149b to manage personal information of a user who uses the user terminal 100. For example, the processor 150 executes the persona module 149b to collect the usage information and the execution result of the user terminal 100, and uses the collected user information and the execution result of the user terminal 100 to execute the user. To manage your personal information.
  • the processor 150 may execute the suggestion module 149c to predict a user's intention and recommend a command to the user based on the user's intention. For example, the processor 150 may execute the suggestion module 149c to recommend a command to the user according to the current state (eg, time, place, situation, app) of the user.
  • the current state eg, time, place, situation, app
  • FIG. 3 is a diagram illustrating executing an intelligent app of a user terminal according to an exemplary embodiment.
  • the user terminal 100 receives a user input and executes an intelligent app (eg, a voice recognition app) linked with the intelligent agent 145.
  • an intelligent app eg, a voice recognition app
  • the user terminal 100 may execute an intelligent app for recognizing a voice through the hardware key 112. For example, when the user terminal 100 receives a user input through the hardware key 112, the user terminal 100 may display a user interface (UI) 121 of the intelligent app on the display 120. For example, the user may touch the voice recognition button 121a on the UI 121 of the intelligent app to input the voice 120b while the UI 121 of the intelligent app is displayed on the display 120. . For example, the user may input voice 120b by continuously pressing the hardware key 112 to input voice 120b.
  • UI user interface
  • the user terminal 100 may execute an intelligent app for recognizing a voice through the microphone 111.
  • the user terminal 100 displays the UI 121 of the intelligent app on the display 120 when a specified voice (eg, wake up!) Is input 120a through the microphone 111. can do.
  • a specified voice eg, wake up
  • FIG. 4 is a diagram illustrating a context module of an intelligent service module collecting a current state according to an embodiment of the present invention.
  • the processor 150 when the processor 150 receives a context request from the intelligent agent 145 (1), the processor 150 requests context information indicating the current state of the apps 141 and 143 through the context module 149a (2). )can do. According to an embodiment of the present disclosure, the processor 150 may receive the context information 3 from the apps 141 and 143 through the context module 149a and transmit the context information to the intelligent agent 145.
  • the processor 150 may receive a plurality of context information from the apps 141 and 143 through the context module 149a.
  • the context information may be, for example, information about the most recently executed apps 141 and 143.
  • the context information may be, for example, information about a current state of the app 141 or 143 (for example, when viewing a picture in a gallery).
  • the processor 150 may receive context information indicating the current state of the user terminal 100 from the device platform as well as the apps 141 and 143 through the context module 149a. have.
  • the context information may include general context information, user context information, or device context information.
  • the general context information may include general information of the user terminal 100.
  • the general context information may be confirmed through an internal algorithm by receiving data through a sensor hub of a device platform.
  • the general context information may include information about the current space time.
  • the information about the current space time may include, for example, information about a current time or a current location of the user terminal 100.
  • the current time may be confirmed through time on the user terminal 100, and the information about the current location may be confirmed through a global positioning system (GPS).
  • GPS global positioning system
  • the general context information may include information about physical movement.
  • the information on the physical movement may include, for example, information on walking, running, driving, and the like.
  • the physical motion information may be identified through a motion sensor.
  • the information on the driving may not only confirm driving through the motion sensor, but also check boarding and parking by detecting a Bluetooth connection in the vehicle.
  • the general context information may include user activity information.
  • the user activity information may include, for example, information about commute, shopping, travel, and the like.
  • the user activity information may be confirmed using information on a place registered by the user or the app in the database.
  • the user context information may include information about a user.
  • the user context information may include information about the emotional state of the user.
  • the information on the emotional state may include, for example, information about a user's happiness, sadness, anger, and the like.
  • the user context information may include information about the current state of the user.
  • the information on the current state may include, for example, information on interest, intention (eg, shopping).
  • the device context information may include information about the state of the user terminal 100.
  • the device context information may include information about a pass rule executed by the execution manager module 147.
  • the device context information may include information about a battery. Information about the battery may be confirmed through, for example, the charging and discharging states of the battery.
  • the device context information may include information about a connected device and a network. Information about the connected device may be confirmed through, for example, a communication interface to which the device is connected.
  • FIG. 5 is a block diagram illustrating a proposal module of an intelligent service module according to an embodiment of the present invention.
  • the suggestion module 149c may include a hint providing module 149c_1, a context hint generating module 149c_2, a condition checking module 149c_3, a condition model module 149c_4, a reuse hint generating module 149c_5, or an introduction. It may include a hint generation module 149c_6.
  • the processor 150 may provide a hint to the user by executing the hint providing module 149c_1.
  • the processor 150 receives a hint generated from the context hint generation module 149c_2, the reuse hint generation module 149c_5, or the introduction hint generation module 149c_6 through the hint providing module 149c_1. Can be provided.
  • the processor 150 may execute the condition checking module 149c_3 or the condition model module 149c_4 to generate a hint that may be recommended according to the current state.
  • the processor 150 may execute the condition checking module 149c_3 to receive information corresponding to the current state, and execute the condition model module 149c_4 to set a condition model using the received information.
  • the processor 150 executes the condition model module 149c_4 to identify the time, location, situation, and app in use at the time of providing a hint to the user, and prioritizes a hint that is likely to be used in the condition. Can be presented to the user in ascending order.
  • the processor 150 may execute the reuse hint generation module 149c_5 to generate a hint that may be recommended according to a frequency of use.
  • the processor 150 may execute the reuse hint generation module 149c_5 to generate a hint based on the usage pattern of the user.
  • the introduction hint generation module 149c_6 may generate a hint for introducing a new function or a function frequently used by another user.
  • the hint for introducing the new function may include an introduction (eg, a method of operation) for the intelligent agent 145.
  • the context hint generation module 149c_2, the condition checking module 149c_3, the condition model module 149c_4, the reuse hint generation module 149c_5, or the introduction hint generation module 149c_6 of the suggestion module 149c may be configured. It may be included in the personalized information server 300.
  • the processor 150 generates the context hint generation module 149c_2, the reuse hint generation module 149c_5, or the introduction hint of the user personalization information server 300 through the hint providing module 149c_1 of the suggestion module 149c.
  • the hint may be received from the module 149c_6 to provide the received hint to the user.
  • the user terminal 100 may provide a hint according to the following series of processes.
  • the processor 150 may transmit the hint generating request to the context hint generating module 149c_2 through the hint providing module 149c_1.
  • the processor 150 may receive information corresponding to the current state from the context module 149a and the persona module 149b through the condition checking module 149c_3.
  • the processor 150 transmits the received information to the condition model module 149c_4 through the condition checking module 149c_3, and applies the condition to the condition among hints provided to the user using the information through the condition model module 149c_4. You can give priority to hints in order of availability.
  • the processor 150 may check the condition through the context hint generation module 149c_2 and generate a hint corresponding to the current state.
  • the processor 150 may transfer the generated hint to the hint providing module 149c_1 through the context hint generation module 149c_2.
  • the processor 150 may arrange the hints according to a specified rule through the hint providing module 149c_1 and transmit the hints to the intelligent agent 145.
  • the processor 150 may generate a plurality of context hints through the hint providing module 149c_1, and assign the priority to the plurality of context hints according to a specified rule. According to an embodiment of the present disclosure, the processor 150 may first provide a user with a high priority among the plurality of context hints through the hint providing module 149c_1.
  • the user terminal 100 may suggest a hint according to a use frequency.
  • the processor 150 may transmit the hint generation request to the reuse hint generation module 149c_5 through the hint providing module 149c_1.
  • the processor 150 may receive user information from the persona module 149b through the reuse hint generation module 149c_5.
  • the processor 150 may use the reuse hint generation module 149c_5 to determine a pass rule included in the user's preference information of the persona module 149b, parameters included in the pass rule, frequency of execution of the app, and how the app is used. Spatiotemporal information can be received.
  • the processor 150 may generate a hint corresponding to the received user information through the reuse hint generation module 149c_5.
  • the processor 150 may transfer the generated hint to the hint providing module 149c_1 through the reuse hint generation module 149c_5.
  • the processor 150 may align the hints through the hint providing module 149c_1 and transfer the hints to the intelligent agent 145.
  • the user terminal 100 may suggest a hint for a new function.
  • the processor 150 may transmit the hint generation request to the introduction hint generation module 149c_6 through the hint provision module 149c_1.
  • the processor 150 may receive the information about the function to be introduced from the proposal server 400 by transmitting the introduction hint providing request from the proposal server 400 through the introduction hint generation module 149c_6.
  • the proposal server 400 may store information about the function to be introduced, for example, and a hint list for the function to be introduced may be updated by the service operator.
  • the processor 150 may transfer the generated hint to the hint providing module 149c_1 through the introductory hint generation module 149c_6.
  • the processor 150 may arrange the hints through the hint providing module 149c_1 and transmit the hints to the intelligent agent 145.
  • the processor 150 may provide the user with the hint generated by the context hint generation module 149c_2, the reuse hint generation module 149c_5, or the introduction hint generation module 149c_6 through the suggestion module 149c.
  • the processor 150 may display the generated hint to the app running the intelligent agent 145 through the suggestion module 149c, and receive an input for selecting the hint from the user through the app. can do.
  • FIG. 6 is a block diagram illustrating an intelligent server of an integrated intelligence system according to an embodiment of the present invention.
  • the intelligent server 200 includes an automatic speech recognition (ASR) module 210, a natural language understanding (NLU) module 220, a path planner module. 230, a dialogue manager (DM) module 240, a natural language generator (NLG) module 250, or a text to speech (TTS) module 260. can do.
  • the intelligent server 200 may include a communication circuit, a memory, and a processor.
  • the processor executes the instructions stored in the memory to execute the automatic speech recognition module 210, the natural language understanding module 220, the path planner module 230, the conversation manager module 240, the natural language generation module 250, and the text-to-speech.
  • Module 260 can be driven.
  • the intelligent server 200 may transmit / receive data (or information) with an external electronic device (eg, the user terminal 100) through the communication circuit.
  • the natural language understanding module 220 or the path planner module 230 of the intelligent server 200 may generate a path rule.
  • the automatic voice recognition module 210 may convert user input (eg, voice data) received from the user terminal 100 into text data.
  • the automatic voice recognition module 210 may include a speech recognition module.
  • the speech recognition module may include an acoustic model and a language model.
  • the acoustic model may include information related to speech
  • the language model may include information about a combination of unit phoneme information and unit phoneme information.
  • the speech recognition module may convert user speech into text data by using information related to speech and unit phoneme information.
  • Information about the acoustic model and the language model may be stored, for example, in an automatic speech recognition database (ASR DB) 211.
  • ASR DB automatic speech recognition database
  • the natural language understanding module 220 may determine a user's intention by performing syntactic analysis or semantic analysis.
  • the grammatical analysis may divide user input into grammatical units (eg, words, phrases, morphemes, etc.) and determine which grammatical elements the divided units have.
  • the semantic analysis may be performed using semantic matching, rule matching, formula matching, or the like. Accordingly, the natural language understanding module 220 may obtain a domain, an intent, or a parameter (or a slot) necessary for expressing the intention by the user input.
  • the natural language understanding module 220 uses a matching rule divided into a domain, an intent, and a parameter (or a slot) necessary to determine the intention.
  • the intention and parameters of can be determined.
  • the one domain e.g. alarm
  • the one intent may include a plurality of intents (e.g. alarm setting, alarm clearing, etc.)
  • one intent may be a plurality of parameters (e.g. time, number of repetitions, alarm sound).
  • the plurality of rules may include, for example, one or more mandatory element parameters.
  • the matching rule may be stored in a natural language understanding database (NLU DB) 221.
  • NLU DB natural language understanding database
  • the natural language understanding module 220 may identify a meaning of a word extracted from a user input by using linguistic features (eg, grammatical elements) such as morphemes and phrases, and may determine the meaning of the identified word in a domain. And the intention of the user by matching the intention. For example, the natural language understanding module 220 may calculate how much a word extracted from the user input is included in each domain and intention to determine the user intention. According to an embodiment of the present disclosure, the natural language understanding module 220 may determine a parameter of a user input using a word based on the intention.
  • linguistic features eg, grammatical elements
  • morphemes and phrases e.g., morphemes and phrases
  • the natural language understanding module 220 may determine the intention of the user using the natural language recognition database 221 which stores the linguistic features for determining the intention of the user input. According to another embodiment, the natural language understanding module 220 may determine a user's intention using a personal language model (PLM). For example, the natural language understanding module 220 may determine a user's intention using personalized information (eg, a contact list or a music list). The personalized language model may be stored, for example, in the natural language recognition database 221. According to an embodiment of the present disclosure, the automatic speech recognition module 210 as well as the natural language understanding module 220 may recognize the user's voice by referring to the personalized language model stored in the natural language recognition database 221.
  • PLM personal language model
  • the natural language understanding module 220 may generate a pass rule based on the intention and the parameter of the user input. For example, the natural language understanding module 220 may select an app to be executed based on the intention of the user input, and determine an action to be performed in the selected app. The natural language understanding module 220 may generate a pass rule by determining a parameter corresponding to the determined operation.
  • the path rule generated by the natural language understanding module 220 may include information about an app to be executed, an operation to be executed in the app (for example, at least one state), and a parameter required to execute the operation. It may include.
  • the natural language understanding module 220 may generate one pass rule or a plurality of pass rules based on the intention and the parameter of the user input. For example, the natural language understanding module 220 receives a path rule set corresponding to the user terminal 100 from the path planner module 230, and maps an intention and a parameter of a user input to the received path rule set. The rule can be determined.
  • the natural language understanding module 220 determines an app to be executed, an action to be executed in the app, and a parameter required to execute the action based on an intention and a parameter of a user input to determine one pass rule or a plurality of passes.
  • You can create rules.
  • the natural language understanding module 220 may use the information of the user terminal 100 in the form of an ontology or a graph model according to the intention of a user input of the app to be executed and the operation to be executed in the app.
  • Arrangement can be used to create path rules.
  • the generated path rule may be stored in, for example, a path rule database (PR DB) 231 through the path planner module 230.
  • the generated path rule may be added to a path rule set of the path rule database 231.
  • the natural language understanding module 220 may select at least one pass rule among the generated plurality of pass rules. For example, the natural language understanding module 220 may select an optimal pass rule among the plurality of pass rules. For another example, the natural language understanding module 220 may select a plurality of pass rules when only some of the actions are specified based on user speech. The natural language understanding module 220 may determine one of the plurality of pass rules based on a user's additional input.
  • the natural language understanding module 220 may transmit a path rule to the user terminal 100 as a request for a user input.
  • the natural language understanding module 220 may transmit one pass rule corresponding to the user input to the user terminal 100.
  • the natural language understanding module 220 may transmit a plurality of pass rules corresponding to the user input to the user terminal 100.
  • the plurality of pass rules may be generated by the natural language understanding module 220 when only some actions are specified based on, for example, user speech.
  • the pass planner module 230 may select at least one pass rule from among the plurality of pass rules.
  • the path planner module 230 may transmit a path rule set including a plurality of path rules to the natural language understanding module 220.
  • the plurality of path rules of the path rule set may be stored in a table in a path rule database 231 connected to the path planner module 230.
  • the path planner module 230 may transmit a path rule set corresponding to the information (eg, OS information and app information) of the user terminal 100 received from the intelligent agent 145 to the natural language understanding module 220. Can be.
  • the table stored in the path rule database 231 may be stored, for example, by domain or version of a domain.
  • the path planner module 230 may select one path rule or a plurality of path rules from the path rule set and transmit the selected path rules to the natural language understanding module 220.
  • the path planner module 230 selects one path rule or a plurality of path rules by matching a user's intention and parameters with a path rule set corresponding to the user terminal 100, and thus, natural language understanding module 220. Can be delivered to.
  • the path planner module 230 may generate one path rule or a plurality of path rules using a user intention and a parameter. For example, the path planner module 230 may generate one path rule or a plurality of path rules by determining an app to be executed and an operation to be executed in the app based on a user intention and a parameter. According to an embodiment of the present disclosure, the path planner module 230 may store the generated path rule in the path rule database 231.
  • the path planner module 230 may store the path rule generated by the natural language understanding module 220 in the path rule database 231.
  • the generated path rule may be added to a path rule set stored in the path rule database 231.
  • the table stored in the path rule database 231 may include a plurality of pass rules or a plurality of pass rule sets.
  • the plurality of pass rules or the plurality of pass rule sets may reflect the type, version, type, or characteristic of a device that performs each pass rule.
  • the conversation manager module 240 may determine whether the intention of the user identified by the natural language understanding module 220 is clear. For example, the conversation manager module 240 may determine whether the intention of the user is clear based on whether the information of the parameter is sufficient. The conversation manager module 240 may determine whether the parameters identified in the natural language understanding module 220 are sufficient to perform a task. According to an embodiment of the present disclosure, when the intention of the user is not clear, the conversation manager module 240 may perform feedback for requesting necessary information from the user. For example, the conversation manager module 240 may perform feedback for requesting information about a parameter for determining a user's intention.
  • the dialog manager module 240 may include a content provider module.
  • the content providing module may generate a result of performing a task corresponding to a user input when the content providing module can perform an operation based on the intention and the parameter identified by the natural language understanding module 220.
  • the conversation manager module 240 may transmit the result generated by the content providing module to the user terminal 100 in response to a user input.
  • the natural language generation module 250 may change the designated information into a text form.
  • the information changed in the text form may be in the form of natural language speech.
  • the specified information may be, for example, information about an additional input, information for guiding completion of an operation corresponding to a user input, or information (eg, feedback information for a user input) for guiding an additional input of a user.
  • the information changed in the text form may be transmitted to the user terminal 100 to be displayed on the display 120, or may be transmitted to the text-to-speech module 260 to be changed to the voice form.
  • the text-to-speech module 260 may change the information in the text form into the information in the speech form.
  • the text-to-speech module 260 may receive information in text form from the natural language generation module 250, change the text form information into information in speech form, and transmit it to the user terminal 100.
  • the user terminal 100 may output the voice type information to the speaker 130.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as one module.
  • the natural language understanding module 220, the path planner module 230, and the conversation manager module 240 may be implemented as one module to determine a user's intention and parameters, and correspond to the determined user's intent and parameters. You can create a response (for example, a pass rule). Accordingly, the generated response may be transmitted to the user terminal 100.
  • FIG. 7 illustrates a method of generating a path rule of a path planner module according to an embodiment of the present invention.
  • the natural language understanding module 220 may divide a function of an app into one operation (for example, state A to state F) and store it in the path rule database 231.
  • the natural language understanding module 220 may include a plurality of pass rules (eg, A-B1-C1, A-B1-C2, A-B1-C3-DF, divided into one operation (eg, state).
  • a path rule set including A-B1-C3-DEFs may be stored in the path rule database 231.
  • the path rule database 231 of the path planner module 230 may store a path rule set for performing a function of an app.
  • the pass rule set may include a plurality of pass rules including a plurality of operations (eg, a sequence of states). In the plurality of pass rules, an operation executed according to a parameter input to each of the plurality of operations may be sequentially arranged.
  • the plurality of path rules may be configured in an ontology or graph model and stored in the path rule database 231.
  • the natural language understanding module 220 may include the plurality of pass rules (eg, A-B1-C1, A-B1-C2, A-B1-C3-DF, corresponding to a user input intent and parameters).
  • A-B1-C3-DEF an optimal pass rule (eg, A-B1-C3-DF) may be selected.
  • the natural language understanding module 220 may transmit a plurality of pass rules to the user terminal 100 when there is no pass rule that perfectly matches the user input. For example, the natural language understanding module 220 may select a pass rule (eg, A-B1) partially corresponding to the user input.
  • the natural language understanding module 220 may include one or more pass rules (eg, A-B1-C1, A-B1-C2, and A-B1-C3) that include pass rules (eg, A-B1) that correspond in part to user input.
  • -DF, A-B1-C3-DEF can be selected and delivered to the user terminal 100.
  • the natural language understanding module 220 may select one of a plurality of pass rules based on an additional input of the user terminal 100 and transmit the selected one pass rule to the user terminal 100.
  • the natural language understanding module 220 may include a plurality of pass rules (eg, A-B1-C1 and A-B1) according to a user input (eg, an input for selecting C3) additionally input from the user terminal 100.
  • One pass rule eg, A-B1-C3-DF
  • A-B1-C3-DF among -C2, A-B1-C3-DF, and A-B1-C3-DEF may be selected and transmitted to the user terminal 100.
  • the natural language understanding module 220 corresponds to a user's intention corresponding to a user input (eg, an input for selecting C3) additionally input to the user terminal 100 through the natural language understanding module 220.
  • the parameter may be determined, and the determined intention or parameter of the user may be transmitted to the user terminal 100.
  • the user terminal 100 determines a plurality of pass rules (eg, A-B1-C1, A-B1-C2, A-B1-C3-DF, A-B1-C3- based on the transmitted intention or the parameter).
  • One pass rule eg, A-B1-C3-DF
  • A-B1-C3-DF may be selected.
  • the user terminal 100 may complete the operation of the apps 141 and 143 according to the selected one pass rule.
  • the natural language understanding module 220 may generate a pass rule partially corresponding to the received user input. For example, the natural language understanding module 220 may transmit the partially corresponding path rule to the intelligent agent 145.
  • the processor 150 may execute the intelligent agent 145 to receive the path rule and transmit the partially corresponding path rule to the execution manager module 147.
  • the processor 150 may execute the first app 141 according to the pass rule through the execution manager module 147.
  • the processor 150 may transmit information about the insufficient parameters to the intelligent agent 145 while executing the first app 141 through the execution manager module 147.
  • the processor 150 may request additional input from the user through the intelligent agent 145 using the information on the insufficient parameter.
  • the processor 150 may transmit the user input to the intelligent server 200 for processing.
  • the natural language understanding module 220 may generate an added pass rule based on the additionally input intention and parameter information of the user and transmit the generated pass rule to the intelligent agent 145.
  • the processor 150 may transmit the path rule to the execution manager module 147 through the intelligent agent 145, and execute the second app 143 according to the path rule through the execution manager module 147.
  • the natural language understanding module 220 may transmit a user information request to the personalization information server 300 when a user input missing some information is received by the intelligent server 200.
  • the personalization information server 300 may transmit the information of the user who inputs the user input stored in the persona database to the natural language understanding module 220.
  • the natural language understanding module 220 may select a pass rule corresponding to a user input missing some operations using the user information. Accordingly, even if a user input missing some information is received by the intelligent server 200, the natural language understanding module 220 receives a further input by requesting the missing information or uses a user information to pass a path rule corresponding to the user input. Can be determined.
  • Table 1 attached below may represent an exemplary form of a pass rule related to a task requested by a user according to an exemplary embodiment.
  • Path rule ID State Parameter Gallery_101 PictureView (25) NULL SearchView (26) NULL SearchViewResult (27) Location, time SearchEmptySelectedView (28) NULL SearchSelectedView (29) ContentType, selectall CrossShare (30) anaphora
  • a path rule generated or selected by the intelligent server 200 according to a user utterance may include at least one state 25, 26, 27, 28, 29, or 30).
  • the at least one state eg, any operation state of the terminal
  • Output status (27), display of search results in which the picture is non-selected (SearchEmptySelectedView) status (28), output of search results in which at least one photo is selected (SearchSelectedView) status (29) or shared application selection screen output (CrossShare) may correspond to at least one of the states 30.
  • the parameter information of the path rule may correspond to at least one state.
  • the at least one photo may be included in the selected search result display screen output state 29.
  • a task eg, “share photos” requested by the user may be performed.
  • FIG. 8 is a diagram illustrating a persona module of an intelligent service module managing user information according to an embodiment of the present invention.
  • the processor 150 may receive information of the user terminal 100 from the apps 141 and 143, the execution manager module 147, or the context module 149a through the persona module 149b. .
  • the processor 150 may store the result information of executing the operations 141b and 143b of the app through the apps 141 and 143 and the execution manager module 147 in the motion log database.
  • the processor 150 may store information on the current state of the user terminal 100 in the context database through the context module 149a.
  • the processor 150 may receive the stored information from the operation log database or the context database through the persona module 149b. Data stored in the motion log database and the context database may be analyzed by, for example, an analysis engine and transferred to the persona module 149b.
  • the processor 150 may transmit information received from the apps 141 and 143, the execution manager module 147, or the context module 149a through the persona module 149b to the suggestion module 149c. Can be.
  • the processor 150 may transfer data stored in the motion log database or the context database through the persona module 149b to the suggestion module 149c.
  • the processor 150 transmits the information received from the apps 141 and 143, the execution manager module 147, or the context module 149a through the persona module 149b to the personalization information server 300. can do.
  • the processor 150 may periodically transmit data accumulated and stored in the operation log database or the context database to the personalization information server 300 through the persona module 149b.
  • the processor 150 may transfer data stored in the operation log database or the context database through the persona module 149b to the suggestion module 149c.
  • User information generated through the persona module 149b may be stored in the persona database.
  • the persona module 149b may periodically transmit the user information stored in the persona database to the personalization information server 300.
  • information transmitted to the personalization information server 300 through the persona module 149b may be stored in the persona database.
  • the personalization information server 300 may infer user information necessary for generating the pass rule of the intelligent server 200 using the information stored in the persona database.
  • the user information inferred using the information transmitted through the persona module 149b may include profile information or preference information.
  • the profile information or preference information may be inferred from the user's account and accumulated information.
  • the profile information may include personal information of the user.
  • the profile information may include demographic information of the user.
  • the demographic information may include, for example, the gender and age of the user.
  • the profile information may include life event information.
  • the life event information may be inferred, for example, by comparing log information with a life event model, and reinforced by analyzing a behavior pattern.
  • the profile information may include interest information.
  • the interest information may include, for example, a shopping item of interest, a field of interest (eg, sports, politics, etc.).
  • the profile information may include activity area information.
  • the activity area information may include, for example, information about a home, a place of work, and the like.
  • the information on the activity area may include not only information on the location of the place, but also information on an area in which priority is recorded based on the accumulated stay time and the number of visits.
  • the profile information may include activity time information.
  • the activity time information may include, for example, information on wake up time, commute time, sleep time, and the like.
  • Information about the commute time can be inferred using the activity area information (eg, information about home and work place).
  • Information about the sleep time may be inferred through the unused time of the user terminal 100.
  • the preference information may include user preference information.
  • the preference information may include information about app preference.
  • the app preference may be inferred through, for example, a usage record of the app (eg, a usage record by hour and place).
  • the preference of the app may be used to determine an app to be executed according to the current state (eg, time and place) of the user.
  • the preference information may include information on contact preference.
  • the contact preference may be inferred by analyzing, for example, information on contact frequency (eg, frequency of contact by time and place) of the contact.
  • the contact preference may be used to determine a contact to contact based on the user's current status (eg, contact for a duplicate name).
  • the preference information may include setting information.
  • the setting information may be inferred, for example, by analyzing information on a setting frequency of a specific setting value (for example, a frequency for setting a setting value for each time and a place).
  • the setting information may be used to set a specific setting value according to the current state (eg, time, place, situation) of the user.
  • the preference information may include place preference.
  • the place preference may be inferred, for example, through a visit history (eg, hourly visit history) of a specific place.
  • the place preference may be used to determine a place being visited according to the current state (eg, time) of the user.
  • the preference information may include instruction preferences.
  • the command preference may be inferred through, for example, the frequency of command usage (eg, frequency of use by hour and place).
  • the command preference may be used to determine a command pattern to be used according to the current state (eg, time and place) of the user.
  • the command preference may include information on a menu most selected by the user in the current state of the app being executed by analyzing log information.
  • FIG. 9 is a block diagram of an electronic device associated with voice input processing according to an embodiment of the present disclosure.
  • the electronic device 900 illustrated in FIG. 9 may include a configuration that is the same as or similar to that of the user terminal 100 in the aforementioned drawings.
  • the electronic device 900 may identify a voice password required to perform the task.
  • the electronic device 900 may obtain surrounding information of the electronic device 900 and determine whether the surrounding information satisfies a specified condition. For example, the electronic device 900 determines whether a plurality of users exist in the vicinity of the electronic device 900, and among the plurality of users, a user who does not have permission to use the electronic device 900 (or an unauthenticated user). ) Can be determined.
  • the electronic device 900 may change the setting of password authentication required to perform the task. For example, the electronic device 900 may change the setting of password authentication to an input method of a one-time voice password. As another example, the electronic device 900 may change the setting of password authentication from a voice password input method to a password authentication method through another input means.
  • the password authentication method through the other input means may be, for example, a pin number input method through a key input device 993, a biometric password input method through a biometric sensor 994, or a pin number through a touch screen display 995. Or a pattern input method.
  • the electronic device 900 may guide a user to change a setting of password authentication required to perform a task.
  • the electronic device 900 may output information related to a setting change of password authentication through the display 995.
  • the electronic device 900 may output information related to a setting change of the password authentication through the speaker 996.
  • the electronic device 900 may transmit information related to the setting change of the password authentication to an external electronic device connected through the communication circuit 930.
  • the external electronic device may output the information through a display and / or a speaker included in the external electronic device.
  • the electronic device 900 for performing the above-described function may include a microphone 910, a communication circuit 930, a memory 950, and a processor 970.
  • the configuration of the electronic device 900 is not limited thereto.
  • the electronic device 900 may further include at least one other component in addition to the above-described components, or may omit at least one of the above-described components.
  • the electronic device 900 may include a camera 991, a motion sensor 992, a key input device 993, a biometric sensor 994, a display 995, or a speaker 996.
  • the microphone 910 may obtain a voice input according to the user's speech. For example, the microphone 910 may convert vibration energy of the user's speech into an electrical signal and transmit the converted electrical signal to the processor 970.
  • the communication circuit 930 may support the establishment of a communication channel between the electronic device 900 and the external electronic device and the execution of wired or wireless communication through the established communication channel.
  • the memory 950 may store commands or data related to at least one other component of the electronic device 900.
  • the memory 950 may store software and / or a program.
  • the memory 950 may store an application (eg, an intelligent app) related to an artificial intelligence technology.
  • the intelligent app acquires, for example, commands related to a function of acquiring and processing a user's speech as a voice input, commands related to a function of confirming a voice password required for performing a task, and peripheral information of the electronic device 900.
  • Commands related to the function of analyzing the acquired peripheral information commands related to the function of changing the setting of password authentication required to perform a task, commands related to the function of guiding the setting of password authentication, or setting of password authentication Commands related to a function of transmitting information related to the change to an external electronic device may be included.
  • instructions included in software and / or a program stored in the memory 950 may be executed by the processor 970.
  • the processor 970 may execute operations or data processing related to control and / or communication of at least one other component of the electronic device 900.
  • the processor 970 may control, for example, a plurality of hardware or software components connected to the processor 970 by operating an operating system or an application program, and may perform various data processing or operations.
  • the processor 970 may include one or more of a central processing unit, an application processor, or a communication processor. According to an embodiment, the processor 970 may be implemented as a system on chip (SoC).
  • SoC system on chip
  • the processor 970 may convert voice data corresponding to the voice input into text data.
  • the processor 970 may transmit voice data to the external electronic device (eg, the intelligent server 200) through the communication circuit 930.
  • the processor 970 may acquire the text data generated by converting the voice data from the external electronic device into a text format through the communication circuit 930.
  • the processor 970 may analyze the text data and determine a task (or function) to be performed based on the analyzed result.
  • the processor 970 may check a cipher required for performing a task. For example, the processor 970 may check whether a password set for performing a task exists.
  • the password may include, for example, a voice password, a pin number, a pattern, or a biometric password set by an authenticated user before performing the task.
  • the processor 970 may acquire (or collect) peripheral information of the electronic device 900.
  • the processor 970 may obtain peripheral information of the electronic device 900 through the microphone 910.
  • the processor 970 may analyze a voice input acquired through the microphone 910 and determine whether a plurality of users exist in the vicinity of the electronic device 900 based on the analyzed information.
  • the processor 970 may acquire peripheral information of the electronic device 900 through the camera 991.
  • the processor 970 may analyze an image photographed by the camera 991, and determine whether a plurality of users exist around the electronic device 900 based on the analyzed information.
  • the processor 970 may acquire peripheral information of the electronic device 900 through the motion sensor 992. For example, the processor 970 may determine whether a plurality of users are present in the vicinity of the electronic device 900 based on the sensing information detected by the motion sensor 992.
  • the processor 970 when a plurality of users exist in the vicinity of the electronic device 900, the processor 970 does not have a user (or unauthenticated) permission to use the electronic device 900 among the plurality of users. User) can be determined. For example, the processor 970 may compare and analyze the voice data of the authenticated user stored in the memory 950 and the voice data corresponding to the voice input obtained through the microphone 910 (eg, voiceprint recognition), thereby preventing unauthorized authentication. The existence of the user can be determined. As another example, the processor 970 may compare and analyze an image of an authenticated user stored in the memory 950 with an image captured by the camera 991, and determine whether an unauthorized user exists.
  • the processor 970 may compare and analyze the image of an authenticated user stored in the memory 950 with an image captured by the camera 991, and determine whether an unauthorized user exists.
  • the processor 970 sets a password for setting a password authentication for performing a task. You can change the password input method.
  • the public voice password may be, for example, a voice password set to be used by users (eg, family members) having permission to use the electronic device 900.
  • the processor 970 may set a password authentication for performing a task. Can be changed to a one-time voice password input method.
  • the one-time voice password is used to prevent exposure of the voice password set by the authenticated user, for example, and may be a password that is discarded once used.
  • the processor 970 may set the one-time voice password to be used for a specified number of times or for a specified period of time, instead of discarding it once. For example, the processor 970 may set the one-time voice password to be used continuously while an unauthorized user is present.
  • the processor 970 may store a question leading to inputting the one-time voice password and the one-time voice password (answer to the question) in the memory 950 based on a user input. For example, when an authenticated user sets the question and the answer to the question in advance, the set information may be stored in the memory 950. In this case, the processor 970 provides the user with the question before performing the task, and when the user utters an answer to the question, compares the answer with the answer stored in the memory 950 to compare the disposable voice. It is possible to determine whether the password is entered correctly.
  • the processor 970 may set the one-time voice password using information related to the user of the electronic device 900.
  • the processor 970 may include the user's personal information (eg, the user's name, age, gender, or residence), or the user's activity information (eg, schedule, alarm time, health information, content consumption information, or Traffic usage information, etc.) may be set.
  • the processor 970 may limit the available information according to privacy sensitivity (eg, privacy exposure possibility).
  • the processor 970 may provide an interface for allowing a user to directly select information used in setting up a one-time voice password in order to prevent the user from exposing unwanted information.
  • the processor 970 may use the information related to the user to indicate that the user does not want to answer the question prompting the user to enter the one-time voice password even if the one-time voice password has been set (eg, the user “next”).
  • the one-time voice password can be reset using other information.
  • the processor 970 may set the password authentication required to perform the task through the other input means. You can change to an authentication method. For example, when the electronic device 900 includes the key input device 993, the processor 970 may change a setting of password authentication required for performing a task to a pin number input method through the key input device 993. have. As another example, when the electronic device 900 includes the biometric sensor 994, the processor 970 may change a setting of cryptographic authentication required to perform a task to a biometric password input method through the biometric sensor 994.
  • the biometric input method may include, for example, fingerprint recognition through a fingerprint sensor, face recognition through a camera 991, iris recognition through an iris sensor, and the like.
  • the processor 970 may change the pin number input or the pattern input method through the touch screen display 995.
  • the processor 970 when the password authentication is possible through an external electronic device connected to the electronic device 900 through the communication circuit 930, the processor 970 sets the password authentication required to perform the task. It can be changed by password authentication method through.
  • the processor 970 may perform password authentication through a key input device, a biometric sensor, or a touch screen display included in the external electronic device. The external electronic device may be controlled to perform the operation.
  • the processor 970 may previously set a setting of password authentication necessary for performing a task.
  • the voice password input method may be changed to another voice password, for example, a public voice password or a one-time voice password input method.
  • the processor 970 may determine that the other input means cannot be used when the user is driving. Accordingly, the processor 970 may set the password authentication required to perform the task as the input method of the public voice password or the one-time voice password. You can change it.
  • the processor 970 may determine that the other input means cannot be used even when the user is cooking, thereby setting the password authentication required for performing the task as the input method of the public voice password or the one-time voice password. You can change it.
  • the processor 970 may obtain location information of the user through GPS or sound information through the microphone 910 to determine whether the user is currently driving or cooking. .
  • the processor 970 may adjust the security level associated with the execution of the task according to the peripheral information of the electronic device 900.
  • the processor 970 may differently set the information accessible through the task, the level or information of the service provided by the task, and the degree of exposure of the service provided by the task according to the surrounding information of the electronic device 900.
  • the processor 970 includes a plurality of users in the vicinity of the electronic device 900, and the plurality of users are all users (eg, family members) who have permission to use the electronic device 900, You can lower the security level associated with the performance of the task.
  • the processor 970 may set all the information to be accessible through the task, increase the level of the service provided by the task, and set all the services provided by the task to be exposed.
  • the relevant security level can be increased.
  • the processor 970 may limit the information accessible through the task, lower the level of the service provided by the task, and set only some of the services provided by the task to be exposed.
  • the processor 970 may restrict access to the information according to a user's setting.
  • the processor 970 may support a user to change a setting of password authentication required to perform a task.
  • the processor 970 may output information related to the change of the setting of the password authentication to the display 995.
  • the processor 970 may output information related to a setting change of the encryption authentication through the speaker 996.
  • the processor 970 may transmit information related to a setting change of cryptographic authentication to an external electronic device connected through the communication circuit 930.
  • the external electronic device may output the information through a display and / or a speaker included in the external electronic device.
  • the camera 991 may capture still images and moving images. According to an embodiment of the present disclosure, the camera 991 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the motion sensor 992 may recognize the movement and the position of the object. According to an embodiment of the present disclosure, the motion sensor 992 may detect the direction of the object and the movement of the object, and measure the speed at which the object moves.
  • the key input device 993 may receive a command or data from a user.
  • the key input device 993 may include, for example, a physical button, an optical key, or a keypad.
  • the biometric sensor 994 may recognize a user's living body.
  • the biometric sensor 994 may include a fingerprint sensor, an iris sensor, a face recognition sensor, a heart rate sensor, a voice recognition sensor, or a blood vessel recognition sensor.
  • the fingerprint sensor may recognize a user's fingerprint by a line scan or an area scan method. For example, the fingerprint sensor may acquire fingerprint information when the user swipes or touches a finger on the sensing area of the fingerprint sensor.
  • the fingerprint sensor may be an optical, capacitive, or ultrasonic method.
  • the optical fingerprint sensor irradiates light onto a finger and collects a fingerprint image using the reflected light
  • the capacitive fingerprint sensor uses a difference in capacitance generated by contact or proximity of a finger to generate a fingerprint.
  • An image is collected, and the ultrasonic fingerprint sensor emits ultrasound to a finger and collects a fingerprint image using the reflected ultrasound.
  • the iris sensor may recognize a user's iris using an iris camera (eg, an infrared camera).
  • the iris sensor may irradiate infrared light with a user's eye and recognize the user's iris by analyzing the reflected infrared light.
  • the iris sensor may detect an iris by finding a boundary between a pupil and an iris with a great change in color or contrast, centering on the pupil having the darkest color in the user's eye.
  • the iris sensor may separate the iris region by detecting a boundary between the iris and the sclera surrounding the outside of the iris.
  • the face recognition sensor may identify a face of a user by analyzing an image of a face photographed by the camera 991. For example, the face recognition sensor may extract a face region from the image and determine whether a user's face is correct. For example, the face recognition sensor may extract a face region by a method such as a difference in brightness or color or extracting feature points to distinguish a face from a background in the image. In addition, the face recognition sensor may recognize the face of the user by comparing the extracted data (eg, pixel value) of the face region with previously stored face data of the user.
  • the extracted data eg, pixel value
  • the heart rate sensor may measure heart rate by irradiating light to a part of the body (for example, a finger) using an LED and measuring the amount of light reflected according to the blood flow flowing through blood vessels of the part of the body.
  • the heart rate sensor may convert a change in the amount of reflected light into an electrical signal and calculate a heart rate by analyzing a pattern in which the electrical signal changes.
  • the voice recognition sensor may recognize a voice of a user by analyzing a voice acquired through the microphone 910 or the like. For example, the voice recognition sensor may recognize a user's voice by removing noise components from the voice and extracting user's own features such as pronunciation and intonation.
  • the vessel recognition sensor may recognize a vessel of a user by irradiating light onto a finger using an LED and measuring a reflected or transmitted light to determine a position or shape of a vessel (eg, a vein).
  • a vessel eg, a vein
  • the display 995 may display various contents (eg, text, an image, a video, an icon, or a symbol) to the user.
  • the display 995 may include a touch screen.
  • the display 995 may obtain a touch, gesture, proximity, or hovering input using an electronic pen or a user's body part (eg, a finger).
  • the speaker 996 may output a voice signal.
  • the speaker 996 may output the voice signal generated inside the electronic device 900 to the outside.
  • an electronic device may include a microphone (eg, the microphone 910) and a communication circuit (eg, a communication circuit 930) for communication with an external electronic device. )), A processor (e.g., processor 970) operatively coupled to the microphone and the communication circuit, and a memory (e.g., memory 950) operatively coupled to the processor, wherein the memory, at runtime
  • the processor may acquire, via the microphone, a first voice input associated with performing a task, identify a first voice password required for performing the task, obtain peripheral information of the electronic device, and obtain the peripheral information. If the specified condition is satisfied, the setting of the password authentication required to perform the task is changed, and the setting of the password authentication is changed to the external electronic device through the communication circuit. It may store instructions for to transfer the call.
  • the memory may store instructions that, when executed, cause the processor to obtain the peripheral information based on at least one of the first voice input and a second voice input obtained through the microphone. Can be.
  • the electronic device may further include a camera (for example, a camera 991), and the memory may be configured to, when executed, the processor acquire the peripheral information based on an image obtained through the camera. Instructions to be acquired may be stored.
  • a camera for example, a camera 991
  • the memory may be configured to, when executed, the processor acquire the peripheral information based on an image obtained through the camera. Instructions to be acquired may be stored.
  • the electronic device may further include a motion sensor (eg, a motion sensor 992), and the memory may be configured to be executed by the processor based on sensing information sensed by the motion sensor. Instructions for acquiring the surrounding information may be stored.
  • a motion sensor eg, a motion sensor 992
  • the memory may be configured to be executed by the processor based on sensing information sensed by the motion sensor. Instructions for acquiring the surrounding information may be stored.
  • the memory may be configured to cause the processor to determine that the specified condition is satisfied when the processor determines that a plurality of users exist in the vicinity of the electronic device based on the peripheral information. You can save more.
  • the processor when the memory is executed, the processor may be configured to have a plurality of users in the vicinity of the electronic device based on the peripheral information and to have a use right of the electronic device among the plurality of users. If it is confirmed that there is a user who does not exist, instructions can be further stored to determine that the specified condition is satisfied.
  • the memory may be configured to be configured to be executed by the processor to be used by a plurality of users who have permission to use the electronic device in the input method of the first voice password. Instructions can be stored for changing the voice password input method.
  • the memory may be configured as a second voice password input method in which the processor may use the setting of the password authentication for a predetermined number of times or a specified period of time in the first voice password input method. You can store instructions to make changes.
  • the memory may further store instructions that, when executed, cause the processor to set the second voice password using information associated with a user of the electronic device.
  • the information related to the user may include personal information of the user and activity information of the user.
  • the electronic device may further include a key input device (for example, a key input device 993), and the memory may be configured to, when executed, cause the processor to set the encryption authentication to the first voice. Instructions for changing from a password input method to a pin code input method through the key input device may be stored.
  • a key input device for example, a key input device 993
  • the memory may be configured to, when executed, cause the processor to set the encryption authentication to the first voice.
  • Instructions for changing from a password input method to a pin code input method through the key input device may be stored.
  • the electronic device may further include a biometric sensor (eg, a biometric sensor 994), and the memory may be configured to perform at least a part of an operation of changing, by the processor, a setting of the password authentication.
  • a biometric sensor eg, a biometric sensor 994
  • the memory may be configured to perform at least a part of an operation of changing, by the processor, a setting of the password authentication.
  • the electronic device may further include a touch screen display (eg, a display 995), and the memory may be configured to execute at least a part of an operation of changing, by the processor, a setting of the password authentication.
  • a touch screen display eg, a display 995
  • the memory may be configured to execute at least a part of an operation of changing, by the processor, a setting of the password authentication.
  • the memory may, when executed, be configured as at least part of an operation of changing the setting of the cryptographic authentication by the processor, and the external electronic device connected through the communication circuit may include a key input device, a biosensor, And at least one of a touch screen display, and when the external electronic device includes at least one of the key input device, the biometric sensor, and the touch screen display, setting the password authentication to the first voice.
  • Instructions for changing from a password input method to a password authentication method through the external electronic device may be stored.
  • the electronic device may further include at least one of a speaker (for example, a speaker 996) and a display (for example, a display 995), and the memory may be executed by the processor. Instructions for outputting information related to the setting change of the password authentication through at least one of the speaker and the display may be further stored.
  • a speaker for example, a speaker 996
  • a display for example, a display 995
  • Instructions for outputting information related to the setting change of the password authentication through at least one of the speaker and the display may be further stored.
  • FIG. 10 is a diagram illustrating a method of operating an electronic device associated with voice input processing according to an embodiment of the present disclosure.
  • the processor eg, the processor 970 of the electronic device (eg, the electronic device 900) may acquire a voice input through a microphone (eg, the microphone 910) in operation 1010. .
  • the processor may convert voice data corresponding to the obtained voice input into text data.
  • the processor transmits the voice data to an external electronic device through a communication circuit (for example, the communication circuit 930), and converts the text data generated by converting the voice data into a text format from the external electronic device in the communication. Can be obtained through the circuit.
  • the processor may analyze the text data and determine a task (or function) to be performed based on the analyzed result.
  • the processor may identify a voice encryption required for performing the task. For example, the processor may check whether there is a voice encryption set for performing the task.
  • the processor may acquire peripheral information of the electronic device.
  • the processor may obtain peripheral information of the electronic device by analyzing a voice input acquired through the microphone.
  • the processor may obtain surrounding information of the electronic device by analyzing an image photographed by a camera (eg, the camera 991).
  • the processor may acquire the peripheral information of the electronic device based on the sensing information detected by the motion sensor (for example, the motion sensor 992).
  • the processor may determine whether peripheral information of the electronic device satisfies a specified condition. For example, the processor may determine whether a plurality of users exist in the vicinity of the electronic device. As another example, the processor may determine whether a plurality of users exist around the electronic device, and determine whether a user (or an unauthenticated user) among the plurality of users does not have a right to use the electronic device. have. According to an embodiment of the present disclosure, when it is determined that a plurality of users exist in the vicinity of the electronic device, the processor may determine that the specified condition is satisfied.
  • the processor determines that the specified condition is satisfied. can do.
  • the processor may change a setting of cryptographic authentication required to perform a task. For example, when a plurality of users are present in the vicinity of the electronic device, and the plurality of users are all authenticated users, the processor may change the setting of password authentication required to perform a task to an input method of a common voice password. have. As another example, when there are a plurality of users in the vicinity of the electronic device, and there is an unauthenticated user among the plurality of users, the processor sets the password authentication required to perform the task. Can be changed.
  • the processor may change the setting of password authentication required to perform a task to a password authentication method through another input means.
  • the processor may change a setting of password authentication required to perform a task to a pin number input method through the key input device.
  • the electronic device includes a biometric sensor (for example, the biometric sensor 994)
  • the processor may change a password authentication required for performing a task to a biometric input method through the biometric sensor.
  • the electronic device includes a touch screen display (for example, the display 995)
  • the processor may set a pin number input or pattern input method through the touch screen display to set a password authentication required to perform a task. Can be changed.
  • the processor when the password authentication is possible through an external electronic device connected to the electronic device through a communication circuit (for example, the communication circuit 930), the processor sets the password authentication required to perform a task. It may be changed to a password authentication method through an electronic device.
  • the external electronic device includes a key input device, a biometric sensor, or a touch screen display
  • the processor performs password authentication through a key input device, a biometric sensor, or a touch screen display included in the external electronic device.
  • the external electronic device can be controlled to do so.
  • the processor may change the setting of password authentication in such a manner that a voice password set by a user is less likely to be exposed.
  • the processor may preferentially select a password authentication method through another input means rather than a voice password authentication method.
  • the processor may transmit a signal related to a setting change of cryptographic authentication required to perform a task to another component of the electronic device or an external electronic device connected through the communication circuit.
  • the processor may transmit a signal related to a change of a setting of password authentication to the display so that the display outputs information related to a change of a setting of password authentication.
  • the processor may transmit a signal related to the change of the setting of the password authentication to the speaker (for example, the speaker 996) so that the speaker outputs information related to the change of the setting of the password authentication.
  • the processor may transmit a signal related to a setting change of a password authentication to an external electronic device connected through the communication circuit so that the external electronic device transmits the information through a display and / or a speaker included in the external electronic device. You can output it.
  • FIG. 11 is a diagram illustrating a method of changing a setting of password authentication according to whether a user is authenticated according to an embodiment of the present invention.
  • the processor eg, the processor 970 of the electronic device (eg, the electronic device 900) may determine whether a plurality of users exist around the electronic device. For example, the processor may analyze a voice input acquired through a microphone (for example, the microphone 910), and determine whether a plurality of users exist around the electronic device based on the analyzed information. As another example, the processor may analyze an image photographed by a camera (eg, the camera 991) and determine whether a plurality of users exist around the electronic device based on the analyzed information.
  • a camera eg, the camera 991
  • the processor determines whether there is an unauthorized user (or a user who does not have a use right of the electronic device) among the plurality of users. can do. For example, the processor may compare the voice data of the authenticated user pre-stored in a memory (for example, the memory 950) with voice data corresponding to the voice input obtained through the microphone (for example, recognizing a voiceprint) to perform authentication. It can be determined whether or not the user is not present. As another example, the processor may compare the image of the authenticated user pre-stored in the memory with the image photographed by the camera, and determine whether there is an unauthorized user.
  • a memory for example, the memory 950
  • voice data corresponding to the voice input obtained through the microphone for example, recognizing a voiceprint
  • the processor may change the setting of password authentication required for the execution of the task to a one-time voice password input method.
  • the processor sets the password authentication required to perform the task. Can be changed by input method.
  • FIG. 12 is a diagram illustrating a method of changing a setting of password authentication according to whether an input means can be changed according to an embodiment of the present invention.
  • a processor eg, a processor 970 of an electronic device (eg, an electronic device 900) may perform another operation instead of inputting a voice password through a microphone (eg, a microphone 910). It is possible to determine whether password authentication through the input means is possible.
  • the processor may include a key input device (eg, key input device 993), a biometric sensor (eg, biometric sensor 994), or a touchscreen display (eg, display 995) in the electronic device. It can be judged.
  • the processor may determine whether an external electronic device connected through a communication circuit (eg, the communication circuit 930) includes a key input device, a biometric sensor, or a touch screen display.
  • the processor may change the setting of the password authentication required to perform the task to the password authentication method through the other input means.
  • the processor may change a password authentication setting necessary for performing a task to a pin number input method through the key input device.
  • the processor may change the setting of a password authentication required for performing a task to a biometric password input method through the biometric sensor.
  • the processor may change a setting of password authentication required for performing a task to a pin number input or a pattern input method through the touch screen display.
  • the processor may change the setting of password authentication necessary for performing a task to a password authentication method through the external electronic device.
  • the external electronic device includes a key input device, a biometric sensor, or a touch screen display
  • the processor performs password authentication through a key input device, a biometric sensor, or a touch screen display included in the external electronic device.
  • the external electronic device can be controlled to do so.
  • the processor may change the setting of password authentication required to perform the task from the previously set voice password input method to another voice password input method.
  • the processor may change the setting of password authentication required to perform a task to an input method of a common voice password or a one-time voice password.
  • the processor may perform the authentication of the password required to perform the task.
  • the setting may be changed from an input method of a voice password set previously to another input method of another voice password, for example, a public voice password or a one-time voice password.
  • the processor may determine that the other input means cannot be used when the user is driving, and thus change the setting of password authentication required to perform a task to an input method of a common voice password or a one-time voice password. have.
  • the processor may determine that the other input means cannot be used even when the user is cooking, thereby changing the setting of password authentication required to perform a task to an input method of a public voice password or a one-time voice password. have.
  • a voice input processing method of an electronic device may be related to performance of a task through a microphone (eg, the microphone 910 of FIG. 9). Acquiring a first voice input, acquiring a first voice password required for performing the task, acquiring peripheral information of the electronic device, and performing the task if the peripheral information satisfies a specified condition. And changing a setting of password authentication required for an operation, and transmitting a signal related to the setting change of the password authentication to an external electronic device through a communication circuit (for example, the communication circuit 930 of FIG. 9). .
  • the specified condition when the surrounding information includes information that a plurality of users exist and a user who does not have a right to use the electronic device among the plurality of users includes the specified condition, the specified condition
  • the operation may further include determining that the content is satisfied.
  • the operation of changing the setting of the password authentication may include setting a second voice to be used by a plurality of users who have permission to use the electronic device in an input method of the first voice password. It may include an operation of changing to the input method of the password.
  • the operation of changing the setting of the password authentication may include changing the setting of the password authentication to a second voice password input method that can be used for a specified number of times or a specified period of time in the first voice password input method. It may include an operation to.
  • the changing of the password authentication setting may include determining whether the external electronic device connected through the communication circuit includes at least one of a key input device, a biometric sensor, and a touch screen display, and When the external electronic device includes at least one of the key input device, the biometric sensor, and the touch screen display, setting the password authentication may be password authentication through the external electronic device in the first voice password input method. It may include an operation of changing in a manner.
  • FIG. 13 is a diagram for describing a method of changing a password authentication setting to a common voice password input method according to an embodiment of the present invention.
  • the electronic device 1301 may play a voice input (eg, “Bixby, My Music” of the first user 1310 through a microphone (eg, the microphone 910). Do it ").
  • the electronic device 1301 converts the voice data corresponding to the obtained voice input into text data or transmits the voice data to the first external electronic device (not shown) through a communication circuit (for example, the communication circuit 930).
  • the voice data may be transmitted, and the text data generated by converting the voice data into a text format from the first external electronic device may be obtained through the communication circuit.
  • the electronic device 1301 may analyze the text data and determine a task (or function) to be performed based on the analyzed result. For example, the electronic device 1301 determines whether the text data includes a phrase mapped to a specific task (for example, “music” or “play”), and includes a phrase mapped to the specific task. The first user 1310 may determine that the specific task (eg, execution of a music playing application) is to be performed.
  • a task for example, “music” or “play”
  • the first user 1310 may determine that the specific task (eg, execution of a music playing application) is to be performed.
  • the electronic device 1301 may check a password required to perform the task. For example, the electronic device 1301 may determine whether a password set for performing the task exists. In addition, the electronic device 1301 may check whether the password is set as a voice password.
  • the electronic device 1301 may obtain (or collect) peripheral information of the electronic device 1301.
  • the electronic device 1301 may obtain peripheral information of the electronic device 1301 by analyzing a voice input obtained through the microphone.
  • the electronic device 1301 may obtain surrounding information of the electronic device 1301 by analyzing an image photographed by a camera (for example, the camera 991).
  • the electronic device 1301 may obtain the peripheral information of the electronic device 1301 based on the sensing information detected by the motion sensor (for example, the motion sensor 992).
  • the electronic device 1301 may determine whether a plurality of users exist in the vicinity of the electronic device 1301. For example, the electronic device 1301 analyzes the acquired peripheral information of the electronic device 1301, and other users (eg, the second user 1320 and the third user) other than the first user 1310 around the electronic device 1301. It may be determined whether the user 1330 or the fourth user 1340 exists. In addition, when a plurality of users exist in the vicinity of the electronic device 1301, the electronic device 1301 may determine whether a user who does not have a right to use the electronic device 1301 exists.
  • the electronic device 1301 may set password authentication required for performing a task to be shared by users having permission to use the electronic device 1301. You can change the input method to an available public voice password.
  • the electronic device 1301 may request users to input a public voice password required to perform the task. For example, the electronic device 1301 may output a voice (eg, “Yes, say a public voice password”) requesting input of a public voice password through a speaker (eg, the speaker 996).
  • the electronic device 1301 may perform the task (for example, executing a music playing application).
  • the electronic device 1301 may restore the setting of the password authentication required to perform the task.
  • the electronic device 1301 may restore the setting of password authentication required to perform the task from the input method of the common voice password to the input method of the voice password preset.
  • the electronic device 1301 may transmit a signal related to a setting change of the cryptographic authentication required to perform the task to the second external electronic device 1303 through the communication circuit.
  • the electronic device 1301 may transmit, to the second external electronic device 1303, a signal corresponding to information indicating that a setting of a cryptographic authentication required to perform the task has been changed.
  • the second external electronic device 1303 may be, for example, a personal terminal (eg, a smart phone) of a user having a right to use the electronic device 1301.
  • the second external electronic device 1303 may be a device capable of changing a configuration (for example, a password setting) related to the use of the electronic device 1301.
  • the second external electronic device 1303 that has received a signal related to the change of the setting of the password authentication required to perform the task has changed to the user of the second external electronic device 1303 that the setting of the password authentication required to perform the task has been changed.
  • the second external electronic device 1303 may display on the display and / or the speaker an object indicating that the setting of the password authentication required to perform the task has been changed (for example, "a public voice password was used to play music.”). You can output In some embodiments, the second external electronic device 1303 displays and / or displays an object (eg, “Do you want to change the public voice password?”) To confirm whether you want to change the public voice password set in the electronic device 1301. Or output through the speaker.
  • the electronic device 1301 is required to perform the task.
  • the display (eg, display 995) and / or the speaker (eg, speaker) included in the electronic device 1301 may be configured to change password authentication. 996) may be directed to the user.
  • FIG. 14 is a diagram for describing a method of changing the setting of password authentication according to an embodiment of the present invention to an input method of a one-time voice password.
  • the electronic device 1401 may input a voice input (eg, “Bixby, yesterday”) of the first user 1310 through a microphone (eg, the microphone 910). Show it on TV ").
  • the electronic device 1401 converts the voice data corresponding to the obtained voice input into text data or transmits the voice data to the first external electronic device (not shown) through a communication circuit (for example, the communication circuit 930).
  • the voice data may be transmitted, and the text data generated by converting the voice data into a text format from the first external electronic device may be obtained through the communication circuit.
  • the electronic device 1401 may analyze the text data and determine a task (or function) to be performed based on the analyzed result. For example, the electronic device 1401 determines whether the text data includes a phrase mapped to a specific task (for example, “picture”, “on TV”, “show me”), and the phrase mapped to the specific task. Is included, the first user 1410 may determine that the specific task (eg, outputting the execution screen of the gallery application on the TV screen) is to be performed.
  • a specific task for example, “picture”, “on TV”, “show me”
  • the electronic device 1401 may check a password required to perform the task. For example, the electronic device 1401 may determine whether a password set for performing the task exists. In addition, the electronic device 1401 may check whether the password is set as a voice password.
  • the electronic device 1401 may obtain (or collect) peripheral information of the electronic device 1401. According to an embodiment of the present disclosure, the electronic device 1401 may determine whether a plurality of users exist in the vicinity of the electronic device 1401. For example, the electronic device 1401 analyzes the acquired peripheral information of the electronic device 1401, and then other users (for example, the second user 1420 or the third user) other than the first user 1410 around the electronic device 1401. It may be determined whether the user 1430 exists. In addition, when a plurality of users exist in the vicinity of the electronic device 1401, the electronic device 1401 may determine whether a user who does not have a right to use the electronic device 1401 exists.
  • the electronic device 1401 may perform the task.
  • the required password authentication setting can be changed by inputting a one-time voice password that can be used for a specified number of times or for a specified period of time.
  • the electronic device 1401 may request the first user 1410 to input a one-time voice password required to perform the task.
  • the electronic device 1401 may output a voice (eg, “Yes, please tell me the alarm time this morning”) that requests the input of the disposable voice password through the speaker (eg, the speaker 996).
  • the electronic device 1401 may perform the task (for example, outputting an execution screen of the gallery application on the TV screen).
  • the electronic device 1401 may restore the setting of the password authentication required to perform the task.
  • the electronic device 1401 may restore the setting of password authentication required to perform the task from the one-time voice password input method to the preset voice password input method.
  • the electronic device 1401 may discard the used disposable voice password.
  • the electronic device 1401 may transmit a signal related to a setting change of a cryptographic authentication required to perform the task to the second external electronic device 1403 through the communication circuit.
  • the electronic device 1401 may transmit, to the second external electronic device 1403, a signal corresponding to information indicating that a setting of a password authentication required to perform the task has been changed.
  • the second external electronic device 1403 may be, for example, a personal terminal (eg, a smart phone) of a user (eg, the first user 1410) having a use right of the electronic device 1401.
  • the second external electronic device 1403 may be a device capable of changing a configuration (for example, a password setting) related to the use of the electronic device 1401.
  • the second external electronic device 1403 that has received a signal related to the setting change of the password authentication required to perform the task may notify a user (eg, the first user 1410) of the second external electronic device 1403 of the task. It can be informed that the setting of password authentication required for execution has been changed.
  • the second external electronic device 1403 may display via a display and / or a speaker an object indicating that the setting of password authentication required to perform the task has changed (eg, "The one-time voice password used to view the gallery has been discarded.” ”) Can be printed.
  • the second external electronic device 1403 displays and displays an object (eg, “Would you like to reset the disposable voice password?”) To confirm whether you want to set a one-time voice password set in the electronic device 1401. You can also output through the speaker.
  • an object eg, “Would you like to reset the disposable voice password?”
  • the electronic device 1401 is required to perform the task.
  • the display eg, the display 995) and / or the speaker (eg, the speaker) 996) may be directed to the user.
  • 15 is a view for explaining a method of setting a one-time voice password according to an embodiment of the present invention.
  • the electronic device 1500 may set a one-time voice password required to perform a task using information associated with a user of the electronic device 1500.
  • the electronic device 1500 may store the user's personal information (eg, the user's name, age, gender, or region of residence), or the user's activity information (eg, schedule, alarm time, health information, content consumption information, Or the traffic usage information, etc.).
  • the electronic device 1500 may display, on the display 1510, a user's personal information or a user's activity information list 1153 available for setting the one-time voice password.
  • the electronic device 1500 together with the user's personal information or the user's activity information list 1153, an object that allows the user to select the user's personal information or the user's activity information for use in setting the one-time voice password.
  • 1533 eg, a toggle button object
  • the electronic device 1500 may set the one-time voice password using personal information of the user or activity information of the user corresponding to the selected object 1533.
  • the user's personal information or the user's activity information list 1531 may be stored and managed in a memory (eg, the memory 950).
  • the user's personal information or the user's activity information list 1153 may include, for example, a question list 1553 that prompts the user to enter a one-time voice password according to the kind of information 1551.
  • a question list 1553 that prompts the user to enter a one-time voice password according to the kind of information 1551.
  • the question for inducing the user to enter the one-time voice password may be set to a question for asking one of the user's schedules.
  • the user's personal information or the user's activity information list 1531 may include information 1555 about privacy sensitivity set according to the type 1551 of the information.
  • the electronic device 1500 may allow a user to directly select personal or activity information of a user used in setting up a one-time voice password to prevent exposure of personal or activity information that the user does not want. It can provide an interface.
  • 16 is a view for explaining a method of authenticating a password through a one-time voice password according to an embodiment of the present invention.
  • the electronic device 1601 may use the one-time voice password using information related to the user of the electronic device 1610 (eg, the user's personal information or the user's activity information). Can be set. However, even if the one-time voice password is set using the information related to the user, the electronic device 1601 reveals the intention that the user does not want to answer the question prompting the user to enter the one-time voice password (for example, if the user “next” "," The one-time voice password can be reset using other information.
  • information related to the user of the electronic device 1610 eg, the user's personal information or the user's activity information.
  • the electronic device 1601 reveals the intention that the user does not want to answer the question prompting the user to enter the one-time voice password (for example, if the user “next” ","
  • the one-time voice password can be reset using other information.
  • the electronic device 1601 may acquire a voice input (eg, “Bixby, show me on a picture taken yesterday”) of the first user 1610 through a microphone (eg, the microphone 910). have.
  • the electronic device 1601 may determine a task (or function) to be performed using text data obtained by converting voice data corresponding to the obtained voice input into a text format.
  • the electronic device 1601 may check a password required to perform the task. For example, the electronic device 1601 may determine whether a password set for performing the task exists. In addition, the electronic device 1601 may check whether the password is set as a voice password.
  • the electronic device 1601 may acquire (or collect) peripheral information of the electronic device 1601.
  • the electronic device 1601 may determine whether a plurality of users exist in the vicinity of the electronic device 1601. For example, the electronic device 1601 may analyze the acquired peripheral information of the electronic device 1601 and may use other users (eg, the second user 1620 or the third user) in the vicinity of the electronic device 1601 in addition to the first user 1610. It may be determined whether the user 1630 exists. In addition, when a plurality of users exist in the vicinity of the electronic device 1601, the electronic device 1601 may determine whether there is a user who does not have permission to use the electronic device 1601.
  • the electronic device 1601 may perform the task.
  • the required password authentication setting can be changed by inputting a one-time voice password that can be used for a specified number of times or for a specified period of time.
  • the electronic device 1601 may request the first user 1610 to input a one-time voice password required to perform the task.
  • the electronic device 1601 may output a voice (eg, “What is the most recently watched TV program?”) Requesting input of a one-time voice password through a speaker (eg, the speaker 996). .
  • the electronic device 1601 will prompt the one-time voice password. Can be reset using other information.
  • the electronic device 1601 may request the first user 1610 to input a reset one-time voice password. For example, the electronic device 1601 may output a voice (eg, “Yes, say the title and artist name of one of the songs in the playlist”) requesting the reset of the disposable voice password via the speaker. have.
  • the electronic device 1601 When the first user 1610 ignites the reset one-time voice password (eg, “Adel, someone like you”), the electronic device 1601 outputs the task (eg, outputting the execution screen of the gallery application on the TV screen). Can be done. According to an embodiment of the present disclosure, after performing the task, the electronic device 1601 may restore the setting of the password authentication required to perform the task. For example, the electronic device 1601 may restore the setting of password authentication required to perform the task from the one-time voice password input method to the preset voice password input method. In addition, after performing the task, the electronic device 1601 may discard the used one-time voice password.
  • the electronic device 1601 may restore the setting of the password authentication required to perform the task. For example, the electronic device 1601 may restore the setting of password authentication required to perform the task from the one-time voice password input method to the preset voice password input method.
  • the electronic device 1601 may discard the used one-time voice password.
  • the electronic device 1601 may transmit a signal related to a setting change of a cryptographic authentication required to perform the task to an external electronic device 1603 through the communication circuit.
  • the electronic device 1601 may transmit a signal corresponding to the information indicating that the setting of the cryptographic authentication required to perform the task has been changed to the external electronic device 1603.
  • the external electronic device 1603 that has received a signal related to the setting change of password authentication required to perform the task may perform the task to a user (eg, the first user 1610) of the external electronic device 1603. It can be informed that the setting of password authentication required by the user has changed.
  • the electronic device 1601 is required to perform the task.
  • a display eg, display 995) and / or a speaker (eg, a speaker) included in the electronic device 1601 may be used to change a setting of password authentication. 996) may be directed to the user.
  • 17 is a view for explaining a method of changing the input means of the password according to an embodiment of the present invention.
  • the electronic device 1701 when the electronic device 1701 (eg, the electronic device 900) is capable of password authentication through another input means instead of inputting a voice password through the microphone (eg, the microphone 910), a task may be performed. It is possible to change the setting of password authentication required to perform the password authentication method through other input means. For example, when the electronic device 1701 includes a key input device (eg, the key input device 993), the electronic device 1701 may change the setting of password authentication required to perform a task to a pin number input method through the key input device. have.
  • a key input device eg, the key input device 993
  • the electronic device 1701 when the electronic device 1701 includes a biometric sensor (for example, the biometric sensor 994), the electronic device 1701 may change the setting of password authentication necessary for performing a task to the biometric password input method through the biometric sensor.
  • the electronic device 1701 when the electronic device 1701 includes a touch screen display (for example, the display 995), the electronic device 1701 may change the pin number input or pattern input method through the touch screen display.
  • the electronic device 1701 may perform password authentication through an external electronic device 1703 connected to the electronic device 1701 through a communication circuit (eg, the communication circuit 930), the electronic device 1701 may perform the task.
  • the required password authentication setting may be changed to a password authentication method through the external electronic device 1703.
  • the external electronic device 1703 includes a key input device, a biometric sensor, or a touch screen display
  • the electronic device 1701 may include a key input device, a biometric sensor, or a touch screen included in the external electronic device 1703.
  • the external electronic device 1703 may be controlled to perform password authentication through the display.
  • the electronic device 1701 may obtain a voice input of a first user 1710 (eg, “Bixby, show me on a picture taken yesterday”) through the microphone.
  • the electronic device 1701 may determine a task (or function) to be performed using text data obtained by converting voice data corresponding to the obtained voice input into a text format.
  • the electronic device 1701 may identify a password required to perform the task. For example, the electronic device 1701 may determine whether a password set for performing the task exists. In addition, the electronic device 1701 may check whether the password is set as a voice password.
  • the electronic device 1701 may acquire (or collect) peripheral information of the electronic device 1701. According to an embodiment of the present disclosure, the electronic device 1701 may determine whether a plurality of users exist in the vicinity of the electronic device 1701. For example, the electronic device 1701 may analyze the acquired peripheral information of the electronic device 1701, and other users (for example, the second user 1720 or the third user) in addition to the first user 1710 around the electronic device 1701. It may be determined whether the user 1730 exists.
  • the electronic device 1701 may determine whether password authentication is possible through other input means instead of inputting the voice password through the microphone. For example, the electronic device 1701 may determine whether the electronic device 1701 includes the key input device, the biometric sensor, or the touch screen display. As another example, the electronic device 1701 may check whether the external electronic device 1703 connected through the communication circuit includes the key input device, the biometric sensor, or the touch screen display.
  • the electronic device 1701 may change the setting of password authentication required for performing the task to the password authentication method through the other input means.
  • the electronic device 1701 may request a password authentication from the first user 1710 through the other input means.
  • the electronic device 1701 may output a voice requesting password authentication through the other input means (eg, "yes, please fingerprint authentication with a smartphone") through a speaker (for example, the speaker 996). have.
  • the electronic device 1701 may perform the task (for example, outputting an execution screen of the gallery application on the TV screen). For example, when the first user 1710 performs fingerprint authentication through the fingerprint sensor of the external electronic device 1703, the electronic device 1710 may perform the task. According to an embodiment of the present disclosure, after performing the task, the electronic device 1701 may restore the setting of the password authentication required to perform the task. For example, the electronic device 1701 may restore the setting of password authentication required to perform the task from the password authentication method through the other input means to the voice password input method preset.
  • FIG. 18 is a diagram for describing a method of guiding when a setting of password authentication is not changed according to an embodiment of the present invention.
  • the electronic device 1801 may not change the setting of password authentication required to perform a task according to the selection of the first user 1810. Alternatively, even if the first user 1810 does not want to use the changed password authentication method, the electronic device 1801 may restore the setting of password authentication even if the first user 1810 does not want to use the changed password authentication method.
  • the electronic device 1801 may acquire a voice input (eg, “Bixby, show on a picture TV taken yesterday”) of the first user 1810 through a microphone (eg, the microphone 910). have.
  • the electronic device 1801 may determine a task (or function) to be performed using text data obtained by converting voice data corresponding to the obtained voice input into a text format.
  • the electronic device 1801 may identify a password required to perform the task. For example, the electronic device 1801 may determine whether a password set for performing the task exists. In addition, the electronic device 1801 may check whether the password is set as a voice password.
  • the electronic device 1801 may obtain (or collect) peripheral information of the electronic device 1801. According to an embodiment of the present disclosure, the electronic device 1801 may determine whether a plurality of users exist in the vicinity of the electronic device 1801. For example, the electronic device 1801 may analyze the acquired peripheral information of the electronic device 1801 and may have other users (for example, the second user 1820 or the third user) other than the first user 1810 around the electronic device 1801. It may be determined whether the user 1830 exists.
  • the electronic device 1801 may analyze the acquired peripheral information of the electronic device 1801 and may have other users (for example, the second user 1820 or the third user) other than the first user 1810 around the electronic device 1801. It may be determined whether the user 1830 exists.
  • the electronic device 1801 may determine whether password authentication is possible through other input means instead of inputting a voice password through the microphone. If it is determined that password authentication is possible through the other input means, the electronic device 1801 may change the setting of password authentication required for performing the task to the password authentication method through the other input means. In addition, the electronic device 1801 may request a password authentication from the first user 1810 through the other input means. For example, the electronic device 1801 may output a voice requesting password authentication through the other input means (eg, “yes, please fingerprint authentication with a smartphone”) through a speaker (eg, the speaker 996). have.
  • a voice requesting password authentication through the other input means (eg, “yes, please fingerprint authentication with a smartphone”) through a speaker (eg, the speaker 996).
  • the electronic device 1801 will verify password. You can restore the setting of. For example, the electronic device 1801 may restore the setting of password authentication required to perform a task from a password authentication method through the other input means to a preset voice password input method. In addition, the electronic device 1801 may request the first user 1810 to input a preset voice password. For example, the electronic device 1801 may output a voice for requesting input of a preset voice password (eg, “Please say voice password”) through the speaker.
  • a preset voice password eg, “Please say voice password”
  • the electronic device 1801 may perform the task (eg, outputting an execution screen of the gallery application on the TV screen).
  • the electronic device 1801 may transmit a signal related to a setting change of a cryptographic authentication required to perform the task to an external electronic device 1803 through a communication circuit (for example, the communication circuit 930).
  • the electronic device 1801 may be an external electronic device 1803 in which a voice password required to perform the task is other than the first user 1810 (eg, the second user 1820 or the third user 1830). ) May transmit a signal corresponding to the information indicating the exposure.
  • the external electronic device 1803 may notify that a voice password required to perform the task has been exposed to another user (for example, the second user 1820 or the third user 1830) in addition to the first user 1810. Can be.
  • the external electronic device 1803 may output, through the display and / or the speaker, exposure information of the voice password required to perform the task (for example, "the voice password was used for the gallery view").
  • the external electronic device 1803 may output information (eg, “Do you want to change the voice password?”) To confirm whether the exposed voice password is changed through the display and / or the speaker.
  • the electronic device 1801 is required to perform the task.
  • the electronic device 1801 may output information related to a setting change of a password authentication through a display and / or a speaker included in the electronic device 1801.
  • 19 is a diagram for describing a method of guiding setting change of password authentication according to an embodiment of the present invention.
  • the electronic device 1900 may inform the user of a setting change of password authentication required to perform a task.
  • the electronic device 1900 may output information related to the setting change of the password authentication through at least one of the display 1910 (eg, the display 995) and the speaker (eg, the speaker 996).
  • the electronic device 1900 may output information 1931 indicating the use of a voice password (or a public voice password or a one-time voice password) on the display 1910.
  • the electronic device 1900 changes (or sets) the voice password (or public voice password or one-time voice password) to information 1931 informing the use of the voice password (or public voice password or one-time voice password). It may also include information for checking whether or not.
  • the electronic device 1900 may use the voice password (or the public voice password or the one-time voice password) together with the information 1931 indicating the use of the voice password (or the public voice password or the one-time voice password).
  • An object 1933 for example, a button object for confirming the output may be output to the display 1910. Accordingly, upon obtaining an input 1950 for selecting the object 1933 by a user, the electronic device 1900 displays usage history information 1970 of a voice password (or a public voice password or a one-time voice password). And output to 1910.
  • the history information 1970 of the voice password may include, for example, time information 1971 in which the voice password (or public voice password or one-time voice password) was used, device information ( 1973), function (or task) information 1975 used, other user information 1977 that was present at the time of use, and the like.
  • the electronic device 2001 may communicate with the electronic device 2002 through a first network 2098 (eg, a short range wireless communication network), or the second network 2099.
  • the electronic device may communicate with the electronic device 2004 or the server 2008 (the first external electronic device (eg, the intelligent server 200 of FIG. 1)) through a long range wireless communication network.
  • the electronic device 2001 may communicate with the electronic device 2004 through the server 2008.
  • the electronic device 2001 may include a processor 2020 (eg, the processor 970 of FIG.
  • a memory 2030 eg, the memory 950 of FIG. 9
  • an input device 2050 Example: microphone 910 of FIG. 9, key input device 993, sound output device 2055 (eg, speaker 996 of FIG. 9), display device 2060 (eg, display 995 of FIG. 9).
  • At least one of the components may be omitted or one or more other components may be added to the electronic device 2001.
  • some of these components may be implemented in one integrated circuit.
  • the sensor module 2076 eg, fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 2060 eg, display
  • the processor 2020 may execute at least one other component (eg, hardware or software component) of the electronic device 2001 connected to the processor 2020 by executing software (eg, a program 2040). It can control and perform various data processing or operations. According to one embodiment, as at least part of the data processing or operation, the processor 2020 may receive instructions or data received from another component (eg, the sensor module 2076 or the communication module 2090) from the volatile memory 2032. Can be loaded into, processed in a volatile memory 2032 or a command or data stored in the volatile memory 2032, and the resulting data stored in the non-volatile memory (2034).
  • another component eg, the sensor module 2076 or the communication module 2090
  • the processor 2020 may include a main processor 2021 (eg, a central processing unit or an application processor), and a coprocessor 2023 (eg, a graphics processing unit, an image signal processor) that may operate independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 2023 may be configured to use lower power than the main processor 2021 or to be specific to a designated function. The coprocessor 2023 may be implemented separately from or as part of the main processor 2021.
  • a main processor 2021 eg, a central processing unit or an application processor
  • a coprocessor 2023 eg, a graphics processing unit, an image signal processor
  • the coprocessor 2023 may be configured to use lower power than the main processor 2021 or to be specific to a designated function.
  • the coprocessor 2023 may be implemented separately from or as part of the main processor 2021.
  • the coprocessor 2023 may be, for example, on behalf of the main processor 2021 while the main processor 2021 is in an inactive (eg, sleep) state, or the main processor 2021 is active (eg, executing an application). Together with the main processor 2021, at least one of the components of the electronic device 2001 (eg, the display device 2060, the sensor module 2076, or the communication module 2090). Control at least some of the functions or states associated with the. According to one embodiment, the coprocessor 2023 (eg, image signal processor or communication processor) may be implemented as part of other functionally related components (eg, camera module 2080 or communication module 2090). have.
  • the memory 2030 may store various data used by at least one component (eg, the processor 2020 or the sensor module 2076) of the electronic device 2001.
  • the data may include, for example, software (eg, program 2040) and input data or output data for instructions related thereto.
  • the memory 2030 may include a volatile memory 2032 or a nonvolatile memory 2034.
  • the program 2040 may be stored as software in the memory 2030 and may include, for example, an operating system 2042, middleware 2044, or an application 2046.
  • the input device 2050 may receive a command or data to be used for a component of the electronic device 2001 (for example, the processor 2020) from the outside (for example, a user) of the electronic device 2001.
  • the input device 2050 may include, for example, a microphone, a mouse, or a keyboard.
  • the sound output device 2055 may output a sound signal to the outside of the electronic device 2001.
  • the sound output device 2055 may include, for example, a speaker or a receiver.
  • the speaker may be used for general purposes such as multimedia playback or recording playback, and the receiver may be used to receive an incoming call.
  • the receiver may be implemented separately from or as part of a speaker.
  • the display device 2060 may visually provide information to the outside (eg, a user) of the electronic device 2001.
  • the display device 2060 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 2060 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of the force generated by the touch. have.
  • the audio module 2070 may convert the sound into an electrical signal or vice versa. According to an embodiment of the present disclosure, the audio module 2070 acquires sound through the input device 2050, or an external electronic device (eg, connected to the sound output device 2055 or the electronic device 2001 directly or wirelessly). Sound may be output through the electronic device 2002 (eg, a speaker or a headphone).
  • an external electronic device eg, connected to the sound output device 2055 or the electronic device 2001 directly or wirelessly. Sound may be output through the electronic device 2002 (eg, a speaker or a headphone).
  • the sensor module 2076 detects an operating state (eg, power or temperature) or an external environmental state (eg, a user state) of the electronic device 2001, and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 2076 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 2077 may support one or more designated protocols that may be used for the electronic device 2001 to be directly or wirelessly connected to an external electronic device (for example, the electronic device 2002).
  • the interface 2077 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 2078 may include a connector through which the electronic device 2001 may be physically connected to an external electronic device (eg, the electronic device 2002).
  • the connection terminal 2078 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 2079 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that can be perceived by the user through tactile or kinetic senses.
  • the haptic module 2079 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 2080 may capture still images and videos. According to an embodiment, the camera module 2080 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 2088 may manage power supplied to the electronic device 2001.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 2089 may supply power to at least one component of the electronic device 2001.
  • the battery 2089 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 2090 may establish a direct (eg wired) communication channel or wireless communication channel between the electronic device 2001 and an external electronic device (eg, the electronic device 2002, the electronic device 2004, or the server 2008). Establish and perform communication over established communication channels.
  • the communication module 2090 may operate independently of the processor 2020 (eg, an application processor) and include one or more communication processors that support direct (eg, wired) or wireless communication.
  • the communication module 2090 may be a wireless communication module 2092 (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 2094 (eg, It may include a local area network (LAN) communication module, or a power line communication module.
  • GNSS global navigation satellite system
  • the corresponding communication module of these communication modules may be a first network 2098 (e.g., a short range communication network such as Bluetooth, WiFi direct, or an infrared data association (IrDA)) or a second network 2099 (e.g., a cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a first network 2098 e.g., a short range communication network such as Bluetooth, WiFi direct, or an infrared data association (IrDA)
  • a second network 2099 e.g., a cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a telecommunications network such as a computer network (eg, LAN or WAN).
  • These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented by a
  • the wireless communication module 2092 uses subscriber information (e.g., international mobile subscriber identifier (IMSI)) stored in the subscriber identification module 2096 within a communication network such as the first network 2098 or the second network 2099.
  • subscriber information e.g., international mobile subscriber identifier (IMSI)
  • IMSI international mobile subscriber identifier
  • the antenna module 2097 may transmit or receive a signal or power to an external device (eg, an external electronic device).
  • antenna module 2097 may include one or more antennas, from which at least one suitable for a communication scheme used in a communication network, such as first network 2098 or second network 2099 May be selected by, for example, the communication module 2090.
  • the signal or power may be transmitted or received between the communication module 2090 and the external electronic device through the selected at least one antenna.
  • peripheral devices eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 2001 and the external electronic device 2004 through the server 2008 connected to the second network 2099.
  • Each of the electronic devices 2002 and 2004 may be the same or different type of device as the electronic device 2001.
  • all or part of operations executed in the electronic device 2001 may be executed in one or more external devices of the external electronic devices 2002, 2004, or 2008.
  • the electronic device 2001 may instead execute the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that receive the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 2001.
  • the electronic device 2001 may process the result as it is or additionally and provide the result as at least a part of the response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • Electronic devices may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smartphone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smartphone
  • a computer device e.g., a tablet, or a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch
  • first, second, or first or second may be used merely to distinguish a component from other corresponding components, and to separate the components from other aspects (e.g. Order).
  • Some (eg, first) component may be referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communicatively”.
  • any component can be connected directly to the other component (eg, by wire), wirelessly, or via a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integral part or a minimum unit or part of the component, which performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may include one or more instructions stored in a storage medium (eg, internal memory 2036 or external memory 2038) that can be read by a machine (eg, electronic device 2001). It may be implemented as software (eg, program 2040) including the.
  • a processor eg, the processor 2020 of the device (eg, the electronic device 2001) may call and execute at least one of the one or more instructions stored from the storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means only that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), which is the case when data is stored semi-permanently on the storage medium. It does not distinguish cases where it is temporarily stored.
  • a signal e.g., electromagnetic waves
  • a method may be included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may be distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( Example: smartphones) can be distributed (eg downloaded or uploaded) directly or online.
  • a device-readable storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • each component eg, a module or a program of the above-described components may include a singular or plural object.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of the component of each of the plurality of components the same as or similar to that performed by the corresponding component of the plurality of components before the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or may be omitted. Or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치에 있어서, 마이크로폰, 외부 전자 장치와의 통신을 위한 통신 회로, 상기 마이크로폰 및 상기 통신 회로와 기능적으로 연결된 프로세서, 및 상기 프로세서와 기능적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하고, 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하고, 상기 전자 장치의 주변 정보를 획득하고, 상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하고, 상기 통신 회로를 통해 상기 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하도록 하는 인스트럭션들을 저장하는 전자 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

음성 입력 처리 방법 및 이를 지원하는 전자 장치
본 문서에서 개시되는 실시 예들은, 음성 입력 처리 기술과 관련된다.
인공지능 시스템(또는 통합 지능화 시스템)은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다.
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝(deep learning)) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단과 같은 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
상술한 요소 기술들 중 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다.
한편, 인공지능 시스템이 탑재된 전자 장치는 사용자의 발화에 의해 입력된 음성 데이터를 분석하고, 분석된 결과에 기초하여 전자 장치 또는 전자 장치와 연결된 외부 전자 장치에서 수행될 태스크(또는 기능)를 판단하고, 상기 태스크가 전자 장치 또는 외부 전자 장치에서 수행될 수 있도록 지원할 수 있다.
또한, 전자 장치는 태스크를 수행하기 위해 필요한 암호를 사용자로부터 입력 받을 수 있다. 예를 들어, 전자 장치는 인증된 사용자로부터 태스크의 수행 여부를 확인 받기 위해, 설정된 음성 암호를 입력 받을 수 있다.
그러나, 전자 장치의 주변 정보에 따라서, 음성 암호의 노출 가능성이 존재하게 된다. 예를 들어, 전자 장치의 주변에 인증된 사용자 외에 다른 사용자가 존재하는 경우, 인증된 사용자가 음성 암호를 발화하게 되면, 음성 암호가 노출될 수 있기 때문에, 보안 문제가 발생할 수 있다.
본 문서에서 개시되는 실시 예들은, 전자 장치의 주변 정보에 따라서 태스크의 수행에 필요한 암호 인증의 설정을 변경하는 음성 입력 처리 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
또한, 본 문서에서 개시되는 실시 예들은, 암호 인증의 설정 변경을 사용자에게 안내할 수 있도록 관련된 정보를 제공하는 음성 입력 처리 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 마이크로폰, 외부 전자 장치와의 통신을 위한 통신 회로, 상기 마이크로폰 및 상기 통신 회로와 기능적으로 연결된 프로세서, 및 상기 프로세서와 기능적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하고, 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하고, 상기 전자 장치의 주변 정보를 획득하고, 상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하고, 상기 통신 회로를 통해 상기 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하도록 하는 인스트럭션들을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치의 음성 입력 처리 방법은, 마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하는 동작, 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하는 동작, 상기 전자 장치의 주변 정보를 획득하는 동작, 상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하는 동작, 및 통신 회로를 통해 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 전자 장치의 주변 정보에 따라서 태스크의 수행에 필요한 암호 인증의 설정을 변경함으로써, 음성 암호가 노출될 가능성을 낮출 수 있다.
또한, 본 문서에 개시되는 실시 예들에 따르면, 암호 인증의 설정 변경과 관련된 정보를 제공하여 암호 인증의 설정 변경을 사용자에게 안내할 수 있도록 지원할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 제안 모듈을 나타낸 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)의 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 9는 본 발명의 일 실시 예에 따른 음성 입력 처리와 관련된 전자 장치의 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 음성 입력 처리와 관련된 전자 장치의 운용 방법을 나타낸 도면이다.
도 11은 본 발명의 일 실시 예에 따른 사용자의 인증 여부에 따라 암호 인증의 설정을 변경하는 방법을 나타낸 도면이다.
도 12는 본 발명의 일 실시 예에 따른 입력 수단의 변경 가능 여부에 따라 암호 인증의 설정을 변경하는 방법을 나타낸 도면이다.
도 13은 본 발명의 일 실시 예에 따른 암호 인증의 설정을 공용 음성 암호의 입력 방식으로 변경하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 일회용 음성 암호의 설정 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 일회용 음성 암호를 통해 암호를 인증하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시 예에 따른 암호의 입력 수단을 변경하는 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시 예에 따른 암호 인증의 설정을 변경하지 않은 경우 사용자에게 안내하는 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시 예에 따른 암호 인증의 설정 변경을 사용자에게 안내하는 방법을 설명하기 위한 도면이다.
도 20은 다양한 실시 예에 따른 네트워크 환경 내의 음성 입력 처리와 관련된 전자 장치의 블록도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
본 발명의 일 실시 예를 서술하기에 앞서, 본 발명의 일 실시 예가 적용될 수 있는 통합 지능화 시스템에 대해 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 1을 참조하면, 통합 지능화 시스템(10)은 사용자 단말(100), 지능형 서버(200), 개인화 정보 서버(300) 또는 제안 서버(400)를 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100) 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 메시지 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 단말(100) 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 다른 앱을 실행 및 동작시킬 수 있다. 사용자 단말(100)은 상기 지능형 앱을 통해 상기 다른 앱을 실행 및 동작시키기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)가 이에 해당될 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용자의 발화를 사용자 입력으로 수신할 수 있다. 사용자 단말(100)은 사용자의 발화를 수신하고, 상기 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 사용자 단말(100)은 상기 명령을 이용하여 상기 앱을 동작시킬 수 있다.
지능형 서버(200)는 통신망을 통해 사용자 단말(100)로부터 사용자 음성 입력(voice input)을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다른 실시 예에서는, 지능형 서버(200)는 상기 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 상기 패스 룰은 앱의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한, 상기 패스 룰은 상기 앱의 상기 동작의 순서를 포함할 수 있다. 사용자 단말(100)은 상기 패스 룰을 수신하고, 상기 패스 룰에 따라 앱을 선택하고, 상기 선택된 앱에서 상기 패스 룰에 포함된 동작을 실행시킬 수 있다.
본 문서의 "패스 룰(path rule)"이라는 용어는 일반적으로, 전자 장치가 사용자에 의해 요청된 태스크를 수행하기 위한 상태들의 시퀀스를 의미할 수 있지만, 이에 제한되지 않는다. 다시 말해, 패스 룰은 상태들의 시퀀스에 대한 정보를 포함할 수 있다. 상기 태스크는, 예를 들어, 지능형 앱이 제공할 수 있는 어떠한 동작(action)일 수 있다. 상기 태스크는 일정을 생성하거나, 원하는 상대방에게 사진을 전송하거나, 날씨 정보를 제공하는 것을 포함할 수 있다. 사용자 단말(100)은 적어도 하나 이상의 상태(예: 사용자 단말(100)의 동작 상태)를 순차적으로 가짐으로써, 상기 태스크를 수행할 수 있다.
일 실시 예에 따르면, 패스 룰은 인공 지능(artificial intelligent)(AI) 시스템에 의해 제공되거나, 생성될 수 있다. 인공지능 시스템은 룰 베이스 시스템(rule-based system)일 수도 있고, 신경망 베이스 시스템(neual network-based system)(예: 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN)))일 수도 있다. 또는 전술한 것의 조합 또는 이와 다른 인공지능 시스템일 수도 있다. 일 실시 예에 따르면, 패스 룰은 미리 정의된 패스 룰들의 집합에서 선택되거나, 사용자 요청에 응답하여 실시간으로 생성될 수 있다. 예를 들어, 인공지능 시스템은 미리 정의된 복수의 패스 룰들 중 적어도 하나의 패스 룰을 선택하거나, 동적(또는, 실시간)으로 패스 룰을 생성할 수 있다. 또한, 사용자 단말(100)은 패스 룰을 제공하기 위해 하이브리드 시스템을 사용할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 실행한 사용자 단말(100)의 상태에 대응되는 화면을 디스플레이에 표시할 수 있다. 다른 예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 수행한 결과를 디스플레이에 표시하지 않을 수 있다. 사용자 단말(100)은, 예를 들어, 복수의 동작들을 실행하고, 상기 복수의 동작들의 일부 결과만을 디스플레이에 표시할 수 있다. 사용자 단말(100)은, 예를 들어, 마지막 순서의 동작을 실행한 결과만을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 사용자 단말(100)은 사용자의 입력을 수신하여 상기 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
개인화 정보 서버(300)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 개인화 정보 서버(300)는 사용자 단말(100)로부터 사용자 정보(예: 컨텍스트 정보, 앱 실행 등)를 수신하여 상기 데이터베이스에 저장할 수 있다. 지능형 서버(200)는 통신망을 통해 개인화 정보 서버(300)로부터 상기 사용자 정보를 수신하고, 사용자 입력에 대한 패스 룰을 생성하는 경우에 상기 사용자 정보를 이용할 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 통신망을 통해 개인화 정보 서버(300)로부터 사용자 정보를 수신하여 데이터베이스를 관리하기 위한 정보로 이용할 수 있다.
제안 서버(400)는 단말 내에 기능 혹은 어플리케이션의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 제안 서버(400)는 개인화 정보 서버(300)로부터 사용자 단말(100)의 사용자 정보를 수신하고, 사용자가 사용할 수 있는 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 사용자 단말(100)은 통신망을 통해 제안 서버(400)로부터 상기 제공될 기능에 대한 정보를 수신하고 사용자에게 수신된 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 사용자 단말을 나타낸 블록도이다.
도 2를 참조하면, 사용자 단말(100)은 입력 모듈(110), 디스플레이(120), 스피커(130), 메모리(140) 또는 프로세서(150)를 포함할 수 있다. 사용자 단말(100)은 하우징을 더 포함할 수 있고, 상기 사용자 단말(100)의 구성들은 상기 하우징의 내부에 안착되거나 하우징 상에(on the housing) 위치할 수 있다. 사용자 단말(100)은 상기 하우징의 내부에 위치한 통신 회로를 더 포함할 수 있다. 사용자 단말(100)은 상기 통신 회로를 통해 외부 서버(예: 지능형 서버(200))와 데이터(또는, 정보)를 송수신할 수 있다.
일 실시 예에 따른, 입력 모듈(110)은 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력 모듈(110)은 연결된 외부 장치(예: 키보드, 헤드셋)로부터 사용자 입력을 수신할 수 있다. 다른 예를 들어, 입력 모듈(110)은 디스플레이(120)와 결합된 터치 스크린(예: 터치 스크린 디스플레이)을 포함할 수 있다. 또 다른 예를 들어, 입력 모듈(110)은 사용자 단말(100)(또는, 사용자 단말(100)의 하우징)에 위치한 하드웨어 키(또는, 물리적 키)를 포함할 수 있다.
일 실시 예에 따르면, 입력 모듈(110)은 사용자의 발화를 음성 신호로 수신할 수 있는 마이크를 포함할 수 있다. 예를 들어, 입력 모듈(110)은 발화 입력 시스템(speech input system)을 포함하고, 상기 발화 입력 시스템을 통해 사용자의 발화를 음성 신호로 수신할 수 있다. 상기 마이크는, 예를 들어, 하우징의 일부분(예: 제1 부분)을 통해 노출될 수 있다.
일 실시 예에 따른, 디스플레이(120)는 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 디스플레이(120)는 앱의 그래픽 사용자 인터페이스(graphic user interface)(GUI)를 표시할 수 있다. 일 실시 예에 따르면, 디스플레이(120)는 하우징의 일부분(예: 제2 부분)을 통해 노출될 수 있다.
일 실시 예에 따르면, 스피커(130)는 음성 신호를 출력할 수 있다. 예를 들어, 스피커(130)는 사용자 단말(100) 내부에서 생성된 음성 신호를 외부로 출력할 수 있다. 일 실시 예에 따르면, 스피커(130)는 하우징의 일부분(예: 제3 부분)을 통해 노출될 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(또는, 어플리케이션 프로그램 application program))(141, 143)들을 저장할 수 있다. 복수의 앱(141, 143)들은, 예를 들어, 사용자 입력에 대응되는 기능을 수행하기 위한 프로그램(program)일 수 있다. 일 실시 예에 따르면, 메모리(140)는 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)을 저장할 수 있다. 지능형 에이전트(145), 실행 매니저 모듈(147) 및 지능형 서비스 모듈(149)은, 예를 들어, 수신된 사용자 입력(예: 사용자 발화)을 처리하기 위한 프레임워크(framework)(또는, 어플리케이션 프레임워크(application framework))일 수 있다.
일 실시 예에 따르면, 메모리(140)는 사용자 입력을 인식하는데 필요한 정보를 저장할 수 있는 데이터베이스를 포함할 수 있다. 예를 들어, 메모리(140)는 로그(log) 정보를 저장할 수 있는 로그 데이터베이스를 포함할 수 있다. 다른 예를 들어, 메모리(140)는 사용자 정보를 저장할 수 있는 페르소나 데이터베이스를 포함할 수 있다.
일 실시 예에 따르면, 메모리(140)는 복수의 앱(141, 143)들을 저장하고, 복수의 앱(141, 143)들은 로드되어 동작할 수 있다. 예를 들어, 메모리(140)에 저장된 복수의 앱(141,143)들은 실행 매니저 모듈(147)에 의해 로드되어 동작할 수 있다. 복수의 앱(141, 143)들은 기능을 수행하는 실행 서비스 모듈(141a, 143a)을 포함할 수 있다. 일 실시 예에서, 복수의 앱(141,143)들은 기능을 수행하기 위해서 실행 서비스 모듈(141a, 143a)을 통해 복수의 동작(예: 상태 들의 시퀀스)(141b, 143b)들을 실행할 수 있다. 다시 말해, 실행 서비스 모듈(141a, 143a)은 실행 매니저 모듈(147)에 의해 활성화되고, 복수의 동작(141b, 143b)들을 실행할 수 있다.
일 실시 예에 따르면, 앱(141, 143)의 동작(141b, 143b)이 실행되었을 때, 동작(141b, 143b)의 실행에 따른 실행 상태 화면은 디스플레이(120)에 표시될 수 있다. 상기 실행 상태 화면은, 예를 들어, 동작(141b, 143b)이 완료된 상태의 화면일 수 있다. 상기 실행 상태 화면은, 다른 예를 들어, 동작(141b, 143b)의 실행이 정지된 상태(partial landing)(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우)의 화면일 수 있다.
일 실시 예에 따른, 실행 서비스 모듈(141a, 143a)은 패스 룰에 따라 동작(141b, 143b)을 실행할 수 있다. 예를 들어, 실행 서비스 모듈(141a, 143a)은 실행 매니저 모듈(147)에 의해 활성화되고, 실행 매니저 모듈(147)로부터 상기 패스 룰에 따라 실행 요청을 전달받고, 상기 실행 요청에 따라 동작(141b, 143b)을 함으로써, 앱(141, 143)의 기능을 실행할 수 있다. 실행 서비스 모듈(141a, 143a)은 상기 동작(141b, 143b)의 수행이 완료되면 완료 정보를 실행 매니저 모듈(147)로 전달할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)들이 실행되는 경우, 복수의 동작(141b, 143b)들은 순차적으로 실행될 수 있다. 실행 서비스 모듈(141a, 143a)은 하나의 동작(예: 제1 앱(141)의 동작 1, 제2 앱(143)의 동작 1)의 실행이 완료되면 다음 동작(예: 제1 앱(141)의 동작 2, 제2 앱(143)의 동작 2)을 오픈하고 완료 정보를 실행 매니저 모듈(147)로 송신할 수 있다. 여기서 임의의 동작을 오픈한다는 것은, 임의의 동작을 실행 가능한 상태로 천이시키거나, 임의의 동작의 실행을 준비하는 것으로 이해될 수 있다. 다시 말해서, 임의의 동작이 오픈되지 않으면, 해당 동작은 실행될 수 없다. 실행 매니저 모듈(147)은 상기 완료 정보가 수신되면 다음 동작(예: 제1 앱(141)의 동작 2, 제2 앱(143)의 동작 2)에 대한 실행 요청을 실행 서비스 모듈로 전달할 수 있다. 일 실시 예에 따르면, 복수의 앱(141, 143)들이 실행되는 경우, 복수의 앱(141, 143)들은 순차적으로 실행될 수 있다. 예를 들어, 제1 앱(141)의 마지막 동작(예: 제1 앱(141)의 동작 3)의 실행이 완료되어 완료 정보를 수신하면, 실행 매니저 모듈(147)은 제2 앱(143)의 첫번째 동작(예: 제2 앱(143)의 동작 1)의 실행 요청을 실행 서비스(143a)로 송신할 수 있다.
일 실시 예에 따르면, 앱(141, 143)에서 복수의 동작(141b, 143b)들이 실행된 경우, 상기 실행된 복수의 동작(141b, 143b)들 각각의 실행에 따른 결과 화면은 디스플레이(120)에 표시될 수 있다. 일 실시 예에 따르면, 상기 실행된 복수의 동작(141b, 143b)들의 실행에 따른 복수의 결과 화면 중 일부만 디스플레이(120)에 표시될 수 있다.
일 실시 예에 따르면, 메모리(140)는 지능형 에이전트(145)와 연동된 지능형 앱(예: 음성 인식 앱)을 저장할 수 있다. 지능형 에이전트(145)와 연동된 앱은 사용자의 발화를 음성 신호로 수신하여 처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(145)와 연동된 앱은 입력 모듈(110)을 통해 입력되는 특정 입력(예: 하드웨어 키를 통한 입력, 터치 스크린을 통한 입력, 특정 음성 입력)에 의해 동작될 수 있다.
일 실시 예에 따르면, 메모리(140)에 저장된 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)이 프로세서(150)에 의해 실행될 수 있다. 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)의 기능은 프로세서(150)에 의해 구현될 수 있다. 상기 지능형 에이전트(145), 실행 매니저 모듈(147) 및 지능형 서비스 모듈(149)의 기능에 대해 프로세서(150)의 동작으로 설명할 수 있다. 일 실시 예에 따르면, 메모리(140)에 저장된 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)는 소프트웨어뿐만 아니라 하드웨어로 구현될 수 있다.
일 실시 예에 따르면, 프로세서(150)는 사용자 단말(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(150)는 입력 모듈(110)을 제어하여 사용자 입력을 수신할 수 있다. 프로세서(150)는 디스플레이(120)를 제어하여 이미지를 표시할 수 있다. 프로세서(150)는 스피커(130)를 제어하여 음성 신호를 출력할 수 있다. 프로세서(150)는 메모리(140)를 제어하여 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 메모리(140)에 저장된 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)을 실행시킬 수 있다. 이에 따라, 프로세서(150)는 지능형 에이전트(145), 실행 매니저 모듈(147) 또는 지능형 서비스 모듈(149)의 기능을 구현할 수 있다.
일 실시 예에 따른, 프로세서(150)는 지능형 에이전트(145)를 실행하여 사용자 입력으로 수신된 음성 신호에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 일 실시 예에 따른, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 상기 생성된 명령에 따라 메모리(140)에 저장된 앱(141, 143)을 실행시킬 수 있다. 일 실시 예에 따르면, 프로세서(150)는 지능형 서비스 모듈(149)을 실행하여 사용자의 정보를 관리하고, 상기 사용자의 정보를 이용하여 사용자 입력을 처리할 수 있다.
프로세서(150)는 지능형 에이전트(145)를 실행하여 입력 모듈(110)을 통해 수신된 사용자 입력을 지능형 서버(200)로 송신하고, 지능형 서버(200)를 통해 상기 사용자 입력을 처리할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 지능형 에이전트(145)를 실행하여 상기 사용자 입력을 지능형 서버(200)로 송신하기 전에 상기 사용자 입력을 전처리할 수 있다. 일 실시 예에 따르면, 지능형 에이전트(145)는 상기 사용자 입력을 전처리하기 위하여, 적응 반향 제거(adaptive echo canceller)(AEC) 모듈, 노이즈 억제(noise suppression)(NS) 모듈, 종점 검출(end-point detection)(EPD) 모듈 또는 자동 이득 제어(automatic gain control)(AGC) 모듈을 포함할 수 있다. 상기 적응 반향 제거부는 상기 사용자 입력에 포함된 에코(echo)를 제거할 수 있다. 상기 노이즈 억제 모듈은 상기 사용자 입력에 포함된 배경 잡음을 억제할 수 있다. 상기 종점 검출 모듈은 상기 사용자 입력에 포함된 사용자 음성의 종점을 검출하고, 상기 검출된 종점을 이용하여 사용자의 음성이 존재하는 부분을 찾을 수 있다. 상기 자동 이득 제어 모듈은 상기 사용자 입력을 인식하고, 상기 인식된 사용자 입력을 처리하기 적합하도록 상기 사용자 입력의 음량을 조절할 수 있다. 일 실시 예에 따르면, 프로세서(150)는 성능을 위하여 상기 전처리 구성을 전부 실행시킬 수 있지만, 다른 실시 예에서 프로세서(150)는 저전력으로 동작하기 위해 상기 전처리 구성 중 일부를 실행시킬 수 있다.
일 실시 예에 따르면, 지능형 에이전트(145)는 사용자의 호출을 인식하기 위해 메모리(140)에 저장된 웨이크 업(wake up) 인식 모듈을 실행시킬 수 있다. 이에 따라, 프로세서(150)는 상기 웨이크 업 인식 모듈을 통해 사용자의 웨이크 업 명령을 인식할 수 있고, 상기 웨이크 업 명령을 수신한 경우 사용자 입력을 수신하기 위한 지능형 에이전트(145)를 실행시킬 수 있다. 상기 웨이크 업 인식 모듈은 저전력 프로세서(예: 오디오 코덱에 포함된 프로세서)로 구현될 수 있다. 일 실시 예에 따르면, 프로세서(150)는 하드웨어 키를 통한 사용자 입력을 수신하였을 때 지능형 에이전트(145)를 실행시킬 수 있다. 지능형 에이전트(145)가 실행된 경우, 지능형 에이전트(145)와 연동된 지능형 앱(예: 음성 인식 앱)이 실행될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(145)는 사용자 입력을 실행하기 위한 음성 인식 모듈을 포함할 수 있다. 프로세서(150)는 상기 음성 인식 모듈을 통해 앱에서 동작을 실행하도록 하기 위한 사용자 입력을 인식할 수 있다. 예를 들어, 프로세서(150)는 상기 음성 인식 모듈을 통해 앱(141, 143)에서 상기 웨이크 업 명령과 같은 동작을 실행하는 제한된 사용자 (음성) 입력(예: 카메라 앱이 실행 중일 때 촬영 동작을 실행시키는 "찰칵"과 같은 발화 등)을 인식할 수 있다. 프로세서(150)는 상기 지능형 서버(200)를 보조하여 상기 음성 인식 모듈을 통해 사용자 단말(100)내에서 처리할 수 있는 사용자 명령을 인식하여 빠르게 처리할 수 있다. 일 실시 예에 따르면, 사용자 입력을 실행하기 위한 지능형 에이전트(145)의 음성 인식 모듈은 앱 프로세서에서 구현될 수 있다.
일 실시 예에 따르면, 지능형 에이전트(145)의 음성 인식 모듈(웨이크 업 모듈의 음성 인식 모듈을 포함)은 음성을 인식하기 위한 알고리즘을 이용하여 사용자 입력을 인식할 수 있다. 상기 음성을 인식하기 위해 사용되는 알고리즘은, 예를 들어, HMM(hidden markov model) 알고리즘, ANN(artificial neural network) 알고리즘 또는 DTW(dynamic time warping) 알고리즘 중 적어도 하나일 수 있다.
일 실시 예에 따르면, 프로세서(150)는 지능형 에이전트(145)를 실행하여 사용자의 음성 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 프로세서(150)는 지능형 에이전트(145)를 통해 사용자의 음성을 지능형 서버(200)로 송신하고, 지능형 서버(200)로부터 사용자의 음성에 대응되는 텍스트 데이터를 수신할 수 있다. 이에 따라, 프로세서(150)는 상기 변환된 텍스트 데이터를 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 지능형 에이전트(145)를 실행하여 지능형 서버(200)로부터 패스 룰을 수신할 수 있다. 일 실시 예에 따르면, 프로세서(150)는 지능형 에이전트(145)를 통해 상기 패스 룰을 실행 매니저 모듈(147)로 전달할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 지능형 에이전트(145)를 실행하여 지능형 서버(200)로부터 수신된 패스 룰에 따른 실행 결과 로그(log)를 지능형 서비스(intelligence service) 모듈(149)로 전달하고, 상기 전달된 실행 결과 로그는 페르소나 모듈(persona manager)(149b)의 사용자의 선호(preference) 정보에 누적되어 관리될 수 있다.
일 실시 예에 따른, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 지능형 에이전트(145)로부터 패스 룰을 전달받아 앱(141, 143)을 실행시키고, 앱(141, 143)이 상기 패스 룰에 포함된 동작(141b, 143b)을 실행하도록 할 수 있다. 예를 들어, 프로세서(150)는 실행 매니저 모듈(147)을 통해 앱(141, 143)으로 동작(141b, 143b)을 실행하기 위한 명령 정보(예: 패스 룰 정보)를 송신할 수 있고, 상기 앱(141, 143)으로부터 동작(141b, 143b)의 완료 정보를 전달받을 수 있다.
일 실시 예에 따르면, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 지능형 에이전트(145)와 앱(141, 143)의 사이에서 앱(141, 143)의 동작(141b, 143b)을 실행하기 위한 명령 정보(예: 패스 룰 정보)를 전달할 수 있다. 프로세서(150)는 실행 매니저 모듈(147)을 통해 상기 패스 룰에 따라 실행할 앱(141, 143)을 바인딩(binding)하고, 상기 패스 룰에 포함된 동작(141b, 143b)의 명령 정보(예: 패스 룰 정보)를 앱(141, 143)으로 전달할 수 있다. 예를 들어, 프로세서(150)는 실행 매니저 모듈(147)을 통해 상기 패스 룰에 포함된 동작(141b, 143b)을 순차적으로 앱(141, 143)으로 전달하여, 앱(141, 143)의 동작(141b, 143b)을 상기 패스 룰에 따라 순차적으로 실행시킬 수 있다.
일 실시 예에 따르면, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 앱(141, 143)의 동작(141b, 143b)의 실행 상태를 관리할 수 있다. 예를 들어, 프로세서(150)는 실행 매니저 모듈(147)을 통해 앱(141, 143)으로부터 상기 동작(141b, 143b)의 실행 상태에 대한 정보를 전달받을 수 있다. 상기 동작(141b, 143b)의 실행 상태가, 예를 들어, 정지된 상태(partial landing)인 경우(예: 동작(141b, 143b)에 필요한 파라미터가 입력되지 않은 경우), 프로세서(150)는 실행 매니저 모듈(147)을 통해 상기 정지된 상태에 대한 정보를 지능형 에이전트(145)로 전달할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 상기 전달받은 정보를 이용하여, 사용자에게 필요한 정보(예: 파라미터 정보)의 입력을 요청할 수 있다. 다른 예를 들어, 상기 동작(141b, 143b)의 실행 상태가 동작 상태인 경우, 프로세서(150)는 지능형 에이전트(145)를 통해 사용자로부터 발화를 수신할 수 있다. 프로세서(150)는 실행 매니저 모듈(147)을 통해 상기 실행되고 있는 앱(141, 143) 및 앱(141, 143)의 실행 상태에 대한 정보를 지능형 에이전트(145)로 전달할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 상기 사용자 발화를 지능형 서버(200)로 송신할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 지능형 서버(200)로부터 상기 사용자의 발화의 파라미터 정보를 수신할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 상기 수신된 파라미터 정보를 실행 매니저 모듈(147)로 전달할 수 있다. 실행 매니저 모듈(147)은 상기 수신한 파라미터 정보를 이용하여 동작(141b, 143b)의 파라미터를 새로운 파라미터로 변경할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 패스 룰에 포함된 파라미터 정보를 앱(141, 143)으로 전달할 수 있다. 상기 패스 룰에 따라 복수의 앱(141, 143)들이 순차적으로 실행되는 경우, 실행 매니저 모듈(147)은 하나의 앱에서 다른 앱으로 패스 룰에 포함된 파라미터 정보를 전달할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 실행 매니저 모듈(147)을 실행하여 복수의 패스 룰들을 수신할 수 있다. 프로세서(150)는 실행 매니저 모듈(147)을 통해 사용자의 발화에 기초하여 복수의 패스 룰들을 수신할 수 있다. 예를 들어, 프로세서(150)는 실행 매니저 모듈(147)을 통해 사용자의 발화가 일부 동작(141b)을 실행할 일부 앱(141)을 특정하였지만, 나머지 동작(143b)을 실행할 다른 앱(143)을 특정하지 않은 경우, 일부 동작(141b)를 실행할 동일한 앱(141)(예: 갤러리 앱)이 실행되고 나머지 동작(143b)를 실행할 수 있는 서로 다른 앱(143)(예: 메시지 앱, 텔레그램 앱)이 각각 실행되는 서로 다른 복수의 패스 룰들을 수신할 수 있다. 프로세서(150)는, 예를 들어, 실행 매니저 모듈(147)을 통해 상기 복수의 패스 룰들의 동일한 동작(141b, 143b)(예: 연속된 동일한 동작(141b, 143b))을 실행할 수 있다. 프로세서(150)는 상기 동일한 동작까지 실행한 경우, 실행 매니저 모듈(147)을 통해 상기 복수의 패스 룰들에 각각 포함된 서로 다른 앱(141, 143)을 선택할 수 있는 상태 화면을 디스플레이(120)에 표시할 수 있다.
일 실시 예에 따르면, 지능형 서비스 모듈(149)은 컨텍스트 모듈(149a), 페르소나 모듈(149b) 또는 제안 모듈(149c)을 포함할 수 있다.
프로세서(150)는 컨텍스트 모듈(149a)을 실행하여 앱(141, 143)으로부터 앱(141, 143)의 현재 상태를 수집할 수 있다. 예를 들어, 프로세서(150)는 컨텍스트 모듈(149a)을 실행하여 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 수신하고, 상기 수신된 컨텍스트 정보를 통해 앱(141, 143)의 현재 상태를 수집할 수 있다.
프로세서(150)는 페르소나 모듈(149b)을 실행하여 사용자 단말(100)을 사용하는 사용자의 개인 정보를 관리할 수 있다. 예를 들어, 프로세서(150)는 페르소나 모듈(149b)을 실행하여 사용자 단말(100)의 사용 정보 및 수행 결과를 수집하고, 상기 수집된 사용자 단말(100)의 사용 정보 및 수행 결과를 이용하여 사용자의 개인 정보를 관리할 수 있다.
프로세서(150)는 제안 모듈(149c)을 실행하여 사용자의 의도를 예측하고, 상기 사용자의 의도에 기초하여 사용자에게 명령을 추천해줄 수 있다. 예를 들어, 프로세서(150)는 제안 모듈(149c)을 실행하여 사용자의 현재 상태(예: 시간, 장소, 상황, 앱)에 따라 사용자에게 명령을 추천해줄 수 있다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말의 지능형 앱을 실행시키는 것을 나타낸 도면이다.
도 3을 참조하면, 사용자 단말(100)이 사용자 입력을 수신하여 지능형 에이전트(145)와 연동된 지능형 앱(예: 음성 인식 앱)을 실행시키는 것을 나타낸 것이다.
일 실시 예에 따르면, 사용자 단말(100)은 하드웨어 키(112)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 하드웨어 키(112)를 통해 사용자 입력을 수신한 경우 디스플레이(120)에 지능형 앱의 UI(user interface)(121)를 표시할 수 있다. 사용자는, 예를 들어, 지능형 앱의 UI(121)가 디스플레이(120)에 표시된 상태에서 음성을 입력(120b)하기 위해 지능형 앱의 UI(121)에 음성인식 버튼(121a)을 터치할 수 있다. 사용자는, 다른 예를 들어, 음성을 입력(120b)하기 위해 상기 하드웨어 키(112)를 지속적으로 눌러서 음성을 입력(120b)할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 마이크(111)를 통해 음성을 인식하기 위한 지능형 앱을 실행시킬 수 있다. 예를 들어, 사용자 단말(100)은 마이크(111)를 통해 지정된 음성(예: 일어나!(wake up!))이 입력(120a)된 경우 디스플레이(120)에 지능형 앱의 UI(121)를 표시할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 컨텍스트 모듈이 현재 상태를 수집하는 것을 나타낸 도면이다.
도 4를 참조하면, 프로세서(150)는 지능형 에이전트(145)로부터 컨텍스트 요청을 수신(①)하면, 컨텍스트 모듈(149a)을 통해 앱(141, 143)의 현재 상태를 나타내는 컨텍스트 정보를 요청(②)할 수 있다. 일 실시 예에 따르면, 프로세서(150)는 컨텍스트 모듈(149a)을 통해 앱(141, 143)으로부터 상기 컨텍스트 정보를 수신(③)하여 지능형 에이전트(145)로 송신(④)할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 컨텍스트 모듈(149a)을 통해 앱(141, 143)으로부터 복수의 컨텍스트 정보들을 전달받을 수 있다. 상기 컨텍스트 정보는, 예를 들어, 가장 최근 실행된 앱(141, 143)에 대한 정보일 수 있다. 상기 컨텍스트 정보는, 다른 예를 들어, 앱(141, 143) 내의 현재 상태에 대한 정보(예: 갤러리에서 사진을 보고 있는 경우, 해당 사진에 대한 정보)일 수 있다.
일 실시 예에 따르면, 프로세서(150)는 컨텍스트 모듈(149a)을 통해 앱(141, 143)뿐만 아니라, 디바이스 플랫폼(device platform)으로부터 사용자 단말(100)의 현재 상태를 나타내는 컨텍스트 정보를 수신할 수 있다. 상기 컨텍스트 정보는 일반적 컨텍스트 정보, 사용자 컨텍스트 정보 또는 장치 컨텍스트 정보를 포함할 수 있다.
상기 일반적 컨텍스트 정보는 사용자 단말(100)의 일반적인 정보를 포함할 수 있다. 상기 일반적 컨텍스트 정보는 디바이스 플랫폼의 센서 허브 등을 통해 데이터를 전달받아서 내부 알고리즘을 통해 확인될 수 있다. 예를 들어, 상기 일반적 컨텍스트 정보는 현재 시공간에 대한 정보를 포함할 수 있다. 상기 현재 시공간에 대한 정보는, 예를 들어, 현재 시간 또는 사용자 단말(100)의 현재 위치에 대한 정보를 포함할 수 있다. 상기 현재 시간은 사용자 단말(100) 상에서의 시간을 통해 확인될 수 있고, 상기 현재 위치에 대한 정보는 GPS(global positioning system)를 통해 확인될 수 있다. 다른 예를 들어, 상기 일반적 컨텍스트 정보는 물리적 움직임에 대한 정보를 포함할 수 있다. 상기 물리적 움직임에 대한 정보는, 예를 들어, 걷기, 뛰기, 운전 중 등에 대한 정보를 포함할 수 있다. 상기 물리적 움직임 정보는 모션 센서(motion sensor)를 통해 확인될 수 있다. 상기 운전 중에 대한 정보는 상기 모션 센서를 통해 운행을 확인할 수 있을 뿐만 아니라, 차량 내의 블루투스 연결을 검출하여 탑승 및 주차를 확인할 수 있다. 또 다른 예를 들어, 상기 일반적 컨텍스트 정보는 사용자 활동 정보를 포함할 수 있다. 상기 사용자 활동 정보는, 예를 들어, 출퇴근, 쇼핑, 여행 등에 대한 정보를 포함할 수 있다. 상기 사용자 활동 정보는 사용자 또는 앱이 데이터베이스에 등록한 장소에 대한 정보를 이용하여 확인될 수 있다.
상기 사용자 컨텍스트 정보는 사용자에 대한 정보를 포함할 수 있다. 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 감정적 상태에 대한 정보를 포함할 수 있다. 상기 감정적 상태에 대한 정보는, 예를 들어, 사용자의 행복, 슬픔, 화남 등에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 사용자 컨텍스트 정보는 사용자의 현재 상태에 대한 정보를 포함할 수 있다. 상기 현재 상태에 대한 정보는, 예를 들어, 관심, 의도 등(예: 쇼핑)에 대한 정보를 포함할 수 있다.
상기 장치 컨텍스트 정보는 사용자 단말(100)의 상태에 대한 정보를 포함할 수 있다. 예를 들어, 상기 장치 컨텍스트 정보는 실행 매니저 모듈(147)이 실행한 패스 룰에 대한 정보를 포함할 수 있다. 다른 예를 들어, 상기 장치 컨텍스트 정보는 배터리에 대한 정보를 포함할 수 있다. 상기 배터리에 대한 정보는, 예를 들어, 상기 배터리의 충전 및 방전 상태를 통해 확인될 수 있다. 또 다른 예를 들어, 상기 장치 컨텍스트 정보는 연결된 장치 및 네트워크에 대한 정보를 포함할 수 있다. 상기 연결된 장치에 대한 정보는, 예를 들어, 상기 장치가 연결된 통신 인터페이스를 통해 확인될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 제안 모듈을 나타낸 블록도이다.
도 5를 참조하면, 제안 모듈(149c)은 힌트 제공 모듈(149c_1), 컨텍스트 힌트 생성 모듈(149c_2), 조건 체킹 모듈(149c_3), 조건 모델 모듈(149c_4), 재사용 힌트 생성 모듈(149c_5) 또는 소개 힌트 생성 모듈(149c_6)을 포함할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 힌트 제공 모듈(149c_1)을 실행하여 사용자에게 힌트(hint)를 제공할 수 있다. 예를 들어, 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 컨텍스트 힌트 생성 모듈(149c_2), 재사용 힌트 생성 모듈(149c_5) 또는 소개 힌트 생성 모듈(149c_6)로부터 생성된 힌트를 전달받아 사용자에게 힌트를 제공할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 조건 체킹 모듈(149c_3) 또는 조건 모델 모듈(149c_4)을 실행하여 현재 상태에 따라 추천될 수 있는 힌트를 생성할 수 있다. 프로세서(150)는 조건 체킹 모듈(149c_3)을 실행하여 현재 상태에 대응되는 정보를 전달받을 수 있고, 조건 모델 모듈(149c_4)을 실행하여 상기 전달받은 정보를 이용하여 조건 모델(condition model)을 설정할 수 있다. 예를 들어, 프로세서(150)는 조건 모델 모듈(149c_4)을 실행하여 사용자에게 힌트를 제공하는 시점의 시간, 위치, 상황, 사용중인 앱 등을 파악하여 해당 조건에서 사용할 가능성이 높은 힌트를 우선 순위가 높은 순으로 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 재사용 힌트 생성 모듈(149c_5)을 실행하여 사용 빈도에 따라 추천될 수 있는 힌트를 생성할 수 있다. 예를 들어, 프로세서(150)는 재사용 힌트 생성 모듈(149c_5)을 실행하여 사용자의 사용 패턴에 기초한 힌트를 생성할 수 있다.
일 실시 예에 따르면, 소개 힌트 생성 모듈(149c_6)은 사용자에게 신규 기능 또는 다른 사용자가 많이 쓰는 기능을 소개하는 힌트를 생성할 수 있다. 예를 들어, 상기 신규 기능을 소개하는 힌트에는 지능형 에이전트(145)에 대한 소개(예: 작동 방법)를 포함할 수 있다.
다른 실시 예에 따르면, 제안 모듈(149c)의 컨텍스트 힌트 생성 모듈(149c_2), 조건 체킹 모듈(149c_3), 조건 모델 모듈(149c_4), 재사용 힌트 생성 모듈(149c_5) 또는 소개 힌트 생성 모듈(149c_6)은 개인화 정보 서버(300)에 포함될 수 있다. 예를 들어, 프로세서(150)는 제안 모듈(149c)의 힌트 제공 모듈(149c_1)을 통해 사용자 개인화 정보 서버(300)의 컨텍스트 힌트 생성 모듈(149c_2), 재사용 힌트 생성 모듈(149c_5) 또는 소개 힌트 생성 모듈(149c_6)로부터 힌트를 수신하여 사용자에게 상기 수신된 힌트를 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 다음의 일련의 프로세스에 따라 힌트를 제공할 수 있다. 예를 들어, 프로세서(150)는 지능형 에이전트(145)로부터 힌트 제공 요청을 수신하면, 힌트 제공 모듈(149c_1)을 통해 컨텍스트 힌트 생성 모듈(149c_2)로 힌트 생성 요청을 전달할 수 있다. 프로세서(150)는 상기 힌트 생성 요청을 전달받으면, 조건 체킹 모듈(149c_3)을 통해 컨텍스트 모듈(149a) 및 페르소나 모듈(149b)로부터 현재 상태에 대응되는 정보를 전달받을 수 있다. 프로세서(150)는 조건 체킹 모듈(149c_3)을 통해 상기 전달받은 정보를 조건 모델 모듈(149c_4)로 전달하고, 조건 모델 모듈(149c_4)을 통해 상기 정보를 이용하여 사용자에게 제공되는 힌트 중 상기 조건에 사용 가능성이 높은 순서로 힌트에 대해 우선순위를 부여할 수 있다. 프로세서(150)는 컨텍스트 힌트 생성 모듈(149c_2)을 통해 상기 조건을 확인하고, 상기 현재 상태에 대응되는 힌트를 생성할 수 있다. 프로세서(150)는 컨텍스트 힌트 생성 모듈(149c_2)을 통해 상기 생성된 힌트를 힌트 제공 모듈(149c_1)로 전달할 수 있다. 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 지정된 규칙에 따라 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(145)로 전달할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 복수의 컨텍스트 힌트들을 생성할 수 있고, 지정된 규칙에 따라 복수의 컨텍스트 힌트들에 우선 순위를 지정할 수 있다. 일 실시 예에 따르면, 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 상기 복수의 컨텍스트 힌트들 중에서 우선 순위가 높은 것을 사용자에게 먼저 제공할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용 빈도에 따른 힌트를 제안할 수 있다. 예를 들어, 프로세서(150)는 지능형 에이전트(145)로부터 힌트 제공 요청을 전달받으면, 힌트 제공 모듈(149c_1)을 통해 재사용 힌트 생성 모듈(149c_5)로 힌트 생성 요청을 전달할 수 있다. 프로세서(150)는 상기 힌트 생성 요청을 전달받으면, 재사용 힌트 생성 모듈(149c_5)를 통해 페르소나 모듈(149b)로부터 사용자 정보를 전달받을 수 있다. 예를 들어, 프로세서(150)는 재사용 힌트 생성 모듈(149c_5)을 통해 페르소나 모듈(149b)의 사용자의 프리퍼런스 정보에 포함된 패스 룰, 패스 룰에 포함된 파라미터, 앱의 실행 빈도, 앱이 사용된 시공간 정보를 전달받을 수 있다. 프로세서(150)는 재사용 힌트 생성 모듈(149c_5)을 통해 상기 전달받은 사용자 정보에 대응되는 힌트를 생성할 수 있다. 프로세서(150)는 재사용 힌트 생성 모듈(149c_5)을 통해 상기 생성된 힌트를 힌트 제공 모듈(149c_1)로 전달할 수 있다. 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(145)로 전달할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 새로운 기능에 대한 힌트를 제안할 수 있다. 예를 들어, 프로세서(150)는 지능형 에이전트(145)로부터 힌트 제공 요청을 전달받으면, 힌트 제공 모듈(149c_1)을 통해 소개 힌트 생성 모듈(149c_6)로 힌트 생성 요청을 전달할 수 있다. 프로세서(150)는 소개 힌트 생성 모듈(149c_6)을 통해 제안 서버(400)로부터 소개 힌트 제공 요청을 전달하여 제안 서버(400)로부터 소개될 기능에 대한 정보를 수신할 수 있다. 제안 서버(400)는, 예를 들어, 소개될 기능에 대한 정보를 저장할 수 있고, 상기 소개될 기능에 대한 힌트 리스트(hint list)는 서비스 운영자에 의해 업데이트될 수 있다. 프로세서(150)는 소개 힌트 생성 모듈(149c_6)을 통해 상기 생성된 힌트를 힌트 제공 모듈(149c_1)로 전달할 수 있다. 프로세서(150)는 힌트 제공 모듈(149c_1)을 통해 상기 힌트를 정렬하고, 상기 힌트를 지능형 에이전트(145)로 전송할 수 있다.
이에 따라, 프로세서(150)는 제안 모듈(149c)을 통해 컨텍스트 힌트 생성 모듈(149c_2), 재사용 힌트 생성 모듈(149c_5) 또는 소개 힌트 생성 모듈(149c_6)에서 생성된 힌트를 사용자에게 제공할 수 있다. 예를 들어, 프로세서(150)는 제안 모듈(149c)을 통해 상기 생성된 힌트를 지능형 에이전트(145)를 동작시키는 앱에 표시할 수 있고, 상기 앱을 통해 사용자로부터 상기 힌트를 선택하는 입력을 수신할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 6을 참조하면, 지능형 서버(200)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(260)을 포함할 수 있다. 일 실시 예에 따르면, 지능형 서버(200)는 통신 회로, 메모리 및 프로세서를 포함할 수 있다. 상기 프로세서는 상기 메모리에 저장된 명령어를 실행하여 자동 음성 인식 모듈(210), 자연어 이해 모듈(220), 패스 플래너 모듈(230), 대화 매니저 모듈(240), 자연어 생성 모듈(250) 및 텍스트 음성 변환 모듈(260)을 구동시킬 수 있다. 지능형 서버(200)는 상기 통신 회로를 통해 외부 전자 장치(예: 사용자 단말(100))와 데이터(또는, 정보)를 송수신할 수 있다.
지능형 서버(200)의 자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력(예: 음성 데이터)을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인(domain), 의도(intend) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)들을 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)들을 포함할 수 있다. 복수의 룰들은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)뿐만 아니라 자동 음성 인식 모듈(210)도 자연어 인식 데이터베이스(221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상기 자연어 이해 모듈(220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작(예: 적어도 하나 이상의 상태(state)) 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰들을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 패스 플래너 모듈(230)로부터 사용자 단말(100)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 매핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰들을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(230)을 통해 패스 룰 데이터베이스(path rule database)(PR DB)(231)에 저장될 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰들 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 복수의 패스 룰들 중 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰들을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰들 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 사용자 단말(100)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰들을 사용자 단말(100)로 송신할 수 있다. 상기 복수의 패스 룰들은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 복수의 패스 룰들 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)로 복수의 패스 룰들을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰들은 패스 플래너 모듈(230)에 연결된 패스 룰 데이터베이스(231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(230)은 지능형 에이전트(145)로부터 수신된 사용자 단말(100)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰들을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자의 의도 및 파라미터를 사용자 단말(100)에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰들을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰들을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰들을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 패스 룰 데이터베이스(231)에 저장된 테이블에는 복수의 패스 룰들 또는 복수의 패스 룰 세트들을 포함할 수 있다. 복수의 패스 룰들 또는 복수의 패스 룰 세트들은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 파라미터의 정보가 충분한지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 사용자 단말(100)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 사용자 단말(100)로 송신되어 디스플레이(120)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 음성 형태의 정보를 스피커(130)로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 사용자 단말(100)로 송신될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 패스 플래너 모듈(path planner module)의 패스 룰(path rule)을 생성하는 방법을 나타낸 도면이다.
도 7을 참조하면, 일 실시 예에 따른, 자연어 이해 모듈(220)은 앱의 기능을 어느 하나 동작(예: 상태 A 내지 상태 F)으로 구분하여 패스 룰 데이터베이스(231)에 저장할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 어느 하나의 동작(예: 상태)으로 구분된 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)들을 포함하는 패스 룰 셋을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)의 패스 룰 데이터베이스(231)는 앱의 기능을 수행하기 위한 패스 룰 셋을 저장할 수 있다. 상기 패스 룰 셋은 복수의 동작들(예: 상태들의 시퀀스)을 포함하는 복수의 패스 룰들을 포함할 수 있다. 상기 복수의 패스 룰들은 복수의 동작들 각각에 입력되는 파라미터에 따라 실행되는 동작이 순차적으로 배열될 수 있다. 일 실시 예에 따르면, 상기 복수의 패스 룰들은 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 구성되어 패스 룰 데이터베이스(231)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 대응되는 상기 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)들 중에 최적의 패스 룰(예: A-B1-C3-D-F)을 선택할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 완벽히 매칭되는 패스 룰이 없는 경우 사용자 단말(100)에 복수의 패스 룰들을 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자 입력에 부분적으로 대응된 패스 룰(예: A-B1)을 포함하는 하나 이상의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)을 선택하여 사용자 단말(100)에 전달할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 단말(100)의 추가 입력에 기초하여 복수의 패스 룰들 중 하나를 선택하고, 상기 선택된 하나의 패스 룰을 사용자 단말(100)에 전달할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)에서 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 따라 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)들 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택하여 사용자 단말(100)에 송신할 수 있다.
또 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 자연어 이해 모듈(220)을 통해 사용자 단말(100)에 추가로 입력된 사용자 입력(예: C3를 선택하는 입력)에 대응되는 사용자의 의도 및 파라미터를 결정할 수 있고, 상기 결정된 사용자의 의도 또는 파라미터를 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 송신된 의도 또는 상기 파라미터에 기초하여, 복수의 패스 룰(예: A-B1-C1, A-B1-C2, A-B1-C3-D-F, A-B1-C3-D-E-F)들 중 하나의 패스 룰(예: A-B1-C3-D-F)을 선택할 수 있다.
이에 따라, 사용자 단말(100)은 상기 선택된 하나의 패스 룰에 의해 앱(141, 143)의 동작을 완료시킬 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 정보가 부족한 사용자 입력이 지능형 서버(200)에 수신된 경우, 상기 수신한 사용자 입력에 부분적으로 대응되는 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 부분적으로 대응된 패스 룰을 지능형 에이전트(145)로 송신할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 실행하여 상기 패스 룰을 수신하고, 실행 매니저 모듈(147)로 상기 부분적으로 대응된 패스 룰을 전달할 수 있다. 프로세서(150)는 실행 매니저 모듈(147)을 통해 상기 패스 룰에 따라 제1 앱(141)을 실행시킬 수 있다. 프로세서(150)는 실행 매니저 모듈(147)을 통해 제1 앱(141)을 실행하면서 부족한 파라미터에 대한 정보를 지능형 에이전트(145)로 송신할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 상기 부족한 파라미터에 대한 정보를 이용하여 사용자에게 추가 입력을 요청할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 사용자에 의해 추가 입력이 수신되면 사용자 입력을 지능형 서버(200)로 송신하여 처리할 수 있다. 자연어 이해 모듈(220)은 상기 추가로 입력된 사용자 입력의 의도 및 파라미터 정보에 기초하여 추가된 패스 룰을 생성하여 지능형 에이전트(145)로 송신할 수 있다. 프로세서(150)는 지능형 에이전트(145)를 통해 실행 매니저 모듈(147)로 상기 패스 룰을 송신하고, 실행 매니저 모듈(147)을 통해 상기 패스 룰에 따라 제2 앱(143)을 실행할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신된 경우, 개인화 정보 서버(300)로 사용자 정보 요청을 송신할 수 있다. 개인화 정보 서버(300)는 페르소나 데이터베이스에 저장된 사용자 입력을 입력한 사용자의 정보를 자연어 이해 모듈(220)로 송신할 수 있다. 자연어 이해 모듈(220)은 상기 사용자 정보를 이용하여 일부 동작이 누락된 사용자 입력에 대응되는 패스 룰을 선택할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 일부 정보가 누락된 사용자 입력이 지능형 서버(200)에 수신되더라도, 누락된 정보를 요청하여 추가 입력을 받거나 사용자 정보를 이용하여 상기 사용자 입력에 대응되는 패스 룰을 결정할 수 있다.
하기에 첨부된 표 1은 일 실시 예에 따른 사용자가 요청한 태스크와 관련한 패스 룰의 예시적 형태를 나타낼 수 있다.
Path rule ID State Parameter
Gallery_101 PictureView(25) NULL
SearchView(26) NULL
SearchViewResult(27) Location,time
SearchEmptySelectedView(28) NULL
SearchSelectedView(29) ContentType,selectall
CrossShare(30) anaphora
표 1을 참조하면, 사용자 발화(예: "사진 공유해줘")에 따라 지능형 서버(200)에서 생성 또는 선택되는 패스 룰은 적어도 하나의 상태(state)(25, 26, 27, 28, 29 또는 30)를 포함할 수 있다. 예를 들어, 상기 적어도 하나의 상태(예: 단말의 어느 한 동작 상태)는 사진 어플리케이션 실행(PicturesView) 상태(25), 사진 검색 기능 실행(SearchView) 상태(26), 검색 결과 표시 화면 출력(SearchViewResult) 상태(27), 사진이 미(non)선택된 검색 결과 표시 화면 출력(SearchEmptySelectedView) 상태(28), 적어도 하나의 사진이 선택된 검색 결과 표시 화면 출력(SearchSelectedView) 상태(29) 또는 공유 어플리케이션 선택 화면 출력(CrossShare) 상태(30) 중 적어도 하나에 해당될 수 있다.일 실시 예에서, 상기 패스 룰의 파라미터 정보는 적어도 하나의 상태(state)에 대응될 수 있다. 예를 들어, 상기 적어도 하나의 사진이 선택된 검색 결과 표시 화면 출력 상태(29)에 포함될 수 있다.
상기 상태(25, 26, 27, 28, 29)들의 시퀀스를 포함한 패스 룰의 수행 결과로 사용자가 요청한 태스크(예: "사진 공유해줘")가 수행될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 지능형 서비스 모듈의 페르소나 모듈(persona module)이 사용자의 정보를 관리하는 것을 나타낸 도면이다.
도 8을 참조하면, 프로세서(150)는 페르소나 모듈(149b)을 통해 앱(141, 143), 실행 매니저 모듈(147) 또는 컨텍스트 모듈(149a)로부터 사용자 단말(100)의 정보를 전달받을 수 있다. 프로세서(150)는 앱(141, 143) 및 실행 매니저 모듈(147)을 통해 앱의 동작(141b, 143b)을 실행한 결과 정보를 동작 로그 데이터베이스에 저장할 수 있다. 프로세서(150)는 컨텍스트 모듈(149a)을 통해 사용자 단말(100)의 현재 상태에 대한 정보를 컨텍스트 데이터베이스에 저장할 수 있다. 프로세서(150)는 페르소나 모듈(149b)을 통해 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스로부터 상기 저장된 정보를 전달받을 수 있다. 상기 동작 로그 데이터베이스 및 상기 컨텍스트 데이터베이스에 저장된 데이터는, 예를 들어, 분석 엔진(analysis engine)에 의해 분석되어 페르소나 모듈(149b)로 전달될 수 있다.
일 실시 예에 따르면, 프로세서(150)는 페르소나 모듈(149b)을 통해 앱(141, 143), 실행 매니저 모듈(147) 또는 컨텍스트 모듈(149a)로부터 수신한 정보를 제안 모듈(149c)로 송신할 수 있다. 예를 들어, 프로세서(150)는 페르소나 모듈(149b)을 통해 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(149c)로 전달할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 페르소나 모듈(149b)을 통해 앱(141, 143), 실행 매니저 모듈(147) 또는 컨텍스트 모듈(149a)로부터 전달받은 정보를 개인화 정보 서버(300)로 송신할 수 있다. 예를 들어, 프로세서(150)는 페르소나 모듈(149b)을 통해 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 누적되어 저장된 데이터를 주기적으로 개인화 정보 서버(300)에 송신할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 페르소나 모듈(149b)을 통해 상기 동작 로그 데이터베이스 또는 상기 컨텍스트 데이터베이스에 저장된 데이터를 제안 모듈(149c)로 전달할 수 있다. 페르소나 모듈(149b)통해 생성된 사용자 정보는 페르소나 데이터베이스에 저장될 수 있다. 페르소나 모듈(149b)은 상기 페르소나 데이터베이스에 저장된 사용자 정보를 주기적으로 개인화 정보 서버(300)로 송신할 수 있다. 일 실시 예에 따르면, 페르소나 모듈(149b)을 통해 개인화 정보 서버(300)로 송신된 정보는 페르소나 데이터베이스에 저장될 수 있다. 개인화 정보 서버(300)는 상기 페르소나 데이터베이스에 저장된 정보를 이용하여 지능형 서버(200)의 패스 룰 생성에 필요한 사용자 정보를 추론할 수 있다.
일 실시 예에 따르면, 페르소나 모듈(149b)을 통해 송신된 정보를 이용하여 추론된 사용자 정보는 프로파일(profile) 정보 또는 프리퍼런스(preference) 정보를 포함할 수 있다. 상기 프로파일 정보 또는 프리퍼런스 정보는 사용자의 계정(account) 및 누적된 정보를 통해 추론될 수 있다.
상기 프로파일 정보는 사용자의 신상 정보를 포함할 수 있다. 예를 들어, 상기 프로파일 정보는 사용자의 인구 통계 정보를 포함할 수 있다. 상기 인구 통계 정보는, 예를 들어, 사용자의 성(gender), 나이 등을 포함할 수 있다. 다른 예를 들어, 상기 프로파일 정보는 라이프 이벤트(life event) 정보를 포함할 수 있다. 상기 라이프 이벤트 정보는, 예를 들어, 로그 정보를 라이프 이벤트 모델(life event model)과 비교하여 추론되고, 행동 패턴(behavior patter)을 분석하여 보강될 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 관심(interest) 정보를 포함할 수 있다. 상기 관심 정보는, 예를 들어, 관심 쇼핑 물품, 관심 분야(예: 스포츠, 정치 등) 등을 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 지역 정보를 포함할 수 있다. 상기 활동 지역 정보는, 예를 들어, 집, 일하는 곳 등에 대한 정보를 포함할 수 있다. 상기 활동 지역에 대한 정보는 장소의 위치에 대한 정보뿐만 아니라 누적 체류 시간 및 방문 횟수를 기준으로 우선 순위가 기록된 지역에 대한 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 프로파일 정보는 활동 시간 정보를 포함할 수 있다. 상기 활동 시간 정보는, 예를 들어, 기상 시간, 출퇴근 시간, 수면 시간 등에 대한 정보를 포함할 수 있다. 상기 출퇴근 시간에 대한 정보는 상기 활동 지역 정보(예: 집 및 일하는 곳에 대한 정보)를 이용하여 추론될 수 있다. 상기 수면 시간에 대한 정보는 사용자 단말(100)의 미사용 시간을 통해 추론될 수 있다.
상기 프리퍼런스 정보는 사용자의 선호도 정보를 포함할 수 있다. 예를 들어, 상기 프리퍼런스 정보는 앱 선호도에 대한 정보를 포함할 수 있다. 상기 앱 선호도는, 예를 들어, 앱의 사용 기록(예: 시간별, 장소별 사용 기록)을 통해 추론될 수 있다. 상기 앱의 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 실행될 앱을 결정하기 위해 이용될 수 있다. 다른 예를 들어, 상기 프리퍼런스 정보는 연락처 선호도에 대한 정보를 포함할 수 있다. 상기 연락처 선호도는, 예를 들어, 연락처의 연락 빈도(예: 시간별, 장소별 연락하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 연락처 선호도는 사용자의 현재 상태(예: 중복된 이름에 대한 연락)에 따라 연락할 연락처를 결정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 세팅(setting) 정보를 포함할 수 있다. 상기 세팅 정보는, 예를 들어, 특정 세팅 값의 설정 빈도(예: 시간별, 장소별 세팅 값으로 설정하는 빈도) 정보를 분석하여 추론될 수 있다. 상기 세팅 정보는 사용자의 현재 상태(예: 시간, 장소, 상황)에 따라 특정 세팅 값을 설정하기 위해 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 장소 선호도를 포함할 수 있다. 상기 장소 선호도는, 예를 들어, 특정 장소의 방문 기록(예: 시간별 방문 기록)을 통해 추론될 수 있다. 상기 장소 선호도는 사용자의 현재 상태(예: 시간)에 따라 방문하고 있는 장소를 결정하기 위하여 이용될 수 있다. 또 다른 예를 들어, 상기 프리퍼런스 정보는 명령 선호도를 포함할 수 있다. 상기 명령 선호도는, 예를 들어, 명령 사용 빈도(예: 시간별, 장소별 사용 빈도)를 통해 추론될 수 있다. 상기 명령 선호도는 사용자의 현재 상태(예: 시간, 장소)에 따라 사용될 명령어 패턴을 결정하기 위해 이용될 수 있다. 특히, 상기 명령 선호도는 로그 정보를 분석하여 실행되고 있는 앱의 현재 상태에서 사용자가 가장 많이 선택한 메뉴에 대한 정보를 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 음성 입력 처리와 관련된 전자 장치의 블록도이다. 도 9에 도시된 전자 장치(900)는 전술한 도면들에서의 사용자 단말(100)과 동일 또는 유사한 구성을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(900)는 마이크로폰(910)을 통해 태스크(또는 기능)의 수행과 관련된 사용자의 음성 입력을 획득하면, 상기 태스크의 수행에 필요한 음성 암호를 확인할 수 있다. 또한, 전자 장치(900)는 전자 장치(900)의 주변 정보를 획득하고, 상기 주변 정보가 지정된 조건을 만족하는지를 판단할 수 있다. 일 예로, 전자 장치(900)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하는지를 판단하고, 상기 복수의 사용자들 중 전자 장치(900)의 사용 권한을 가지지 않은 사용자(또는 인증되지 않은 사용자)가 존재하는지를 판단할 수 있다. 전자 장치(900)는 전자 장치(900)의 사용 권한을 가지지 않은 사용자가 존재한다고 판단되면, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경할 수 있다. 일 예로, 전자 장치(900)는 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 다른 예로, 전자 장치(900)는 암호 인증의 설정을 음성 암호의 입력 방식에서 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 상기 다른 입력 수단을 통한 암호 인증 방식은 예를 들어, 키 입력 장치(993)를 통한 핀 번호 입력 방식, 생체 센서(994)를 통한 생체 암호 입력 방식, 또는 터치스크린 디스플레이(995)를 통한 핀 번호 또는 패턴 입력 방식 등을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(900)는 태스크의 수행에 필요한 암호 인증의 설정 변경을 사용자에게 안내할 수 있다. 일 예로, 전자 장치(900)는 디스플레이(995)를 통해 암호 인증의 설정 변경과 관련된 정보를 출력할 수 있다. 다른 예로, 전자 장치(900)는 스피커(996)를 통해 암호 인증의 설정 변경과 관련된 정보를 출력할 수 있다. 또 다른 예로, 전자 장치(900)는 통신 회로(930)를 통해 연결된 외부 전자 장치로 암호 인증의 설정 변경과 관련된 정보를 전송할 수도 있다. 이 경우, 상기 외부 전자 장치는 상기 외부 전자 장치에 포함된 디스플레이 및/또는 스피커를 통해 상기 정보를 출력할 수 있다.
상술한 기능을 수행하기 위한 전자 장치(900)는 도 9를 참조하면, 마이크로폰(910), 통신 회로(930), 메모리(950), 및 프로세서(970)를 포함할 수 있다. 그러나, 전자 장치(900)의 구성이 이에 한정되는 것은 아니다. 다양한 실시 예에 따르면, 전자 장치(900)는 상술한 구성요소들 외에 적어도 하나의 다른 구성요소들 더 포함하거나 상술한 구성요소들 중 적어도 하나를 생략할 수도 있다. 일 예로, 전자 장치(900)는 카메라(991), 모션 센서(992), 키 입력 장치(993), 생체 센서(994), 디스플레이(995), 또는 스피커(996) 등을 포함할 수 있다.
마이크로폰(910)은 사용자의 발화에 따른 음성 입력을 획득할 수 있다. 예컨대, 마이크로폰(910)은 사용자의 발화에 의한 진동 에너지를 전기적인 신호로 변환하고, 변환된 전기 신호를 프로세서(970)로 전달할 수 있다.
통신 회로(930)는 전자 장치(900)와 외부 전자 장치 간의 통신 채널 수립 및 수립된 통신 채널을 통한 유선 또는 무선 통신의 수행을 지원할 수 있다.
메모리(950)는 전자 장치(900)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(950)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 일 예로, 메모리(950)는 인공지능 기술과 관련된 어플리케이션(예: 지능형 앱)을 저장할 수 있다. 상기 지능형 앱은 예컨대, 사용자의 발화를 음성 입력으로 획득하여 처리하는 기능과 관련된 명령어들, 태스크의 수행에 필요한 음성 암호를 확인하는 기능과 관련된 명령어들, 전자 장치(900)의 주변 정보를 획득하고 획득된 주변 정보를 분석하는 기능과 관련된 명령어들, 태스크의 수행에 필요한 암호 인증의 설정을 변경하는 기능과 관련된 명령어들, 암호 인증의 설정 변경을 안내하는 기능과 관련된 명령어들, 또는 암호 인증의 설정 변경과 관련된 정보를 외부 전자 장치로 전송하는 기능과 관련된 명령어들을 포함할 수 있다. 또한, 메모리(950)에 저장된 소프트웨어 및/또는 프로그램에 포함된 명령어들은 프로세서(970)에 의해 실행될 수 있다.
프로세서(970)는 전자 장치(900)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(970)는 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(970)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(970)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 일 실시 예에 따르면, 프로세서(970)는 SoC(system on chip)로 구현될 수 있다.
일 실시 예에 따르면, 프로세서(970)는 마이크로폰(910)을 통해 음성 입력이 획득되면, 음성 입력에 대응되는 음성 데이터를 텍스트 데이터로 변환시킬 수 있다. 어떤 실시 예에서, 프로세서(970)는 음성 데이터를 통신 회로(930)를 통해 외부 전자 장치(예: 지능형 서버(200))로 전송할 수 있다. 이 경우, 프로세서(970)는 상기 외부 전자 장치로부터 상기 음성 데이터를 텍스트 형식으로 변환시켜 생성된 텍스트 데이터를 통신 회로(930)를 통해 획득할 수 있다. 또한, 프로세서(970)는 상기 텍스트 데이터를 분석하고, 분석된 결과를 기반으로 수행될 태스크(또는 기능)를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 프로세서(970)는 태스크를 수행하기 위해 설정된 암호가 존재하는지를 확인할 수 있다. 상기 암호는 예를 들어, 상기 태스크를 수행하기 전에 인증된 사용자에 의해 설정된 음성 암호, 핀 번호, 패턴, 또는 생체 암호 등을 포함할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 태스크의 수행에 필요한 암호가 음성 암호로 설정되어 있는 경우, 전자 장치(900)의 주변 정보를 획득(또는 수집)할 수 있다. 일 예로, 프로세서(970)는 마이크로폰(910)을 통해 전자 장치(900)의 주변 정보를 획득할 수 있다. 예컨대, 프로세서(970)는 마이크로폰(910)을 통해 획득된 음성 입력을 분석하고, 분석된 정보를 기반으로 전자 장치(900)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 다른 예로, 프로세서(970)는 카메라(991)를 통해 전자 장치(900)의 주변 정보를 획득할 수 있다. 예컨대, 프로세서(970)는 카메라(991)를 통해 촬영된 이미지를 분석하고, 분석된 정보를 기반으로 전자 장치(900)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 또 다른 예로, 프로세서(970)는 모션 센서(992)를 통해 전자 장치(900)의 주변 정보를 획득할 수 있다. 예컨대, 프로세서(970)는 모션 센서(992)에 의해 감지된 센싱 정보를 기반으로 전자 장치(900)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하는 경우, 상기 복수의 사용자들 중 전자 장치(900)의 사용 권한을 가지지 않은 사용자(또는 인증되지 않은 사용자)가 존재하는지를 판단할 수 있다. 일 예로, 프로세서(970)는 메모리(950)에 저장된 인증된 사용자의 음성 데이터와 마이크로폰(910)을 통해 획득된 음성 입력에 대응되는 음성 데이터를 비교 분석(예: 성문 인식)하여, 인증되지 않은 사용자의 존재 유무를 판단할 수 있다. 다른 예로, 프로세서(970)는 메모리(950)에 저장된 인증된 사용자의 이미지와 카메라(991)를 통해 촬영된 이미지를 비교 분석하여, 인증되지 않은 사용자의 존재 유무를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들이 모두 인증된 사용자들인 경우, 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호의 입력 방식으로 변경할 수 있다. 상기 공용 음성 암호는 예를 들어, 전자 장치(900)의 사용 권한을 가진 사용자들(예: 가족 구성원)이 사용할 수 있도록 설정된 음성 암호일 수 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들 중 인증되지 않은 사용자가 존재하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 상기 일회용 음성 암호는 예를 들어, 인증된 사용자가 설정한 음성 암호가 노출되는 것을 방지하기 위해 사용되는 것으로, 한 번 사용되면 폐기되는 암호일 수 있다. 어떤 실시 예에서, 프로세서(970)는 상기 일회용 음성 암호가 한 번 사용되면 폐기하는 대신에 지정된 횟수 또는 지정된 기간 동안 사용될 수 있도록 설정할 수도 있다. 예컨대, 프로세서(970)는 인증되지 않은 사용자가 함께 있는 동안에는 상기 일회용 음성 암호가 지속적으로 사용되도록 설정할 수도 있다.
일 실시 예에 따르면, 프로세서(970)는 상기 일회용 음성 암호를 입력하도록 유도하는 질문 및 상기 일회용 음성 암호(상기 질문에 대한 답변)를 사용자의 입력에 기반하여 메모리(950)에 저장할 수 있다. 예를 들어, 인증된 사용자가 사전에 상기 질문 및 상기 질문에 대한 답변을 설정하는 경우, 설정된 정보를 메모리(950)에 저장할 수 있다. 이 경우, 프로세서(970)는 상기 태스크를 수행하기 전에 상기 질문을 사용자에게 제공하고, 상기 사용자가 상기 질문에 대한 답변을 발화하면, 상기 답변과 메모리(950)에 저장된 답변을 비교하여 상기 일회용 음성 암호가 정확하게 입력되었는지를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)의 사용자와 관련된 정보를 이용하여 상기 일회용 음성 암호를 설정할 수 있다. 일 예로, 프로세서(970)는 사용자의 개인 정보(예: 사용자의 이름, 나이, 성별, 또는 거주 지역 등), 또는 사용자의 활동 정보(예: 일정, 알람 시간, 헬스 정보, 컨텐츠 소비 정보, 또는 교통 이용 정보 등) 등을 이용하여 상기 일회용 음성 암호를 설정할 수 있다. 이 경우, 프로세서(970)는 프라이버시(privacy) 민감도(예: 사생활 노출 가능성)에 따라 이용 가능한 정보를 제한할 수 있다. 예를 들어, 프로세서(970)는 사용자가 원하지 않는 정보가 노출되는 것을 방지하기 위해, 일회용 음성 암호의 설정 시 사용되는 정보를 사용자가 직접 선택할 수 있도록 하는 인터페이스를 제공할 수 있다. 또한, 프로세서(970)는 사용자와 관련된 정보를 이용하여 일회용 음성 암호가 설정되었다 하더라도 상기 일회용 음성 암호를 입력하도록 유도하는 질문에 사용자가 답변을 원하지 않는 의사를 밝히는 경우(예: 사용자가 "다음"이라고 발화하는 경우), 상기 일회용 음성 암호를 다른 정보를 이용하여 재설정할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 마이크로폰(910)을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 일 예로, 프로세서(970)는 전자 장치(900)가 키 입력 장치(993)를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 키 입력 장치(993)를 통한 핀 번호 입력 방식으로 변경할 수 있다. 다른 예로, 프로세서(970)는 전자 장치(900)가 생체 센서(994)를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 생체 센서(994)를 통한 생체 암호 입력 방식으로 변경할 수 있다. 상기 생체 암호 입력 방식은 예를 들어, 지문 센서를 통한 지문 인식, 카메라(991)를 통한 얼굴 인식, 홍채 센서를 통한 홍채 인식 등을 포함할 수 있다. 또 다른 예로, 프로세서(970)는 전자 장치(900)가 터치스크린 디스플레이(995)를 포함하는 경우, 터치스크린 디스플레이(995)를 통한 핀 번호 입력 또는 패턴 입력 방식으로 변경할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)와 통신 회로(930)를 통해 연결된 외부 전자 장치를 통해 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경할 수 있다. 예컨대, 프로세서(970)는 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 포함하는 경우, 상기 외부 전자 장치에 포함된 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 통해 암호 인증을 수행할 수 있도록 상기 외부 전자 장치를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(970)는 다른 입력 수단을 통한 암호 인증이 가능한 경우에도, 사용자가 상기 다른 입력 수단을 사용할 수 없는 상황인 경우, 태스크의 수행에 필요한 암호 인증의 설정을 기존에 설정된 음성 암호의 입력 방식에서 다른 음성 암호 예컨대, 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 일 예로, 프로세서(970)는 사용자가 운전 중인 경우에는 상기 다른 입력 수단을 사용할 수 없다고 판단할 수 있고, 이에 따라 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 다른 예로, 프로세서(970)는 사용자가 요리 중인 경우에도 상기 다른 입력 수단을 사용할 수 없다고 판단할 수 있고, 이에 따라 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 이와 관련하여, 프로세서(970)는 사용자가 현재 운전하고 있는 중인지 또는 요리하고 있는 중인지를 판단하기 위해, GPS를 통해 사용자의 위치 정보를 획득하거나 또는 마이크로폰(910)을 통해 사운드 정보를 획득할 수도 있다.
일 실시 예에 따르면, 프로세서(970)는 전자 장치(900)의 주변 정보에 따라 태스크의 수행과 관련된 보안 등급을 조정할 수 있다. 예컨대, 프로세서(970)는 전자 장치(900)의 주변 정보에 따라 태스크를 통해 접근 가능한 정보, 태스크가 제공하는 서비스의 수준 또는 정보, 태스크가 제공하는 서비스의 노출 정도를 다르게 설정할 수 있다. 일 예로, 프로세서(970)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들이 모두 전자 장치(900)의 사용 권한을 가진 사용자들(예: 가족 구성원)인 경우, 태스크의 수행과 관련된 보안 등급을 낮출 수 있다. 예컨대, 프로세서(970)는 태스크를 통해 모든 정보에 접근 가능하도록 설정하고, 태스크가 제공하는 서비스의 수준을 높이고, 태스크가 제공하는 서비스가 모두 노출되도록 설정할 수 있다. 다른 예로, 프로세서(970)는 전자 장치(900)의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들 중 전자 장치(900)의 사용 권한을 가지지 않은 사용자가 존재하는 경우, 태스크의 수행과 관련된 보안 등급을 높일 수 있다. 예컨대, 프로세서(970)는 태스크를 통해 접근 가능한 정보를 제한하고, 태스크가 제공하는 서비스의 수준을 낮추고, 태스크가 제공하는 서비스 중 일부만이 노출되도록 설정할 수 있다. 또 다른 예로, 프로세서(970)는 태스크를 통해 접근 가능한 정보가 프라이버시 민감도가 높은 정보(예: 비공개 설정된 노트 정보)인 경우, 사용자의 설정에 따라 정보에 접근하지 못하도록 제한할 수도 있다.
일 실시 예에 따르면, 프로세서(970)는 태스크의 수행에 필요한 암호 인증의 설정 변경을 사용자에게 안내할 수 있도록 지원할 수 있다. 일 예로, 프로세서(970)는 암호 인증의 설정 변경과 관련된 정보를 디스플레이(995)에 출력할 수 있다. 다른 예로, 프로세서(970)는 암호 인증의 설정 변경과 관련된 정보를 스피커(996)를 통해 출력할 수도 있다. 또 다른 예로, 프로세서(970)는 암호 인증의 설정 변경과 관련된 정보를 통신 회로(930)를 통해 연결된 외부 전자 장치로 전송할 수도 있다. 이 경우, 상기 외부 전자 장치는 상기 외부 전자 장치에 포함된 디스플레이 및/또는 스피커를 통해 상기 정보를 출력할 수 있다.
카메라(991)는 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라(991)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
모션 센서(992)는 물체의 움직임과 위치를 인식할 수 있다. 일 실시 예에 따르면, 모션 센서(992)는 물체의 방향 및 물체의 움직임을 감지하고, 물체가 움직이는 속도를 측정할 수 있다.
키 입력 장치(993)는 사용자로부터 명령 또는 데이터를 입력 받을 수 있다. 키 입력 장치(993)는 예를 들면, 물리적인 버튼, 광학식 키, 또는 키 패드를 포함할 수 있다.
생체 센서(994)는 사용자의 생체를 인식할 수 있다. 일 예로, 생체 센서(994)는 지문 센서, 홍채 센서, 얼굴 인식 센서, 심박 센서, 목소리 인식 센서, 또는 혈관 인식 센서 등을 포함할 수 있다.
상기 지문 센서는 라인 스캔(line scan) 또는 에어리어 스캔(area scan) 방식으로 사용자의 지문을 인식할 수 있다. 예를 들어, 상기 지문 센서는 사용자가 손가락을 상기 지문 센서의 센싱 영역에 스와이프(swipe) 또는 터치하게 되면, 지문 정보를 획득할 수 있다. 상기 지문 센서는 광학식, 정전용량식, 또는 초음파식 등의 방법이 사용될 수 있다. 상기 광학식 지문 센서는 손가락에 광을 조사하고, 반사된 광을 이용하여 지문 영상을 수집하는 방식이고, 상기 정전용량식 지문 센서는 손가락의 접촉 또는 근접으로 인해 발생하는 정전용량의 차이를 이용하여 지문 영상을 수집하는 방식이고, 상기 초음파식 지문 센서는 손가락에 초음파를 방사하고, 반사된 초음파를 이용하여 지문 영상을 수집하는 방식이다.
상기 홍채 센서는 홍채 카메라(예: 적외선 카메라) 등을 이용하여 사용자의 홍채를 인식할 수 있다. 예컨대, 상기 홍채 센서는 적외선 광을 사용자의 눈으로 조사하고, 반사된 적외선 광을 분석하여 사용자의 홍채를 인식할 수 있다. 일 예로, 상기 홍채 센서는 사용자의 눈에서 가장 진한 색감을 가진 동공을 중심으로 색 또는 명암의 변화가 심한 동공과 홍채의 경계를 찾아 홍채를 검출할 수 있다. 또한, 상기 홍채 센서는 홍채와 홍채 외부를 둘러싼 공막 간의 경계도 검출하여 홍채 영역을 분리할 수 있다.
상기 얼굴 인식 센서는 카메라(991)를 통해 촬영된 얼굴에 대한 영상을 분석하여 사용자의 얼굴을 확인할 수 있다. 예컨대, 상기 얼굴 인식 센서는 상기 영상에서 얼굴 영역을 추출하고, 사용자의 얼굴이 맞는지를 판단할 수 있다. 일 예로, 상기 얼굴 인식 센서는 상기 영상에서 얼굴과 배경을 구분하기 위해 밝기나 색상의 차이 또는 특징점 추출 등의 방식으로 얼굴 영역을 추출할 수 있다. 또한, 상기 얼굴 인식 센서는 추출된 얼굴 영역의 데이터(예: 픽셀값)를 기저장된 사용자의 얼굴 데이터와 비교하여 사용자의 얼굴을 인식할 수 있다.
상기 심박 센서는 LED를 이용하여 광을 신체 일부(예: 손가락)에 조사하고 신체 일부 혈관에 흐르는 혈류량에 따라 반사되는 광의 양을 측정하여 심박수를 측정할 수 있다. 상기 심박 센서는 반사되는 광량의 변화를 전기 신호로 변환하고, 전기 신호가 변화되는 패턴을 분석하여 심박수를 산출할 수 있다.
상기 목소리 인식 센서는 마이크로폰(910) 등을 통해 획득된 음성을 분석하여 사용자의 목소리를 인식할 수 있다. 일 예로, 상기 목소리 인식 센서는 상기 음성에서 잡음 성분을 제거하고 발음, 억양 등의 사용자 고유의 특징을 추출하여 사용자의 목소리를 인식할 수 있다.
상기 혈관 인식 센서는 LED를 이용하여 광을 손가락 등에 조사하고 반사 또는 투과되는 광을 측정하여 혈관(예: 정맥)의 위치 또는 모양 등을 판단함으로써 사용자의 혈관을 인식할 수 있다.
디스플레이(995)는 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 일 실시 예에 따르면, 디스플레이(995)는 터치 스크린을 포함할 수 있다. 예를 들어, 디스플레이(995)는 전자 펜 또는 사용자의 신체 일부(예: 손가락)를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 획득할 수 있다.
스피커(996)는 음성 신호를 출력할 수 있다. 예를 들어, 스피커(996)는 전자 장치(900) 내부에서 생성된 음성 신호를 외부로 출력할 수 있다.
상술한 바와 같이, 다양한 실시 예에 따르면, 전자 장치(예: 전자 장치(900))는 마이크로폰(예: 마이크로폰(910)), 외부 전자 장치와의 통신을 위한 통신 회로(예: 통신 회로(930)), 상기 마이크로폰 및 상기 통신 회로와 기능적으로 연결된 프로세서(예: 프로세서(970)), 및 상기 프로세서와 기능적으로 연결된 메모리(예: 메모리(950))를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하고, 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하고, 상기 전자 장치의 주변 정보를 획득하고, 상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하고, 상기 통신 회로를 통해 상기 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 음성 입력 및 상기 마이크로폰을 통해 획득된 제2 음성 입력 중 적어도 하나에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 카메라(예: 카메라(991))를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 카메라를 통해 획득한 영상에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 모션 센서(예: 모션 센서(992))를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 모션 센서에 의해 감지된 센싱 정보에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 주변 정보에 기반하여 상기 전자 장치의 주변에 복수의 사용자들이 존재하는 것을 확인하면, 상기 지정된 조건이 만족된다고 판단하도록 하는 인스트럭션들을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 주변 정보에 기반하여 상기 전자 장치의 주변에 복수의 사용자들이 존재하고 상기 복수의 사용자들 중 상기 전자 장치의 사용 권한을 가지지 않은 사용자가 존재한다는 것을 확인하면, 상기 지정된 조건이 만족된다고 판단하도록 하는 인스트럭션들을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 전자 장치의 사용 권한을 가지는 복수의 사용자들이 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 지정된 횟수 또는 지정된 기간 동안 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 전자 장치의 사용자와 관련된 정보를 이용하여 상기 제2 음성 암호를 설정하도록 하는 인스트럭션들을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 사용자와 관련된 정보는, 상기 사용자의 개인 정보 및 상기 사용자의 활동 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 키 입력 장치(예: 키 입력 장치(993))를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 키 입력 장치를 통한 핀 코드 입력 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 생체 센서(예: 생체 센서(994))를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 변경하는 동작의 적어도 일부로써, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 생체 센서를 통한 생체 암호 입력 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 터치스크린 디스플레이(예: 디스플레이(995))를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 변경하는 동작의 적어도 일부로써, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 터치스크린 디스플레이를 통한 핀 코드 또는 패턴 입력 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정을 변경하는 동작의 적어도 일부로써, 상기 통신 회로를 통해 연결된 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 및 터치스크린 디스플레이 중 적어도 하나를 포함하는지를 판단하고, 상기 외부 전자 장치가 상기 키 입력 장치, 상기 생체 센서, 및 상기 터치스크린 디스플레이 중 적어도 하나를 포함하는 경우, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 스피커(예: 스피커(996)) 및 디스플레이(예: 디스플레이(995)) 중 적어도 하나를 더 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 암호 인증의 설정 변경과 관련된 정보를 상기 스피커 및 상기 디스플레이 중 적어도 하나를 통해 출력하도록 하는 인스트럭션들을 더 저장할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 음성 입력 처리와 관련된 전자 장치의 운용 방법을 나타낸 도면이다.
도 10을 참조하면, 전자 장치(예: 전자 장치(900))의 프로세서(예: 프로세서(970))는 동작 1010에서, 마이크로폰(예: 마이크로폰(910))을 통해 음성 입력을 획득할 수 있다. 이 경우, 상기 프로세서는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 데이터로 변환시킬 수 있다. 또는, 상기 프로세서는 통신 회로(예: 통신 회로(930))를 통해 외부 전자 장치로 상기 음성 데이터를 전송하고, 상기 외부 전자 장치로부터 상기 음성 데이터를 텍스트 형식으로 변환시켜 생성된 텍스트 데이터를 상기 통신 회로를 통해 획득할 수 있다. 또한, 상기 프로세서는 상기 텍스트 데이터를 분석하고, 분석된 결과를 기반으로 수행될 태스크(또는 기능)를 판단할 수 있다.
동작 1020에서, 상기 프로세서는 태스크의 수행에 필요한 음성 암호를 확인할 수 있다. 예를 들어, 상기 프로세서는 태스크를 수행하기 위해 설정된 음성 암호가 존재하는지를 확인할 수 있다.
동작 1030에서, 상기 프로세서는 상기 전자 장치의 주변 정보를 획득할 수 있다. 일 예로, 상기 프로세서는 상기 마이크로폰을 통해 획득된 음성 입력을 분석하여 상기 전자 장치의 주변 정보를 획득할 수 있다. 다른 예로, 상기 프로세서는 카메라(예: 카메라(991))를 통해 촬영된 이미지를 분석하여 상기 전자 장치의 주변 정보를 획득할 수 있다. 또 다른 예로, 상기 프로세서는 모션 센서(예: 모션 센서(992))에 의해 감지된 센싱 정보를 기반으로 상기 전자 장치의 주변 정보를 획득할 수 있다.
동작 1040에서, 상기 프로세서는 상기 전자 장치의 주변 정보가 지정된 조건을 만족하는지를 판단할 수 있다. 일 예로, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 다른 예로, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재하는지를 판단하고, 상기 복수의 사용자들 중 상기 전자 장치의 사용 권한을 가지지 않은 사용자(또는 인증되지 않은 사용자)가 존재하는지를 판단할 수 있다. 일 실시 예에 따르면, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재한다고 판단되면, 상기 지정된 조건이 만족되었다고 판단할 수 있다. 다른 실시 예에 따르면, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재하고 상기 복수의 사용자들 중 상기 전자 장치의 사용 권한을 가지지 않는 사용자가 존재한다고 판단되면, 상기 지정된 조건이 만족되었다고 판단할 수 있다.
상기 주변 정보가 지정된 조건을 만족하는 경우, 동작 1050에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정을 변경할 수 있다. 일 예로, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들이 모두 인증된 사용자들인 경우, 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호의 입력 방식으로 변경할 수 있다. 다른 예로, 상기 프로세서는 상기 전자 장치의 주변에 복수의 사용자들이 존재하고, 상기 복수의 사용자들 중 인증되지 않은 사용자가 존재하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 마이크로폰을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 일 예로, 상기 프로세서는 상기 전자 장치가 키 입력 장치(예: 키 입력 장치(993))를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 키 입력 장치를 통한 핀 번호 입력 방식으로 변경할 수 있다. 다른 예로, 상기 프로세서는 상기 전자 장치가 생체 센서(예: 생체 센서(994))를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 생체 센서를 통한 생체 암호 입력 방식으로 변경할 수 있다. 또 다른 예로, 상기 프로세서는 상기 전자 장치가 터치스크린 디스플레이(예: 디스플레이(995))를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 터치스크린 디스플레이를 통한 핀 번호 입력 또는 패턴 입력 방식으로 변경할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 전자 장치와 통신 회로(예: 통신 회로(930))를 통해 연결된 외부 전자 장치를 통해 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경할 수 있다. 예컨대, 상기 프로세서는 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 포함하는 경우, 상기 외부 전자 장치에 포함된 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 통해 암호 인증을 수행할 수 있도록 상기 외부 전자 장치를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 사용자가 설정한 음성 암호가 노출될 가능성이 낮은 방식으로 암호 인증의 설정을 변경할 수 있다. 예를 들어, 상기 프로세서는 음성을 통한 암호 인증 방식보다는 다른 입력 수단을 통한 암호 인증 방식을 우선적으로 선택할 수 있다.
동작 1060에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 상기 전자 장치의 다른 구성요소 또는 상기 통신 회로를 통해 연결된 외부 전자 장치로 전송할 수 있다. 일 예로, 상기 프로세서는 암호 인증의 설정 변경과 관련된 신호를 상기 디스플레이로 전송하여 상기 디스플레이가 암호 인증의 설정 변경과 관련된 정보를 출력하도록 할 수 있다. 다른 예로, 상기 프로세서는 암호 인증의 설정 변경과 관련된 신호를 스피커(예: 스피커(996))로 전송하여 상기 스피커가 암호 인증의 설정 변경과 관련된 정보를 출력하도록 할 수 있다. 또 다른 예로, 상기 프로세서는 암호 인증의 설정 변경과 관련된 신호를 상기 통신 회로를 통해 연결된 외부 전자 장치로 전송하여 상기 외부 전자 장치가 상기 외부 전자 장치에 포함된 디스플레이 및/또는 스피커를 통해 상기 정보를 출력하도록 할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 사용자의 인증 여부에 따라 암호 인증의 설정을 변경하는 방법을 나타낸 도면이다.
도 11을 참조하면, 전자 장치(예: 전자 장치(900))의 프로세서(예: 프로세서(970))는 동작 1110에서, 상기 전자 장치의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 일 예로, 상기 프로세서는 마이크로폰(예: 마이크로폰(910))을 통해 획득된 음성 입력을 분석하고, 분석된 정보를 기반으로 상기 전자 장치의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 다른 예로, 상기 프로세서는 카메라(예: 카메라(991))를 통해 촬영된 이미지를 분석하고, 분석된 정보를 기반으로 상기 전자 장치의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다.
상기 전자 장치의 주변에 복수의 사용자들이 존재한다고 판단되는 경우, 동작 1130에서, 상기 프로세서는 상기 복수의 사용자들 중 인증되지 않은 사용자(또는 상기 전자 장치의 사용 권한을 가지지 않은 사용자)가 존재하는지를 판단할 수 있다. 일 예로, 상기 프로세서는 메모리(예: 메모리(950))에 기저장된 인증된 사용자의 음성 데이터와 상기 마이크로폰을 통해 획득된 음성 입력에 대응되는 음성 데이터를 비교 분석(예: 성문 인식)하여, 인증되지 않은 사용자의 존재 유무를 판단할 수 있다. 다른 예로, 상기 프로세서는 상기 메모리에 기저장된 인증된 사용자의 이미지와 상기 카메라를 통해 촬영된 이미지를 비교 분석하여, 인증되지 않은 사용자의 존재 유무를 판단할 수 있다.
상기 복수의 사용자들 중 인증되지 않은 사용자가 존재하는 경우, 동작 1150에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경할 수 있다.
상기 복수의 사용자들 중 인증되지 않은 사용자가 존재하지 않은 경우(상기 복수의 사용자들이 모두 인증된 사용자들인 경우), 동작 1170에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호의 입력 방식으로 변경할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 입력 수단의 변경 가능 여부에 따라 암호 인증의 설정을 변경하는 방법을 나타낸 도면이다.
도 12를 참조하면, 전자 장치(예: 전자 장치(900))의 프로세서(예: 프로세서(970))는 동작 1210에서, 마이크로폰(예: 마이크로폰(910))을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한지를 판단할 수 있다. 일 예로, 상기 프로세서는 상기 전자 장치에 키 입력 장치(예: 키 입력 장치(993)), 생체 센서(예: 생체 센서(994)), 또는 터치스크린 디스플레이(예: 디스플레이(995))가 포함되는지를 판단할 수 있다. 다른 예로, 상기 프로세서는 통신 회로(예: 통신 회로(930))를 통해 연결된 외부 전자 장치가 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 포함하는지를 판단할 수 있다.
상기 다른 입력 수단을 통한 암호 인증이 가능하다고 판단되면, 동작 1230에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정을 상기 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 일 예로, 상기 프로세서는 상기 전자 장치가 키 입력 장치를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 키 입력 장치를 통한 핀 번호 입력 방식으로 변경할 수 있다. 다른 예로, 상기 프로세서는 상기 전자 장치가 생체 센서를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 생체 센서를 통한 생체 암호 입력 방식으로 변경할 수 있다. 또 다른 예로, 상기 프로세서는 상기 전자 장치가 터치스크린 디스플레이를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 터치스크린 디스플레이를 통한 핀 번호 입력 또는 패턴 입력 방식으로 변경할 수 있다. 또는, 상기 프로세서는 상기 전자 장치와 상기 통신 회로를 통해 연결된 외부 전자 장치를 통해 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경할 수 있다. 예컨대, 상기 프로세서는 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 포함하는 경우, 상기 외부 전자 장치에 포함된 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 통해 암호 인증을 수행할 수 있도록 상기 외부 전자 장치를 제어할 수 있다.
상기 다른 입력 수단을 통한 암호 인증이 가능하지 않다고 판단되면, 동작 1250에서, 상기 프로세서는 태스크의 수행에 필요한 암호 인증의 설정을 기존에 설정된 음성 암호의 입력 방식에서 다른 음성 암호의 입력 방식으로 변경할 수 있다. 예를 들어, 상기 프로세서는 도 11에서 설명한 바와 같이, 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 다른 입력 수단을 통한 암호 인증이 가능한 경우에도, 사용자가 상기 다른 입력 수단을 사용할 수 없는 상황인 경우, 동작 1170에서와 같이, 태스크의 수행에 필요한 암호 인증의 설정을 기존에 설정된 음성 암호의 입력 방식에서 다른 음성 암호 예컨대, 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 일 예로, 상기 프로세서는 사용자가 운전 중인 경우에는 상기 다른 입력 수단을 사용할 수 없다고 판단할 수 있고, 이에 따라 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 다른 예로, 상기 프로세서는 사용자가 요리 중인 경우에도 상기 다른 입력 수단을 사용할 수 없다고 판단할 수 있고, 이에 따라 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호 또는 일회용 음성 암호의 입력 방식으로 변경할 수 있다.
상술한 바와 같이, 다양한 실시 예에 따르면, 전자 장치(예: 도 9의 전자 장치(900))의 음성 입력 처리 방법은 마이크로폰(예: 도 9의 마이크로폰(910))을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하는 동작, 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하는 동작, 상기 전자 장치의 주변 정보를 획득하는 동작, 상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하는 동작, 및 통신 회로(예: 도 9의 통신 회로(930))를 통해 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 음성 입력 처리 방법은 상기 주변 정보에 복수의 사용자들이 존재하고 상기 복수의 사용자들 중 상기 전자 장치의 사용 권한을 가지지 않은 사용자가 존재한다는 정보가 포함되는 경우, 상기 지정된 조건이 만족된다고 판단하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 암호 인증의 설정을 변경하는 동작은, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 전자 장치의 사용 권한을 가지는 복수의 사용자들이 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 암호 인증의 설정을 변경하는 동작은, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 지정된 횟수 또는 지정된 기간 동안 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 암호 인증의 설정을 변경하는 동작은, 상기 통신 회로를 통해 연결된 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 및 터치스크린 디스플레이 중 적어도 하나를 포함하는지를 판단하는 동작, 및 상기 외부 전자 장치가 상기 키 입력 장치, 상기 생체 센서, 및 상기 터치스크린 디스플레이 중 적어도 하나를 포함하는 경우, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경하는 동작을 포함할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 암호 인증의 설정을 공용 음성 암호의 입력 방식으로 변경하는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 전자 장치(1301)(예: 전자 장치(900))는 마이크로폰(예: 마이크로폰(910))을 통해 제1 사용자(1310)의 음성 입력(예: "Bixby, 내 음악 재생해줘")을 획득할 수 있다. 이 경우, 전자 장치(1301)는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 데이터로 변환시키거나, 통신 회로(예: 통신 회로(930))를 통해 제1 외부 전자 장치(미도시)로 상기 음성 데이터를 전송하고, 상기 제1 외부 전자 장치로부터 상기 음성 데이터를 텍스트 형식으로 변환시켜 생성된 텍스트 데이터를 상기 통신 회로를 통해 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(1301)는 상기 텍스트 데이터를 분석하고, 분석된 결과를 기반으로 수행될 태스크(또는 기능)를 판단할 수 있다. 예를 들어, 전자 장치(1301)는 상기 텍스트 데이터에 특정 태스크에 매핑된 문구(예: "음악", "재생")가 포함되어 있는지는 판단하고, 상기 특정 태스크에 매핑된 문구가 포함되어 있는 경우, 제1 사용자(1310)가 상기 특정 태스크(예: 음악 재생 어플리케이션의 실행)가 수행되기를 원한다고 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(1301)는 수행될 태스크가 판단되면, 상기 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 전자 장치(1301)는 상기 태스크를 수행하기 위해 설정된 암호가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1301)는 상기 암호가 음성 암호로 설정되어 있는지를 확인할 수 있다.
상기 태스크의 수행에 필요한 음성 암호가 설정되어 있는 경우, 전자 장치(1301)는 전자 장치(1301)의 주변 정보를 획득(또는 수집)할 수 있다. 일 예로, 전자 장치(1301)는 상기 마이크로폰을 통해 획득된 음성 입력을 분석하여 전자 장치(1301)의 주변 정보를 획득할 수 있다. 다른 예로, 전자 장치(1301)는 카메라(예: 카메라(991))를 통해 촬영된 이미지를 분석하여 전자 장치(1301)의 주변 정보를 획득할 수 있다. 또 다른 예로, 전자 장치(1301)는 모션 센서(예: 모션 센서(992))에 의해 감지된 센싱 정보를 기반으로 전자 장치(1301)의 주변 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(1301)는 전자 장치(1301)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 예컨대, 전자 장치(1301)는 획득된 전자 장치(1301)의 주변 정보를 분석하여 전자 장치(1301)의 주변에 제1 사용자(1310) 이외에 다른 사용자(예: 제2 사용자(1320), 제3 사용자(1330), 또는 제4 사용자(1340))가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1301)는 전자 장치(1301)의 주변에 복수의 사용자들이 존재하는 경우, 상기 복수의 사용자들 중 전자 장치(1301)의 사용 권한을 가지지 않는 사용자가 존재하는지를 판단할 수 있다.
상기 복수의 사용자들이 모두 전자 장치(1301)의 사용 권한을 가지는 사용자들인 경우, 전자 장치(1301)는 태스크의 수행에 필요한 암호 인증의 설정을 전자 장치(1301)의 사용 권한을 가지는 사용자들이 공용으로 사용할 수 있는 공용 음성 암호의 입력 방식으로 변경할 수 있다. 또한, 전자 장치(1301)는 상기 태스크의 수행에 필요한 공용 음성 암호의 입력을 사용자들에게 요청할 수 있다. 예컨대, 전자 장치(1301)는 스피커(예: 스피커(996))를 통해 공용 음성 암호의 입력을 요청하는 음성(예: "네, 공용 음성 암호를 말해주세요.")을 출력할 수 있다.
상기 복수의 사용자들 중 어느 하나의 사용자가 공용 음성 암호를 발화(예: "1234")하면, 전자 장치(1301)는 상기 태스크(예: 음악 재생 어플리케이션의 실행)를 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(1301)는 상기 태스크의 수행 후, 상기 태스크의 수행에 필요한 암호 인증의 설정을 원복시킬 수 있다. 예를 들어, 전자 장치(1301)는 상기 태스크의 수행에 필요한 암호 인증의 설정을 공용 음성 암호의 입력 방식에서 기설정된 음성 암호의 입력 방식으로 원복시킬 수 있다.
일 실시 예에 따르면, 전자 장치(1301)는 상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 상기 통신 회로를 통해 제2 외부 전자 장치(1303)로 전송할 수 있다. 예를 들어, 전자 장치(1301)는 제2 외부 전자 장치(1303)로 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 알리는 정보에 대응되는 신호를 전송할 수 있다. 제2 외부 전자 장치(1303)는 예를 들어, 전자 장치(1301)의 사용 권한을 가지는 사용자의 개인 단말(예: 스마트 폰)일 수 있다. 또한, 제2 외부 전자 장치(1303)는 전자 장치(1301)의 사용과 관련된 설정(configuration)(예: 암호 설정)을 변경할 수 있는 장치일 수 있다.
상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 전달받은 제2 외부 전자 장치(1303)는 제2 외부 전자 장치(1303)의 사용자에게 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 안내할 수 있다. 예컨대, 제2 외부 전자 장치(1303)는 디스플레이 및/또는 스피커를 통해 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 알리는 객체(예: "음악 재생을 위해 공용 음성 암호가 사용되었어요.")를 출력할 수 있다. 어떤 실시 예에서, 제2 외부 전자 장치(1303)는 전자 장치(1301)에 설정된 공용 음성 암호의 변경을 원하는지를 확인하기 위한 객체(예: "공용 음성 암호를 변경하시겠어요?")를 디스플레이 및/또는 스피커를 통해 출력할 수도 있다.
일 실시 예에 따르면, 전자 장치(1301)는 상기 태스크의 수행에 필요함 암호 인증의 설정 변경을 전자 장치(1301)에 포함된 디스플레이(예: 디스플레이(995)) 및/또는 스피커(예: 스피커(996))를 통해 사용자에게 안내할 수도 있다.
도 14는 본 발명의 일 실시 예에 따른 암호 인증의 설정을 일회용 음성 암호의 입력 방식으로 변경하는 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 전자 장치(1401)(예: 전자 장치(900))는 마이크로폰(예: 마이크로폰(910))을 통해 제1 사용자(1310)의 음성 입력(예: "Bixby, 어제 찍은 사진 TV에서 보여줘")을 획득할 수 있다. 이 경우, 전자 장치(1401)는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 데이터로 변환시키거나, 통신 회로(예: 통신 회로(930))를 통해 제1 외부 전자 장치(미도시)로 상기 음성 데이터를 전송하고, 상기 제1 외부 전자 장치로부터 상기 음성 데이터를 텍스트 형식으로 변환시켜 생성된 텍스트 데이터를 상기 통신 회로를 통해 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(1401)는 상기 텍스트 데이터를 분석하고, 분석된 결과를 기반으로 수행될 태스크(또는 기능)를 판단할 수 있다. 예를 들어, 전자 장치(1401)는 상기 텍스트 데이터에 특정 태스크에 매핑된 문구(예: "사진", "TV에서", "보여줘")가 포함되어 있는지는 판단하고, 상기 특정 태스크에 매핑된 문구가 포함되어 있는 경우, 제1 사용자(1410)가 상기 특정 태스크(예: 갤러리 어플리케이션의 실행 화면을 TV 화면에 출력)가 수행되기를 원한다고 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(1401)는 수행될 태스크가 판단되면, 상기 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 전자 장치(1401)는 상기 태스크를 수행하기 위해 설정된 암호가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1401)는 상기 암호가 음성 암호로 설정되어 있는지를 확인할 수 있다.
상기 태스크의 수행에 필요한 음성 암호가 설정되어 있는 경우, 전자 장치(1401)는 전자 장치(1401)의 주변 정보를 획득(또는 수집)할 수 있다. 일 실시 예에 따르면, 전자 장치(1401)는 전자 장치(1401)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 예컨대, 전자 장치(1401)는 획득된 전자 장치(1401)의 주변 정보를 분석하여 전자 장치(1401)의 주변에 제1 사용자(1410) 이외에 다른 사용자(예: 제2 사용자(1420) 또는 제3 사용자(1430))가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1401)는 전자 장치(1401)의 주변에 복수의 사용자들이 존재하는 경우, 상기 복수의 사용자들 중 전자 장치(1401)의 사용 권한을 가지지 않는 사용자가 존재하는지를 판단할 수 있다.
상기 복수의 사용자들 중 전자 장치(1401)의 사용 권한을 가지지 않는 사용자(예: 제2 사용자(1420) 또는 제3 사용자(1430))가 존재하는 경우, 전자 장치(1401)는 태스크의 수행에 필요한 암호 인증의 설정을 지정된 횟수 또는 지정된 기간 동안 사용할 수 있는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 또한, 전자 장치(1401)는 상기 태스크의 수행에 필요한 일회용 음성 암호의 입력을 제1 사용자(1410)에게 요청할 수 있다. 예컨대, 전자 장치(1401)는 스피커(예: 스피커(996))를 통해 일회용 음성 암호의 입력을 요청하는 음성(예: "네, 오늘 아침 알람 시간을 말해주세요.")을 출력할 수 있다.
제1 사용자(1410)가 일회용 음성 암호를 발화(예: "7시")하면, 전자 장치(1401)는 상기 태스크(예: 갤러리 어플리케이션의 실행 화면을 TV 화면에 출력)를 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(1401)는 상기 태스크의 수행 후, 상기 태스크의 수행에 필요한 암호 인증의 설정을 원복시킬 수 있다. 예를 들어, 전자 장치(1401)는 상기 태스크의 수행에 필요한 암호 인증의 설정을 일회용 음성 암호의 입력 방식에서 기설정된 음성 암호의 입력 방식으로 원복시킬 수 있다. 또한, 전자 장치(1401)는 상기 태스크의 수행 후, 사용된 일회용 음성 암호를 폐기할 수 있다.
일 실시 예에 따르면, 전자 장치(1401)는 상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 상기 통신 회로를 통해 제2 외부 전자 장치(1403)로 전송할 수 있다. 예를 들어, 전자 장치(1401)는 제2 외부 전자 장치(1403)로 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 알리는 정보에 대응되는 신호를 전송할 수 있다. 제2 외부 전자 장치(1403)는 예를 들어, 전자 장치(1401)의 사용 권한을 가지는 사용자(예: 제1 사용자(1410))의 개인 단말(예: 스마트 폰)일 수 있다. 또한, 제2 외부 전자 장치(1403)는 전자 장치(1401)의 사용과 관련된 설정(configuration)(예: 암호 설정)을 변경할 수 있는 장치일 수 있다.
상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 전달받은 제2 외부 전자 장치(1403)는 제2 외부 전자 장치(1403)의 사용자(예: 제1 사용자(1410))에게 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 안내할 수 있다. 예컨대, 제2 외부 전자 장치(1403)는 디스플레이 및/또는 스피커를 통해 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 알리는 객체(예: "갤러리 보기를 위해 사용된 일회용음성암호가 폐기되었어요.")를 출력할 수 있다. 어떤 실시 예에서, 제2 외부 전자 장치(1403)는 전자 장치(1401)에 설정된 일회용 음성 암호의 설정을 원하는지를 확인하기 위한 객체(예: "일회용음성암호를 다시 설정하시겠어요?")를 디스플레이 및/또는 스피커를 통해 출력할 수도 있다.
일 실시 예에 따르면, 전자 장치(1401)는 상기 태스크의 수행에 필요함 암호 인증의 설정 변경을 전자 장치(1401)에 포함된 디스플레이(예: 디스플레이(995)) 및/또는 스피커(예: 스피커(996))를 통해 사용자에게 안내할 수도 있다.
도 15는 본 발명의 일 실시 예에 따른 일회용 음성 암호의 설정 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 전자 장치(1500)(예: 전자 장치(900, 1303, 1403))는 전자 장치(1500)의 사용자와 관련된 정보를 이용하여 태스크의 수행에 필요한 일회용 음성 암호를 설정할 수 있다. 일 예로, 전자 장치(1500)는 사용자의 개인 정보(예: 사용자의 이름, 나이, 성별, 또는 거주 지역 등), 또는 사용자의 활동 정보(예: 일정, 알람 시간, 헬스 정보, 컨텐츠 소비 정보, 또는 교통 이용 정보 등) 등을 이용하여 상기 일회용 음성 암호를 설정할 수 있다.
일 실시 예에 따르면, 전자 장치(1500)는 디스플레이(1510)를 통해 상기 일회용 음성 암호의 설정에 사용 가능한 사용자의 개인 정보 또는 사용자의 활동 정보 목록(1531)을 표시할 수 있다. 또한, 전자 장치(1500)는 사용자의 개인 정보 또는 사용자의 활동 정보 목록(1531)과 함께, 사용자로 하여금 상기 일회용 음성 암호의 설정에 사용할 사용자의 개인 정보 또는 사용자의 활동 정보를 선택할 수 있도록 하는 객체(1533)(예: 토글 버튼 객체)를 디스플레이(1510)에 출력할 수 있다. 이 경우, 사용자가 상기 객체(1533)를 선택하게 되면, 전자 장치(1500)는 선택된 객체(1533)에 해당하는 사용자의 개인 정보 또는 사용자의 활동 정보를 이용하여 상기 일회용 음성 암호를 설정할 수 있다.
일 실시 예에 따르면, 사용자의 개인 정보 또는 사용자의 활동 정보 목록(1531)은 메모리(예: 메모리(950))에 저장되어 관리될 수 있다. 사용자의 개인 정보 또는 사용자의 활동 정보 목록(1531)은 예를 들어, 정보의 종류(1551)에 따라 일회용 음성 암호를 입력하도록 유도하는 질문 리스트(1553)를 포함할 수 있다. 일 예로, 사용자의 일정과 관련하여 일회용 음성 암호가 설정되는 경우, 상기 일회용 음성 암호를 입력하도록 유도하는 질문은 사용자의 일정 중 하나를 물어보는 질문으로 설정될 수 있고, 전자 장치(1500)는 상기 질문에 대한 답변이 일정으로 설정된 정보에 부합하는지를 판단하여, 상기 일회용 음성 암호의 입력을 확인할 수 있다.
일 실시 예에 따르면, 사용자의 개인 정보 또는 사용자의 활동 정보 목록(1531)은 정보의 종류(1551)에 따라 설정된 프라이버시(privacy) 민감도에 대한 정보(1555)를 포함할 수 있다. 예를 들어, 전자 장치(1500)는 사용자가 원하지 않는 개인 정보 또는 활동 정보가 노출되는 것을 방지하기 위해, 일회용 음성 암호의 설정 시 사용되는 사용자의 개인 정보 또는 활동 정보를 사용자가 직접 선택할 수 있도록 하는 인터페이스를 제공할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 일회용 음성 암호를 통해 암호를 인증하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(1601)(예: 전자 장치(900))는 전자 장치(1610)의 사용자와 관련된 정보(예: 사용자의 개인 정보 또는 사용자의 활동 정보)를 이용하여 일회용 음성 암호를 설정할 수 있다. 그러나, 전자 장치(1601)는 사용자와 관련된 정보를 이용하여 일회용 음성 암호가 설정되었다 하더라도 상기 일회용 음성 암호를 입력하도록 유도하는 질문에 사용자가 답변을 원하지 않는 의사를 밝히는 경우(예: 사용자가 "다음"이라고 발화하는 경우), 상기 일회용 음성 암호를 다른 정보를 이용하여 재설정할 수 있다.
도 16을 참조하면, 전자 장치(1601)는 마이크로폰(예: 마이크로폰(910))을 통해 제1 사용자(1610)의 음성 입력(예: "Bixby, 어제 찍은 사진 TV에서 보여줘")을 획득할 수 있다. 또한, 전자 장치(1601)는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 형식으로 변환한 텍스트 데이터를 이용하여 수행될 태스크(또는 기능)를 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(1601)는 수행될 태스크가 판단되면, 상기 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 전자 장치(1601)는 상기 태스크를 수행하기 위해 설정된 암호가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1601)는 상기 암호가 음성 암호로 설정되어 있는지를 확인할 수 있다.
상기 태스크의 수행에 필요한 음성 암호가 설정되어 있는 경우, 전자 장치(1601)는 전자 장치(1601)의 주변 정보를 획득(또는 수집)할 수 있다. 일 실시 예에 따르면, 전자 장치(1601)는 전자 장치(1601)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 예컨대, 전자 장치(1601)는 획득된 전자 장치(1601)의 주변 정보를 분석하여 전자 장치(1601)의 주변에 제1 사용자(1610) 이외에 다른 사용자(예: 제2 사용자(1620) 또는 제3 사용자(1630))가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1601)는 전자 장치(1601)의 주변에 복수의 사용자들이 존재하는 경우, 상기 복수의 사용자들 중 전자 장치(1601)의 사용 권한을 가지지 않는 사용자가 존재하는지를 판단할 수 있다.
상기 복수의 사용자들 중 전자 장치(1601)의 사용 권한을 가지지 않는 사용자(예: 제2 사용자(1620) 또는 제3 사용자(1630))가 존재하는 경우, 전자 장치(1601)는 태스크의 수행에 필요한 암호 인증의 설정을 지정된 횟수 또는 지정된 기간 동안 사용할 수 있는 일회용 음성 암호의 입력 방식으로 변경할 수 있다. 또한, 전자 장치(1601)는 상기 태스크의 수행에 필요한 일회용 음성 암호의 입력을 제1 사용자(1610)에게 요청할 수 있다. 예컨대, 전자 장치(1601)는 스피커(예: 스피커(996))를 통해 일회용 음성 암호의 입력을 요청하는 음성(예: "네, 가장 최근에 본 TV 프로그램은 뭔가요?")을 출력할 수 있다.
제1 사용자(1610)가 상기 일회용 음성 암호를 입력하도록 유도하는 질문에 답변을 원하지 않는 의사를 밝히는 경우(예: 사용자가 "다음"이라고 발화하는 경우), 전자 장치(1601)는 상기 일회용 음성 암호를 다른 정보를 이용하여 재설정할 수 있다. 또한, 전자 장치(1601)는 재설정된 일회용 음성 암호의 입력을 제1 사용자(1610)에게 요청할 수 있다. 예컨대, 전자 장치(1601)는 상기 스피커를 통해 재설정된 일회용 음성 암호의 입력을 요청하는 음성(예: "네, 플레이리스트에 있는 노래 중 하나의 제목과 가수명을 말해주세요.")을 출력할 수 있다.
제1 사용자(1610)가 재설정된 일회용 음성 암호를 발화(예: "아델, someone like you")하면, 전자 장치(1601)는 상기 태스크(예: 갤러리 어플리케이션의 실행 화면을 TV 화면에 출력)를 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(1601)는 상기 태스크의 수행 후, 상기 태스크의 수행에 필요한 암호 인증의 설정을 원복시킬 수 있다. 예를 들어, 전자 장치(1601)는 상기 태스크의 수행에 필요한 암호 인증의 설정을 일회용 음성 암호의 입력 방식에서 기설정된 음성 암호의 입력 방식으로 원복시킬 수 있다. 또한, 전자 장치(1601)는 상기 태스크의 수행 후, 사용된 일회용 음성 암호를 폐기할 수 있다.
일 실시 예에 따르면, 전자 장치(1601)는 상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 상기 통신 회로를 통해 외부 전자 장치(1603)로 전송할 수 있다. 예를 들어, 전자 장치(1601)는 외부 전자 장치(1603)로 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 알리는 정보에 대응되는 신호를 전송할 수 있다. 이 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 전달받은 외부 전자 장치(1603)는 외부 전자 장치(1603)의 사용자(예: 제1 사용자(1610))에게 상기 태스크의 수행에 필요한 암호 인증의 설정이 변경되었음을 안내할 수 있다. 어떤 실시 예에 따르면, 전자 장치(1601)는 상기 태스크의 수행에 필요함 암호 인증의 설정 변경을 전자 장치(1601)에 포함된 디스플레이(예: 디스플레이(995)) 및/또는 스피커(예: 스피커(996))를 통해 사용자에게 안내할 수도 있다.
도 17은 본 발명의 일 실시 예에 따른 암호의 입력 수단을 변경하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(1701)(예: 전자 장치(900))는 마이크로폰(예: 마이크로폰(910))을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 일 예로, 전자 장치(1701)는 키 입력 장치(예: 키 입력 장치(993))를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 키 입력 장치를 통한 핀 번호 입력 방식으로 변경할 수 있다. 다른 예로, 전자 장치(1701)는 생체 센서(예: 생체 센서(994))를 포함하는 경우, 태스크의 수행에 필요한 암호 인증의 설정을 상기 생체 센서를 통한 생체 암호 입력 방식으로 변경할 수 있다. 또 다른 예로, 전자 장치(1701)는 터치스크린 디스플레이(예: 디스플레이(995))를 포함하는 경우, 상기 터치스크린 디스플레이를 통한 핀 번호 입력 또는 패턴 입력 방식으로 변경할 수 있다.
일 실시 예에 따르면, 전자 장치(1701)는 전자 장치(1701)와 통신 회로(예: 통신 회로(930))를 통해 연결된 외부 전자 장치(1703)를 통해 암호 인증이 가능한 경우, 태스크의 수행에 필요한 암호 인증의 설정을 외부 전자 장치(1703)를 통한 암호 인증 방식으로 변경할 수 있다. 예컨대, 전자 장치(1701)는 외부 전자 장치(1703)가 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 포함하는 경우, 외부 전자 장치(1703)에 포함된 키 입력 장치, 생체 센서, 또는 터치스크린 디스플레이를 통해 암호 인증을 수행할 수 있도록 외부 전자 장치(1703)를 제어할 수 있다.
도 17을 참조하면, 전자 장치(1701)는 상기 마이크로폰을 통해 제1 사용자(1710)의 음성 입력(예: "Bixby, 어제 찍은 사진 TV에서 보여줘")을 획득할 수 있다. 또한, 전자 장치(1701)는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 형식으로 변환한 텍스트 데이터를 이용하여 수행될 태스크(또는 기능)를 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(1701)는 수행될 태스크가 판단되면, 상기 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 전자 장치(1701)는 상기 태스크를 수행하기 위해 설정된 암호가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1701)는 상기 암호가 음성 암호로 설정되어 있는지를 확인할 수 있다.
상기 태스크의 수행에 필요한 음성 암호가 설정되어 있는 경우, 전자 장치(1701)는 전자 장치(1701)의 주변 정보를 획득(또는 수집)할 수 있다. 일 실시 예에 따르면, 전자 장치(1701)는 전자 장치(1701)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 예컨대, 전자 장치(1701)는 획득된 전자 장치(1701)의 주변 정보를 분석하여 전자 장치(1701)의 주변에 제1 사용자(1710) 이외에 다른 사용자(예: 제2 사용자(1720) 또는 제3 사용자(1730))가 존재하는지를 판단할 수 있다.
전자 장치(1701)의 주변에 상기 복수의 사용자들이 존재하는 경우, 전자 장치(1701)는 상기 마이크로폰을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한지를 판단할 수 있다. 일 예로, 전자 장치(1701)는 전자 장치(1701)가 상기 키 입력 장치, 상기 생체 센서, 또는 상기 터치스크린 디스플레이를 포함하는지를 확인할 수 있다. 다른 예로, 전자 장치(1701)는 상기 통신 회로를 통해 연결된 외부 전자 장치(1703)가 상기 키 입력 장치, 상기 생체 센서, 또는 상기 터치스크린 디스플레이를 포함하는지를 확인할 수 있다.
상기 다른 입력 수단을 통한 암호 인증이 가능하다고 판단되면, 전자 장치(1701)는 태스크의 수행에 필요한 암호 인증의 설정을 상기 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 또한, 전자 장치(1701)는 제1 사용자(1710)에게 상기 다른 입력 수단을 통해 암호 인증을 요청할 수 있다. 예컨대, 전자 장치(1701)는 스피커(예: 스피커(996))를 통해 상기 다른 입력 수단을 통한 암호 인증을 요청하는 음성(예: "네, 스마트폰으로 지문 인증을 해주세요")을 출력할 수 있다.
제1 사용자(1710)가 상기 다른 입력 수단을 통해 암호 인증을 수행하면, 전자 장치(1701)는 상기 태스크(예: 갤러리 어플리케이션의 실행 화면을 TV 화면에 출력)를 수행할 수 있다. 예컨대, 제1 사용자(1710)가 외부 전자 장치(1703)의 지문 센서를 통해 지문 인증을 수행하면, 전자 장치(1710)는 상기 태스크를 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(1701)는 상기 태스크의 수행 후, 상기 태스크의 수행에 필요한 암호 인증의 설정을 원복시킬 수 있다. 예를 들어, 전자 장치(1701)는 상기 태스크의 수행에 필요한 암호 인증의 설정을 상기 다른 입력 수단을 통한 암호 인증 방식에서 기설정된 음성 암호의 입력 방식으로 원복시킬 수 있다.
도 18은 본 발명의 일 실시 예에 따른 암호 인증의 설정을 변경하지 않은 경우 안내하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(1801)(예: 전자 장치(900))는 제1 사용자(1810)의 선택에 따라 태스크의 수행에 필요한 암호 인증의 설정을 변경하지 않을 수 있다. 또는, 전자 장치(1801)는 태스크의 수행에 필요한 암호 인증의 설정을 변경하더라도 제1 사용자(1810)가 변경된 암호 인증 방식의 사용을 원하지 않는 경우, 암호 인증의 설정을 원복시킬 수 있다.
도 18을 참조하면, 전자 장치(1801)는 마이크로폰(예: 마이크로폰(910))을 통해 제1 사용자(1810)의 음성 입력(예: "Bixby, 어제 찍은 사진 TV에서 보여줘")을 획득할 수 있다. 또한, 전자 장치(1801)는 획득된 음성 입력에 대응되는 음성 데이터를 텍스트 형식으로 변환한 텍스트 데이터를 이용하여 수행될 태스크(또는 기능)를 판단할 수 있다.
일 실시 예에 따르면, 전자 장치(1801)는 수행될 태스크가 판단되면, 상기 태스크의 수행에 필요한 암호를 확인할 수 있다. 예를 들어, 전자 장치(1801)는 상기 태스크를 수행하기 위해 설정된 암호가 존재하는지를 판단할 수 있다. 또한, 전자 장치(1801)는 상기 암호가 음성 암호로 설정되어 있는지를 확인할 수 있다.
상기 태스크의 수행에 필요한 음성 암호가 설정되어 있는 경우, 전자 장치(1801)는 전자 장치(1801)의 주변 정보를 획득(또는 수집)할 수 있다. 일 실시 예에 따르면, 전자 장치(1801)는 전자 장치(1801)의 주변에 복수의 사용자들이 존재하는지를 판단할 수 있다. 예컨대, 전자 장치(1801)는 획득된 전자 장치(1801)의 주변 정보를 분석하여 전자 장치(1801)의 주변에 제1 사용자(1810) 이외에 다른 사용자(예: 제2 사용자(1820) 또는 제3 사용자(1830))가 존재하는지를 판단할 수 있다.
전자 장치(1801)의 주변에 상기 복수의 사용자들이 존재하는 경우, 전자 장치(1801)는 상기 마이크로폰을 통한 음성 암호의 입력 대신에 다른 입력 수단을 통한 암호 인증이 가능한지를 판단할 수 있다. 상기 다른 입력 수단을 통한 암호 인증이 가능하다고 판단되면, 전자 장치(1801)는 태스크의 수행에 필요한 암호 인증의 설정을 상기 다른 입력 수단을 통한 암호 인증 방식으로 변경할 수 있다. 또한, 전자 장치(1801)는 제1 사용자(1810)에게 상기 다른 입력 수단을 통해 암호 인증을 요청할 수 있다. 예컨대, 전자 장치(1801)는 스피커(예: 스피커(996))를 통해 상기 다른 입력 수단을 통한 암호 인증을 요청하는 음성(예: "네, 스마트폰으로 지문 인증을 해주세요")을 출력할 수 있다.
제1 사용자(1810)가 상기 다른 입력 수단을 통한 암호 인증을 원하지 않는 의사를 밝히는 경우(예: 사용자가 "아니, 그냥 음성으로 할께."이라고 발화하는 경우), 전자 장치(1801)는 암호 인증의 설정을 원복시킬 수 있다. 예컨대, 전자 장치(1801)는 태스크의 수행에 필요한 암호 인증의 설정을 상기 다른 입력 수단을 통한 암호 인증 방식에서 기설정된 음성 암호의 입력 방식으로 원복시킬 수 있다. 또한, 전자 장치(1801)는 기설정된 음성 암호의 입력을 제1 사용자(1810)에게 요청할 수 있다. 예컨대, 전자 장치(1801)는 상기 스피커를 통해 기설정된 음성 암호의 입력을 요청하는 음성(예: "네, 음성 암호를 말해주세요.")을 출력할 수 있다.
제1 사용자(1810)가 상기 기설정된 음성 암호를 발화(예: "3355")하면, 전자 장치(1801)는 상기 태스크(예: 갤러리 어플리케이션의 실행 화면을 TV 화면에 출력)를 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(1801)는 상기 태스크의 수행에 필요한 암호 인증의 설정 변경과 관련된 신호를 통신 회로(예: 통신 회로(930))를 통해 외부 전자 장치(1803)로 전송할 수 있다. 일 예로, 전자 장치(1801)는 외부 전자 장치(1803)로 상기 태스크의 수행에 필요한 음성 암호가 제1 사용자(1810) 외에 다른 사용자(예: 제2 사용자(1820) 또는 제3 사용자(1830))에게 노출되었음을 알리는 정보에 대응되는 신호를 전송할 수 있다. 이 경우, 외부 전자 장치(1803)는 상기 태스크의 수행에 필요한 음성 암호가 제1 사용자(1810) 외에 다른 사용자(예: 제2 사용자(1820) 또는 제3 사용자(1830))에게 노출되었음을 안내할 수 있다. 예컨대, 외부 전자 장치(1803)는 상기 태스크의 수행에 필요한 음성 암호의 노출 정보(예: "갤러리보기를 위해 음성 암호가 사용되었어요.")를 디스플레이 및/또는 스피커를 통해 출력할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(1803)는 노출된 음성 암호의 변경 여부를 확인하기 위한 정보(예: "음성암호를 변경하시겠어요?")를 디스플레이 및/또는 스피커를 통해 출력할 수도 있다. 어떤 실시 예에 따르면, 전자 장치(1801)는 상기 태스크의 수행에 필요함 암호 인증의 설정 변경과 관련된 정보를 전자 장치(1801)에 포함된 디스플레이 및/또는 스피커를 통해 출력할 수도 있다.
도 19는 본 발명의 일 실시 예에 따른 암호 인증의 설정 변경을 안내하는 방법을 설명하기 위한 도면이다.
도 19를 참조하면, 전자 장치(1900)(예: 전자 장치(900, 1303, 1403, 1603, 1703, 1803))는 태스크의 수행에 필요한 암호 인증의 설정 변경을 사용자에게 안내할 수 있다. 일 실시 예에 따르면, 전자 장치(1900)는 디스플레이(1910)(예: 디스플레이(995)) 및 스피커(예: 스피커(996)) 중 적어도 하나를 통해 암호 인증의 설정 변경과 관련된 정보를 출력할 수 있다. 예컨대, 전자 장치(1900)는 디스플레이(1910)에 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용을 알리는 정보(1931)를 출력할 수 있다. 어떤 실시 예에서, 전자 장치(1900)는 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용을 알리는 정보(1931)에 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 변경(또는 설정) 여부를 확인하기 위한 정보를 포함시킬 수도 있다.
일 실시 예에 따르면, 전자 장치(1900)는 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용을 알리는 정보(1931)와 함께, 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용 내역을 확인할 수 있도록 하는 객체(1933)(예: 버튼 객체)를 디스플레이(1910)에 출력할 수 있다. 이에 따라, 사용자에 의한 상기 객체(1933)를 선택하기 위한 입력(1950)을 획득하면, 전자 장치(1900)는 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용 내역 정보(1970)를 디스플레이(1910)에 출력할 수 있다. 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)의 사용 내역 정보(1970)는 예를 들어, 음성 암호(또는 공용 음성 암호 또는 일회용 음성 암호)가 사용된 시간 정보(1971), 사용된 기기 정보(1973), 사용된 기능(또는 태스크) 정보(1975), 사용된 시점에 함께 있었던 다른 사용자 정보(1977) 등을 포함할 수 있다.
도 20은, 다양한 실시 예들에 따른, 네트워크 환경(2000) 내의 음성 입력 처리와 관련된 전자 장치(2001)(예: 도 1의 전자 장치(900))의 블록도이다. 도 20을 참조하면, 네트워크 환경(2000)에서 전자 장치(2001)는 제1 네트워크(2098)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(2002)와 통신하거나, 또는 제2 네트워크(2099)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(2004) 또는 서버(2008)(도 1의 제1 외부 전자 장치(예: 지능형 서버(200)))와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(2001)는 서버(2008)를 통하여 전자 장치(2004)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(2001)는 프로세서(2020)(예: 도 9의 프로세서(970)), 메모리(2030)(예: 도 9의 메모리(950)), 입력 장치(2050)(예: 도 9의 마이크로폰(910), 키 입력 장치(993)), 음향 출력 장치(2055)(예: 도 9의 스피커(996)), 표시 장치(2060)(예: 도 9의 디스플레이(995)), 오디오 모듈(2070), 센서 모듈(2076)(예: 도 9의 모션 센서(992), 생체 센서(994)), 인터페이스(2077), 햅틱 모듈(2079), 카메라 모듈(2080)(예: 도 9의 카메라(991)), 전력 관리 모듈(2088), 배터리(2089), 통신 모듈(2090)(예: 도 9의 통신 회로(930)), 가입자 식별 모듈(2096), 또는 안테나 모듈(2097)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(2001)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(2060) 또는 카메라 모듈(2080))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(2076)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(2060)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(2020)는, 예를 들면, 소프트웨어(예: 프로그램(2040))를 실행하여 프로세서(2020)에 연결된 전자 장치(2001)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2020)는 다른 구성요소(예: 센서 모듈(2076) 또는 통신 모듈(2090))로부터 수신된 명령 또는 데이터를 휘발성 메모리(2032)에 로드하고, 휘발성 메모리(2032)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(2034)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(2020)는 메인 프로세서(2021)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(2023)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(2023)는 메인 프로세서(2021)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(2023)는 메인 프로세서(2021)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(2023)는, 예를 들면, 메인 프로세서(2021)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(2021)를 대신하여, 또는 메인 프로세서(2021)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(2021)와 함께, 전자 장치(2001)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(2060), 센서 모듈(2076), 또는 통신 모듈(2090))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(2023)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(2080) 또는 통신 모듈(2090))의 일부로서 구현될 수 있다.
메모리(2030)는, 전자 장치(2001)의 적어도 하나의 구성요소(예: 프로세서(2020) 또는 센서모듈(2076))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(2040)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(2030)는, 휘발성 메모리(2032) 또는 비휘발성 메모리(2034)를 포함할 수 있다.
프로그램(2040)은 메모리(2030)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(2042), 미들 웨어(2044) 또는 어플리케이션(2046)을 포함할 수 있다.
입력 장치(2050)는, 전자 장치(2001)의 구성요소(예: 프로세서(2020))에 사용될 명령 또는 데이터를 전자 장치(2001)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(2050)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(2055)는 음향 신호를 전자 장치(2001)의 외부로 출력할 수 있다. 음향 출력 장치(2055)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(2060)는 전자 장치(2001)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(2060)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(2060)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(2070)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(2070)은, 입력 장치(2050)를 통해 소리를 획득하거나, 음향 출력 장치(2055), 또는 전자 장치(2001)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(2002))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(2076)은 전자 장치(2001)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(2076)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(2077)는 전자 장치(2001)이 외부 전자 장치(예: 전자 장치(2002))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(2077)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(2078)는, 그를 통해서 전자 장치(2001)가 외부 전자 장치(예: 전자 장치(2002))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(2078)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(2079)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(2079)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(2080)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(2080)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(2088)은 전자 장치(2001)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(2089)는 전자 장치(2001)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(2089)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(2090)은 전자 장치(2001)와 외부 전자 장치(예: 전자 장치(2002), 전자 장치(2004), 또는 서버(2008))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(2090)은 프로세서(2020)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(2090)은 무선 통신 모듈(2092)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2094)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(2098)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(2099)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(2092)은 가입자 식별 모듈(2096)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(2098) 또는 제2 네트워크(2099)와 같은 통신 네트워크 내에서 전자 장치(2001)를 확인 및 인증할 수 있다.
안테나 모듈(2097)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(2097)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제1 네트워크(2098) 또는 제2 네트워크(2099)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(2090)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(2090)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(2099)에 연결된 서버(2008)를 통해서 전자 장치(2001)와 외부의 전자 장치(2004)간에 송신 또는 수신될 수 있다. 전자 장치(2002, 2004) 각각은 전자 장치(2001)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(2001)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(2002, 2004, 또는 2008) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(2001)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(2001)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(2001)로 전달할 수 있다. 전자 장치(2001)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(2001)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(2036) 또는 외장 메모리(2038))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(2040))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(2001))의 프로세서(예: 프로세서(2020))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    마이크로폰;
    외부 전자 장치와의 통신을 위한 통신 회로;
    상기 마이크로폰 및 상기 통신 회로와 기능적으로 연결된 프로세서; 및
    상기 프로세서와 기능적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하고,
    상기 메모리로부터 상기 태스크의 수행에 필요한 제1 음성 암호를 확인하고,
    상기 전자 장치의 주변 정보를 획득하고,
    상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하고,
    상기 통신 회로를 통해 상기 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제1 음성 입력 및 상기 마이크로폰을 통해 획득된 제2 음성 입력 중 적어도 하나에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장하는 전자 장치.
  3. 청구항 1에 있어서,
    카메라를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 카메라를 통해 획득한 영상에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장하는 전자 장치.
  4. 청구항 1에 있어서,
    모션 센서를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 모션 센서에 의해 감지된 센싱 정보에 기반하여 상기 주변 정보를 획득하도록 하는 인스트럭션들을 저장하는 전자 장치.
  5. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 주변 정보에 기반하여 상기 전자 장치의 주변에 복수의 사용자들이 존재하는 것을 확인하면, 상기 지정된 조건이 만족된다고 판단하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 주변 정보에 기반하여 상기 전자 장치의 주변에 복수의 사용자들이 존재하고 상기 복수의 사용자들 중 상기 전자 장치의 사용 권한을 가지지 않은 사용자가 존재한다는 것을 확인하면, 상기 지정된 조건이 만족된다고 판단하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
  7. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 전자 장치의 사용 권한을 가지는 복수의 사용자들이 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하도록 하는 인스트럭션들을 저장하는 전자 장치.
  8. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 지정된 횟수 또는 지정된 기간 동안 사용할 수 있는 제2 음성 암호의 입력 방식으로 변경하도록 하는 인스트럭션들을 저장하는 전자 장치.
  9. 청구항 8에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 전자 장치의 사용자와 관련된 정보를 이용하여 상기 제2 음성 암호를 설정하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
  10. 청구항 9에 있어서,
    상기 사용자와 관련된 정보는,
    상기 사용자의 개인 정보 및 상기 사용자의 활동 정보를 포함하는 전자 장치.
  11. 청구항 1에 있어서,
    키 입력 장치 또는 터치스크린 디스플레이를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 키 입력 장치 또는 상기 터치스크린 디스플레이를 통한 핀 코드 입력 방식으로 변경하도록 하는 인스트럭션들을 저장하는 전자 장치.
  12. 청구항 1에 있어서,
    생체 센서를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 생체 센서를 통한 생체 암호 입력 방식으로 변경하도록 하는 인스트럭션들을 저장하는 전자 장치.
  13. 청구항 1에 있어서,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 통신 회로를 통해 연결된 상기 외부 전자 장치가 키 입력 장치, 생체 센서, 및 터치스크린 디스플레이 중 적어도 하나를 포함하는지를 판단하고,
    상기 외부 전자 장치가 상기 키 입력 장치, 상기 생체 센서, 및 상기 터치스크린 디스플레이 중 적어도 하나를 포함하는 경우, 상기 암호 인증의 설정을 상기 제1 음성 암호의 입력 방식에서 상기 외부 전자 장치를 통한 암호 인증 방식으로 변경하도록 하는 인스트럭션들을 저장하는 전자 장치.
  14. 청구항 1에 있어서,
    스피커 및 디스플레이 중 적어도 하나를 더 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 암호 인증의 설정 변경과 관련된 정보를 상기 스피커 및 상기 디스플레이 중 적어도 하나를 통해 출력하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
  15. 전자 장치의 음성 입력 처리 방법에 있어서,
    마이크로폰을 통해 태스크의 수행과 관련된 제1 음성 입력을 획득하는 동작;
    상기 태스크의 수행에 필요한 제1 음성 암호를 확인하는 동작;
    상기 전자 장치의 주변 정보를 획득하는 동작;
    상기 주변 정보가 지정된 조건을 만족하는 경우, 상기 태스크의 수행에 필요한 암호 인증의 설정을 변경하는 동작; 및
    통신 회로를 통해 외부 전자 장치로 상기 암호 인증의 설정 변경과 관련된 신호를 전송하는 동작을 포함하는 음성 입력 처리 방법.
PCT/KR2019/001884 2018-02-22 2019-02-15 음성 입력 처리 방법 및 이를 지원하는 전자 장치 WO2019164191A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0021046 2018-02-22
KR1020180021046A KR102511517B1 (ko) 2018-02-22 2018-02-22 음성 입력 처리 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2019164191A1 true WO2019164191A1 (ko) 2019-08-29

Family

ID=67686918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001884 WO2019164191A1 (ko) 2018-02-22 2019-02-15 음성 입력 처리 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
KR (1) KR102511517B1 (ko)
WO (1) WO2019164191A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112109730A (zh) * 2020-06-10 2020-12-22 上汽通用五菱汽车股份有限公司 基于交互数据的提醒方法、车辆及可读存储介质
CN115331338A (zh) * 2022-08-09 2022-11-11 深圳市东峰盛科技有限公司 一种数字安防类智能钥匙及其使用方法
JP2022178691A (ja) * 2021-05-20 2022-12-02 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249683A (ja) * 1998-03-06 1999-09-17 Sharp Corp 音声入力装置
JP2010102383A (ja) * 2008-10-21 2010-05-06 Ricoh Co Ltd ユーザ認証装置及び方法
JP2011034382A (ja) * 2009-08-03 2011-02-17 Ricoh Co Ltd 情報処理装置、情報漏洩防止方法およびプログラム
KR20130081668A (ko) * 2012-01-09 2013-07-17 레노보 (베이징) 컴퍼니 리미티드 정보 처리 장치 및 그의 패스워드 입력 모드 전환 방법
JP2016200882A (ja) * 2015-04-08 2016-12-01 株式会社リコー 情報処理装置、情報処理システム、及び出力制限方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249683A (ja) * 1998-03-06 1999-09-17 Sharp Corp 音声入力装置
JP2010102383A (ja) * 2008-10-21 2010-05-06 Ricoh Co Ltd ユーザ認証装置及び方法
JP2011034382A (ja) * 2009-08-03 2011-02-17 Ricoh Co Ltd 情報処理装置、情報漏洩防止方法およびプログラム
KR20130081668A (ko) * 2012-01-09 2013-07-17 레노보 (베이징) 컴퍼니 리미티드 정보 처리 장치 및 그의 패스워드 입력 모드 전환 방법
JP2016200882A (ja) * 2015-04-08 2016-12-01 株式会社リコー 情報処理装置、情報処理システム、及び出力制限方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112109730A (zh) * 2020-06-10 2020-12-22 上汽通用五菱汽车股份有限公司 基于交互数据的提醒方法、车辆及可读存储介质
JP2022178691A (ja) * 2021-05-20 2022-12-02 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN115331338A (zh) * 2022-08-09 2022-11-11 深圳市东峰盛科技有限公司 一种数字安防类智能钥匙及其使用方法

Also Published As

Publication number Publication date
KR102511517B1 (ko) 2023-03-20
KR20190101100A (ko) 2019-08-30

Similar Documents

Publication Publication Date Title
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2019182226A1 (en) System for processing sound data and method of controlling system
WO2019156499A1 (en) Electronic device and method of performing function of electronic device
WO2019013510A1 (en) VOICE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IT
EP3877975A1 (en) Electronic device and method of controlling speech recognition by electronic device
WO2019190097A1 (ko) 챗봇을 이용한 서비스 제공 방법 및 그 장치
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
WO2019172627A1 (en) System for processing user utterance and controlling method thereof
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2018182270A1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
AU2019319322B2 (en) Electronic device for performing task including call in response to user utterance and operation method thereof
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
EP3586333A1 (en) Method for operating speech recognition service and electronic device supporting the same
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2019050242A1 (en) ELECTRONIC DEVICE, SERVER, AND RECORDING MEDIUM SUPPORTING THE EXECUTION OF A TASK USING AN EXTERNAL DEVICE
WO2020040595A1 (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
WO2019235878A1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
WO2019221440A1 (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
WO2019190062A1 (en) Electronic device for processing user voice input
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2020013666A1 (ko) 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치
WO2019164191A1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2019017715A1 (en) ELECTRONIC DEVICE AND SYSTEM FOR DETERMINING SPEECH INPUT RECEIVING TIME BASED ON CONTEXTUAL INFORMATION

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19757869

Country of ref document: EP

Kind code of ref document: A1