WO2019164120A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2019164120A1
WO2019164120A1 PCT/KR2019/000036 KR2019000036W WO2019164120A1 WO 2019164120 A1 WO2019164120 A1 WO 2019164120A1 KR 2019000036 W KR2019000036 W KR 2019000036W WO 2019164120 A1 WO2019164120 A1 WO 2019164120A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
voice
user voice
input
response sound
Prior art date
Application number
PCT/KR2019/000036
Other languages
English (en)
French (fr)
Inventor
최형탁
고현목
김지희
김홍철
황인철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19757983.2A priority Critical patent/EP3702905A4/en
Priority to US16/967,910 priority patent/US11443749B2/en
Priority to CN201980007993.6A priority patent/CN111587419A/zh
Publication of WO2019164120A1 publication Critical patent/WO2019164120A1/ko
Priority to US17/880,169 priority patent/US11709655B2/en
Priority to US18/328,421 priority patent/US20230305801A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device and a control method for recognizing a user voice and providing various interactions according to the recognized user voice.
  • the present disclosure relates to an artificial intelligence (AI) system and its application for simulating functions such as recognition and judgment of the human brain using a machine learning algorithm.
  • AI artificial intelligence
  • Artificial intelligence systems that implement human-level intelligence have been used in various fields.
  • Artificial intelligence systems unlike conventional rule-based smart systems, are machines that learn and judge themselves and become smart. As the artificial intelligence system is used, the recognition rate is improved and the user's taste can be understood more accurately, and the existing rule-based smart system is gradually replaced by the deep learning-based artificial intelligence system.
  • Machine learning e.g. deep learning
  • machine learning e.g., deep learning
  • Machine learning is an algorithm technology that classifies / learns characteristics of input data by itself
  • element technology is a technology that simulates the functions of human brain cognition and judgment by using machine learning algorithms such as deep learning. It consists of technical areas such as understanding, reasoning / prediction, knowledge representation, and motion control.
  • Linguistic understanding is a technology for recognizing and applying / processing human language / characters and includes natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
  • Visual understanding is a technology that recognizes and processes objects as human vision, and includes object recognition, object tracking, image retrieval, person recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference prediction is a technique of judging information, logically inferring, and predicting information, and includes knowledge / probability based inference, optimization prediction, preference based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation / classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), operation control (action control), and the like.
  • the electronic devices that recognize a user voice and provide various interactions according to the recognized user voice have been developed.
  • the electronic devices may not only provide a response in response to the one-time user's voice but also receive a continuous user's voice and provide a response by reflecting the utterance history. At this time, if a user voice of another user is received between successive user voices, this cannot be distinguished, and there is a problem of providing a completely separate response.
  • the present disclosure is in accordance with the above-described needs, and an object of the present disclosure is to provide an electronic device and a control method for providing a response in which a context is maintained even when a user voice is input from each of a plurality of users.
  • an electronic device includes a microphone, a speaker, and a processor electrically connected to the microphone and the speaker, wherein the processor is configured to receive a first user voice through the microphone.
  • the processor is configured to receive a first user voice through the microphone.
  • the user who has spoken the first user voice is identified, and the first response sound obtained by inputting the first user voice to the artificial intelligence model learned through the artificial intelligence algorithm is provided through the speaker, and the microphone
  • the second user voice is input through the terminal, the user who has uttered the second user voice is identified, and when the user who uttered the first user voice and the user who uttered the second user voice are the same, the artificial intelligence model Inputting the second user voice and speech history information into the second response sound through the speaker; It can provide.
  • the apparatus may further include storage, and the processor may store the second user voice in the storage if the user who spoke the first user voice and the user who spoke the second user voice are not the same. If the user voice is not input for more than a predetermined time from the user who spoke the user voice, the third response sound obtained by inputting the second user voice to the artificial intelligence model may be provided through the speaker.
  • the processor identifies the first user who uttered the first user voice and inputs the first response sound obtained by inputting the first user voice to the artificial intelligence model.
  • the second user voice is input, the second user voice is provided through a speaker, and the second user who spoke the second user voice is identified, and the third response sound obtained by inputting the second user voice to the artificial intelligence model is provided.
  • the speaker may be provided to be distinguished from the first response sound.
  • the processor may be configured to input the first additional user voice and first speech history information corresponding to the first user voice to the artificial intelligence model.
  • the artificial intelligence model corresponds to the second additional user voice and the second user voice.
  • the second additional response sound obtained by inputting utterance history information may be provided to be distinguished from the first additional response sound through the speaker.
  • the display device may further include a display electrically connected to the processor, wherein the processor provides the first additional response sound and displays a first UI corresponding to the first user through the display, and the second additional response sound.
  • the display may display a second UI corresponding to the second user through the display.
  • the processor may further include a first domain corresponding to the first user voice and a second domain corresponding to the second user voice if the user who spoke the first user voice and the user who spoke the second user voice are not the same. Acquiring the second domain, and if the first domain and the second domain are the same, provide the second response sound obtained by inputting the second user voice and the speech history information to the artificial intelligence model through the speaker. can do.
  • a storage electrically connected to the processor, wherein the processor is configured to input the second user voice within a predetermined first time from a time point at which the first user voice is input and to utter the first user voice. If the user and the user who spoke the second user voice are the same, and the first domain corresponding to the first user voice and the second domain corresponding to the second user voice are different from each other, provision of the first response sound is provided.
  • the first user voice may be stored in the storage, and the third response sound obtained by inputting the second user voice to the artificial intelligence model may be provided through the speaker.
  • the processor inputs the first user voice stored in the storage to the artificial intelligence model.
  • the response sound may be provided through the speaker.
  • the apparatus may further include a camera, and the processor may identify the user based on at least one of an image photographed by the camera and a user voice input through the microphone.
  • the processor may identify a user who spoke the first user voice based on the user's mouth included in the image during the time interval during which the first user voice is input, and time when the second user voice is input.
  • the shape of the identified user included in the image is changed during the interval, the user who uttered the first user voice and the user who uttered the second user voice may be identified as the same.
  • the method of controlling the electronic device may include: identifying a user who has uttered the first user voice, and applying the AI model learned through an artificial intelligence algorithm. Providing a first response sound obtained by inputting the first user voice, identifying a user who spoke the second user voice when the second user voice is input, and a user who spoke the first user voice If the user and the user who spoke the second user voice are the same, the method may include providing the second response sound obtained by inputting the second user voice and speech history information to the artificial intelligence model.
  • the method may further include providing a third response sound obtained by inputting the second user voice to the artificial intelligence model.
  • the identifying the user who spoke the first user voice may include identifying the first user who spoke the first user voice when the first user voice is input, and providing the first response sound.
  • Providing the first response sound obtained by inputting the first user voice to the artificial intelligence model, and identifying the user who spoke the second user voice may include a second user who spoke the second user voice.
  • the identification method may further include providing a third response sound obtained by inputting the second user voice to the artificial intelligence model to be distinguished from the first response sound.
  • a first additional user voice when a first additional user voice is input by the first user, a first addition obtained by inputting the first additional user voice and first speech history information corresponding to the first user voice to the artificial intelligence model.
  • the method may further include providing the acquired second additional response sound separately from the first additional response sound.
  • the providing of the first additional response sound may include providing the first additional response sound and displaying a first UI corresponding to the first user, and comparing the second additional response sound with the first additional response sound.
  • the providing of the divided information may provide the second additional response sound and display a second UI corresponding to the second user.
  • the first domain corresponding to the first user voice and the second domain corresponding to the second user voice may be set.
  • the control method may include inputting the second user's voice within a predetermined first time from a time point at which the first user's voice is input, and the user who uttered the first user's voice and the user who uttered the second user's voice. Is the same, and if the first domain corresponding to the first user voice and the second domain corresponding to the second user voice are different from each other, the provision of the first response sound is omitted and the first user voice is stored.
  • the second response sound may be provided by inputting the second user voice to the artificial intelligence model.
  • the method may further include providing the first response sound obtained by inputting the first user voice to the artificial intelligence model if a user voice corresponding to the second domain is not input for more than a preset second time. It may further include.
  • the identifying of the user may identify the user based on at least one of the captured image and the input user voice.
  • the identifying the user who spoke the first user's voice may include identifying the user who spoke the first user's voice based on the shape of the user's mouth included in the image during the time interval in which the first user's voice is input.
  • the providing of the second response sound may include: a user who spoke the first user voice when the shape of the identified user included in the image is changed during the time interval during which the second user voice is input; The user who spoke the second user's voice may be identified as being the same.
  • the electronic device when a user voice is input from each of the plurality of users, the electronic device maintains a context according to processing, reservation, or separate processing of the plurality of user voices based on the existing user voices. Can provide a response.
  • FIGS. 1A and 1B are diagrams for describing a method of processing a plurality of user voices, according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an electronic system for providing a response sound to a user voice according to an embodiment of the present disclosure.
  • 3A is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • 3B is a block diagram illustrating a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • 4A and 4B are diagrams for describing a postpone of user voice processing of one of a plurality of users according to an exemplary embodiment of the present disclosure.
  • 5A to 5C are diagrams for describing a method of real-time simultaneous processing of a plurality of user voices, according to an exemplary embodiment.
  • FIG. 6 is a diagram for describing an integrated interaction with a plurality of users according to an exemplary embodiment.
  • FIG. 7 is a diagram for describing an operation when a plurality of user voices corresponding to each of a plurality of domains of the same user are input, according to an exemplary embodiment.
  • FIGS. 8A and 8B are diagrams for describing a method for identifying a user who spoke a user voice according to an embodiment of the present disclosure.
  • 9A and 9B are diagrams for describing additional learning of an artificial intelligence model according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an operation of an electronic device in which an artificial intelligence model is stored according to an embodiment of the present disclosure.
  • FIG. 11 is a sequence diagram illustrating an operation of an external server in which an electronic device and an artificial intelligence model are stored according to an embodiment of the present disclosure.
  • FIG. 12 is a block diagram illustrating a configuration of an external server for learning and using an artificial intelligence model that provides a response to a user inquiry according to an embodiment of the present disclosure.
  • FIG. 13 is a block diagram illustrating a learner according to an exemplary embodiment. Referring to FIG. 13
  • FIG. 14 is a block diagram illustrating a response unit according to an exemplary embodiment of the present disclosure.
  • 15 is a diagram illustrating an example in which an electronic device and an external server learn and determine data by interworking with each other.
  • 16 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” may include the presence of a corresponding feature (e.g., numerical value, function, operation, or component such as a component). Does not exclude the presence of additional features.
  • the expression “A or B,” “at least one of A or / and B,” or “one or more of A or / and B”, etc. may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various components, regardless of order and / or importance. It is used to distinguish it from other components and does not limit the components.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may, for example, be “suitable for,” “having the capacity to,” depending on the context. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “subprocessor configured (or set up) to perform A, B, and C” may execute a dedicated processor (eg, an embedded processor) or one or more software programs stored on a memory device to perform the operation. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • An electronic device may include, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP ( portable multimedia player), an MP3 player, a medical device, a camera, or a wearable device.
  • Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • the electronic device may be, for example, a television, a digital video disk (DVD) player, or audio.
  • a television a digital video disk (DVD) player
  • audio Refrigerator, air conditioner, cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSyncTM, Apple TVTM, or Google TVTM), game console ( For example, XboxTM, PlayStationTM), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT Computed tomography
  • GNSS global navigation satellite systems
  • EDRs event data recorders
  • FDRs flight data recorders
  • automotive infotainment devices ship electronics
  • marine navigation systems gyro compasses, etc.
  • avionics security devices
  • vehicle head units industrial or household robots
  • drones drones
  • ATMs in financial institutions point of sale (POS) points in stores
  • POS point of sale
  • Internet of Things devices eg, light bulbs, various sensors, sprinkler devices, fire alarms, thermostats, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIGS. 1A and 1B are diagrams for describing a method of processing a plurality of user voices, according to an exemplary embodiment.
  • the electronic device may receive a user voice spoken by user A.
  • FIG. 1A the electronic device may receive a user's voice spoken by the user A, "Please enter the calendar for the meeting in Gangnam.”
  • the electronic device may transmit user A's user voice to an external server.
  • the external server may include a first server for converting a user's voice into text and a second server for providing response information about the user's voice based on the converted text, but this is only an example. It can be implemented as a single server.
  • the external server may convert the user's voice received from the electronic device into text through speech to text (STT) technology.
  • the external server may obtain the response information for the user's voice by inputting the converted text into the AI model learned through the AI algorithm.
  • the response information may be a voice response sound including a response to the user's voice and may be transmitted to the electronic device as audio data.
  • the response information may be text information obtained by the second server, and may be converted into a response sound by the first server using a text to speech (TTS) technology and transmitted to the electronic device 100.
  • TTS text to speech
  • the present invention is not limited thereto, and the response information may further include information about an image as well as information about an audio.
  • the information about the image may be information such as a text, an image, a URL, etc. including a response to the user's voice.
  • the information on the voice may be the same as the information on the image, but this is only an embodiment and may include only some of the information on the image or may be information summarizing the information on the image.
  • the external server may transmit a response sound to the electronic device to the electronic device.
  • the external server may transmit a response sound, such as "What day / time?", In response to user A's user voice, to the electronic device.
  • the electronic device can provide the received response sound.
  • the electronic device may perform a function of providing a response sound from an external server.
  • the electronic device converts the user's voice spoken by the user A into text, obtains the response information about the user's voice by inputting the converted text into the AI model, and changes the response information into the response sound. It can also be provided to.
  • the electronic device may receive a user voice spoken by the user B.
  • the electronic device may receive a user voice “How is the weather today?” That user B utters.
  • the electronic device may compare the user voice of user A and the user voice of user B to determine whether the user is the same. For example, the electronic device may determine whether the user is the same based on voice prints of the user voice of User A and the user voice of User B, respectively. When the user is changed, the electronic device may store the user voice of user B in the storage and do not transmit it to an external server.
  • the external server may determine whether the user is the same. For example, the electronic device may transmit user B's user voice to an external server without determining whether the user is the same. The external server may compare the received user voice of user B with the user voice of user A previously to determine whether the user is the same. The external server can store User B's user voice in storage if the user changes. In this case, the external server may not generate a response sound for the user B's voice. The electronic device may not receive any information from the external server, and may provide a response sound to the user B's voice. Alternatively, the external server may provide a response to the user A, and may transmit a response sound for guiding the waiting of the user B to the electronic device. The electronic device may provide the received response sound to the user B.
  • the electronic device may receive a user voice spoken by user A.
  • the electronic device may receive a user voice of "A. 17. 3 o'clock this month.”
  • the electronic device can provide a response sound to the user's voice of the user A in the above manner.
  • the electronic device may provide a response sound such as "registered at 3 pm on December 17,” for the user voice of User A.
  • the electronic device may transmit the user voice uttered by the user B to the external server.
  • the external server may transmit a response sound to the electronic device, such as "Weathered weather is sunny today," about User B's user's voice.
  • the electronic device may provide the received response sound to the user B.
  • the electronic device may identify the existence of the user B and provide a response sound.
  • the electronic device may store the response sound in storage if the existence of the user B is not identified, and then provide the response sound if the existence of the user B is identified.
  • the external server if the external server is storing user B's user voice and the external server provides a response sound to the electronic device, such as "registered at 3:00 on December 17," the external server terminates the interaction with user A. It can be judged. If the external server determines that the interaction with the user A has ended, the external server may transmit a response sound to the electronic device, such as "Weather is sunny today," regarding the user voice of the user B stored in the storage.
  • the learned model provided by the external server as described above may be a decision model trained based on an artificial intelligence algorithm.
  • the trained model may be a model based on a neural network.
  • the learned judgment model can be designed to simulate a human brain structure on a computer and can include a plurality of weighted network nodes that simulate neurons in a human neural network. The plurality of network nodes may form a connection relationship so that neurons simulate the synaptic activity of neurons that send and receive signals through synapses.
  • the learned decision model may include, for example, a neural network model or a deep learning model developed from the neural network model.
  • a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • trained decision models may include, but are not limited to, a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and a Bidirectional Recurrent Deep Neural Network (BRDNN).
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BTDNN Bidirectional Recurrent Deep Neural Network
  • the electronic device may use a personal assistant program, which is an artificial intelligence dedicated program (or artificial intelligence agent), in order to receive a response to a user's voice in voice and video as described above.
  • the personal assistant program is a dedicated program for providing an AI-based service, and may be executed by an existing general purpose processor (for example, a CPU) or a separate AI dedicated processor (for example, a GPU). Can be.
  • a predetermined user input for example, a user utterance corresponding to a text indicating an electronic device
  • a button provided on the electronic device for example, a button for executing an AI agent
  • the AI agent may operate (or run).
  • the AI agent transmits the input user voice to an external server, provides a response sound to the user voice through a speaker based on the information on the voice received from the external server, and provides an image for the image received from the external server. Based on the information, a guide screen including a response to the user's voice may be provided.
  • the AI agent may operate.
  • the artificial intelligence agent may be in a state of being executed before a preset user input is detected or a button provided in the electronic device is selected.
  • the artificial intelligence agent of the electronic device may provide a voice and an image including a response to the user's voice.
  • the AI agent may be in a standby state before a preset user input is detected or a button provided in the electronic device is selected.
  • the standby state is a state in which a predefined user input is received to control the start of the operation of the artificial intelligence agent. If a preset user input is detected while the AI agent is in a standby state or a button provided in the electronic device is selected, the electronic device may operate the AI agent and provide voice and video including a response to the user's voice. have.
  • the artificial intelligence agent controls the artificial intelligence model to control the voice and image Obtain information about.
  • the AI agent may perform the operation of the external server described above.
  • the electronic system may include an electronic device 100 and an external server 200.
  • the electronic device 100 may store an artificial intelligence dedicated program.
  • the artificial intelligence dedicated program may be implemented in various ways.
  • the AI-only program according to the first scheme may use the electronic device 100 to receive a user voice and provide a response sound to the user voice.
  • the electronic device 100 may transmit the input user voice to the external server 200, receive a response sound for the user voice from the external server 200, and provide the received response sound to the user. .
  • the external server 200 may identify a user from a user voice received from the electronic device 100.
  • the external server 200 can identify the user from the voice print of the user's voice.
  • the present invention is not limited thereto, and any method may be used as long as the user voice may be identified.
  • the external server 200 may determine the domain of the user's voice. For example, when the user voice such as “How is the weather today?” Received, the external server 200 may identify that the domain of the received user voice is the information request domain. Alternatively, when the user voice such as "Play latest music" is received, the external server 200 may identify that the domain of the received user voice is the device control domain.
  • the external server 200 may determine whether the received user voice matches the context of the speech history information. For example, the external server 200 may determine that the context is consistent when a user voice such as "What about the weather today" is received and a user voice such as "What about tomorrow?" Is received. Alternatively, the external server 200 may determine that the context is inconsistent when a user voice such as “What is the weather today?” Is received and a user voice such as “What are you doing on the TV now” is received.
  • the external server 200 may generate response information based on the identified user, the domain of the received voice and whether the context matches. That is, information such as the identified user, the domain of the received voice, and whether the context is matched may be input to the artificial intelligence model stored in the external server 200 together with the user voice.
  • the AI model may include a first AI submodel that identifies the user from the input user voice and a second AI submodel that generates response information from the user voice.
  • the second artificial intelligence submodel may not determine whether the user's voice matches the domain and the context.
  • the sample conversation pattern used in the learning process of the second AI submodel may be a conversation pattern in which a domain and a context generally match. Accordingly, when a user voice whose domain or context is different from the speech history information is input, the second AI submodel may separately process the input user voice or defer the processing of the user voice.
  • the external server 200 may not specifically determine the domain and the context of the user's voice when using the artificial intelligence model. However, the external server 200 may generate response information substantially reflecting the domain and the context of the user's voice under the influence of the sample conversation pattern used in the learning process.
  • the external server 200 may change the generated response information into a response sound and transmit the response sound to the electronic device 100.
  • the AI-only program according to the second scheme may use the electronic device 100 to receive a user voice, identify a user, and provide a response sound to the user voice.
  • the electronic device 100 may identify a user who spoke the input user voice and transmit the input user voice and the identified user information to the external server 200.
  • the electronic device 100 may receive a response sound for the user's voice from the external server 200 and provide the received response sound to the user.
  • the external server 200 may generate response information by inputting user voice and user information to an artificial intelligence algorithm.
  • the external server 200 may manage the speech history information based on the user information. For example, when the user voices of the user A and the user A are received, the external server 200 generates response information by inputting user A's utterance history information and user A's user voice into an AI algorithm, and generating user response information.
  • the response information may be generated by inputting the speech history information of the user B and the user voice of the user B into the artificial intelligence algorithm.
  • the external server 200 may change the generated response information into a response sound and transmit the response sound to the electronic device 100.
  • the AI dedicated program according to the third scheme may be a program including an AI model.
  • the electronic device 100 may identify a user who has spoken the input user voice, and generate response information by inputting the input user voice and the identified user information to the artificial intelligence model.
  • the electronic device 100 may change the response information into the response sound and output the response sound through the speaker. That is, the electronic device 100 may provide a response sound to the user's voice without the external server 200.
  • 3A is a block diagram illustrating a configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include a microphone 110, a speaker 120, and a processor 130.
  • the electronic device 100 may be a device that receives a user voice and provides various interactions according to the received user voice.
  • the electronic device 100 may be a speaker, a notebook PC, a tablet PC, a smartphone, or the like.
  • the present invention is not limited thereto, and the electronic device 100 may be any device that can receive a user voice and provide a response sound accordingly.
  • the electronic device 100 may be a device including a display instead of the speaker 120.
  • the electronic device 100 may receive a user voice and provide an interaction according to the received user voice through a display.
  • the electronic device 100 may be any device that can receive a user voice and provide response information to the received user voice.
  • the microphone 110 is a component for receiving a user voice or other sound and converting it into audio data.
  • the microphone 110 is electrically connected to the processor 130 and may receive a user voice under the control of the processor 130.
  • the microphone 110 may include a plurality of sub microphones.
  • the microphone 110 may include one sub microphone in front, rear, left, and right sides of the electronic device 100.
  • the present invention is not limited thereto, and the electronic device 100 may include only one microphone 110.
  • the speaker 120 is a component that outputs not only various audio data but also various notification sounds or voice messages.
  • the speaker 120 is electrically connected to the processor 130 and may output a response sound under the control of the processor 130.
  • the speaker 120 may include a plurality of sub speakers.
  • the speaker 120 may include one sub speaker on each of the left and right sides of the electronic device 100.
  • the present invention is not limited thereto, and the electronic device 100 may include only one speaker 120.
  • the processor 130 generally controls the operation of the electronic device 100.
  • the processor 130 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON), but is not limited thereto.
  • DSP digital signal processor
  • CPU central processing unit
  • MCU microcontroller unit
  • MPU micro processing unit
  • controller application processor
  • CP communication processor
  • ARM processor ARM processor
  • SoC System on Chip
  • LSI large scale integration
  • FPGA Field Programmable Gate Array
  • the processor 130 When the first user's voice is input through the microphone 110, the processor 130 identifies a user who spoke the first user's voice and inputs the first user's voice into an AI model learned through an artificial intelligence algorithm.
  • the first response sound may be provided through the speaker 120.
  • the artificial intelligence model may be stored in the electronic device 100, and in this case, the processor 130 may obtain a first response sound by inputting a first user voice to the artificial intelligence model.
  • the artificial intelligence model may be stored in the external server 200, in which case the processor 130 transmits the first user voice to the external server 200 and inputs the first user voice into the artificial intelligence model.
  • the obtained first response sound may be received from the external server 200.
  • the processor 130 When the second user voice is input through the microphone 110, the processor 130 identifies a user who spoke the second user voice, and the user who spoke the first user voice and the user who spoke the second user voice are the same. In this case, the second response sound obtained by inputting the second user voice and speech history information to the artificial intelligence model may be provided through the speaker 120.
  • the processor 130 may receive a second user voice spoken by the user who spoke the first user voice, and in this case, the processor 130 may not only speak the second user voice but also the speech history information in the artificial intelligence model.
  • the second response sound obtained by inputting may be provided. That is, the second response sound may be obtained by reflecting not only the user's voice currently input but also the response information according to the user's voice and the user's voice previously input.
  • the electronic device 100 may further include a camera, and the processor 130 may identify the user based on at least one of an image captured by the camera and a user voice input through a microphone.
  • the processor 130 may identify the user who spoke the first user voice by identifying the face of the user included in the image during the time interval in which the first user voice is input.
  • the processor 130 may identify the user who spoke the first user voice based on the user's mouth included in the image during the time interval in which the first user voice is input.
  • the processor 130 performs real-time shooting through a camera, and the first user may change a user's mouth shape among a plurality of users included in the image being captured in real time during a time interval in which the first user voice is input. It can be identified as the user who spoke the voice.
  • the processor 130 may have the same user who spoke the first user voice and the user who spoke the second user voice. It can be identified as.
  • the processor 130 may identify whether the user is the same by using the speaker 120.
  • the speaker 120 may include a plurality of sub speakers, and when the first user voice is input, the processor 130 may identify a location of the user who spoke the first user voice using the plurality of sub speakers. have.
  • the processor 130 may identify a location of the user who uttered the second user voice by using the plurality of sub-speakers, and may change the user in comparison with the previously identified location of the user. It can be determined.
  • the processor 130 may identify the user through voice print of the user's voice.
  • the electronic device 100 further includes a storage electrically connected to the processor 130, the processor 130 performs frequency analysis of each of the plurality of user voices, and stores frequency characteristics of each of the plurality of users. Can be stored in Thereafter, when the first user voice is input, the processor 130 may analyze the frequency of the first user voice and identify the user who spoke the first user voice based on the information stored in the storage. The processor 130 may perform the same operation with respect to the second user voice and determine whether the identified user is the same.
  • the operation using the voice print may be performed by the external server 200.
  • the electronic device 100 may transmit the input user voice to the external server 200 without performing an operation of identifying the user.
  • the external server 200 may identify a user who spoke the received user voice by performing a frequency analysis of the received user voice.
  • the processor 130 may identify a male / female division, a child / adult / elderly division, a region of origin, etc. without identifying the user who spoke the input user voice. For example, when the first user voice is input, the processor 130 may identify that the user who spoke the first user voice is a male adult and uses a standard language. When the second user voice is input, the processor 130 may identify that the user who spoke the second user voice is a female adult and uses a standard language. In this case, the processor 130 may identify that the users are not the same.
  • identification of a male / female division, a child / adult / elder division, and a region of origin for the user voice may be performed in the external server 200.
  • the electronic device 100 may transmit the input user voice to the external server 200 without performing an operation of identifying the user.
  • the external server 200 may identify a male / female division, a child / adult / elderly division, a region of origin, etc. using the received user voice, and determine whether the user is the same.
  • the processor 100 may store the input user voice and the response sound to the user voice as storage history information for a predetermined time from the time point at which the user voice is input. For example, if a user voice such as "How is the weather tomorrow?" Is input, the processor 100 provides a response sound such as "Weather tomorrow is fine" for the user voice, and from the time point at which the user voice is input. Interaction information can be stored in storage as utterance history information for 10 minutes. When the additional user voice is input from the same user within 10 minutes from the time when the user voice is input, the processor 130 may provide the response sound obtained by inputting the additional user voice and speech history information into the artificial intelligence model.
  • the processor 130 does not determine whether the user who spoke the additional user voice and the user who spoke the first user voice are the same. Instead, only the additional user voice may be input to the artificial intelligence model to provide the acquired response sound. That is, the processor 130 may determine whether the user who uttered the additional user voice and the user who uttered the first user voice are the same only when the additional user voice is input for a predetermined time from the time when the user voice is input.
  • the processor 130 may change the start time of the preset time to the time at which the additional user voice is input. For example, the processor 130 may input the first user's voice at 6 pm and the second user's voice at 6 pm within 10 minutes of the preset time from 6 pm when the first user's voice is input. If the information is stored, the history information may be stored from 6:05 pm to 6:15 pm, which is 10 minutes after the preset time.
  • the speech history information may include a first user voice, a first response sound for the first user voice, a second user voice, and a second response sound for the second user voice. That is, if the time for which the user continuously speaks the user's voice and stores the speech history information is extended, the processor 130 may maintain the speech history information up to the extended time stored in the storage.
  • the present invention is not limited thereto, and although the time for storing the speech history information by the user continuously speaking the user's voice is extended, the speech history information up to the extended time may not be maintained in the storage.
  • the processor 130 may use only the user's voice and the response sound from the current time to the current time before the preset time. It can be stored as speech history information. That is, the processor 130 may delete, from the storage, the user's voice whose preset time has elapsed from the utterance time point and the response sound whose preset time has elapsed from the sound providing time point.
  • the storage may store the speech history information for each user in chronological order.
  • the storage may store user A's utterance history information on January 1, 2017, utterance history information on January 5, 2017, and user B's utterance history information on January 4, 2017, and the like.
  • the processor 130 may transmit, to the external server 200, the utterance history information after a predetermined time elapsed among the utterance history information stored in the storage.
  • the processor 130 may receive the utterance history information transmitted to the external server 200 from the external server 200 as necessary.
  • the processor 130 may extract the keyword of the speech history information before transmitting the speech history information to the external server 200, store the extracted keyword in storage, and then transmit the speech history information to the external server 200. have.
  • the extracted keyword may be used later when the user searches for past utterance history information.
  • the processor 130 searches for keywords older than 5 years ago using the keyword Jeju Island and restaurants,
  • the utterance history information may be received from the external server 200.
  • the processor 130 may provide information desired by the user from the speech history information received from the external server 200.
  • the electronic device 100 may further include storage, and if the user who spoke the first user voice and the user who spoke the second user voice are not the same, the electronic device 100 may store the second user voice in the storage. If the user voice is not input for more than a predetermined time from the user who uttered the first user voice, the third response sound obtained by inputting the second user voice to the artificial intelligence model may be provided through the speaker 120.
  • the processor 130 determines whether the user is the same when the user B speaks the second user voice within a predetermined time from the time when the user A utters the first user voice, and determines that the user is not the same.
  • User B's second user voice may be stored in storage. That is, the processor 130 may postpone providing the response sound for the user B's second user voice. If the user A's additional user voice is not input until a predetermined time elapses from the time when the user A utters the first user's voice, the processor 130 sets a predetermined time from the time when the user A's voice is uttered. After the elapsed time, a response sound for the second user voice may be provided.
  • the response sound to the second user voice may be a response sound obtained by inputting the second user voice to the artificial intelligence model in a state in which the speech history information by the user A is deleted.
  • the processor 130 identifies the first user who uttered the first user voice and inputs the first user voice to the artificial intelligence model, thereby outputting the first response sound.
  • the second user's voice is input, the second user who uttered the second user's voice is identified, and the third response sound obtained by inputting the second user's voice to the artificial intelligence model is provided to the speaker 120.
  • the first response sound may be provided separately from the first response sound.
  • the processor 130 may process a plurality of user voices in real time, and may differently provide the processed results.
  • processor 130 may provide, in a male voice, the first response to user A's "How is the weather today?" In a male voice, and what is the user doing in the movie "Tonight?" A second response to "could give a female voice," I don't watch a movie tonight. "
  • the second response sound may be a response sound obtained based only on the user voice of the user B without reflecting the speech history information of the user A.
  • the present invention is not limited thereto, and the processor 130 may provide a different state of providing response information to the user's voice in other ways.
  • the electronic device 100 further includes a display electrically connected to the processor 130, and the processor 130 responds to user A's first response to "How is the weather today?" . "May be displayed on the display, and may be provided through the speaker 120 as” second movie tonight “as the second response sound to user B's" What are you doing tonight? ".
  • processor 130 may respond to user A's first response to "How is the weather today?" And “Today's weather is clear.” And user B's second response to "What are you doing tonight?" "I don't play movies at night”, and display the background color of the first and second responses differently so that users can identify the subject of the response.
  • the processor 130 may input the first additional user voice and first speech history information corresponding to the first user voice to the artificial intelligence model, and obtain the first additional user voice.
  • the artificial intelligence model supplies the second additional user voice and second speech history information corresponding to the second user voice.
  • the second additional response sound obtained by input may be provided separately from the first additional response sound through the speaker 120.
  • the processor 130 provides a first additional response sound and displays a first UI corresponding to the first user through a display, and provides a second additional response sound and displays a second UI corresponding to the second user. Can be displayed via
  • the processor 130 may provide a first additional response sound and display an image of the first user through the display, provide a second additional response sound and display an image of the second user through the display. .
  • the processor 130 may transmit the user's voice to the external server 200 with the identified user information.
  • the external server 200 may generate utterance history information for each user based on the received user information, and transmit the response sound obtained by inputting utterance history information corresponding to the user voice into the artificial intelligence model, to the electronic device 100. have.
  • the external server 200 may transmit not only the response sound but also user information about the object of the response sound to the electronic device 100.
  • the electronic device 100 may provide a response sound separately from the response sound of another user based on the received user information.
  • the processor 130 may include a first domain corresponding to the first user voice and a second domain corresponding to the second user voice. If the first domain and the second domain are the same, the second response sound obtained by inputting the second user voice and speech history information to the artificial intelligence model may be provided through the speaker 120.
  • the processor 130 provides the first response sound to the first user's voice, such as User A's "How is the weather today?", Through the speaker 120 as “rain this afternoon.”
  • the second user's voice such as “Must take the umbrella?” Of B
  • the processor 130 may obtain that the domain of the first user voice and the domain of the second user voice are both information request domains. If it is determined that the domains of the first user voice and the second user voice are the same, the processor 130 inputs the second user voice and utterance history information into the artificial intelligence model, and "Yes. Get an umbrella today.” The same second response sound can be provided.
  • the processor 130 may determine whether the user is the same. If it is determined that the users are not the same, the processor 130 may obtain that the domain of the first user's voice is an information request domain and obtain that the domain of the second user's voice is a device control domain. If it is determined that the domains of the first user voice and the second user voice are different, the processor 130 may defer the processing of the second user voice. Alternatively, the processor 130 may provide a second response sound, such as "Yes, I want to play the latest song," obtained by inputting only the second user's voice into the artificial intelligence model, separately from the first response sound.
  • a second response sound such as "Yes, I want to play the latest song
  • the processor 130 may further consider the context as well as the domain. For example, the processor 130 may postpone processing of the second user's voice if the first user's voice and the second user's voice have the same domain but have different contexts. Alternatively, the processor 130 may provide a second response sound obtained by inputting only the second user voice to the artificial intelligence model to be distinguished from the first response sound.
  • the processor 130 is a second user voice is input within a predetermined first time from the time when the first user voice is input, the user who spoke the first user voice and the user who spoke the second user voice is the same If the first domain corresponding to the first user voice and the second domain corresponding to the second user voice are different from each other, the provision of the first response sound may be omitted, and the first user voice may be stored in the storage, 2 The third response sound obtained by inputting the user's voice may be provided through the speaker.
  • the preset first time may be shorter than the time for which the storage of the utterance history information described above is maintained.
  • the processor 130 may have a different domain from the same user A's first user's voice and a different domain within 1 second after the first user's voice, such as User A's "Turn on TV.”
  • the first user voice may be stored in storage and may provide “in front of the viewer” as the third response sound for the second user voice.
  • the processor 130 inputs the first user voice stored in the storage into the artificial intelligence model, and obtains the first response sound.
  • the preset second time may be the same as the time at which the storage of the utterance history information described above is maintained and may be longer than the preset first time.
  • the present invention is not limited thereto, and the preset second time may be a time longer than the preset first time regardless of the time for which the storage of the utterance history information described above is maintained.
  • the processor 130 determines whether the second user voice matches the context by the first user voice, and if the context is different, omits providing the first response sound and stores the first user voice in the storage.
  • the third response sound obtained by inputting the second user's voice to the artificial intelligence model may be provided through the speaker.
  • the artificial intelligence algorithm stored in the electronic device 100 or the external server 200 may be one of a first artificial intelligence algorithm for acquiring a domain of a user voice and a second artificial intelligence algorithm for determining whether the context of the user voice matches. It may also include at least one. In this case, the determination of whether the domain and the context match before the acquisition of the response information may be preceded.
  • the artificial intelligence algorithm stored in the electronic device 100 or the external server 200 may not include a separate artificial intelligence algorithm for acquiring a domain of a user voice or determining whether the context of the user voice matches.
  • the AI algorithm may itself provide a response sound that reflects at least one of a domain and a context.
  • the electronic device 100 may include a microphone 110, a speaker 120, and a processor 130.
  • the electronic device 100 may include a communication unit 140, a storage 145, a display 150, a user interface unit 155, a camera 160, an audio processor 170, and a video processor 180. ) May further include a button 190.
  • a button 190 A detailed description of parts overlapping with those shown in FIG. 3A among the elements shown in FIG. 3B will be omitted.
  • the processor 130 controls overall operations of the electronic device 100 using various programs stored in the storage 145.
  • the processor 130 may access the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to n interfaces 135-1 to 135-n, and the bus 136. Include.
  • the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to nth interfaces 135-1 to 135-n, and the like may be connected to each other through the bus 136.
  • the first to n interfaces 135-1 to 135-n are connected to the aforementioned various components.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 133 accesses the storage 145 and performs booting using an operating system stored in the storage 145. In addition, various operations are performed using various programs stored in the storage 145.
  • the ROM 132 stores a command set for system booting.
  • the main CPU 133 copies the O / S stored in the storage 145 to the RAM 131 according to the command stored in the ROM 132, and executes the O / S.
  • Boot up When booting is completed, the main CPU 133 copies various application programs stored in the storage 145 to the RAM 131, and executes the application programs copied to the RAM 131 to perform various operations.
  • the graphic processor 134 generates a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • An operation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which objects are displayed according to the layout of the screen based on the received control command.
  • the renderer generates a screen having various layouts including objects based on the attribute values calculated by the calculator.
  • the screen generated by the renderer (not shown) is displayed in the display area of the display 150.
  • the above-described operation of the processor 130 may be performed by a program stored in the storage 145.
  • the storage 145 may include an operating system (O / S) software module, an artificial intelligence module, an artificial intelligence program module, a speech history module, a user identification module, a domain identification module, and a context identification module for driving the electronic device 100. Store various data together.
  • O / S operating system
  • the communication unit 140 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication unit 140 includes a Wi-Fi chip 141, a Bluetooth chip 142, a wireless communication chip 143, an NFC chip 144, and the like.
  • the processor 130 communicates with various external devices using the communication unit 140.
  • the Wi-Fi chip 141 and the Bluetooth chip 142 communicate with each other by WiFi or Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then communication information may be transmitted and received by using the same.
  • the wireless communication chip 143 refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3G (3rd Generation), 3G Generation (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip 144 refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the communication unit 140 may further include a wired communication interface such as HDMI, MHL, USB, DP, Thunderbolt, RGB, D-SUB, DVI, or the like.
  • the processor 130 may be connected to the external server 200 through a wired communication interface of the communication unit 140.
  • the display 150 may be implemented as various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a plasma display panel (PDP), and the like.
  • the display 150 may also include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), or the like. Meanwhile, the display 150 may be implemented as a touch screen in combination with the touch sensing unit.
  • the user interface unit 155 receives various user interactions.
  • the user interface unit 155 may be implemented in various forms according to the implementation example of the electronic device 100.
  • the user interface unit 155 may be a button provided in the electronic device 100, a microphone for receiving a user voice, a camera for detecting a user motion, or the like.
  • the user interface unit 155 may be implemented in the form of a touch screen forming a layer structure with the touch pad. In this case, the user interface unit 155 may be used as the display 150 described above.
  • the audio processor 170 is a component that processes audio data.
  • the audio processor 170 may perform various processing such as decoding, amplification, noise filtering, or the like on the audio data.
  • the video processor 180 is a component that performs processing on video data.
  • the video processor 180 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.
  • the button 190 may be various types of buttons such as a mechanical button, a touch pad, a wheel, and the like formed in an arbitrary area such as a front portion, a side portion, a rear portion, etc. of the main body exterior of the electronic device 100.
  • the processor 130 may provide response information in which the context is maintained even if the user changes.
  • 4A and 4B are diagrams for describing a postpone of user voice processing of one of a plurality of users according to an exemplary embodiment of the present disclosure.
  • the processor 130 identifies a user A when a first user voice is input, such as User A's "Please enter in the sync meeting calendar in Gangnam.” / What time? "Can be provided.
  • the processor 130 identifies the user B, and stores the second user voice because the identified user B is different from the user A. 145 can be stored. In this case, the processor 130 may store not only the second user voice but also information about the user B who uttered the second user voice in the storage 145.
  • the processor 130 When a third user voice, such as "It is July 7," of the user A is input, the processor 130 identifies the user A and is the same as the user A who uttered the first user voice. May provide a second response sound, such as, "registered as July 7".
  • the processor 130 may say, “Sorry. The pizza you requested to purchase is on your purchase list. How many do you want to order? " In this case, after detecting that the second user is in the vicinity, the processor 130 may provide a third response sound.
  • the processor 130 may determine that the interaction of the user A is terminated when the user A is not detected or the user voice is not input for a predetermined time from the user A.
  • processor 130 identifies User B and is the same as User B who uttered the second user's voice.
  • a fourth response sound may be provided for the fourth user voice, such as "Yes.”
  • 5A to 5C are diagrams for describing a method of real-time simultaneous processing of a plurality of user voices, according to an exemplary embodiment.
  • processor 130 identifies User A and is July 7 for the first user's voice when a first user's voice is entered, such as User A's "when wedding.” May provide a first response sound, such as ".”
  • the processor 130 identifies the user B, and since the identified user B is different from the user A, the first user voice and the first user voice are identified. Regardless of the first utterance history information including the response sound, the second response sound may be provided in consideration of only the second user's voice such as "the weather is cloudy today.”
  • the processor 130 may provide the second response sound in a manner different from that of the first response sound.
  • the processor 130 may provide a first response sound as a male voice and a second response sound as a female voice.
  • the processor 130 may include a user name, an ID, or the like to provide a response sound. For example, if user A is pre-stored in the storage 145 with an ID of "Park”, and user B is pre-stored in the storage 145 with an ID of "Kim”, the processor 130 is "Park”. And a second response sound, such as "July 7,” and a second response sound, such as, "Kim, today's weather is cloudy.”
  • the processor 130 may control the display 150 to display different colors according to the object of the provided response sound, as shown in FIGS. 5B and 5C.
  • the electronic device 130 may include an LED, and the processor 130 may control the LED to emit light of different colors according to the object of the provided response sound.
  • the electronic device 130 may include a plurality of LEDs, and the processor 130 may control the LEDs so that one of the plurality of LEDs is turned on according to the object of the provided response sound.
  • the processor 130 identifies the user A and is the same as the user A who uttered the first user's voice. Based on the history information, a third response sound may be provided for the third user voice, such as "changed.”
  • FIGS. 4A and 4B are embodiments in which only one user voice is processed even though there are inputs of a plurality of user voices, and FIGS. 5A to 5C separately process inputs of a plurality of user voices.
  • the electronic device 100 provides a personal mode as shown in FIGS. 4A and 4B and a common mode as shown in FIGS. 5A to 5C, and the processor 130 may operate in a personal mode or a joint mode according to a user's mode selection. .
  • FIG. 6 is a diagram for describing an integrated interaction with a plurality of users according to an exemplary embodiment.
  • the processor 130 identifies a user A when a first user voice is input, such as User A's "Please enter in the sync meeting calendar in Gangnam.” / What time? "Can be provided.
  • the processor 130 identifies the user B when a second user voice such as "Monday, July 7 is synchronized" of the user B is identified, and the identified user B is different from the user A, Since the contexts of the first user voice and the second user voice match, the first spoken history information including the first user voice and the first response sound and the second user voice are considered to be registered as "July 7,". It may provide a second response sound.
  • the processor 130 may provide a response sound for inquiring users. For example, if it is unclear whether the contexts of the first user voice and the second user voice match, the processor 130 provides a third response sound, such as "Is Monday a July 7 motivational meeting in Gangnam?" You may.
  • the processor 130 may operate in the common mode when the context between the user voices of the plurality of users is changed while performing the integrated interaction as shown in FIG. 6.
  • the processor 130 may operate in the joint mode and perform an integrated interaction when the contexts of the user voices of the plurality of users match.
  • FIG. 7 is a diagram for describing an operation when a plurality of user voices corresponding to each of a plurality of domains of the same user are input, according to an exemplary embodiment.
  • the processor 130 receives a first user's voice, such as User A's "Turn off another room when watching TV in a large room and make this room cool and dark.” If a second user voice is entered, such as "Please register a wedding event on the weekend," identify the user A who uttered the first user voice and the second user voice, and say "What day, what time is it for the late input second user voice?" Provide a first response sound, such as? In this case, the processor 130 may store the first user voice in the storage 145. Alternatively, the processor 130 may store not only the first user voice but also information on the user A who uttered the first user voice in the storage 145.
  • a first user's voice such as User A's "Turn off another room when watching TV in a large room and make this room cool and dark.” If a second user voice is entered, such as "Please register a wedding event on the weekend," identify the user A who uttered the first user voice and the second user voice, and say "What day, what time is
  • the processor 130 When the third user's voice, such as "Saturday 12:00" of the user A, is input, the processor 130 identifies the user A and is the same as the user A who uttered the first user's voice. Based on the first speech history information including the first response sound, a second response sound, such as "Yes, the wedding schedule has been registered", may be provided to the third user voice.
  • a second response sound such as "Yes, the wedding schedule has been registered
  • the processor 130 may determine that the interaction with the user has ended as the specific operation according to the user's voice is completed. In the above example, the processor 130 may determine that the first interaction of the user A has ended as the wedding schedule registration is completed. However, the present invention is not limited thereto, and the processor 130 may determine that the interaction with the user is terminated even when the user is not sensed or when the user voice is not input for a predetermined time from the same user. Alternatively, the processor 130 may determine that the interaction with the user is terminated according to the user's termination command.
  • the processor 130 may acquire a user voice stored in the storage 145 and start a new interaction.
  • the processor 130 obtains the first user's voice stored in the storage 145, and the third response sound such as "Do you want to turn off the living room and hallway lights from the request you made?" Can be provided.
  • the processor 130 may start a new interaction when a user who speaks a user voice stored in the storage 145 is detected. In the above example, the processor 130 may not start a new interaction if the user A who uttered the first user voice is not detected even if the first user voice stored in the storage 145 is acquired.
  • the processor 130 may provide a fourth response sound such as “Yes. Can be.
  • FIGS. 8A and 8B are diagrams for describing a method for identifying a user who spoke a user voice according to an embodiment of the present disclosure.
  • the processor 130 may identify the user from the image 810 captured by the camera 160.
  • the processor 130 may identify a user whose user's mouth moves from the image 810 captured by the camera 160 as the user who spoke the user voice.
  • the speaker 110 includes a plurality of sub-speakers 110-1, 110-2, 110-3, and 110-4 installed spaced apart from each other, and the processor 130 includes a plurality of processors.
  • the processor 130 uses the sub-speakers (110-1, 110-2, 110-3, 110-4) of the can be estimated the first position the user voice is spoken.
  • the processor 130 may estimate the second location where the additional user voice is spoken, and identify the same user when the second location is within a predetermined distance from the first location.
  • 9A and 9B are diagrams for describing additional learning of an artificial intelligence model according to an embodiment of the present disclosure.
  • the artificial intelligence model stored in the electronic device 100 or the external server 200 may be in a pre-learned state using a sample conversation pattern.
  • the AI model may then be relearned based on the user's interaction.
  • the re-learning means that the AI model learned by the sample conversation pattern is further trained based on the interaction with the user to update the AI model.
  • the processor 130 responds to the first user voice such as "News 9". Sound can be provided.
  • the processor 130 When a second user voice such as "Do not watch the movie" of user A is input, the processor 130 re-learns the AI model based on the first user voice, the first response sound, and the second user voice. Can be done.
  • the re-learned artificial intelligence model may be an artificial intelligence model in which a user prefers a movie.
  • FIG. 9B is based on the same situation as in FIG. 9A.
  • FIG. 9A is a diagram of using an artificial intelligence model before relearning and
  • FIG. 9B is a diagram of using a re-learned artificial intelligence model.
  • processor 130 may input a first user voice such as "What are you doing on TV?” And not a movie, but mid. ”
  • the electronic device 100 stores the artificial intelligence model for convenience of description, but the re-learning method may be applied in the same manner even when the artificial intelligence model is stored in the external server 200. Can be.
  • FIG. 10 is a flowchart illustrating an operation of the electronic device 100 in which an artificial intelligence model is stored according to an embodiment of the present disclosure.
  • the processor 130 receives a user voice (S1010).
  • the processor 130 detects a user.
  • the processor 130 determines whether the user is the same user as the previous user (S1030), and if the same user processes the user voice based on the speech history information (S1050).
  • the processor 130 determines whether it is the same domain as the previous domain (S1040), and if it is the same domain, the processor 130 processes the user voice based on the speech history information (S1050). If it is not the same domain, the processor 130 processes the user voice without considering the speech history information (S1060).
  • the processor 130 may provide a response sound according to voice processing.
  • FIG. 11 is a sequence diagram illustrating an operation of an external server 200 in which an electronic device 100 and an artificial intelligence model are stored, according to an exemplary embodiment.
  • the electronic device 100 receives a user voice in operation S1110 and detects a user in operation S1120. In operation S1130, the electronic device 100 transmits user information and a user voice to the external server 200.
  • the external server 200 generates response information corresponding to the user's voice based on the user information (S1140).
  • the external server 200 transmits the response information to the electronic device 100 in operation S1150.
  • the electronic device 100 provides a response sound.
  • FIG. 12 is a block diagram illustrating a configuration of an external server 1300 for learning and using an artificial intelligence model that provides a response to a user inquiry according to an embodiment of the present disclosure.
  • the external server 1300 may include at least one of the learner 1310 and the responder 1320.
  • the external server 1300 of FIG. 12 may correspond to the external server 200 of FIG. 2.
  • the learner 1310 may generate or learn an artificial intelligence model having a criterion for providing a response to the user's voice using the training data.
  • the learner 1310 may generate a decision model having decision criteria using the collected learning data.
  • the learner 1310 may learn to acquire information on a voice and an image including a response to the user's voice as learning data.
  • the learner 1310 may generate, learn, or update an artificial intelligence model for providing information on a voice and an image including a response to the user's voice using the user's voice and the state information of the electronic device as the training data. Can be.
  • the response unit 1320 may use the predetermined data as input data of the learned artificial intelligence model to obtain information on a voice and an image including a response to the predetermined user voice.
  • the response unit 1320 obtains (or estimates) information about the voice and the image including the response to the user's voice using the user's voice and the state information of the electronic device as input data of the learned AI model. Reasoning).
  • the learner 1310 and the responder 1320 may be included in the external server 1300, but this is only an example and may be mounted in the electronic device 100.
  • at least a part of the learner 1310 and at least a part of the responder 1320 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on the electronic device 100.
  • at least one of the learner 1310 and the responder 1320 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or a conventional general purpose processor (eg, a CPU or an application). It may be manufactured as a part of a processor or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.
  • AI artificial intelligence
  • a graphics dedicated processor eg, a GPU
  • the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probability calculation, and has a higher parallel processing performance than a conventional general processor, so that a computational task in an artificial intelligence field such as machine learning can be processed quickly.
  • the software module may be a computer readable non-transitory readable recording medium. transitory computer readable media).
  • the software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • the learner 1310 and the responder 1320 may be mounted on one electronic device or may be mounted on separate electronic devices, respectively.
  • one of the learner 1310 and the responder 1320 may be included in the electronic device 100, and the other may be included in an external server.
  • the learner 1310 and the responder 1320 may provide model information constructed by the learner 1310 to the responder 1320 via a wired or wireless connection, or may be input to the learner 1320. The data may be provided to the learner 1310 as additional learning data.
  • FIG. 13 is a block diagram illustrating a learner 1310 according to an exemplary embodiment. Referring to FIG. 13
  • a learner 1310 may include a training data acquirer 1310-1 and a model learner 1310-4.
  • the learner 1310 may further include at least one of a learning data preprocessor 1310-2, a learning data selector 1310-3, and a model evaluator 1310-5.
  • the training data acquisition unit 1310-1 may acquire training data necessary for an artificial intelligence model for obtaining a response to a user's voice.
  • the training data acquisition unit 1310-1 may acquire a user voice as the training data.
  • the learning data acquirer 1310-1 may acquire information (eg, state information of the electronic device) necessary for obtaining a specific response to the user's voice as the learning data.
  • the training data may be data collected or tested by the learner 1310 or the manufacturer of the learner 1310.
  • the model learner 1310-4 may use the training data to train the AI model to have a criterion for obtaining a response to the user's voice. For example, the model learner 1310-4 may train the artificial intelligence model through supervised learning using at least some of the training data as a reference for obtaining a response to the user's voice. Alternatively, the model learner 1310-4, for example, by unsupervised learning that discovers a criterion for providing a response by learning by itself using learning data without any guidance, an artificial intelligence model. Can learn. In addition, the model learner 1310-4 may train the artificial intelligence model, for example, through reinforcement learning using feedback on whether a result of providing a response according to learning is correct. In addition, the model learner 1310-4 may train the AI model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method.
  • model learner 1310-4 may use the input data to learn a selection criterion about what training data should be used to provide information on the voice and the image including the response to the user's voice. .
  • the model learner 1310-4 may determine the AI model to learn the AI model having a high correlation between the input training data and the basic training data.
  • the basic training data may be previously classified according to the type of data, and the artificial intelligence model may be pre-built for each type of data. For example, the basic training data is classified based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the types of objects in the training data. It may be.
  • the model learner 1310-4 may store the learned AI model.
  • the model learner 1310-4 may store the learned AI model in a memory of the external server 1300.
  • the model learner 1310-4 may store the learned artificial intelligence model in a memory of a server or an electronic device connected to the external server 1300 through a wired or wireless network.
  • the learning unit 1310 may include a training data preprocessor 1310-2 and a training data selection unit 1310-3 in order to improve a response result of the artificial intelligence model or to save resources or time required for generating the artificial intelligence model. ) May be further included.
  • the training data preprocessor 1310-2 may preprocess the acquired data so that the acquired data may be used for learning to acquire information including a response to the user's voice.
  • the training data preprocessor 1310-2 may process the acquired data into a preset format so that the model learner 1310-4 can use the acquired data to obtain information including a response to the user's voice. Can be.
  • the training data preprocessor 1310-2 may remove unnecessary text (eg, adverbs, interjections, etc.) when the artificial intelligence model provides a response among the input user voices.
  • the training data selector 1310-3 may select data required for learning from data acquired by the training data acquirer 1310-1 or data preprocessed by the training data preprocessor 1310-2.
  • the selected training data may be provided to the model learner 1310-4.
  • the training data selector 1310-3 may select the training data necessary for learning from the acquired or preprocessed data according to a predetermined selection criterion.
  • the training data selector 1310-3 may select the training data according to a predetermined selection criterion by learning by the model learner 1310-4.
  • the learner 1310 may further include a model evaluator 1310-5 to improve a response result of the AI model.
  • the model evaluator 1310-5 may input the evaluation data into the artificial intelligence model, and cause the model learner 1310-4 to relearn if the response result output from the evaluation data does not satisfy a predetermined criterion. have.
  • the evaluation data may be predefined data for evaluating the artificial intelligence model.
  • the model evaluator 1310-5 may determine a predetermined criterion when the number or ratio of the evaluation data whose response result is not accurate among the response results of the learned AI model for the evaluation data exceeds a preset threshold. It can be evaluated as not satisfied.
  • the model evaluator 1310-5 evaluates whether each learned AI model satisfies a predetermined criterion, and determines a model that satisfies the predetermined criterion for the final AI. Can be determined as a model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 1310-5 may determine any one or a predetermined number of models that are preset in the order of the highest evaluation score as the final artificial intelligence model.
  • FIG. 14 is a block diagram illustrating a response unit 1320 according to an embodiment of the present disclosure.
  • the response unit 1320 may include an input data acquisition unit 1320-1 and a response result providing unit 1320-4.
  • the response unit 1320 may further include at least one of an input data preprocessor 1320-2, an input data selector 1320-3, and a model updater 1320-5.
  • the input data acquirer 1320-1 may acquire data necessary for obtaining a response to the user's voice.
  • the response result providing unit 1320-4 applies the input data acquired by the input data obtaining unit 1320-1 to an artificial intelligence model trained as an input value, and provides information on a voice and an image including a response to a user's voice. Can be obtained.
  • the response result providing unit 1320-4 may apply the data selected by the input data preprocessor 1320-2 or the input data selection unit 1320-3 to be described later as an input value to the artificial intelligence model to obtain a response result. Can be.
  • the response result can be determined by the AI model.
  • the response result providing unit 1320-4 may apply the user's voice and the electronic device acquired by the input data acquisition unit 1320-1 to the learned AI model, and include a voice and an image including a response to the user's voice. Obtain information about.
  • the response unit 1320 may include an input data preprocessor 1320-2 and an input data selector 1320-3 to improve response results of the artificial intelligence model or to save resources or time for providing the response results. It may further include.
  • the input data preprocessor 1320-2 may preprocess the acquired data so that the obtained data may be used to obtain a response to the user's voice.
  • the input data preprocessor 1320-2 may process the acquired data into a predefined format so that the response result providing unit 1320-4 can use the acquired data to obtain a response to the user's voice. .
  • the input data selector 1320-3 may select data necessary for providing a response from data acquired by the input data acquirer 1320-1 or data preprocessed by the input data preprocessor 1320-2. The selected data may be provided to the response result providing unit 1320-4. The input data selector 1320-3 may select some or all of the acquired or preprocessed data according to preset selection criteria for providing a response. Also, the input data selector 1320-3 may select data according to a predetermined selection criterion by learning by the model learner 1310-4.
  • the model updater 1320-5 may control the artificial intelligence model to be updated based on the evaluation of the response result provided by the response result provider 1320-4. For example, the model updater 1320-5 provides the response result provided by the response result provider 1320-4 to the model learner 1310-4 so that the model learner 1310-4 can provide the result. You can request that the AI model be further trained or updated.
  • 15 is a diagram illustrating an example in which the electronic device 100 and an external server S learn and determine data by interworking with each other according to an embodiment of the present disclosure.
  • an external server S may learn a criterion for obtaining information including a response to a user's voice, and the electronic device 100 may be based on a learning result by the server S.
  • FIG. Responses to user voices may be provided through voice and video.
  • the model learner 1310-4 of the server S may perform a function of the learner 1310 illustrated in FIG. 13. That is, the model learner 1310-4 of the server S determines what text information or state information of the electronic device is to be used to obtain a response to the user's voice. You can learn the criteria for acquiring.
  • the response result providing unit 1320-4 of the electronic device 100 may apply the data selected by the input data selecting unit 1320-3 to the artificial intelligence model generated by the server S, thereby providing a user voice. A response can be obtained.
  • the response result providing unit 1320-4 of the electronic device 100 receives an artificial intelligence model generated by the server S from the server S, and uses the received artificial intelligence model for the user voice. A response can be obtained.
  • 16 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • the user who spoke the first user's voice is identified (S1610).
  • operation S1620 a first response sound obtained by inputting a first user's voice to an artificial intelligence model learned through an artificial intelligence algorithm is provided.
  • the second user voice is input, the user who uttered the second user voice is identified (S1630). If the user who uttered the first user voice and the user who uttered the second user voice are the same, the second response sound obtained by inputting the second user voice and the speech history information to the artificial intelligence model is provided (S1640). .
  • the method may further include providing a third response sound obtained by inputting a second user voice to the artificial intelligence model.
  • identifying the user who spoke the first user voice may include identifying the first user who spoke the first user voice and providing a first response sound (S1620).
  • identifying a user who spoke the second user voice may indicate a second user who spoke the second user voice.
  • the identification and control method may further include providing a third response sound obtained by inputting a second user voice to the artificial intelligence model, separately from the first response sound.
  • the first additional user voice when the first additional user voice is input by the first user, the first additional response sound obtained by inputting the first additional user voice and the first utterance history information corresponding to the first user voice to the artificial intelligence model is provided.
  • the second additional user voice is input by the second user, and inputs the second additional response sound obtained by inputting the second additional user voice and the second speech history information corresponding to the second user voice to the artificial intelligence model.
  • the method may further include providing the first additional response sound separately from the first additional response sound.
  • the providing of the first additional response sound may include providing a first additional response sound and displaying a first UI corresponding to the first user, and providing a second additional response sound separately from the first additional response sound. May provide a second additional response sound and display a second UI corresponding to the second user.
  • the method may further include providing a second response sound obtained by inputting the second user voice and speech history information to the artificial intelligence model.
  • the control method may include a second user voice being input within a preset first time from a time point at which the first user voice is input, and the user who spoke the first user voice and the user who spoke the second user voice are the same. If the first domain corresponding to the first user voice and the second domain corresponding to the second user voice are different from each other, the provision of the first response sound is omitted and the first user voice is stored, and the second user voice is stored in the artificial intelligence model.
  • the third response sound obtained by input may be provided.
  • the method may further include providing a first response sound obtained by inputting the first user voice to the artificial intelligence model.
  • the user may be identified based on at least one of the captured image and the input user voice.
  • identifying a user who has spoken the first user's voice may identify a user who has spoken the first user's voice based on the user's mouth included in the image during the time interval in which the first user's voice is input.
  • the user who spoke the first user voice and the second user voice may be provided. The user who has spoken can be identified as the same.
  • the electronic device when a user voice is input from each of the plurality of users, the electronic device maintains a context according to processing, reservation, or separate processing of the plurality of user voices based on the existing user voices. Can provide a response.
  • one speech history information is generated for one user, but is not limited thereto.
  • the processor may input the first user voice and the first speech into the artificial intelligence model.
  • the second response sound obtained by inputting the first user voice and the second speech history information to the first response sound and the artificial intelligence model obtained by inputting the history information may be provided. This operation may allow the processor to give the user the feeling of talking to multiple speakers.
  • the processor may acquire information such as a subject, progress completion information, ongoing information, time information, user information, last interaction information, keywords, content summary, and the like with respect to the utterance history information on which the interaction is completed, and store it in storage. Subsequently, when the user utters a user's voice searched for past utterance history information, the processor may obtain utterance history information corresponding to the user's voice based on the information stored in the storage. When the additional user voice is input, the processor may provide a response sound to the additional user voice based on the obtained speech history information. That is, the user may perform the interaction following the past speech.
  • the various embodiments described above may be implemented in software including instructions stored in a machine-readable storage media.
  • the device may be a device capable of calling a stored command from a storage medium and operating in accordance with the called command, and may include an electronic device (for example, the electronic device A) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
  • the instructions can include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish that the data is stored semi-permanently or temporarily on the storage medium.
  • the method according to the various embodiments described above may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may be distributed online in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or through an application store (eg Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg Play StoreTM
  • at least a portion of the computer program product may be stored at least temporarily on a storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • the various embodiments described above may be provided in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. It can be implemented in In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • non-transitory computer-readable medium may be stored in a non-transitory computer-readable medium.
  • the computer instructions stored in the non-transitory computer readable medium allow the specific device to perform processing operations in the device according to the above-described various embodiments when executed by the processor of the specific device.
  • a non-transitory computer readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • Specific examples of non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • each component for example, a module or a program
  • each component may be composed of a singular or plural number of objects, and some of the above-described subcomponents may be omitted or other subcomponents may be omitted. Components may be further included in various embodiments.
  • some components eg, modules or programs
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some operations may be executed in a different order, omitted, or another operation may be added. Can be.

Abstract

전자 장치가 개시된다. 본 전자 장치는 마이크, 스피커 및 마이크, 스피커와 전기적으로 연결된 프로세서를 포함하며, 프로세서는 마이크를 통해 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 사용자를 식별하고 인공지능 알고리즘을 통해 학습된 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 스피커를 통해 제공하며, 마이크를 통해 제2 사용자 음성이 입력되면, 제2 사용자 음성을 발화한 사용자를 식별하고, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 스피커를 통해 제공할 수 있다. 특히, 사용자 음성에 대한 응답 사운드를 제공하는 방법의 적어도 일부는 기계학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라 학습된 인공지능 모델이 이용될 수 있다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 사용자 음성을 인식하고, 인식된 사용자 음성에 따라 다양한 인터랙션을 제공하는 전자 장치 및 그 제어 방법에 대한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
한편, 종래에는 사용자 음성을 인식하고, 인식된 사용자 음성에 따라 다양한 인터랙션을 제공하는 전자 장치들이 개발되고 있다. 또한, 전자 장치들은 일회적인 사용자 음성에 반응한 응답을 제공할 뿐만 아니라, 연속적인 사용자 음성을 수신하고, 발화 히스토리를 반영하여 응답을 제공할 수도 있다. 이때, 연속적인 사용자 음성 사이에 다른 사용자의 사용자 음성이 수신되면 이를 구분하지 못하고, 전혀 별개의 응답을 제공하는 문제가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 복수의 사용자 각각으로부터 사용자 음성이 입력되더라도 컨텍스트(context)가 유지되는 응답을 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 마이크, 스피커 및 상기 마이크 및 상기 스피커와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는 상기 마이크를 통해 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 사용자를 식별하고 인공지능 알고리즘을 통해 학습된 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 상기 스피커를 통해 제공하며, 상기 마이크를 통해 제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 사용자를 식별하고, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 상기 스피커를 통해 제공할 수 있다.
또한, 스토리지를 더 포함하고, 상기 프로세서는 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제2 사용자 음성을 상기 스토리지에 저장하고, 상기 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 제공할 수 있다.
그리고, 상기 프로세서는 상기 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 제1 사용자를 식별하고 상기 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 상기 스피커를 통해 제공하며, 상기 제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 제2 사용자를 식별하고, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 상기 제1 응답 사운드와 구분되게 제공할 수 있다.
또한, 상기 프로세서는 상기 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제1 추가 사용자 음성 및 상기 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 상기 스피커를 통해 제공하고, 상기 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제2 추가 사용자 음성 및 상기 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 상기 스피커를 통해 상기 제1 추가 응답 사운드와 구분되게 제공할 수 있다.
그리고, 상기 프로세서와 전기적으로 연결된 디스플레이를 더 포함하고, 상기 프로세서는 상기 제1 추가 응답 사운드를 제공하며 상기 제1 사용자에 대응되는 제1 UI를 상기 디스플레이를 통해 디스플레이하고, 상기 제2 추가 응답 사운드를 제공하며 상기 제2 사용자에 대응되는 제2 UI를 상기 디스플레이를 통해 디스플레이할 수 있다.
또한, 상기 프로세서는 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인을 획득하고, 상기 제1 도메인 및 상기 제2 도메인이 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 상기 발화 히스토리 정보를 입력하여 획득된 상기 제2 응답 사운드를 상기 스피커를 통해 제공할 수 있다.
그리고, 상기 프로세서와 전기적으로 연결된 스토리지를 더 포함하고, 상기 프로세서는 상기 제2 사용자 음성이 상기 제1 사용자 음성이 입력된 시점으로부터 기설정된 제1 시간 내에 입력되고, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하며, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인이 서로 다르면, 상기 제1 응답 사운드의 제공을 생략하고 상기 제1 사용자 음성을 상기 스토리지에 저장하며, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 제공할 수 있다.
또한, 상기 프로세서는 상기 사용자로부터 상기 제2 도메인에 대응되는 사용자 음성이 기설정된 제2 시간 이상 입력되지 않으면, 상기 인공지능 모델에 상기 스토리지에 저장된 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 상기 스피커를 통해 제공할 수 있다.
그리고, 카메라를 더 포함하고, 상기 프로세서는 상기 카메라에 의해 촬영된 영상 및 상기 마이크를 통해 입력된 사용자 음성 중 적어도 하나에 기초하여 상기 사용자를 식별할 수 있다.
또한, 상기 프로세서는 상기 제1 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 사용자의 입모양에 기초하여 상기 제1 사용자 음성을 발화한 사용자를 식별하고, 상기 제2 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 상기 식별된 사용자의 입모양이 변경되면, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일한 것으로 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 사용자를 식별하는 단계, 인공지능 알고리즘을 통해 학습된 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 제공하는 단계, 제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 사용자를 식별하는 단계 및 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공하는 단계를 포함할 수 있다.
또한, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제2 사용자 음성을 저장하는 단계 및 상기 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 제1 사용자 음성을 발화한 사용자를 식별하는 단계는 상기 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 제1 사용자를 식별하고, 상기 제1 응답 사운드를 제공하는 단계는 상기 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 제공하며, 상기 제2 사용자 음성을 발화한 사용자를 식별하는 단계는 상기 제2 사용자 음성을 발화한 제2 사용자를 식별하고, 상기 제어 방법은 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 제1 응답 사운드와 구분되게 제공하는 단계를 더 포함할 수 있다.
또한, 상기 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제1 추가 사용자 음성 및 상기 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 제공하는 단계 및 상기 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제2 추가 사용자 음성 및 상기 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 상기 제1 추가 응답 사운드와 구분되게 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 제1 추가 응답 사운드를 제공하는 단계는 상기 제1 추가 응답 사운드를 제공하며 상기 제1 사용자에 대응되는 제1 UI를 디스플레이하고, 상기 제2 추가 응답 사운드를 상기 제1 추가 응답 사운드와 구분되게 제공하는 단계는 상기 제2 추가 응답 사운드를 제공하며 상기 제2 사용자에 대응되는 제2 UI를 디스플레이할 수 있다.
또한, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인을 획득하는 단계 및 상기 제1 도메인 및 상기 제2 도메인이 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 상기 발화 히스토리 정보를 입력하여 획득된 상기 제2 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 제어 방법은 상기 제2 사용자 음성이 상기 제1 사용자 음성이 입력된 시점으로부터 기설정된 제1 시간 내에 입력되고, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하며, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인이 서로 다르면, 상기 제1 응답 사운드의 제공을 생략하고 상기 제1 사용자 음성을 저장하며, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제공할 수 있다.
또한, 상기 사용자로부터 상기 제2 도메인에 대응되는 사용자 음성이 기설정된 제2 시간 이상 입력되지 않으면, 상기 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 사용자를 식별하는 단계는 촬영된 영상 및 상기 입력된 사용자 음성 중 적어도 하나에 기초하여 상기 사용자를 식별할 수 있다.
또한, 상기 제1 사용자 음성을 발화한 사용자를 식별하는 단계는 상기 제1 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 사용자의 입모양에 기초하여 상기 제1 사용자 음성을 발화한 사용자를 식별하고, 상기 제2 응답 사운드를 제공하는 단계는 상기 제2 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 상기 식별된 사용자의 입모양이 변경되면, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일한 것으로 식별할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 복수의 사용자 각각으로부터 사용자 음성이 입력되면, 기존 사용자 음성에 기초하여 복수의 사용자 음성을 처리, 유보 또는 별도 처리함에 따라 컨텍스트를 유지한 채로 응답을 제공할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시 예에 따른 복수의 사용자 음성을 처리하는 방법을 설명하기 위한 도면들이다.
도 2는 본 개시의 일 실시 예에 따른 사용자 음성에 대한 응답 사운드를 제공하는 전자 시스템을 도시한 도면이다.
도 3a는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3b는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 복수의 사용자 중 한 명의 사용자 음성 처리의 연기를 설명하기 위한 도면들이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 복수의 사용자 음성의 실시간 동시 처리 방법을 설명하기 위한 도면들이다.
도 6은 본 개시의 일 실시 예에 따른 복수의 사용자와의 통합 인터랙션을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 동일 사용자의 복수의 도메인 각각에 대응하는 복수의 사용자 음성이 입력된 경우의 동작을 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 사용자 음성을 발화한 사용자를 식별하기 위한 방법을 설명하기 위한 도면들이다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 인공지능 모델의 추가 학습을 설명하기 위한 도면들이다.
도 10은 본 개시의 일 실시 예에 따른 인공지능 모델이 저장된 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치 및 인공지능 모델이 저장된 외부 서버의 동작을 설명하기 위한 시퀀스도이다.
도 12는 본 개시의 일 실시 예에 따른 사용자 문의에 대한 응답을 제공하는 인공지능 모델을 학습하고 이용하기 위한 외부 서버의 구성을 나타내는 블록도이다.
도 13은 본 개시의 일 실시 예에 따른 학습부를 나타내는 블록도이다.
도 14는 본 개시의 일 실시 예에 따른 응답부를 나타내는 블록도이다.
도 15는 일 실시 예에 따른 전자 장치 및 외부의 서버가 서로 연동함으로써 데이터를 학습하고 판단하는 예시를 나타내는 도면이다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시 예에 따른 복수의 사용자 음성을 처리하는 방법을 설명하기 위한 도면들이다.
먼저, 도 1a에 도시된 바와 같이, 전자 장치는 사용자 A가 발화한 사용자 음성을 수신할 수 있다. 예를 들어, 전자 장치는 사용자 A가 발화한 "강남에서 동기 모임 캘린더에 입력해줘."라는 사용자 음성을 수신할 수 있다.
전자 장치는 사용자 A의 사용자 음성을 외부 서버로 전송할 수 있다. 이때, 외부 서버는 사용자 음성을 텍스트로 변환하기 위한 제1 서버 및 변환된 텍스트를 바탕으로 사용자 음성에 대한 응답 정보를 제공하기 위한 제2 서버를 포함할 수 있으나, 이는 일 실시 예에 불과할 뿐, 단일 서버로 구현될 수 있다.
외부 서버는 STT(Speech to Text) 기술을 통해 전자 장치로부터 수신된 사용자 음성을 텍스트로 변환할 수 있다. 그리고, 외부 서버는 인공지능 알고리즘을 통해 학습된 인공지능 모델에 변환된 텍스트를 입력하여 사용자 음성에 대한 응답 정보를 획득할 수 있다. 이때, 응답 정보는 사용자 음성에 대한 응답을 포함하는 음답 사운드로서, 오디오 데이터로 전자 장치로 전송될 수 있다. 또는, 응답 정보는 제2 서버에 의해 획득된 텍스트 정보로서, TTS(Text to speech) 기술을 이용하여 제1 서버에 의해 응답 사운드로 변환되어 전자 장치(100)로 전송될 수 있다. 다만, 이에 한정되는 것은 아니며, 응답 정보는 음성에 대한 정보 뿐만 아니라 영상에 대한 정보를 더 포함할 수도 있다. 이 경우, 영상에 대한 정보는 사용자 음성에 대한 응답을 포함하는 텍스트, 이미지, URL 등과 같은 정보일 수 있다. 또한, 음성에 대한 정보는 영상에 대한 정보와 동일할 수 있으나, 이는 일 실시 예에 불과할 뿐, 영상에 대한 정보 중 일부만을 포함하거나 영상에 대한 정보를 요약한 정보일 수도 있다.
외부 서버는 사용자 음성에 대한 응답 사운드를 전자 장치로 전송할 수 있다. 예를 들어, 외부 서버는 사용자 A의 사용자 음성에 대한 응답으로 "몇일/몇시인가요?"와 같은 응답 사운드를 전자 장치로 전송할 수 있다. 전자 장치는 수신된 응답 사운드를 제공할 수 있다.
다만, 외부 서버에서 응답 사운드를 제공하는 기능을 전자 장치가 수행할 수도 있다. 예를 들어, 전자 장치는 사용자 A가 발화한 사용자 음성을 텍스트로 변환하고, 인공지능 모델에 변환된 텍스트를 입력하여 사용자 음성에 대한 응답 정보를 획득하며, 응답 정보를 응답 사운드로 변경하여 사용자 A에게 제공할 수도 있다.
이후, 전자 장치는 사용자 B가 발화한 사용자 음성을 수신할 수 있다. 예를 들어, 전자 장치는 사용자 B가 발화한 "오늘 날씨 어때?"라는 사용자 음성을 수신할 수 있다.
전자 장치는 사용자 A의 사용자 음성 및 사용자 B의 사용자 음성을 비교하여 사용자의 동일 여부를 판단할 수 있다. 예를 들어, 전자 장치는 사용자 A의 사용자 음성 및 사용자 B의 사용자 음성 각각의 보이스 프린트에 기초하여 사용자의 동일 여부를 판단할 수 있다. 전자 장치는 사용자가 달라진 경우, 사용자 B의 사용자 음성을 스토리지에 저장하고 외부 서버로 전송하지 않을 수 있다.
또는, 외부 서버가 사용자의 동일 여부를 판단할 수도 있다. 예를 들어, 전자 장치는 사용자의 동일 여부에 대한 판단 없이, 사용자 B의 사용자 음성을 외부 서버로 전송할 수 있다. 외부 서버는 수신된 사용자 B의 사용자 음성을 이전의 사용자 A의 사용자 음성과 비교하여 사용자의 동일 여부를 판단할 수 있다. 외부 서버는 사용자가 달라진 경우, 사용자 B의 사용자 음성을 스토리지에 저장할 수 있다. 이 경우, 외부 서버는 사용자 B의 사용자 음성에 대한 응답 사운드를 생성하지 않을 수 있다. 전자 장치는 외부 서버로부터 아무런 정보를 수신하지 못하며, 사용자 B의 사용자 음성에 대한 응답 사운드를 제공하지 않을 수 없다. 또는, 외부 서버는 사용자 A에 대한 응답을 제공하는 상황이며, 사용자 B의 대기를 안내하는 응답 사운드를 전자 장치로 전송할 수도 있다. 전자 장치는 수신된 응답 사운드를 사용자 B에게 제공할 수도 있다.
이후, 전자 장치는 사용자 A가 발화한 사용자 음성을 수신할 수 있다. 예를 들어, 전자 장치는 사용자 A가 발화한 "이번달 17일 3시."라는 사용자 음성을 수신할 수 있다.
전자 장치는 이상과 같은 방법으로 사용자 A의 사용자 음성에 대한 응답 사운드를 제공할 수 있다. 예를 들어, 전자 장치는 사용자 A의 사용자 음성에 대해 "12월 17일 3시로 등록했습니다."와 같은 응답 사운드를 제공할 수 있다.
이후, 도 1b에 도시된 바와 같이, 전자 장치는 사용자 A로부터 기설정된 시간 동안 사용자 음성이 입력되지 않으면, 사용자 B가 발화한 "오늘 날씨 어때?"라는 사용자 음성을 외부 서버로 전송할 수 있다. 외부 서버는 이상과 같은 방법으로 사용자 B의 사용자 음성에 대한 "아까 물어보신 오늘 날씨는 맑음입니다."와 같은 응답 사운드를 전자 장치로 전송할 수 있다. 전자 장치는 수신된 응답 사운드를 사용자 B에게 제공할 수 있다. 여기서, 전자 장치는 사용자 B의 존재를 식별하고, 응답 사운드를 제공할 수 있다. 전자 장치는 사용자 B의 존재가 식별되지 않으면, 응답 사운드를 스토리지에 저장하고, 이후 사용자 B의 존재가 식별되면 응답 사운드를 제공할 수도 있다.
또는, 외부 서버가 사용자 B의 사용자 음성을 저장하고 있고, 외부 서버가 "12월 17일 3시로 등록했습니다."와 같은 응답 사운드를 전자 장치로 제공하는 경우, 외부 서버는 사용자 A와의 인터랙션이 종료된 것으로 판단할 수 있다. 외부 서버는 사용자 A와의 인터랙션이 종료된 것으로 판단되면, 스토리지에 저장된 사용자 B의 사용자 음성에 대한 "아까 물어보신 오늘 날씨는 맑음입니다."와 같은 응답 사운드를 전자 장치로 전송할 수도 있다.
한편, 상술한 바와 같은 외부 서버가 제공하는 학습된 모델은 인공지능 알고리즘 기반으로 학습된 판단 모델로서, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 학습된 판단 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한 학습된 판단 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 학습된 판단 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
또한, 전자 장치는 상술한 바와 같이 사용자 음성에 대한 응답을 음성 및 영상으로 제공받기 위하여, 인공지능 전용 프로그램(또는 인공지능 에이전트, Artificial intelligence agent)인 개인 비서 프로그램을 이용할 수 있다. 이때, 개인 비서 프로그램은 AI(Artificial Intelligence) 기반의 서비스를 제공하기 위한 전용 프로그램으로서, 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU 등)에 의해 실행될 수 있다.
구체적으로, 기설정된 사용자 입력(예를 들어, 전자 장치를 지칭하는 텍스트에 대응되는 사용자 발화 등)이 입력되거나 전자 장치에 구비된 버튼(예를 들어, 인공지능 에이전트를 실행하기 위한 버튼)이 눌러지는 경우, 인공지능 에이전트가 동작(또는 실행)할 수 있다. 그리고, 인공지능 에이전트는 입력된 사용자 음성을 외부 서버로 전송하고, 외부 서버로부터 수신된 음성에 대한 정보를 바탕으로 사용자 음성에 대한 응답 사운드를 스피커를 통해 제공하고, 외부 서버로부터 수신된 영상에 대한 정보를 바탕으로 사용자 음성에 대한 응답을 포함하는 가이드 화면을 제공할 수 있다.
물론, 화면 상에 기설정된 사용자 입력이 감지되거나 전자 장치에 구비된 버튼(예를 들어, 인공지능 에이전트를 실행하기 위한 버튼)이 눌러지면, 인공지능 에이전트가 동작할 수도 있다. 또는, 인공지능 에이전트는 기설정된 사용자 입력이 감지되거나 전자 장치에 구비된 버튼이 선택되기 이전에 기 실행된 상태일 수도 있다. 이 경우, 기설정된 사용자 입력이 감지되거나 전자 장치에 구비된 버튼이 선택된 이후에는 전자 장치의 인공지능 에이전트가 사용자 음성에 대한 응답을 포함하는 음성 및 영상을 제공할 수 있다. 또한, 인공지능 에이전트는 기설정된 사용자 입력이 감지되거나 전자 장치에 구비된 버튼이 선택되기 이전에 대기 상태일 수 있다. 여기서, 대기 상태란, 인공지능 에이전트의 동작 시작을 제어하기 위해 미리 정의된 사용자 입력이 수신되는 것을 감지하는 상태이다. 인공지능 에이전트가 대기 상태인 동안 기설정된 사용자 입력이 감지되거나 전자 장치에 구비된 버튼이 선택되면, 전자 장치는 인공지능 에이전트를 동작시키고, 사용자 음성에 대한 응답을 포함하는 음성 및 영상을 제공할 수 있다.
본 개시의 또 다른 실시 예로, 전자 장치가 직접 인공지능 모델을 이용하여 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득하는 경우, 인공지능 에이전트는 인공지능 모델을 제어하여 음성 및 영상에 대한 정보를 획득할 수 있다. 이때, 인공지능 에이전트는 상술한 외부 서버의 동작을 수행할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 사용자 음성에 대한 응답 사운드를 제공하는 전자 시스템을 도시한 도면이다. 도 2에 도시된 바와 같이, 전자 시스템은 전자 장치(100) 및 외부 서버(200)를 포함할 수 있다.
전자 장치(100)는 인공지능 전용 프로그램을 저장할 수 있다. 여기서, 인공 지능 전용 프로그램은 다양한 방식으로 구현될 수 있다.
먼저, 제1 방식에 따른 인공지능 전용 프로그램은 사용자 음성을 수신하고, 사용자 음성에 대한 응답 사운드를 제공하기 위해 전자 장치(100)를 이용할 수 있다. 이 경우, 전자 장치(100)는 입력된 사용자 음성을 외부 서버(200)로 전송하고, 외부 서버(200)로부터 사용자 음성에 대한 응답 사운드를 수신하고, 수신된 응답 사운드를 사용자에게 제공할 수 있다.
외부 서버(200)는 전자 장치(100)로부터 수신된 사용자 음성으로부터 사용자를 식별할 수 있다. 예를 들어, 외부 서버(200)는 사용자 음성의 보이스 프린트로부터 사용자를 식별할 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자 음성으로 사용자를 식별할 수 있는 방법이라면 어떠한 것이라고 무방하다.
그리고, 외부 서버(200)는 사용자 음성의 도메인을 결정할 수 있다. 예를 들어, 외부 서버(200)는 "오늘 날씨 어때?"와 같은 사용자 음성이 수신되면, 수신된 사용자 음성의 도메인이 정보 요청 도메인인 것으로 식별할 수 있다. 또는, 외부 서버(200)는 "최신 음악 틀어줘"와 같은 사용자 음성이 수신되면, 수신된 사용자 음성의 도메인이 기기 제어 도메인인 것으로 식별할 수 있다.
또한, 외부 서버(200)는 수신된 사용자 음성이 발화 히스토리 정보와 컨텍스트가 일치하는지 판단할 수 있다. 예를 들어, 외부 서버(200)는 "오늘 날씨 어때?"와 같은 사용자 음성이 수신된 후, "내일은?"과 같은 사용자 음성이 수신되면 컨텍스트가 일치하는 것으로 판단할 수 있다. 또는, 외부 서버(200)는 "오늘 날씨 어때?"와 같은 사용자 음성이 수신된 후, "지금 TV에서 뭐해?"와 같은 사용자 음성이 수신되면 컨텍스트가 불일치하는 것으로 판단할 수 있다.
외부 서버(200)는 식별된 사용자, 수신된 음성의 도메인 및 컨텍스트 일치 여부 등에 기초하여 응답 정보를 생성할 수 있다. 즉, 식별된 사용자, 수신된 음성의 도메인 및 컨텍스트 일치 여부 등의 정보는 사용자 음성과 함께 외부 서버(200)에 저장된 인공지능 모델에 입력될 수 있다.
다만, 이는 일 실시 예에 불과하고, 인공지능 모델에는 사용자 음성만이 입력될 수도 있다. 예를 들어, 인공지능 모델은 입력된 사용자 음성으로부터 사용자를 식별하는 제1 인공지능 서브 모델 및 사용자 음성으로부터 응답 정보를 생성하는 제2 인공지능 서브 모델을 포함할 수 있다.
이 경우, 제2 인공지능 서브 모델은 사용자 음성의 도메인 및 컨텍스트 일치 여부 등을 판단하지 않을 수 있다. 다만, 제2 인공지능 서브 모델의 학습 과정에서 이용된 샘플 대화 패턴 등은 일반적으로 도메인 및 컨텍스트가 일치되는 대화 패턴일 수 있다. 그에 따라, 도메인 또는 컨텍스트가 발화 히스토리 정보와 다른 사용자 음성이 입력되면 제2 인공지능 서브 모델은 입력된 사용자 음성을 별도 처리하거나 사용자 음성의 처리를 유예할 수 있다.
즉, 외부 서버(200)는 인공지능 모델을 이용하는 경우, 사용자 음성의 도메인 및 컨텍스트를 구체적으로 결정하지 않을 수 있다. 다만, 외부 서버(200)는 학습 과정에서 이용된 샘플 대화 패턴 등의 영향으로 사용자 음성의 도메인 및 컨텍스트 등이 실질적으로 반영된 응답 정보를 생성할 수 있다.
외부 서버(200)는 생성된 응답 정보를 응답 사운드로 변경하고, 응답 사운드를 전자 장치(100)로 전송할 수 있다.
한편, 제2 방식에 따른 인공지능 전용 프로그램은 사용자 음성을 수신하고, 사용자를 식별하며, 사용자 음성에 대한 응답 사운드를 제공하기 위해 전자 장치(100)를 이용할 수 있다. 이 경우, 전자 장치(100)는 입력된 사용자 음성을 발화한 사용자을 식별하고, 입력된 사용자 음성 및 식별된 사용자 정보를 외부 서버(200)로 전송할 수 있다. 그리고, 전자 장치(100)는 외부 서버(200)로부터 사용자 음성에 대한 응답 사운드를 수신하고, 수신된 응답 사운드를 사용자에게 제공할 수 있다.
외부 서버(200)는 사용자 음성 및 사용자 정보를 인공지능 알고리즘에 입력하여 응답 정보를 생성할 수 있다. 이때, 외부 서버(200)는 사용자 정보에 기초하여 발화 히스토리 정보를 관리할 수 있다. 예를 들어, 외부 서버(200)는 사용자 A 및 사용자 A의 사용자 음성이 수신되면, 사용자 A의 발화 히스토리 정보 및 사용자 A의 사용자 음성을 인공지능 알고리즘에 입력하여 응답 정보를 생성하고, 사용자 B 및 사용자 B의 사용자 음성이 수신되면, 사용자 B의 발화 히스토리 정보 및 사용자 B의 사용자 음성을 인공지능 알고리즘에 입력하여 응답 정보를 생성할 수 있다.
외부 서버(200)는 생성된 응답 정보를 응답 사운드로 변경하고, 응답 사운드를 전자 장치(100)로 전송할 수 있다.
한편, 제3 방식에 따른 인공지능 전용 프로그램은 인공지능 모델을 포함하는 프로그램일 수 있다. 이 경우, 전자 장치(100)는 입력된 사용자 음성을 발화한 사용자을 식별하고, 입력된 사용자 음성 및 식별된 사용자 정보를 인공지능 모델에 입력하여 응답 정보를 생성할 수 있다. 전자 장치(100)는 응답 정보를 응답 사운드로 변경하고, 응답 사운드를 스피커를 통해 출력할 수 있다. 즉, 전자 장치(100)는 외부 서버(200) 없이 사용자 음성에 대한 응답 사운드를 제공할 수 있다.
도 3a는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
도 3a에 도시된 바와 같이, 전자 장치(100)는 마이크(110), 스피커(120) 및 프로세서(130)를 포함할 수 있다.
전자 장치(100)는 사용자 음성을 수신하고, 수신된 사용자 음성에 따라 다양한 인터랙션을 제공하는 장치일 수 있다. 예를 들어, 전자 장치(100)는 스피커, 노트북 PC, 태블릿 PC, 스마트폰 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 사용자 음성을 수신하고, 그에 따른 응답 사운드를 제공할 수 있는 장치이면 어떠한 것이라도 무방하다.
또한, 전자 장치(100)는 스피커(120) 대신 디스플레이를 포함하는 장치일 수도 있다. 이 경우, 전자 장치(100)는 사용자 음성을 수신하고, 수신된 사용자 음성에 따른 인터랙션을 디스플레이를 통해 제공할 수도 있다. 그 밖에 전자 장치(100)는 사용자 음성을 수신하고, 수신된 사용자 음성에 대한 응답 정보를 제공할 수 있는 장치라면 어떠한 장치라도 무방하다.
마이크(110)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 마이크(110)는 프로세서(130)와 전기적으로 연결되며, 프로세서(130)의 제어에 의해 사용자 음성을 수신할 수 있다.
마이크(110)는 복수의 서브 마이크를 포함할 수 있다. 예를 들어, 마이크(110)는 전자 장치(100)의 전후좌우에 각각 하나의 서브 마이크를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 하나의 마이크(110)만을 포함할 수도 있다.
스피커(120)는 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다. 스피커(120)는 프로세서(130)와 전기적으로 연결되며, 프로세서(130)의 제어에 의해 응답 사운드를 출력할 수 있다.
스피커(120)는 복수의 서브 스피커를 포함할 수 있다. 예를 들어, 스피커(120)는 전자 장치(100)의 좌우에 각각 하나의 서브 스피커를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 하나의 스피커(120)만을 포함할 수도 있다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 마이크(110)를 통해 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 사용자를 식별하고 인공지능 알고리즘을 통해 학습된 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 스피커(120)를 통해 제공할 수 있다.
여기서, 인공지능 모델은 전자 장치(100)에 저장되어 있을 수 있고, 이 경우 프로세서(130)는 제1 사용자 음성을 인공지능 모델에 입력하여 제1 응답 사운드를 획득할 수 있다.
또는, 인공지능 모델은 외부 서버(200)에 저장되어 있을 수 있고, 이 경우 프로세서(130)는 제1 사용자 음성을 외부 서버(200)로 전송하고, 제1 사용자 음성을 인공지능 모델에 입력하여 획득된 제1 응답 사운드를 외부 서버로(200)로부터 수신할 수 있다.
프로세서(130)는 마이크(110)를 통해 제2 사용자 음성이 입력되면, 제2 사용자 음성을 발화한 사용자를 식별하고, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 스피커(120)를 통해 제공할 수 있다.
예를 들어, 프로세서(130)는 제1 사용자 음성을 발화한 사용자가 발화한 제2 사용자 음성을 수신할 수 있고, 이 경우 프로세서(130)는 인공지능 모델에 제2 사용자 음성 뿐만 아니라 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공할 수 있다. 즉, 제2 응답 사운드는 현재 입력된 사용자 음성 뿐만 아니라 그 이전에 입력된 사용자 음성 및 사용자 음성에 따른 응답 정보를 모두 반영하여 획득될 수 있다.
여기서, 전자 장치(100)는 카메라를 더 포함하고, 프로세서(130)는 카메라에 의해 촬영된 영상 및 마이크를 통해 입력된 사용자 음성 중 적어도 하나에 기초하여 사용자를 식별할 수 있다.
구체적으로, 프로세서(130)는 제1 사용자 음성이 입력되는 시간 구간 동안 영상에 포함된 사용자의 얼굴을 식별하여 제1 사용자 음성을 발화한 사용자를 식별할 수 있다.
또는, 프로세서(130)는 제1 사용자 음성이 입력되는 시간 구간 동안 영상에 포함된 사용자의 입모양에 기초하여 제1 사용자 음성을 발화한 사용자를 식별할 수도 있다.
예를 들어, 프로세서(130)는 카메라를 통해 실시간 촬영을 수행하며, 제1 사용자 음성이 입력되는 시간 구간 동안 실시간 촬영 중인 영상에 포함된 복수의 사용자 중 입모양의 변경이 있는 사용자를 제1 사용자 음성을 발화한 사용자로서 식별할 수 있다.
그리고, 프로세서(130)는 제2 사용자 음성이 입력되는 시간 구간 동안 영상에 포함된 식별된 사용자의 입모양이 변경되면, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일한 것으로 식별할 수 있다.
또는, 프로세서(130)는 스피커(120)를 이용해 사용자의 동일 여부를 식별할 수도 있다. 예를 들어, 스피커(120)는 복수의 서브 스피커를 포함하며, 프로세서(130)는 제1 사용자 음성이 입력되면 복수의 서브 스피커를 이용하여 제1 사용자 음성을 발화한 사용자의 위치를 식별할 수 있다.
그리고, 프로세서(130)는 제2 사용자 음성이 입력되면 복수의 서브 스피커를 이용하여 제2 사용자 음성을 발화한 사용자의 위치를 식별할 수 있으며, 이전에 식별된 사용자의 위치와 비교하여 사용자의 변경 여부를 판단할 수 있다.
또는, 프로세서(130)는 사용자 음성의 보이스 프린트를 통해 사용자를 식별할 수도 있다. 예를 들어, 전자 장치(100)는 프로세서(130)와 전기적으로 연결된 스토리지를 더 포함하고, 프로세서(130)는 복수의 사용자 음성 각각의 주파수 분석을 수행하고, 복수의 사용자 각각의 주파수 특성을 스토리지에 저장할 수 있다. 이후, 프로세서(130)는 제1 사용자 음성이 입력되면 제1 사용자 음성의 주파수 분석을 수행하고, 스토리지에 저장된 정보에 기초하여 제1 사용자 음성을 발화한 사용자를 식별할 수 있다. 프로세서(130)는 제2 사용자 음성에 대하여도 동일한 동작을 수행하고, 식별된 사용자의 동일 여부를 판단할 수 있다.
한편, 보이스 프린트를 이용하는 동작은 외부 서버(200)에서 수행될 수도 있다. 이 경우, 전자 장치(100)는 사용자를 식별하는 동작을 수행하지 않고, 입력된 사용자 음성을 외부 서버(200)로 전송할 수 있다. 외부 서버(200)는 수신된 사용자 음성의 주파수 분석을 수행하여 수신된 사용자 음성을 발화한 사용자를 식별할 수 있다.
또는, 프로세서(130)는 입력된 사용자 음성을 발화한 사용자를 식별하지 않고, 남/여 구분, 아이/성인/노인 구분 및 출신 지역 등을 식별할 수 있다. 예를 들어, 프로세서(130)는 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 사용자가 남자 성인이고, 표준어를 사용하는 점을 식별할 수 있다. 그리고, 프로세서(130)는 제2 사용자 음성이 입력되면, 제2 사용자 음성을 발화한 사용자가 여자 성인이고, 표준어를 사용하는 점을 식별할 수 있다. 이 경우, 프로세서(130)는 사용자가 동일하지 않음을 식별할 수 있다.
한편, 사용자 음성에 대한 남/여 구분, 아이/성인/노인 구분 및 출신 지역 등을 식별은 외부 서버(200)에서 수행될 수도 있다. 이 경우, 전자 장치(100)는 사용자를 식별하는 동작을 수행하지 않고, 입력된 사용자 음성을 외부 서버(200)로 전송할 수 있다. 외부 서버(200)는 수신된 사용자 음성을 이용하여 남/여 구분, 아이/성인/노인 구분 및 출신 지역 등을 식별하고, 사용자의 동일 여부를 판단할 수도 있다.
한편, 이상에서 프로세서(100)는 사용자 음성이 입력된 시점으로부터 기설정된 시간 동안은 입력된 사용자 음성 및 사용자 음성에 대한 응답 사운드를 발화 히스토리 정보로서 스토리지에 저장할 수 있다. 예를 들어, 프로세서(100)는 "내일 날씨 어때?"와 같은 사용자 음성이 입력되면, 사용자 음성에 대한 "내일 날씨는 맑음입니다."와 같은 응답 사운드를 제공하고, 사용자 음성이 입력된 시점으로부터 10분 동안 인터랙션 정보를 발화 히스토리 정보로서 스토리지에 저장할 수 있다. 프로세서(130)는 사용자 음성이 입력된 시점으로부터 10분 내에 동일한 사용자로부터 추가 사용자 음성이 입력되면, 인공지능 모델에 추가 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 응답 사운드를 제공할 수 있다. 또는, 프로세서(130)는 사용자 음성이 입력된 시점으로부터 10분이 경과한 후 동일한 사용자로부터 추가 사용자 음성이 입력되면, 추가 사용자 음성을 발화한 사용자와 최초 사용자 음성을 발화한 사용자의 동일 여부를 판단하지 않고, 인공지능 모델에 추가 사용자 음성만을 입력하여 획득된 응답 사운드를 제공할 수 있다. 즉, 프로세서(130)는 사용자 음성이 입력된 시점으로부터 기설정된 시간 동안 추가 사용자 음성이 입력된 경우에만 추가 사용자 음성을 발화한 사용자와 최초 사용자 음성을 발화한 사용자의 동일 여부를 판단할 수 있다.
프로세서(130)는 사용자 음성이 입력된 시점으로부터 기설정된 시간 이내에 추가 사용자 음성이 입력되면, 기설정된 시간의 시작 시점을 추가 사용자 음성이 입력된 시점으로 변경할 수 있다. 예를 들어, 프로세서(130)는 오후 6시에 제1 사용자 음성이 입력되고, 제1 사용자 음성이 입력된 오후 6시로부터 기설정된 시간 10분 내인 오후 6시 5분에 제2 사용자 음성이 입력되면, 오후 6시 5분부터 기설정된 시간 10분 이후인 오후 6시 15분까지 발화 히스토리 정보를 저장할 수 있다. 여기서, 발화 히스토리 정보는 제1 사용자 음성, 제1 사용자 음성에 대한 제1 응답 사운드, 제2 사용자 음성, 제2 사용자 음성에 대한 제2 응답 사운드를 포함할 수 있다. 즉, 프로세서(130)는 사용자가 연속적으로 사용자 음성을 발화하여 발화 히스토리 정보를 저장하는 시간이 연장되면, 연장된 시간까지의 발화 히스토리 정보가 스토리지에 저장된 상태로 유지될 수 있다.
다만, 이에 한정되는 것은 아니며, 사용자가 연속적으로 사용자 음성을 발화하여 발화 히스토리 정보를 저장하는 시간이 연장되더라도, 연장된 시간까지의 발화 히스토리 정보가 스토리지에 저장된 상태로 유지되지 않을 수도 있다. 예를 들어, 프로세서(130)는 사용자가 연속적으로 사용자 음성을 발화하여 발화 히스토리 정보를 저장하는 시간이 연장되는 경우, 현재 시점으로부터 기설정된 시간 이전의 시점부터 현재 시점까지의 사용자 음성 및 응답 사운드만을 발화 히스토리 정보로서 저장할 수 있다. 즉, 프로세서(130)는 발화 히스토리 정보 중 발화 시점으로부터 기설정된 시간이 경과한 사용자 음성 및 사운드 제공 시점으로부터 기설정된 시간이 경과한 응답 사운드는 스토리지에서 삭제할 수도 있다.
한편, 전자 장치(100)가 인공지능 모델을 저장하고 있는 경우, 스토리지는 사용자 별 발화 히스토리 정보를 시간 순으로 구분하여 저장할 수 있다. 예를 들어, 스토리지는 사용자 A의 2017년 1월 1일의 발화 히스토리 정보, 2017년 1월 5일의 발화 히스토리 정보 및 사용자 B의 2017년 1월 4일의 발화 히스토리 정보 등을 저장할 수 있다. 프로세서(130)는 스토리지에 저장된 발화 히스토리 정보 중 기설정된 시간이 경과한 발화 히스토리 정보를 외부 서버(200)로 전송할 수 있다. 프로세서(130)는 필요에 따라 외부 서버(200)로 전송한 발화 히스토리 정보를 외부 서버(200)로부터 수신할 수 있다. 프로세서(130)는 외부 서버(200)로 발화 히스토리 정보를 전송하기 전, 발화 히스토리 정보의 키워드 등을 추출하고, 추출된 키워드를 스토리지에 저장한 후 발화 히스토리 정보를 외부 서버(200)로 전송할 수도 있다. 추출된 키워드는 추후 사용자가 과거 발화 히스토리 정보를 검색하는 경우에 이용될 수 있다.
예를 들어, 사용자가 "5년 전쯤 제주도에서 가려고 검색했던 음식점이 뭐였더라?"와 같은 사용자 음성을 발화하면, 프로세서(130)는 제주도 및 음식점을 키워드로 5년 이전의 키워드를 검색하고, 대응되는 발화 히스토리 정보를 외부 서버(200)로부터 수신할 수 있다. 프로세서(130)는 외부 서버(200)로부터 수신한 발화 히스토리 정보로부터 사용자가 원하는 정보를 제공할 수 있다.
한편, 전자 장치(100)는 스토리지를 더 포함하고, 프로세서(130)는 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 제2 사용자 음성을 스토리지에 저장하고, 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 스피커(120)를 통해 제공할 수 있다.
예를 들어, 프로세서(130)는 사용자 A가 제1 사용자 음성을 발화한 시점으로부터 기설정된 시간 이내에 사용자 B가 제2 사용자 음성을 발화하면 사용자의 동일 여부를 판단하고, 사용자가 동일하지 않다고 판단되면 사용자 B의 제2 사용자 음성을 스토리지에 저장할 수 있다. 즉, 프로세서(130)는 사용자 B의 제2 사용자 음성에 대한 응답 사운드를 제공을 연기할 수 있다. 그리고, 프로세서(130)는 사용자 A가 제1 사용자 음성을 발화한 시점으로부터 기설정된 시간이 경과되기 전까지 사용자 A의 추가 사용자 음성이 입력되지 않으면, 제1 사용자 음성을 발화한 시점으로부터 기설정된 시간이 경과된 후 제2 사용자 음성에 대한 응답 사운드를 제공할 수 있다. 여기서, 제2 사용자 음성에 대한 응답 사운드는 사용자 A에 의한 발화 히스토리 정보가 삭제된 상태에서 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 응답 사운드일 수 있다.
한편, 프로세서(130)는 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 제1 사용자를 식별하고 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 스피커(120)를 통해 제공하며, 제2 사용자 음성이 입력되면, 제2 사용자 음성을 발화한 제2 사용자를 식별하고, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 스피커(120)를 통해 제1 응답 사운드와 구분되게 제공할 수 있다. 즉, 프로세서(130)는 복수의 사용자 음성을 구분하여 실시간으로 처리하며, 처리된 결과의 제공 상태를 서로 다르게 할 수 있다.
예를 들어, 프로세서(130)는 사용자 A의 "오늘 날씨 어때?"에 대한 제1 응답 사운드로 "오늘 날씨는 맑음입니다."를 남자 목소리로 제공하고, 사용자 B의 "오늘 밤에 영화 뭐해?"에 대한 제2 응답 사운드로 "오늘 밤에는 영화를 하지 않습니다."를 여자 목소리로 제공할 수 있다. 여기서, 제2 응답 사운드는 사용자 A의 발화 히스토리 정보를 반영하지 않고, 사용자 B의 사용자 음성에만 기초하여 획득된 응답 사운드일 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 얼마든지 다른 방법으로 사용자 음성에 대한 응답 정보의 제공 상태를 다르게 제공할 수 있다. 예를 들어, 전자 장치(100)는 프로세서(130)와 전기적으로 연결된 디스플레이를 더 포함하고, 프로세서(130)는 사용자 A의 "오늘 날씨 어때?"에 대한 제1 응답으로 "오늘 날씨는 맑음입니다."를 디스플레이를 통해 디스플레이하고, 사용자 B의 "오늘 밤에 영화 뭐해?"에 대한 제2 응답 사운드로 "오늘 밤에는 영화를 하지 않습니다."를 스피커(120)를 통해 제공할 수도 있다.
또는, 프로세서(130)는 사용자 A의 "오늘 날씨 어때?"에 대한 제1 응답으로 "오늘 날씨는 맑음입니다."와 사용자 B의 "오늘 밤에 영화 뭐해?"에 대한 제2 응답으로 "오늘 밤에는 영화를 하지 않습니다."를 모두 디스플레이할 수 있으며, 사용자들이 응답의 대상을 식별할 수 있도록 제1 응답과 제2 응답의 배경 화면 색상을 다르게 디스플레이할 수도 있다.
한편, 프로세서(130)는 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 인공지능 모델에 제1 추가 사용자 음성 및 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 스피커(120)를 통해 제공하고, 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 인공지능 모델에 제2 추가 사용자 음성 및 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 스피커(120)를 통해 제1 추가 응답 사운드와 구분되게 제공할 수 있다.
그리고, 프로세서(130)는 제1 추가 응답 사운드를 제공하며 제1 사용자에 대응되는 제1 UI를 디스플레이를 통해 디스플레이하고, 제2 추가 응답 사운드를 제공하며 제2 사용자에 대응되는 제2 UI를 디스플레이를 통해 디스플레이할 수 있다.
예를 들어, 프로세서(130)는 제1 추가 응답 사운드를 제공하며 제1 사용자의 이미지를 디스플레이를 통해 디스플레이하고, 제2 추가 응답 사운드를 제공하며 제2 사용자의 이미지를 디스플레이를 통해 디스플레이할 수 있다.
한편, 인공지능 알고리즘이 저장된 외부 서버(200)를 이용하여 사용자별로 응답 사운드를 제공하는 경우, 프로세서(130)는 사용자 음성을 식별된 사용자 정보와 함께 외부 서버(200)로 전송할 수 있다. 외부 서버(200)는 수신된 사용자 정보에 기초하여 사용자 별로 발화 히스토리 정보를 생성하고, 인공지능 모델에 사용자 음성과 대응되는 발화 히스토리 정보를 입력하여 획득된 응답 사운드를 전자 장치(100)로 전송할 수 있다. 이때, 외부 서버(200)는 응답 사운드 뿐만 아니라 응답 사운드의 대상에 대한 사용자 정보를 전자 장치(100)로 전송할 수 있다.
전자 장치(100)는 수신된 사용자 정보에 기초하여 응답 사운드를 다른 사용자의 응답 사운드와 구분되게 제공할 수 있다.
한편, 프로세서(130)는 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 제1 사용자 음성에 대응되는 제1 도메인 및 제2 사용자 음성에 대응되는 제2 도메인을 획득하고, 제1 도메인 및 제2 도메인이 동일하면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 스피커(120)를 통해 제공할 수도 있다.
예를 들어, 프로세서(130)는 사용자 A의 "오늘 날씨 어때?"와 같은 제1 사용자 음성에 대한 제1 응답 사운드로 "오늘 오후에는 비가 옵니다."를 스피커(120)를 통해 제공하고, 사용자 B의 "우산 챙겨야 해?"와 같은 제2 사용자 음성이 입력되면, 사용자의 동일 여부를 판단할 수 있다. 프로세서(130)는 사용자가 동일하지 않다고 판단되면, 제1 사용자 음성의 도메인 및 제2 사용자 음성의 도메인이 모두 정보 요청 도메인임을 획득할 수 있다. 프로세서(130)는 제1 사용자 음성 및 제2 사용자 음성의 도메인이 동일하다고 판단되면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 "네. 오늘은 우산을 챙기세요."와 같은 제2 응답 사운드를 제공할 수 있다.
상술한 예에서 사용자 B가 "음악 틀어줘."와 같은 제2 사용자 음성을 발화하면, 프로세서(130)는 사용자의 동일 여부를 판단할 수 있다. 프로세서(130)는 사용자가 동일하지 않다고 판단되면, 제1 사용자 음성의 도메인이 정보 요청 도메인임을 획득하고, 제2 사용자 음성의 도메인이 기기 제어 도메인임을 획득할 수 있다. 프로세서(130)는 제1 사용자 음성 및 제2 사용자 음성의 도메인이 다르다고 판단되면, 제2 사용자 음성의 처리를 연기할 수 있다. 또는, 프로세서(130)는 인공지능 모델에 제2 사용자 음성만을 입력하여 획득된 "네. 최신곡을 틀겠습니다."와 같은 제2 응답 사운드를 제1 응답 사운드와 구분되게 제공할 수도 있다.
또한, 프로세서(130)는 도메인 뿐만 아니라 컨텍스트를 더 고려할 수도 있다. 예를 들어, 프로세서(130)는 제1 사용자 음성과 제2 사용자 음성이 도메인이 동일하더라도 컨텍스트가 다르면, 제2 사용자 음성의 처리를 연기할 수 있다. 또는, 프로세서(130)는 인공지능 모델에 제2 사용자 음성만을 입력하여 획득된 제2 응답 사운드를 제1 응답 사운드와 구분되게 제공할 수도 있다.
한편, 프로세서(130)는 제2 사용자 음성이 제1 사용자 음성이 입력된 시점으로부터 기설정된 제1 시간 내에 입력되고, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하며, 제1 사용자 음성에 대응되는 제1 도메인 및 제2 사용자 음성에 대응되는 제2 도메인이 서로 다르면, 제1 응답 사운드의 제공을 생략하고 제1 사용자 음성을 스토리지에 저장하며, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 스피커를 통해 제공할 수 있다. 여기서, 기설정된 제1 시간은 상술한 발화 히스토리 정보의 저장이 유지되는 시간보다 짧을 수 있다.
예를 들어, 프로세서(130)는 사용자 A의 "TV 틀어줘."와 같은 제1 사용자 음성이 입력된 후 1초 내에 동일 사용자 A의 제1 사용자 음성과 도메인이 다른 "참. 오늘 약속 장소가 어디지?"와 같은 제2 사용자 음성이 입력되면, 제1 사용자 음성을 스토리지에 저장하고, 제2 사용자 음성에 대한 제3 응답 사운드로 "시청 앞입니다."를 제공할 수 있다.
그리고, 프로세서(130)는 사용자로부터 제2 도메인에 대응되는 사용자 음성이 기설정된 제2 시간 이상 입력되지 않으면, 인공지능 모델에 스토리지에 저장된 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 스피커(120)를 통해 제공할 수 있다. 여기서, 기설정된 제2 시간은 상술한 발화 히스토리 정보의 저장이 유지되는 시간과 동일하고, 기설정된 제1 시간보다 긴 시간일 수 있다. 다만, 이에 한정되는 것은 아니며, 기설정된 제2 시간은 상술한 발화 히스토리 정보의 저장이 유지되는 시간과는 상관이 없고, 기설정된 제1 시간보다 긴 시간일 수도 있다.
또는, 상술한 예에서, 프로세서(130)는 제2 사용자 음성이 제1 사용자 음성에 의한 컨텍스트와 일치하는지를 판단하고, 컨텍스트가 다르면 제1 응답 사운드의 제공을 생략하고 제1 사용자 음성을 스토리지에 저장하며, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 스피커를 통해 제공할 수도 있다.
한편, 전자 장치(100) 또는 외부 서버(200)에 저장된 인공지능 알고리즘은 사용자 음성의 도메인을 획득하기 위한 제1 인공지능 알고리즘 및 사용자 음성 간 컨텍스트의 일치 여부를 판단하기 위한 제2 인공지능 알고리즘 중 적어도 하나를 포함할 수도 있다. 이 경우, 응답 정보의 획득 전에 도메인 및 컨텍스트의 일치 여부에 대한 판단이 선행될 수 있다.
또는, 전자 장치(100) 또는 외부 서버(200)에 저장된 인공지능 알고리즘은 사용자 음성의 도메인을 획득하거나 사용자 음성 간 컨텍스트의 일치 여부를 판단하기 위한 별도의 인공지능 알고리즘을 포함하지 않을 수도 있다. 이 경우, 인공지능 알고리즘은 그 자체로서 도메인 및 컨텍스트 중 적어도 하나를 반영한 응답 사운드를 제공할 수도 있다.
도 3b는 본 개시의 일 실시 예에 따른 전자 장치(100)의 세부 구성을 나타내는 블럭도이다. 전자 장치(100)는 마이크(110), 스피커(120) 및 프로세서(130)를 포함할 수 있다. 또한, 도 3b에 따르면, 전자 장치(100)는 통신부(140), 스토리지(145), 디스플레이(150), 사용자 인터페이스부(155), 카메라(160), 오디오 처리부(170), 비디오 처리부(180), 버튼(190)을 더 포함할 수도 있다. 도 3b에 도시된 구성요소들 중 도 3a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 스토리지(145)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 스토리지(145)에 액세스하여, 스토리지(145)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(145)에 저장된 각종 프로그램 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 스토리지(145)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 스토리지(145)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(150)의 디스플레이 영역 내에 표시된다.
한편, 상술한 프로세서(130)의 동작은 스토리지(145)에 저장된 프로그램에 의해 이루어질 수 있다.
스토리지(145)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 인공지능 모듈, 인공지능 전용 프로그램 모듈, 발화 히스토리 모듈, 사용자 식별 모듈, 도메인 식별 모듈 및 컨텍스트 식별 모듈 등과 같이 다양한 데이터를 저장한다.
통신부(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(140)는 와이파이 칩(141), 블루투스 칩(142), 무선 통신 칩(143), NFC 칩(144) 등을 포함한다. 프로세서(130)는 통신부(140)를 이용하여 각종 외부 장치와 통신을 수행한다.
와이파이 칩(141), 블루투스 칩(142)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(141)이나 블루투스 칩(142)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(143)은 IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(144)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
또한, 통신부(140)는 HDMI, MHL, USB, DP, 썬더볼트, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 더 포함할 수 있다. 프로세서(130)는 통신부(140)의 유선 통신 인터페이스를 통해 외부 서버(200)와 연결될 수도 있다.
디스플레이(150)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(150) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(150)는 터치 감지부와 결합하여 터치 스크린으로 구현될 수 있다.
사용자 인터페이스부(155)는 다양한 사용자 인터랙션(interaction)을 수신한다. 여기서, 사용자 인터페이스부(155)는 전자 장치(100)의 구현 예에 따라 다양한 형태로 구현 가능하다. 예를 들어, 사용자 인터페이스부(155)는 전자 장치(100)에 구비된 버튼, 사용자 음성을 수신하는 마이크, 사용자 모션을 감지하는 카메라 등일 수 있다. 또는, 전자 장치(100)가 터치 기반의 단말 장치로 구현되는 경우 사용자 인터페이스부(155)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수도 있다. 이 경우, 사용자 인터페이스부(155)는 상술한 디스플레이(150)로 사용될 수 있게 된다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(170)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(180)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
버튼(190)은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
이상과 같은 방법을 통해 프로세서(130)는 사용자가 변경되더라도 컨텍스트가 유지된 응답 정보를 제공할 수 있다.
이하에서는 도면을 통해 전자 장치(100)의 동작을 구체적으로 설명한다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 복수의 사용자 중 한 명의 사용자 음성 처리의 연기를 설명하기 위한 도면들이다.
도 4a에 도시된 바와 같이, 프로세서(130)는 사용자 A의 "강남에서 동기모임 캘린더에 입력해줘."와 같은 제1 사용자 음성이 입력되면, 사용자 A를 식별하고 제1 사용자 음성에 대해 "몇일/몇시 인가요?"와 같은 제1 응답 사운드를 제공할 수 있다.
그리고, 프로세서(130)는 사용자 B의 "불고기 피자 구매해줘."와 같은 제2 사용자 음성이 입력되면, 사용자 B를 식별하고, 식별된 사용자 B가 사용자 A와 다른 사람이므로 제2 사용자 음성을 스토리지(145)에 저장할 수 있다. 이때, 프로세서(130)는 제2 사용자 음성 뿐만 아니라 제2 사용자 음성을 발화한 사용자 B에 대한 정보도 스토리지(145)에 저장할 수도 있다.
그리고, 프로세서(130)는 사용자 A의 "7월 7일이야."와 같은 제3 사용자 음성이 입력되면, 사용자 A를 식별하고, 제1 사용자 음성을 발화한 사용자 A와 동일하므로 제3 사용자 음성에 대해 "7월 7일로 등록했습니다."와 같은 제2 응답 사운드를 제공할 수 있다.
이후, 도 4b에 도시된 바와 같이, 프로세서(130)는 사용자 A의 인터랙션이 종료된 것으로 판단되면, 제2 사용자 음성에 대해 "죄송합니다. 어제는 아버지와 대화 태스크 중이라 대응을 못해드렸네요. 구매 요청하신 피자는 구매리스트에 넣었습니다. 몇 개 주문할까요?"와 같은 제3 응답 사운드를 제공할 수 있다. 이때, 프로세서(130)는 제2 사용자가 주변에 있음을 감지한 후, 제3 응답 사운드를 제공할 수 있다.
여기서, 프로세서(130)는 사용자 A가 감지되지 않거나 사용자 A로부터 기설정된 시간 동안 사용자 음성이 입력되지 않는 경우에 사용자 A의 인터랙션이 종료된 것으로 판단할 수 있다.
이후, 프로세서(130)는 사용자 B의 "상황 이해해. 괜찮아. 3개 주문해줘."와 같은 제4 사용자 음성이 입력되면, 사용자 B를 식별하고, 제2 사용자 음성을 발화한 사용자 B와 동일하므로 제4 사용자 음성에 대해 "네 처리하였습니다."와 같은 제4 응답 사운드를 제공할 수 있다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 복수의 사용자 음성의 실시간 동시 처리 방법을 설명하기 위한 도면들이다.
도 5a에 도시된 바와 같이, 프로세서(130)는 사용자 A의 "결혼식 언제야?"와 같은 제1 사용자 음성이 입력되면, 사용자 A를 식별하고 제1 사용자 음성에 대해 "7월 7일입니다."와 같은 제1 응답 사운드를 제공할 수 있다.
그리고, 프로세서(130)는 사용자 B의 "오늘 날씨 어때?"와 같은 제2 사용자 음성이 입력되면, 사용자 B를 식별하고, 식별된 사용자 B가 사용자 A와 다른 사람이므로 제1 사용자 음성 및 제1 응답 사운드를 포함하는 제1 발화 히스토리 정보와 무관하게 제2 사용자 음성만을 고려하여 "오늘 날씨는 흐림입니다."와 같은 제2 응답 사운드를 제공할 수 있다.
이때, 프로세서(130)는 제1 응답 사운드와는 다른 방식으로 제2 응답 사운드를 제공할 수 있다. 예를 들어, 프로세서(130)는 제1 응답 사운드를 남자 목소리로 제공하고, 제2 응답 사운드를 여자 목소리로 제공할 수 있다.
또는, 프로세서(130)는 식별된 사용자가 스토리지(145)에 기저장되어 있는 사용자라면, 사용자 이름, ID 등을 포함시켜 응답 사운드를 제공할 수도 있다. 예를 들어, 사용자 A가 "Park"이라는 ID로 스토리지(145)에 기저장되어 있고, 사용자 B가 "Kim"이라는 ID로 스토리지(145)에 기저장되어 있으면, 프로세서(130)는 "Park님. 7월 7일입니다."와 같은 제1 응답 사운드 및 "Kim님. 오늘 날씨는 흐림입니다."와 같은 제2 응답 사운드를 제공할 수도 있다.
또는, 프로세서(130)는 도 5b 및 도 5c와 같이, 제공되는 응답 사운드의 대상에 따라 서로 다른 색상을 디스플레이하도록 디스플레이(150)를 제어할 수도 있다. 또는, 전자 장치(130)는 LED를 포함하고, 프로세서(130)는 제공되는 응답 사운드의 대상에 따라 서로 다른 색상의 광을 방출하도록 LED를 제어할 수도 있다. 또는, 전자 장치(130)는 복수의 LED를 포함하고, 프로세서(130)는 제공되는 응답 사운드의 대상에 따라 복수의 LED 중 하나가 턴온되도록 LED를 제어할 수도 있다.
그리고, 프로세서(130)는 사용자 A의 "7월 14일로 변경해줘."와 같은 제3 사용자 음성이 입력되면, 사용자 A를 식별하고, 제1 사용자 음성을 발화한 사용자 A와 동일하므로 제1 발화 히스토리 정보에 기초하여 제3 사용자 음성에 대해 "변경했습니다."와 같은 제3 응답 사운드를 제공할 수 있다.
한편, 이상에서 도 4a 및 도 4b는 복수의 사용자 음성의 입력이 있더라도 한 명의 사용자 음성에 대하여만 처리하는 실시 예이고, 도 5a 내지 도 5c는 복수의 사용자 음성의 입력을 각각 구분하여 처리하는 실시 예이다. 전자 장치(100)는 도 4a 및 도 4b와 같은 개인 모드 및 도 5a 내지 도 5c와 같은 공동 모드를 제공하며, 프로세서(130)는 사용자의 모드 선택에 따라 개인 모드 또는 공동 모드로 동작할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 복수의 사용자와의 통합 인터랙션을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 프로세서(130)는 사용자 A의 "강남에서 동기모임 캘린더에 입력해줘."와 같은 제1 사용자 음성이 입력되면, 사용자 A를 식별하고 제1 사용자 음성에 대해 "몇일/몇시 인가요?"와 같은 제1 응답 사운드를 제공할 수 있다.
그리고, 프로세서(130)는 사용자 B의 "7월 7일 월요일이 동기모임이야."와 같은 제2 사용자 음성이 입력되면, 사용자 B를 식별하고, 식별된 사용자 B가 사용자 A와 다른 사람이나, 제1 사용자 음성 및 제2 사용자 음성의 컨텍스트가 일치하므로 제1 사용자 음성 및 제1 응답 사운드를 포함하는 제1 발화 히스토리 정보 및 제2 사용자 음성을 고려하여 "7월 7일로 등록했습니다."와 같은 제2 응답 사운드를 제공할 수 있다.
프로세서(130)는 제1 사용자 음성 및 제2 사용자 음성의 컨텍스트가 일치하는지 불명확하면, 사용자들에게 문의하는 응답 사운드를 제공할 수도 있다. 예를 들어, 프로세서(130)는 제1 사용자 음성 및 제2 사용자 음성의 컨텍스트가 일치하는지 불명확하면, "7월 7일 월요일 동기모임이 강남에서 동기모임인가요?"와 같은 제3 응답 사운드를 제공할 수도 있다.
한편, 프로세서(130)는 도 6과 같이 통합 인터랙션을 수행하다가 복수의 사용자의 사용자 음성 간 컨텍스트가 변경되면, 공동 모드로 동작할 수도 있다. 또는, 프로세서(130)는 공동 모드로 동작하다가 복수의 사용자의 사용자 음성 간 컨텍스트가 일치하면, 통합 인터랙션을 수행할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 동일 사용자의 복수의 도메인 각각에 대응하는 복수의 사용자 음성이 입력된 경우의 동작을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 프로세서(130)는 사용자 A의 "큰방 TV 시청할 때면 다른 방 불 꺼주고 이 방은 시원하고 어둡게 해줘."와 같은 제1 사용자 음성이 입력되고, 곧바로 "참. 다음 주말에 결혼식 일정 등록해줘."와 같은 제2 사용자 음성이 입력되면, 제1 사용자 음성 및 제2 사용자 음성을 발화한 사용자 A를 식별하고 늦게 입력된 제2 사용자 음성에 대해 "무슨 요일, 몇시인가요?"와 같은 제1 응답 사운드를 제공할 수 있다. 이때, 프로세서(130)는 제1 사용자 음성을 스토리지(145)에 저장할 수 있다. 또는, 프로세서(130)는 제1 사용자 음성 뿐만 아니라 제1 사용자 음성을 발화한 사용자 A에 대한 정보도 스토리지(145)에 저장할 수도 있다.
그리고, 프로세서(130)는 사용자 A의 "토요일 12시."와 같은 제3 사용자 음성이 입력되면, 사용자 A를 식별하고, 제1 사용자 음성을 발화한 사용자 A와 동일하므로 제2 사용자 음성 및 제1 응답 사운드를 포함하는 제1 발화 히스토리 정보에 기초하여 제3 사용자 음성에 대해 "네. 결혼식 일정 등록했습니다."와 같은 제2 응답 사운드를 제공할 수 있다.
프로세서(130)는 사용자 음성에 따른 특정 동작을 완료함 따라 사용자와의 인터랙션이 종료된 것으로 판단할 수 있다. 이상의 예에서 프로세서(130)는 결혼식 일정 등록을 완료함에 따라 사용자 A의 제1 인터랙션이 종료된 것으로 판단할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 사용자가 감지되지 않거나, 동일 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않은 경우에도 사용자와의 인터랙션이 종료된 것으로 판단할 수도 있다. 또는, 프로세서(130)는 사용자의 종료 명령에 따라 사용자와의 인터랙션이 종료된 것으로 판단할 수도 있다.
프로세서(130)는 사용자와의 인터랙션이 종료된 것으로 판단되면, 스토리지(145)에 저장된 사용자 음성을 획득하고, 새로운 인터랙션을 시작할 수 있다. 이상의 예에서 프로세서(130)는 스토리지(145)에 저장된 제1 사용자 음성을 획득하고, 제1 사용자 음성에 대해 "이전에 요청하셨던 내용에서 거실과 복도 불도 함께 끌까요?"와 같은 제3 응답 사운드를 제공할 수 있다.
이때, 프로세서(130)는 스토리지(145)에 저장된 사용자 음성을 발화한 사용자가 감지되는 경우, 새로운 인터랙션을 시작할 수도 있다. 이상의 예에서 프로세서(130)는 스토리지(145)에 저장된 제1 사용자 음성을 획득하더라도 제1 사용자 음성을 발화한 사용자 A가 감지되지 않으면, 새로운 인터랙션을 시작하지 않을 수 있다.
이후, 프로세서(130)는 사용자 A의 "거실은 끄고 복도는 켜줘."와 같은 제4 사용자 음성이 입력되면, 제4 사용자 음성에 대해 "네. 알겠습니다."와 같은 제4 응답 사운드를 제공할 수 있다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 사용자 음성을 발화한 사용자를 식별하기 위한 방법을 설명하기 위한 도면들이다.
도 8a에 도시된 바와 같이, 프로세서(130)는 사용자 음성이 입력되면, 카메라(160)에 의해 촬영된 영상(810)으로부터 사용자를 식별할 수 있다. 또는, 프로세서(130)는 사용자 음성이 입력되면, 카메라(160)에 의해 촬영된 영상(810)으로부터 사용자의 입모양이 움직이는 사용자를 사용자 음성을 발화한 사용자로서 식별할 수도 있다.
또는, 도 8b에 도시된 바와 같이, 스피커(110)는 서로 이격되어 설치된 복수의 서브 스피커(110-1, 110-2, 110-3, 110-4)를 포함하고, 프로세서(130)는 복수의 서브 스피커(110-1, 110-2, 110-3, 110-4)를 이용하여 사용자 음성이 발화된 제1 위치를 추정할 수 있다. 그리고, 프로세서(130)는 추가 사용자 음성이 입력되면 추가 사용자 음성이 발화된 제2 위치를 추정하고, 제2 위치가 제1 위치로부터 기설정된 거리 이내이면 동일한 사용자로 식별할 수 있다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 인공지능 모델의 추가 학습을 설명하기 위한 도면들이다.
상술한 바와 같이 전자 장치(100) 또는 외부 서버(200)에 저장된 인공지능 모델은 샘플 대화 패턴 등을 이용하여 기 학습된 상태일 수 있다. 이후, 인공지능 모델은 사용자의 인터랙션에 기초하여 재학습될 수 있다. 여기서, 재학습은 샘플 대화 패턴에 의해 학습된 인공지능 모델은 사용자와의 인터랙션에 기초하여 추가로 학습하여 인공지능 모델을 업데이트하는 것을 의미한다.
도 9a에 도시된 바와 같이, 프로세서(130)는 사용자 A의 "지금 TV에서 뭐해?"와 같은 제1 사용자 음성이 입력되면, 제1 사용자 음성에 대해 "뉴스9 합니다."와 같은 제1 응답 사운드를 제공할 수 있다.
그리고, 프로세서(130)는 사용자 A의 "영화는 안해?"와 같은 제2 사용자 음성이 입력되면, 제1 사용자 음성, 제1 응답 사운드 및 제2 사용자 음성에 기초하여 인공지능 모델의 재학습을 수행할 수 있다.
예를 들어, 재학습된 인공지능 모델은 사용자가 영화를 선호하는 점이 반영된 인공지능 모델일 수 있다.
도 9b는 도 9a와 동일한 상황을 전제하였으며, 도 9a는 재학습 전의 인공지능 모델을 이용한 경우의 도면이고 도 9b는 재학습된 인공지능 모델을 이용한 경우의 도면이다.
도 9b에 도시된 바와 같이, 재학습된 인공지능 모델을 이용하면, 프로세서(130)는 사용자 A의 "지금 TV에서 뭐해?"와 같은 제1 사용자 음성이 입력되면, 제1 사용자 음성에 대해 "영화는 안하고 미드합니다."와 같은 제2 응답 사운드를 제공할 수 있다.
한편, 도 9a 및 도 9b에서는 설명의 편의를 위해 전자 장치(100)가 인공지능 모델을 저장한 것으로 설명하였으나, 인공지능 모델이 외부 서버(200)에 저장된 경우에도 이상의 재학습 방법은 동일하게 적용될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 인공지능 모델이 저장된 전자 장치(100)의 동작을 설명하기 위한 흐름도이다.
먼저, 프로세서(130)는 사용자 음성을 수신한다(S1010). 그리고, 프로세서(130)는 사용자를 감지한다(S1020). 그리고, 프로세서(130)는 이전 사용자와 동일한 사용자인지 판단하여(S1030), 동일한 사용자이면 발화 히스토리 정보에 기초하여 사용자 음성을 처리한다(S1050).
프로세서(130)는 동일한 사용자가 아니면 이전 도메인과 동일한 도메인인지 판단하고(S1040), 동일한 도메인이면 발화 히스토리 정보에 기초하여 사용자 음성을 처리한다(S1050). 프로세서(130)는 동일한 도메인이 아니면 발화 히스토리 정보를 고려하지 않고 사용자 음성을 처리한다(S1060).
그리고, 프로세서(130)는 음성 처리에 따른 응답 사운드를 제공한다(S1070).
도 11은 본 개시의 일 실시 예에 따른 전자 장치(100) 및 인공지능 모델이 저장된 외부 서버(200)의 동작을 설명하기 위한 시퀀스도이다.
먼저, 전자 장치(100)는 사용자 음성을 수신하고(S1110), 사용자를 감지한다(S1120). 그리고, 전자 장치(100)는 사용자 정보 및 사용자 음성을 외부 서버(200)로 전송한다(S1130).
외부 서버(200)는 사용자 정보에 기초하여 사용자 음성에 대응되는 응답 정보를 생성한다(S1140). 그리고, 외부 서버(200)는 응답 정보를 전자 장치(100)로 전송한다(S1150).
그리고, 전자 장치(100)는 응답 사운드를 제공한다(S1160).
도 12는 본 개시의 일 실시 예에 따른 사용자 문의에 대한 응답을 제공하는 인공지능 모델을 학습하고 이용하기 위한 외부 서버(1300)의 구성을 나타내는 블록도이다.
도 12를 참조하면, 외부 서버(1300)는 학습부(1310) 및 응답부(1320) 중 적어도 하나를 포함할 수 있다. 도 12의 외부 서버(1300)는 도 2의 외부 서버(200)에 대응될 수 있다.
학습부(1310)는 학습 데이터를 이용하여 사용자 음성에 대한 응답을 제공하기 위한 기준을 갖는 인공지능 모델을 생성 또는 학습시킬 수 있다. 학습부(1310)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 판단 모델을 생성할 수 있다.
일 예로, 학습부(1310)는 사용자 음성을 학습 데이터로 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득하도록 학습할 수 있다. 또한, 학습부(1310)는 사용자 음성과 전자 장치의 상태 정보를 학습 데이터로서 이용하여 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 제공하기 위한 인공지능 모델을 생성, 학습 또는 갱신시킬 수 있다.
응답부(1320)는 소정의 데이터를 학습된 인공지능 모델의 입력 데이터로 사용하여, 소정의 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득할 수 있다.
일 예로, 응답부(1320)는 사용자 음성 및 전자 장치의 상태 정보를 학습된 인공지능 모델의 입력 데이터로 사용하여 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득(또는, 추정, 추론)할 수 있다.
본 개시의 일 실시 예로, 학습부(1310) 및 응답부(1320)는 외부 서버(1300)에 포함될 수 있으나, 이는 일 실시 예에 불과할 뿐, 전자 장치(100) 내부에 탑재될 수 있다. 구체적으로, 학습부(1310)의 적어도 일부 및 응답부(1320)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(1310) 및 응답부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(1310) 및 응답부(1320)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
　이 경우, 학습부(1310) 및 응답부(1320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(1310) 및 응답부(1320) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부의 서버에 포함될 수 있다. 또한, 학습부(1310) 및 응답부(1320)는 유선 또는 무선으로 통하여, 학습부(1310)가 구축한 모델 정보를 응답부(1320)로 제공할 수도 있고, 학습부(1320)로 입력된 데이터가 추가 학습 데이터로서 학습부(1310)로 제공될 수도 있다.
도 13은 본 개시의 일 실시 예에 따른 학습부(1310)를 나타내는 블록도이다.
도 13을 참조하면, 일부 실시 예에 따른 학습부(1310)는 학습 데이터 획득부(1310-1) 및 모델 학습부(1310-4)를 포함할 수 있다. 또한, 학습부(1310)는 학습 데이터 전처리부(1310-2), 학습 데이터 선택부(1310-3) 및 모델 평가부(1310-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(1310-1)는 사용자 음성에 대한 응답을 획득하기 위한 인공지능 모델에 필요한 학습 데이터를 획득할 수 있다. 본 개시의 실시 예로, 학습 데이터 획득부(1310-1)는 사용자 음성을 학습 데이터로서 획득할 수 있다. 또한, 학습 데이터 획득부(1310-1)는 사용자 음성에 대한 구체적인 응답을 획득하기 위해 필요한 정보(예로, 전자 장치의 상태 정보)를 학습 데이터로서 획득할 수 있다. 학습 데이터는 학습부(1310) 또는 학습부(1310)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(1310-4)는 학습 데이터를 이용하여, 인공지능 모델이 사용자 음성에 대한 응답을 획득하는 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(1310-4)는 학습 데이터 중 적어도 일부를 사용자 음성에 대한 응답을 획득하기 위한 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또는, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 응답을 제공하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 응답 제공의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 인공지능 모델을 학습시킬 수 있다
또한, 모델 학습부(1310-4)는 입력 데이터를 이용하여 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 제공하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 선별 기준을 학습할 수도 있다.
모델 학습부(1310-4)는 미리 구축된 인공지능 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 인공지능 모델을 학습할 인공지능 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입별로 기 분류되어 있을 수 있으며, 인공지능 모델은 데이터의 타입별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
인공지능 모델이 학습되면, 모델 학습부(1310-4)는 학습된 인공지능 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 인공지능 모델을 외부 서버(1300)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 인공지능 모델을 외부 서버(1300)와 유선 또는 무선 네트워크로 연결되는 서버 또는 전자 장치의 메모리에 저장할 수도 있다.
학습부(1310)는 인공지능 모델의 응답 결과를 향상시키거나, 인공지능 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(1310-2) 및 학습 데이터 선택부(1310-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(1310-2)는 사용자 음성에 대한 응답을 포함하는 정보를 획득하기 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(1310-2)는 모델 학습부(1310-4)가 사용자 음성에 대한 응답을 포함하는 정보를 획득하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 학습 데이터 전처리부(1310-2)는 입력된 사용자 음성 중 인공지능 모델이 응답을 제공하 때 필요없는 텍스트(예를 들어, 부사,감탄사 등)를 제거할 수 있다.
학습 데이터 선택부(1310-3)는 학습 데이터 획득부(1310-1)에서 획득된 데이터 또는 학습 데이터 전처리부(1310-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(1310)는 인공지능 모델의 응답 결과를 향상시키기 위하여, 모델 평가부(1310-5)를 더 포함할 수도 있다.
모델 평가부(1310-5)는 인공지능 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 응답 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인공지능 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 인공지능 모델의 응답 결과 중에서, 응답 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 인공지능 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 인공지능 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 인공지능 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 인공지능 모델로서 결정할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 응답부(1320)를 나타내는 블록도이다.
도 14를 참조하면, 일부 실시 예에 따른 응답부(1320)는 입력 데이터 획득부(1320-1) 및 응답 결과 제공부(1320-4)를 포함할 수 있다.
또한, 응답부(1320)는 입력 데이터 전처리부(1320-2), 입력 데이터 선택부(1320-3) 및 모델 갱신부(1320-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
입력 데이터 획득부(1320-1)는 사용자 음성에 대한 응답을 획득하기 위해 필요한 데이터를 획득할 수 있다. 응답 결과 제공부(1320-4)는 입력 데이터 획득부(1320-1)에서 획득된 입력 데이터를 입력 값으로 학습된 인공지능 모델에 적용하여 사용자 음서엥 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득할 수 있다. 응답 결과 제공부(1320-4)는 후술할 입력 데이터 전처리부(1320-2) 또는 입력 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 인공지능 모델에 적용하여 응답 결과를 획득할 수 있다. 응답 결과는 인공지능 모델에 의해 결정될 수 있다.
일 실시 예로, 응답 결과 제공부(1320-4)는 입력 데이터 획득부(1320-1)에서 획득한 사용자 음성 및 전자 장치를 학습된 인공지능 모델 적용하여 사용자 음성에 대한 응답을 포함하는 음성 및 영상에 대한 정보를 획득할 수 있다.
응답부(1320)는 인공지능 모델의 응답 결과를 향상시키거나, 응답 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 입력 데이터 전처리부(1320-2) 및 입력 데이터 선택부(1320-3)를 더 포함할 수도 있다.
입력 데이터 전처리부(1320-2)는 사용자 음성에 대한 응답을 획득하기 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 입력 데이터 전처리부(1320-2)는 응답 결과 제공부(1320-4)가 사용자 음성에 대한 응답을 획득하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
입력 데이터 선택부(1320-3)는 입력 데이터 획득부(1320-1)에서 획득된 데이터 또는 입력 데이터 전처리부(1320-2)에서 전처리된 데이터 중에서 응답 제공에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 응답 결과 제공부(1320-4)에게 제공될 수 있다. 입력 데이터 선택부(1320-3)는 응답 제공을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 입력 데이터 선택부(1320-3)는 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(1320-5)는 응답 결과 제공부(1320-4)에 의해 제공되는 응답 결과에 대한 평가에 기초하여, 인공지능 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 응답 결과 제공부(1320-4)에 의해 제공되는 응답 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 인공지능 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
도 15는 일 실시 예에 따른 전자 장치(100) 및 외부의 서버(S)가 서로 연동함으로써 데이터를 학습하고 판단하는 예시를 나타내는 도면이다.
도 15를 참조하면, 외부의 서버(S)는 사용자 음성에 대한 응답을 포함하는 정보르 획득하기 위한 기준을 학습할 수 있으며, 전자 장치(100)는 서버(S)에 의한 학습 결과에 기초하여 사용자 음성에 대한 응답을 음성 및 영상을 통해 제공할 수 있다.
이 경우, 서버(S)의 모델 학습부(1310-4)는 도 13에 도시된 학습부(1310)의 기능을 수행할 수 있다. 즉, 서버(S)의 모델 학습부(1310-4)는 사용자 음성에 대한 응답을 획득하기 위하여 어떤 텍스트 정보 혹은 전자 장치의 상태 정보를 이용할지, 상기 정보를 이용하여 사용자 음성에 대한 응답을 어떻게 획득할지에 관한 기준을 학습할 수 있다.
또한, 전자 장치(100)의 응답 결과 제공부(1320-4)는 입력 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(S)에 의해 생성된 인공지능 모델에 적용하여 사용자 음성에 대한 응답을 획득할 수 있다. 또는, 전자 장치(100)의 응답 결과 제공부(1320-4)는 서버(S)에 의해 생성된 인공지능 모델을 서버(S)로부터 수신하고, 수신된 인공지능 모델을 이용하여 사용자 음성에 대한 응답을 획득할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 사용자를 식별한다(S1610). 그리고, 인공지능 알고리즘을 통해 학습된 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 제공한다(S1620). 그리고, 제2 사용자 음성이 입력되면, 제2 사용자 음성을 발화한 사용자를 식별한다(S1630). 그리고, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공한다(S1640).
여기서, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 제2 사용자 음성을 저장하는 단계 및 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
한편, 제1 사용자 음성을 발화한 사용자를 식별하는 단계(S1610)는 제1 사용자 음성이 입력되면, 제1 사용자 음성을 발화한 제1 사용자를 식별하고, 제1 응답 사운드를 제공하는 단계(S1620)는 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 제공하며, 제2 사용자 음성을 발화한 사용자를 식별하는 단계(S1630)는 제2 사용자 음성을 발화한 제2 사용자를 식별하고, 제어 방법은 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제1 응답 사운드와 구분되게 제공하는 단계를 더 포함할 수 있다.
여기서, 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 인공지능 모델에 제1 추가 사용자 음성 및 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 제공하는 단계 및 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 인공지능 모델에 제2 추가 사용자 음성 및 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 제1 추가 응답 사운드와 구분되게 제공하는 단계를 더 포함할 수 있다.
그리고, 제1 추가 응답 사운드를 제공하는 단계는 제1 추가 응답 사운드를 제공하며 제1 사용자에 대응되는 제1 UI를 디스플레이하고, 제2 추가 응답 사운드를 제1 추가 응답 사운드와 구분되게 제공하는 단계는 제2 추가 응답 사운드를 제공하며 제2 사용자에 대응되는 제2 UI를 디스플레이할 수 있다.
한편, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 제1 사용자 음성에 대응되는 제1 도메인 및 제2 사용자 음성에 대응되는 제2 도메인을 획득하는 단계 및 제1 도메인 및 제2 도메인이 동일하면, 인공지능 모델에 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
또한, 제어 방법은 제2 사용자 음성이 제1 사용자 음성이 입력된 시점으로부터 기설정된 제1 시간 내에 입력되고, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일하며, 제1 사용자 음성에 대응되는 제1 도메인 및 제2 사용자 음성에 대응되는 제2 도메인이 서로 다르면, 제1 응답 사운드의 제공을 생략하고 제1 사용자 음성을 저장하며, 인공지능 모델에 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제공할 수 있다.
여기서, 사용자로부터 제2 도메인에 대응되는 사용자 음성이 기설정된 제2 시간 이상 입력되지 않으면, 인공지능 모델에 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 제공하는 단계를 더 포함할 수 있다.
한편, 사용자를 식별하는 단계(S1610, S1630)는 촬영된 영상 및 입력된 사용자 음성 중 적어도 하나에 기초하여 사용자를 식별할 수 있다.
여기서, 제1 사용자 음성을 발화한 사용자를 식별하는 단계(S1610)는 제1 사용자 음성이 입력되는 시간 구간 동안 영상에 포함된 사용자의 입모양에 기초하여 제1 사용자 음성을 발화한 사용자를 식별하고, 제2 응답 사운드를 제공하는 단계(S1640)는 제2 사용자 음성이 입력되는 시간 구간 동안 영상에 포함된 식별된 사용자의 입모양이 변경되면, 제1 사용자 음성을 발화한 사용자와 제2 사용자 음성을 발화한 사용자가 동일한 것으로 식별할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 복수의 사용자 각각으로부터 사용자 음성이 입력되면, 기존 사용자 음성에 기초하여 복수의 사용자 음성을 처리, 유보 또는 별도 처리함에 따라 컨텍스트를 유지한 채로 응답을 제공할 수 있다.
한편, 이상에서는 한 명의 사용자에 대하여 하나의 발화 히스토리 정보가 생성되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서는 사용자 A의 제1 발화 히스토리 정보 및 사용자 B의 제2 발화 히스토리 정보가 저장된 상태에서 사용자 A의 제1 사용자 음성을 입력되면, 인공지능 모델에 제1 사용자 음성 및 제1 발화 히스토리 정보를 입력하여 획득된 제1 응답 사운드 및 인공지능 모델에 제1 사용자 음성 및 제2 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공할 수 있다. 이러한 동작을 통해 프로세서는 사용자에게 복수의 화자와 이야기하는 느낌을 제공할 수도 있다.
한편, 프로세서는 인터랙션이 완료된 발화 히스토리 정보에 대하여 주제, 진행 완료 정보, 진행 중인 정보, 시간 정보, 사용자 정보, 마지막 인터랙션 정보, 키워드 및 내용 요약 등의 정보를 획득하고, 이를 스토리지에 저장할 수 있다. 이후, 사용자가 과거 발화 히스토리 정보를 써칭하는 사용자 음성을 발화하면, 프로세서는 스토리지에 저장된 정보에 기초하여 사용자 음성에 대응되는 발화 히스토리 정보를 획득할 수 있다. 그리고, 프로세서는 추가 사용자 음성이 입력되면, 획득된 발화 히스토리 정보에 기초하여 추가 사용자 음성에 대한 응답 사운드를 제공할 수 있다. 즉, 사용자는 과거 발화에 이어서 인터랙션을 수행할 수도 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    마이크;
    스피커; 및
    상기 마이크 및 상기 스피커와 전기적으로 연결된 프로세서;를 포함하며,
    상기 프로세서는,
    상기 마이크를 통해 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 사용자를 식별하고 인공지능 알고리즘을 통해 학습된 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 상기 스피커를 통해 제공하며,
    상기 마이크를 통해 제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 사용자를 식별하고, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 상기 스피커를 통해 제공하는, 전자 장치.
  2. 제1항에 있어서,
    스토리지;를 더 포함하고,
    상기 프로세서는,
    상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제2 사용자 음성을 상기 스토리지에 저장하고,
    상기 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 제공하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 제1 사용자를 식별하고 상기 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 상기 스피커를 통해 제공하며,
    상기 제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 제2 사용자를 식별하고, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 상기 제1 응답 사운드와 구분되게 제공하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제1 추가 사용자 음성 및 상기 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 상기 스피커를 통해 제공하고,
    상기 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제2 추가 사용자 음성 및 상기 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 상기 스피커를 통해 상기 제1 추가 응답 사운드와 구분되게 제공하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서와 전기적으로 연결된 디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 제1 추가 응답 사운드를 제공하며 상기 제1 사용자에 대응되는 제1 UI를 상기 디스플레이를 통해 디스플레이하고,
    상기 제2 추가 응답 사운드를 제공하며 상기 제2 사용자에 대응되는 제2 UI를 상기 디스플레이를 통해 디스플레이하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인을 획득하고,
    상기 제1 도메인 및 상기 제2 도메인이 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 상기 발화 히스토리 정보를 입력하여 획득된 상기 제2 응답 사운드를 상기 스피커를 통해 제공하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서와 전기적으로 연결된 스토리지;를 더 포함하고,
    상기 프로세서는,
    상기 제2 사용자 음성이 상기 제1 사용자 음성이 입력된 시점으로부터 기설정된 제1 시간 내에 입력되고, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하며, 상기 제1 사용자 음성에 대응되는 제1 도메인 및 상기 제2 사용자 음성에 대응되는 제2 도메인이 서로 다르면, 상기 제1 응답 사운드의 제공을 생략하고 상기 제1 사용자 음성을 상기 스토리지에 저장하며, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 스피커를 통해 제공하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 사용자로부터 상기 제2 도메인에 대응되는 사용자 음성이 기설정된 제2 시간 이상 입력되지 않으면, 상기 인공지능 모델에 상기 스토리지에 저장된 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 상기 스피커를 통해 제공하는, 전자 장치.
  9. 제1항에 있어서,
    카메라;를 더 포함하고,
    상기 프로세서는,
    상기 카메라에 의해 촬영된 영상 및 상기 마이크를 통해 입력된 사용자 음성 중 적어도 하나에 기초하여 상기 사용자를 식별하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 사용자의 입모양에 기초하여 상기 제1 사용자 음성을 발화한 사용자를 식별하고,
    상기 제2 사용자 음성이 입력되는 시간 구간 동안 상기 영상에 포함된 상기 식별된 사용자의 입모양이 변경되면, 상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일한 것으로 식별하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 사용자를 식별하는 단계;
    인공지능 알고리즘을 통해 학습된 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 제1 응답 사운드를 제공하는 단계;
    제2 사용자 음성이 입력되면, 상기 제2 사용자 음성을 발화한 사용자를 식별하는 단계; 및
    상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하면, 상기 인공지능 모델에 상기 제2 사용자 음성 및 발화 히스토리 정보를 입력하여 획득된 제2 응답 사운드를 제공하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 제1 사용자 음성을 발화한 사용자와 상기 제2 사용자 음성을 발화한 사용자가 동일하지 않으면, 상기 제2 사용자 음성을 저장하는 단계; 및
    상기 제1 사용자 음성을 발화한 사용자로부터 기설정된 시간 이상 사용자 음성이 입력되지 않으면, 상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 제공하는 단계;를 더 포함하는, 제어 방법.
  13. 제11항에 있어서,
    상기 제1 사용자 음성을 발화한 사용자를 식별하는 단계는,
    상기 제1 사용자 음성이 입력되면, 상기 제1 사용자 음성을 발화한 제1 사용자를 식별하고,
    상기 제1 응답 사운드를 제공하는 단계는,
    상기 인공지능 모델에 상기 제1 사용자 음성을 입력하여 획득된 상기 제1 응답 사운드를 제공하며,
    상기 제2 사용자 음성을 발화한 사용자를 식별하는 단계는,
    상기 제2 사용자 음성을 발화한 제2 사용자를 식별하고,
    상기 제어 방법은,
    상기 인공지능 모델에 상기 제2 사용자 음성을 입력하여 획득된 제3 응답 사운드를 상기 제1 응답 사운드와 구분되게 제공하는 단계;를 더 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 제1 사용자에 의해 제1 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제1 추가 사용자 음성 및 상기 제1 사용자 음성에 대응되는 제1 발화 히스토리 정보를 입력하여 획득된 제1 추가 응답 사운드를 제공하는 단계; 및
    상기 제2 사용자에 의해 제2 추가 사용자 음성이 입력되면, 상기 인공지능 모델에 상기 제2 추가 사용자 음성 및 상기 제2 사용자 음성에 대응되는 제2 발화 히스토리 정보를 입력하여 획득된 제2 추가 응답 사운드를 상기 제1 추가 응답 사운드와 구분되게 제공하는 단계;를 더 포함하는, 제어 방법.
  15. 제14항에 있어서,
    상기 제1 추가 응답 사운드를 제공하는 단계는,
    상기 제1 추가 응답 사운드를 제공하며 상기 제1 사용자에 대응되는 제1 UI를 디스플레이하고,
    상기 제2 추가 응답 사운드를 상기 제1 추가 응답 사운드와 구분되게 제공하는 단계는,
    상기 제2 추가 응답 사운드를 제공하며 상기 제2 사용자에 대응되는 제2 UI를 디스플레이하는, 제어 방법.
PCT/KR2019/000036 2018-02-23 2019-01-02 전자 장치 및 그 제어 방법 WO2019164120A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19757983.2A EP3702905A4 (en) 2018-02-23 2019-01-02 ELECTRONIC DEVICE AND ASSOCIATED CONTROL PROCEDURE
US16/967,910 US11443749B2 (en) 2018-02-23 2019-01-02 Electronic device and control method thereof
CN201980007993.6A CN111587419A (zh) 2018-02-23 2019-01-02 电子装置及其控制方法
US17/880,169 US11709655B2 (en) 2018-02-23 2022-08-03 Electronic device and control method thereof
US18/328,421 US20230305801A1 (en) 2018-02-23 2023-06-02 Electronic device and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180021876A KR102515023B1 (ko) 2018-02-23 2018-02-23 전자 장치 및 그 제어 방법
KR10-2018-0021876 2018-02-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/967,910 A-371-Of-International US11443749B2 (en) 2018-02-23 2019-01-02 Electronic device and control method thereof
US17/880,169 Continuation US11709655B2 (en) 2018-02-23 2022-08-03 Electronic device and control method thereof

Publications (1)

Publication Number Publication Date
WO2019164120A1 true WO2019164120A1 (ko) 2019-08-29

Family

ID=67687635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000036 WO2019164120A1 (ko) 2018-02-23 2019-01-02 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (3) US11443749B2 (ko)
EP (1) EP3702905A4 (ko)
KR (2) KR102515023B1 (ko)
CN (1) CN111587419A (ko)
WO (1) WO2019164120A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057093A (ja) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置及びプログラム
KR102515023B1 (ko) * 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111475206B (zh) * 2019-01-04 2023-04-11 优奈柯恩(北京)科技有限公司 用于唤醒可穿戴设备的方法及装置
KR20210025313A (ko) 2019-08-27 2021-03-09 엘지디스플레이 주식회사 유기발광 표시장치
KR20210042520A (ko) 2019-10-10 2021-04-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102423005B1 (ko) * 2019-11-22 2022-07-27 금오공과대학교 산학협력단 딥러닝을 위한 인식 시험 학습 데이터 제공 시스템 및 방법
CN115995235B (zh) * 2023-03-23 2023-05-30 世优（北京）科技有限公司 基于语音信号分离的远程数字人交互方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140039868A (ko) * 2012-09-25 2014-04-02 주식회사 금영 복수의 사용자를 위한 장치에서의 음성 인식 방법
KR20140068752A (ko) * 2012-11-28 2014-06-09 엘지전자 주식회사 음성인식을 이용한 전자 기기 구동 장치 및 방법
US9098467B1 (en) * 2012-12-19 2015-08-04 Rawles Llc Accepting voice commands based on user identity
KR20160065671A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 응답을 출력하는 디바이스 및 방법
US9424840B1 (en) * 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169789B1 (en) 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
KR20060070605A (ko) * 2004-12-21 2006-06-26 한국전자통신연구원 영역별 언어모델과 대화모델을 이용한 지능형 로봇 음성인식 서비스 장치 및 방법
US7761591B2 (en) 2005-12-16 2010-07-20 Jean A. Graham Central work-product management system for coordinated collaboration with remote users
US8095400B2 (en) 2006-03-06 2012-01-10 Cbs Interactive, Inc. Online waiting room system, method and computer program product
US8886545B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8525796B2 (en) 2007-12-21 2013-09-03 International Business Machines Corporation Self-healing and diagnostic screen
KR20100036893A (ko) 2008-09-30 2010-04-08 삼성전자주식회사 음성 신호를 분석하여 화자를 인식하는 장치 및 그 방법
JP4826662B2 (ja) * 2009-08-06 2011-11-30 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および音声操作履歴情報共有方法
US9092129B2 (en) 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
US8831677B2 (en) 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
US9202465B2 (en) * 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
JP2012211954A (ja) * 2011-03-30 2012-11-01 Yamaha Corp 楽曲データ入力装置
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
US9547425B2 (en) * 2012-05-09 2017-01-17 Apple Inc. Context-specific user interfaces
KR101914708B1 (ko) * 2012-06-15 2019-01-14 삼성전자주식회사 서버 및 서버의 제어 방법
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
KR101958781B1 (ko) 2012-10-23 2019-03-15 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US20140149118A1 (en) 2012-11-28 2014-05-29 Lg Electronics Inc. Apparatus and method for driving electric device using speech recognition
US9679300B2 (en) 2012-12-11 2017-06-13 Nuance Communications, Inc. Systems and methods for virtual agent recommendation for multiple persons
KR20140089871A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 대화형 서버, 그 제어 방법 및 대화형 시스템
US9514748B2 (en) * 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
US9837102B2 (en) * 2014-07-02 2017-12-05 Microsoft Technology Licensing, Llc User environment aware acoustic noise reduction
KR102097710B1 (ko) 2014-11-20 2020-05-27 에스케이텔레콤 주식회사 대화 분리 장치 및 이에서의 대화 분리 방법
US10057227B1 (en) * 2015-03-27 2018-08-21 Amazon Technologies, Inc. Determination of authentication mechanism
KR20160122564A (ko) 2015-04-14 2016-10-24 주식회사 시스트란인터내셔널 음성 인식 장치 및 그 방법
US9953648B2 (en) * 2015-05-11 2018-04-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
KR102411619B1 (ko) * 2015-05-11 2022-06-21 삼성전자주식회사 전자 장치 및 그 제어 방법
CN105070290A (zh) * 2015-07-08 2015-11-18 苏州思必驰信息科技有限公司 人机语音交互方法及系统
KR20170033722A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치
KR102429260B1 (ko) 2015-10-12 2022-08-05 삼성전자주식회사 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
WO2017208518A1 (ja) * 2016-05-30 2017-12-07 ソニー株式会社 情報処理装置
US10481861B2 (en) * 2016-08-30 2019-11-19 Google Llc Using user input to adapt search results provided for presentation to the user
US20180189352A1 (en) * 2016-12-31 2018-07-05 Entefy Inc. Mixed-grained detection and analysis of user life events for context understanding
CN106776578B (zh) * 2017-01-03 2020-03-17 竹间智能科技（上海）有限公司 用于提升对话系统对话性能的方法及装置
US10599391B2 (en) * 2017-11-06 2020-03-24 Google Llc Parsing electronic conversations for presentation in an alternative interface
KR102429582B1 (ko) * 2017-11-06 2022-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US10475451B1 (en) * 2017-12-06 2019-11-12 Amazon Technologies, Inc. Universal and user-specific command processing
US10991138B2 (en) * 2017-12-22 2021-04-27 The Boeing Company Systems and methods for in-flight virtual reality displays for passenger and crew assistance
US20190222540A1 (en) * 2018-01-16 2019-07-18 Capital One Services, Llc Automated chat assistant systems for providing interactive data using natural language processing
KR102515023B1 (ko) * 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424840B1 (en) * 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
KR20140039868A (ko) * 2012-09-25 2014-04-02 주식회사 금영 복수의 사용자를 위한 장치에서의 음성 인식 방법
KR20140068752A (ko) * 2012-11-28 2014-06-09 엘지전자 주식회사 음성인식을 이용한 전자 기기 구동 장치 및 방법
US9098467B1 (en) * 2012-12-19 2015-08-04 Rawles Llc Accepting voice commands based on user identity
KR20160065671A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 응답을 출력하는 디바이스 및 방법

Also Published As

Publication number Publication date
EP3702905A1 (en) 2020-09-02
KR20230044165A (ko) 2023-04-03
US20230305801A1 (en) 2023-09-28
KR20190105182A (ko) 2019-09-16
US20210027790A1 (en) 2021-01-28
US20220375478A1 (en) 2022-11-24
US11709655B2 (en) 2023-07-25
CN111587419A (zh) 2020-08-25
US11443749B2 (en) 2022-09-13
KR102515023B1 (ko) 2023-03-29
EP3702905A4 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
WO2019164120A1 (ko) 전자 장치 및 그 제어 방법
WO2019098573A1 (en) Electronic device and method for changing chatbot
WO2020189850A1 (en) Electronic device and method of controlling speech recognition by electronic device
WO2019146866A1 (ko) 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
WO2018117428A1 (en) Method and apparatus for filtering video
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
WO2019039915A1 (en) METHOD FOR ACTIVATION OF VOICE RECOGNITION SERVICE AND ELECTRONIC DEVICE IMPLEMENTING THE SAME
WO2019013510A1 (en) VOICE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IT
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2021112642A1 (en) Voice user interface
WO2019203488A1 (en) Electronic device and method for controlling the electronic device thereof
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
EP3533052A1 (en) Speech recognition method and apparatus
WO2020231230A1 (en) Method and apparatus for performing speech recognition with wake on voice
WO2019146970A1 (ko) 사용자 발화 응답 방법 및 이를 지원하는 전자 장치
WO2018074895A1 (en) Device and method for providing recommended words for character input
WO2020013666A1 (ko) 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2020085769A1 (en) Speech recognition method and apparatus in environment including plurality of apparatuses
EP3523709A1 (en) Electronic device and controlling method thereof
WO2020096255A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757983

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019757983

Country of ref document: EP

Effective date: 20200527

NENP Non-entry into the national phase

Ref country code: DE