WO2020246634A1 - 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법 - Google Patents

다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020246634A1
WO2020246634A1 PCT/KR2019/006764 KR2019006764W WO2020246634A1 WO 2020246634 A1 WO2020246634 A1 WO 2020246634A1 KR 2019006764 W KR2019006764 W KR 2019006764W WO 2020246634 A1 WO2020246634 A1 WO 2020246634A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
volume
intention
intelligence device
processor
Prior art date
Application number
PCT/KR2019/006764
Other languages
English (en)
French (fr)
Inventor
한종우
정한길
최희연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/498,334 priority Critical patent/US11393491B2/en
Priority to PCT/KR2019/006764 priority patent/WO2020246634A1/ko
Priority to KR1020190089729A priority patent/KR20190094307A/ko
Publication of WO2020246634A1 publication Critical patent/WO2020246634A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Definitions

  • the present invention relates to an artificial intelligence device, and more particularly, to an artificial intelligence device capable of selecting a device capable of performing an operation in response to a user's voice command.
  • the device is an artificial intelligence (AI) device that can issue commands and communicate through voice.
  • AI artificial intelligence
  • the voice recognition service has a structure in which an optimal answer to a user's question is selected by using a huge amount of database.
  • the voice search function also converts the input voice data into text in the cloud server, analyzes it, and retransmits the real-time search result according to the result to the device.
  • the cloud server has the computing power to divide numerous words into voice data classified by gender, age, and intonation, store them, and process them in real time.
  • Speech recognition will become more accurate as more voice data are accumulated, the level of human parity.
  • the speech command is analyzed and the device is determined according to the analysis result.
  • An object of the present invention is to provide an artificial intelligence device capable of selecting a control target device by using the voice quality and intention of a motion command uttered by a user among a plurality of artificial intelligence devices.
  • An object of the present invention is to provide an artificial intelligence device capable of selecting a control target device according to a volume and intention of an operation command uttered by a user among a plurality of artificial intelligence devices of the present invention.
  • the artificial intelligence device may select a control target device according to whether the voice quality of the received motion command is changed and the intention of the motion command.
  • the artificial intelligence device may select any one of a plurality of external artificial intelligence devices as a control target device according to whether a change in the volume of an operation command is within a preset range.
  • the control target device is selected according to the voice quality of the command, the user can more easily select the control target device.
  • the control target device since the control target device is selected according to the volume of the command, the user can select the control target device without any confusion by simply changing the volume of the voice and speaking.
  • a device to perform an operation corresponding to the voice command may be clearly selected by grasping the volume and intention of the user's voice command. Accordingly, a user can obtain a desired result by simply speaking a voice command that changes the speaking size.
  • a user can accurately obtain a desired result by uttering only a command to perform his/her desired operation without uttering the name of the device, thereby allowing an improved user experience.
  • FIG. 1 is a block diagram illustrating an artificial intelligence device related to the present invention.
  • FIG. 2 is a diagram illustrating a voice system according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating another example of a deformable mobile artificial intelligence device according to the present invention.
  • FIG. 3 is a diagram illustrating a process of extracting a speech feature of a user from a voice signal according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of converting a voice signal into a power spectrum according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of operating an artificial intelligence system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of measuring a voice quality level according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining an actual usage scenario for the method of operating the artificial intelligence system shown in FIG. 5.
  • FIG. 8 is a flowchart illustrating a method of operating an artificial intelligence device according to an embodiment of the present invention.
  • FIGS. 9 and 10 are diagrams illustrating a process of selecting one device as a control target in response to a user's start command among a plurality of artificial intelligence devices according to an embodiment of the present invention.
  • FIG. 11 is a ladder diagram illustrating a method of operating an artificial intelligence system according to another embodiment of the present invention.
  • FIGS. 12 and 13 are diagrams illustrating an example of a method of correcting a volume level of a start command when an obstacle exists between a user and an artificial intelligence device.
  • FIG. 14 is a flowchart illustrating a method of operating an artificial intelligence device according to another embodiment of the present invention.
  • 15 and 16 are diagrams for explaining a process of automatically adjusting an appropriate range of a volume according to movement detection of a user.
  • 17 is a diagram illustrating a process of registering an appropriate speech volume range of each device when a plurality of artificial intelligence devices are disposed in a fixed position according to an embodiment of the present invention.
  • FIG. 18 is a ladder diagram illustrating a method of operating an artificial intelligence system according to another embodiment of the present invention.
  • 19 to 21 are diagrams illustrating a process in which an AI hub device determines a device to perform a voice command uttered by a user and transmits a control command to the determined device according to an embodiment of the present invention.
  • FIG. 22 illustrates an example of determining a device to perform an action command from among a plurality of artificial intelligence devices when there are a plurality of devices to perform an action command uttered by a user according to an embodiment of the present invention.
  • Artificial intelligence devices described herein include mobile phones, smart phones, laptop computers, artificial intelligence devices for digital broadcasting, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation systems, and slate PCs ( slate PC), tablet PC, ultrabook, wearable device, e.g., watch-type artificial intelligence device (smartwatch), glass-type artificial intelligence device (smart glass), HMD (head mounted display)), etc. may be included.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PC
  • tablet PC tablet PC
  • ultrabook ultrabook
  • wearable device e.g., watch-type artificial intelligence device (smartwatch), glass-type artificial intelligence device (smart glass), HMD (head mounted display)), etc.
  • the artificial intelligence device 100 may also be applied to a fixed artificial intelligence device such as a smart TV, a desktop computer, and a digital signage.
  • the artificial intelligence device 100 may be applied to a fixed or movable robot.
  • the artificial intelligence device 100 may perform a function of a voice agent.
  • the voice agent may be a program that recognizes a user's voice and outputs a voice response suitable for the recognized user's voice.
  • the artificial intelligence device 100 includes a wireless communication unit 110, an input unit 120, a learning processor 130, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, and a processor 180. ) And a power supply unit 190 may be included.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115.
  • the broadcast reception module 111 receives a broadcast signal and/or broadcast-related information from an external broadcast management server through a broadcast channel.
  • the mobile communication module 112 includes technical standards or communication methods for mobile communication (eg, GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000)), EV -DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc.), transmits and receives radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV -DO Enhanced Voice-Data Optimized or Enhanced Voice-Data Only
  • WCDMA Wideband CDMA
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term
  • the wireless Internet module 113 refers to a module for wireless Internet access, and may be built-in or external to the artificial intelligence device 100.
  • the wireless Internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.
  • wireless Internet technologies include WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A).
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Wireless Fidelity
  • Direct wireless Internet technologies
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet Access
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • the short range communication module 114 is for short range communication, and includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near field communication may be supported by using at least one of (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • the location information module 115 is a module for obtaining a location (or current location) of a mobile artificial intelligence device, and representative examples thereof include a GPS (Global Positioning System) module or a WiFi (Wireless Fidelity) module.
  • a GPS Global Positioning System
  • WiFi Wireless Fidelity
  • the input unit 120 may include a camera 121 for inputting an image signal, a microphone 122 for receiving an audio signal, and a user input unit 123 for receiving information from a user.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user, and for inputting image information, the artificial intelligence device 100 may have one or more The cameras 121 may be provided.
  • the camera 121 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • the microphone 122 processes an external sound signal into electrical voice data.
  • the processed voice data may be used in various ways according to a function (or an application program being executed) being executed by the artificial intelligence device 100. Meanwhile, the microphone 122 may be implemented with various noise removal algorithms for removing noise generated in a process of receiving an external sound signal.
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123,
  • the processor 180 may control the operation of the artificial intelligence device 100 to correspond to the input information.
  • User input unit 123 is a mechanical (mechanical) input means (or, a mechanical key, for example, a button located on the front / rear or side of the artificial intelligence device 100, dome switch (dome switch), jog wheel, jog Switch, etc.) and a touch-type input means.
  • the touch-type input means comprises a virtual key, a soft key, or a visual key displayed on a touch screen through software processing, or a portion other than the touch screen It may be made of a touch key (touch key) disposed on.
  • the learning processor 130 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision making, and machine learning algorithms and technologies.
  • the learning processor 130 is received, detected, detected, generated, pre-defined or otherwise output by the artificial intelligence device, or received, detected, detected, generated, predefined or otherwise, other components, devices, artificial intelligence devices or It may include one or more memory units configured to store data output by the device in communication with the artificial intelligence device.
  • the learning processor 130 may include a memory integrated or implemented in an artificial intelligence device. In some embodiments, the learning processor 130 may be implemented using the memory 170.
  • the learning processor 130 may be implemented using a memory associated with the artificial intelligence device, such as an external memory directly coupled to the artificial intelligence device or a memory maintained in a server communicating with the artificial intelligence device.
  • the learning processor 130 may be implemented using a memory maintained in a cloud computing environment, or another remote memory location accessible by an artificial intelligence device through a communication method such as a network.
  • the learning processor 130 typically stores data in one or more databases to identify, index, categorize, manipulate, store, retrieve and output data for use in supervised or unsupervised learning, data mining, predictive analytics, or other machines. Can be configured to store in.
  • the information stored in the learning processor 130 may be used by the processor 180 or one or more other controllers of the artificial intelligence device using any of a variety of different types of data analysis algorithms and machine learning algorithms.
  • Examples of such algorithms include k-recent adjacency systems, fuzzy logic (e.g. probability theory), neural networks, Boltzmann machines, vector quantization, pulsed neural networks, support vector machines, maximum margin classifiers, hill climbing, guided logic systems Bayesian networks. , Peritnet (e.g. Finite State Machine, Milli Machine, Moore Finite State Machine), Classifier Tree (e.g. Perceptron Tree, Support Vector Tree, Markov Tree, Decision Tree Forest, Random Forest), Stake Models and Systems, Artificial It includes fusion, sensor fusion, image fusion, reinforcement learning, augmented reality, pattern recognition, and automated planning.
  • fuzzy logic e.g. probability theory
  • neural networks e.g. probability theory
  • Boltzmann machines e.g. probability theory
  • vector quantization e.g. probability theory
  • pulsed neural networks e.g., pulsed neural networks
  • support vector machines e.g., maximum margin classifiers, hill climbing, guided logic systems Bayesian networks.
  • Peritnet e.
  • the processor 180 may determine or predict at least one executable operation of the artificial intelligence device based on determined or generated information using data analysis and machine learning algorithms. To this end, the processor 180 may request, search, receive, or utilize the data of the learning processor 130, and execute the predicted or desirable operation among the at least one executable operation. You can control the device.
  • the processor 180 may perform various functions for implementing intelligent emulation (ie, a knowledge-based system, an inference system, and a knowledge acquisition system). This can be applied to various types of systems (eg, fuzzy logic systems), including adaptive systems, machine learning systems, artificial neural networks, and the like.
  • intelligent emulation ie, a knowledge-based system, an inference system, and a knowledge acquisition system.
  • systems eg, fuzzy logic systems
  • adaptive systems e.g, machine learning systems, artificial neural networks, and the like.
  • the processor 180 may also include speech and natural language speech processing, such as an I/O processing module, an environmental condition module, a speech-to-text (STT) processing module, a natural language processing module, a work flow processing module, and a service processing module. It may include sub-modules that enable computation.
  • speech and natural language speech processing such as an I/O processing module, an environmental condition module, a speech-to-text (STT) processing module, a natural language processing module, a work flow processing module, and a service processing module. It may include sub-modules that enable computation.
  • Each of these sub-modules may have access to one or more systems or data and models in the artificial intelligence device, or a subset or superset thereof.
  • each of these submodules may provide various functions, including vocabulary index, user data, work flow model, service model, and automatic speech recognition (ASR) system.
  • ASR automatic speech recognition
  • processor 180 or another aspect of the artificial intelligence device may be implemented as the sub-module, system, or data and model.
  • the processor 180 may be configured to detect and detect a requirement based on a context condition expressed as a user input or natural language input, or a user's intention.
  • the processor 180 may actively derive and acquire information necessary to completely determine a requirement based on a context condition or a user's intention. For example, the processor 180 may actively derive necessary information to determine requirements by analyzing historical data including historical inputs and outputs, pattern matching, unambiguous words, input intentions, and the like.
  • the processor 180 may determine a task flow for executing a function in response to a requirement based on a context condition or a user's intention.
  • the processor 180 collects, detects, and extracts signals or data used in data analysis and machine learning tasks through one or more sensing components in an artificial intelligence device in order to collect information for processing and storage in the learning processor 130 , Can be configured to detect and/or receive.
  • Information collection may include sensing information through a sensor, extracting information stored in the memory 170, or receiving information from other artificial intelligence devices, entities, or external storage devices through communication means.
  • the processor 180 may collect and store usage history information in the artificial intelligence device.
  • the processor 180 may use the stored usage history information and predictive modeling to determine the best match to perform a particular function.
  • the processor 180 may receive or detect surrounding environment information or other information through the sensing unit 140.
  • the processor 180 may receive a broadcast signal and/or broadcast related information, a wireless signal, and wireless data through the wireless communication unit 110.
  • the processor 180 may receive image information (or a corresponding signal), audio information (or a corresponding signal), data, or user input information from the input unit 120.
  • the processor 180 collects information in real time, processes or classifies information (eg, knowledge graph, command policy, personalization database, conversation engine, etc.), and stores the processed information in the memory 170 or the learning processor 130 ).
  • information eg, knowledge graph, command policy, personalization database, conversation engine, etc.
  • the processor 180 may control components of the artificial intelligence device to execute the determined operation. Further, the processor 180 may perform the determined operation by controlling the terminal according to the control command.
  • the processor 180 analyzes the history information representing the execution of the specific operation through data analysis and machine learning algorithms and techniques, and performs an update of previously learned information based on the analyzed information. I can.
  • the processor 180 may improve accuracy of future performance of data analysis and machine learning algorithms and techniques based on the updated information.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile artificial intelligence device, information on the surrounding environment surrounding the mobile artificial intelligence device, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensor for example, camera (see 121)), microphone (microphone, see 122), battery gauge, environmental sensor (for example, barometer, hygrometer, thermometer, radiation detection sensor, It may include at least one of a heat sensor, a gas sensor, etc.), and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the mobile artificial intelligence device disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of the display unit 151, the sound output unit 152, the hap tip module 153, and the light output unit 154 can do.
  • the display unit 151 displays (outputs) information processed by the artificial intelligence device 100.
  • the display unit 151 may display execution screen information of an application program driven by the artificial intelligence device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 151 may implement a touch screen by forming a layer structure or integrally with the touch sensor.
  • This touch screen may function as a user input unit 123 that provides an input interface between the artificial intelligence device 100 and a user, and may provide an output interface between the artificial intelligence device 100 and the user.
  • the sound output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
  • the haptic module 153 generates various tactile effects that a user can feel.
  • a typical example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying the occurrence of an event using light from a light source of the artificial intelligence device 100.
  • Examples of events occurring in the artificial intelligence device 100 may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, and information reception through an application.
  • the interface unit 160 serves as a passage between various types of external devices connected to the artificial intelligence device 100.
  • the interface unit 160 connects a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a device equipped with an identification module. It may include at least one of a port, an audio input/output (I/O) port, an input/output (video I/O) port, and an earphone port.
  • the artificial intelligence device 100 may perform appropriate control related to the connected external device in response to the external device being connected to the interface unit 160.
  • the identification module is a chip that stores various types of information for authenticating the right to use the artificial intelligence device 100, and includes a user identification module (UIM), a subscriber identity module (SIM), and a universal user. It may include an authentication module (universal subscriber identity module; USIM).
  • a device equipped with an identification module hereinafter,'identification device' may be manufactured in the form of a smart card. Accordingly, the identification device may be connected to the artificial intelligence device 100 through the interface unit 160.
  • the memory 170 stores data supporting various functions of the artificial intelligence device 100.
  • the memory 170 stores a plurality of application programs (application programs or applications) driven by the artificial intelligence device 100, data and instructions for the operation of the artificial intelligence device 100, and the learning processor 130 Data for operation (eg, at least one algorithm information for machine learning, etc.) may be stored.
  • application programs application programs or applications
  • Data for operation eg, at least one algorithm information for machine learning, etc.
  • the processor 180 In addition to the operation related to the application program, the processor 180 generally controls the overall operation of the artificial intelligence device 100.
  • the processor 180 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • the processor 180 may control at least some of the components described with reference to FIG. 1 in order to drive the application program stored in the memory 170. Further, the processor 180 may operate by combining at least two or more of the components included in the artificial intelligence device 100 to drive the application program.
  • the power supply unit 190 receives external power and internal power under the control of the processor 180 to supply power to each of the components included in the artificial intelligence device 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • the processor 180 controls an operation related to an application program and, in general, an overall operation of the artificial intelligence device 100. For example, when the state of the mobile artificial intelligence device satisfies a set condition, the processor 180 may execute or release a lock state that restricts input of a user's control command to applications.
  • FIG. 2 is a diagram illustrating a voice system according to an embodiment of the present invention.
  • the speech system 1 includes an artificial intelligence device 100, a speech to text (STT) server 10, a natural language processing (NLP) server 20, and a speech synthesis. It may include a server 30.
  • STT speech to text
  • NLP natural language processing
  • the artificial intelligence device 100 may transmit voice data to the STT server 10.
  • the STT server 10 may convert voice data received from the artificial intelligence device 100 into text data.
  • the STT server 10 may increase the accuracy of speech-to-text conversion by using a language model.
  • the language model may refer to a model capable of calculating a probability of a sentence or a probability of a next word appearing when previous words are given.
  • the language model may include probabilistic language models such as a Unigram model, a Bigram model, and an N-gram model.
  • the unigram model is a model that assumes that the use of all words is completely independent of each other, and is a model that calculates the probability of a word sequence as the product of the probability of each word.
  • the Bigram model is a model that assumes that the use of a word depends only on one previous word.
  • the N-gram model is a model that assumes that the use of words depends on the previous (n-1) words.
  • the STT server 10 may determine whether text data converted from voice data is appropriately converted using a language model, and through this, the accuracy of conversion into text data may be improved.
  • the NLP server 20 may receive text data from the STT server 10.
  • the NLP server 20 may perform an intention analysis on text data based on the received text data.
  • the NLP server 20 may transmit intention analysis information indicating a result of performing the intention analysis to the artificial intelligence device 100.
  • the NLP server 20 may generate intention analysis information by sequentially performing a morpheme analysis step, a syntax analysis step, a speech act analysis step, and a conversation processing step for text data.
  • the morpheme analysis step is a step of classifying text data corresponding to the voice uttered by a user into a morpheme unit, which is the smallest unit with meaning, and determining what part of speech each classified morpheme has.
  • the syntax analysis step is a step of classifying text data into noun phrases, verb phrases, adjective phrases, etc. using the result of the morpheme analysis step, and determining what kind of relationship exists between the classified phrases.
  • subjects, objects, and modifiers of the voice uttered by the user may be determined.
  • the speech act analysis step is a step of analyzing the intention for the voice uttered by the user using the result of the syntax analysis step. Specifically, the speech act analysis step is a step of determining the intention of a sentence, such as whether the user asks a question, makes a request, or expresses a simple emotion.
  • the conversation processing step is a step of determining whether to answer or respond to the user's utterance, or ask a question for inquiring additional information, using the result of the speech act analysis step.
  • the NLP server 20 may generate intention analysis information including one or more of an answer, a response, and an inquiry for additional information about the intention uttered by the user.
  • the NLP server 20 may receive text data from the artificial intelligence device 100.
  • the artificial intelligence device 100 may convert voice data into text data and transmit the converted text data to the NLP server 20. .
  • the speech synthesis server 30 may generate a synthesized speech by combining previously stored speech data.
  • the voice synthesis server 30 may record a voice of a person selected as a model, and divide the recorded voice into syllables or words.
  • the speech synthesis server 30 may store divided speech by syllable or word units in an internal or external database.
  • the speech synthesis server 30 may search for a syllable or word corresponding to the given text data from a database, synthesize the searched syllable or a combination of words, and generate a synthesized speech.
  • the speech synthesis server 30 may store a plurality of speech language groups corresponding to each of a plurality of languages.
  • the voice synthesis server 30 may include a first voice language group recorded in Korean, and a second voice language group recorded in English.
  • the speech synthesis server 30 may translate text data of the first language into text of the second language, and generate a synthesized speech corresponding to the translated text of the second language by using the second speech language group.
  • the speech synthesis server 30 may transmit the generated synthesized speech to the artificial intelligence device 100.
  • the speech synthesis server 30 may receive intention analysis information from the NLP server 20.
  • the speech synthesis server 30 may generate a synthesized speech that reflects the user's intention based on the intention analysis information.
  • the STT server 10, the NLP server 20, and the speech synthesis server 30 may be implemented as one server.
  • the functions of the STT server 10, the NLP server 20, and the speech synthesis server 30 described above may also be performed in the artificial intelligence device 100.
  • the artificial intelligence device 100 may include a plurality of processors.
  • FIG. 3 is a diagram illustrating a process of extracting a speech feature of a user from a voice signal according to an embodiment of the present invention.
  • the artificial intelligence device 100 shown in FIG. 1 may further include an audio processor 181.
  • the audio processor 181 may be implemented as a separate chip from the processor 180, or may be implemented as a chip included in the processor 180.
  • the audio processor 181 may remove noise from the voice signal.
  • the audio processor 181 may convert a voice signal into text data. To this end, the audio processor 181 may be equipped with an STT engine.
  • the audio processor 181 may recognize a starting word for activating speech recognition of the artificial intelligence device 100.
  • the audio processor 181 converts the starting word received through the microphone 122 into text data, and when the converted text data is text data corresponding to a previously stored starting word, it may determine that the starting word has been recognized. .
  • the audio processor 181 may convert the voice signal from which noise is removed into a power spectrum.
  • the power spectrum may be a parameter indicating which frequency component is included in a waveform of a temporally fluctuating voice signal and in what magnitude.
  • the power spectrum shows the distribution of squared amplitude values according to the frequency of the waveform of the speech signal.
  • FIG. 4 is a diagram illustrating an example of converting a voice signal into a power spectrum according to an embodiment of the present invention.
  • a voice signal 410 is shown.
  • the voice signal 410 may be received through the microphone 122 or may be a signal previously stored in the memory 170.
  • the x-axis of the audio signal 410 may be time, and the y-axis may indicate the amplitude.
  • the audio processor 181 may convert the audio signal 410 whose x-axis is a time axis into a power spectrum 430 whose x-axis is a frequency axis.
  • the audio processor 181 may transform the speech signal 410 into a power spectrum 430 using a Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • the x-axis of the power spectrum 430 represents the frequency, and the y-axis represents the square value of the amplitude.
  • the processor 180 may determine a speech characteristic of a user by using one or more of the text data or the power spectrum 430 transmitted from the audio processor 181.
  • the user's speech characteristics may include the user's gender, the user's pitch, the user's tone, the user's speech theme, the user's speech speed, and the user's volume.
  • the processor 180 may acquire a frequency of the voice signal 410 and an amplitude corresponding to the frequency by using the power spectrum 430.
  • the processor 180 may determine the gender of the user who uttered the voice by using the frequency band of the power spectrum 430.
  • the processor 180 may determine the gender of the user as a male.
  • the processor 180 may determine the gender of the user as a woman.
  • the second frequency band range may be larger than the first frequency band range.
  • the processor 180 may determine the height of the voice using the frequency band of the power spectrum 430.
  • the processor 180 may determine the level of the sound according to the amplitude.
  • the processor 180 may determine a user's tone by using the frequency band of the power spectrum 430. For example, among the frequency bands of the power spectrum 430, the processor 180 may determine a frequency band having an amplitude greater than or equal to a predetermined size as the user's main sound range, and may determine the determined main sound range as the user's tone.
  • the processor 180 may determine the user's speech speed through the number of syllables uttered per unit time from the converted text data.
  • the processor 180 may determine the subject of the user's speech by using a Bag-Of-Word Model technique for the converted text data.
  • the Bag-Of-Word Model technique is a technique that extracts words that are mainly used based on the number of words in a sentence.
  • the Bag-Of-Word Model technique is a technique of extracting a unique word within a sentence, expressing the frequency number of each extracted word as a vector, and determining features of a speech subject.
  • the processor 180 may classify the user's speech subject as exercise.
  • the processor 180 may determine a user's speech subject from text data using a known text categorization technique.
  • the processor 180 may extract keywords from text data and determine a user's speech topic.
  • the processor 180 may determine the volume of the user in consideration of amplitude information in the entire frequency band.
  • the processor 180 may determine the user's performance based on the average of the amplitudes or the average of the weights in each frequency band of the power spectrum.
  • the functions of the audio processor 181 and the processor 180 described in FIGS. 3 and 4 may be performed in any one of the NLP server 20 and the speech synthesis server 30.
  • the NLP server 20 may extract a power spectrum by using a voice signal, and determine a speech characteristic of a user by using the extracted power spectrum.
  • the artificial intelligence system may include an artificial intelligence device 100-1, a first external artificial intelligence device 100-2, and a second external artificial intelligence device 100-3.
  • the artificial intelligence device 100-1, the first external artificial intelligence device 100-2, and the second external artificial intelligence device 100-3 may include all components illustrated in FIG. 1.
  • the artificial intelligence system includes three artificial intelligence devices as an example, but this is only an example, and a larger number of artificial intelligence devices may be included.
  • Each of the microphone 122 of the artificial intelligence device 100-1 and the microphone 122 of the first external artificial intelligence device 100-2 receives a start command (S501, S503).
  • the activation command may be a user's voice command used to activate a specific artificial intelligence device.
  • FIG. 5 it is described as an example that only the artificial intelligence device 100-1 and the first external artificial intelligence device 100-2 receive a start command, but this is only an example, and the second external artificial intelligence device 100 -3) It is also possible to receive a start command.
  • the processor 180 of the artificial intelligence device 100-1 acquires the first voice quality level of the received start command (S505), and the first external artificial intelligence device 100-2 obtains the second voice quality level of the start command. The level is acquired (S507).
  • the processor 180 may obtain a first voice quality level indicating voice quality of the received start command.
  • the processor 180 may acquire a keyword speech to ambient noise power ratio (KSANR) as the first speech quality level in the time axis.
  • KSANR keyword speech to ambient noise power ratio
  • the processor 180 may measure the power ratio of the keyword speech to the ambient noise in the time axis for the received start command, and obtain the measured ratio as the first speech quality level.
  • the processor 180 may measure a signal-to-noise ratio (SNR) of a signal-to-noise section of a keyword voice section in the frequency domain, and obtain the measured ratio as a first voice quality level.
  • SNR signal-to-noise ratio
  • the processor 180 may obtain the signal-to-noise ratio of the keyword voice section as the first voice quality level in the frequency domain for the received start command.
  • the processor 180 of the first external artificial intelligence device 100-2 may also acquire either KSANR or SNR of the received start command as the second voice quality level.
  • the processor 180 may extract keyword voice, voice noise, and ambient noise from the start command.
  • the processor 180 may measure a voice quality level, such as KSANR or SNR, using the extraction result.
  • the voice quality level may indicate a degree to which the volume of the start command falls within an appropriate range.
  • the volume of the startup command received by the artificial intelligence device 100-1 is within an appropriate range, and the volume of the startup command received by the first external artificial intelligence device 100-2 is not within the appropriate range , It may be determined that the first voice quality level of the start command received by the artificial intelligence device 100-1 is greater than the second voice quality level of the start command received by the first external artificial intelligence device 100-2. have.
  • the voice quality level may include information on whether the volume of the start command received by the external artificial intelligence device or the volume of the start command falls within an appropriate range.
  • a voice signal 610 corresponding to a start command input through the microphone 122 and a power spectrum 430 of the voice signal 610 are shown.
  • the audio processor 181 may extract keyword voice 611, voice noise 613 and 615, and ambient noise 617 and 619 from the voice signal 610.
  • the audio processor 181 may classify the section as voice noise.
  • the audio processor 181 may distinguish the corresponding section as ambient noise.
  • the audio processor 181 may determine, from the speech signal 610, the remaining sections excluding speech noise and ambient noise as keyword speech.
  • the audio processor 181 or the processor 180 uses the keyword voice 611 extracted from the voice signal 610, voice noise 613, 615, and ambient noise 617, 619 to obtain a voice quality level. I can.
  • the audio processor 181 or the processor 180 measures the ratio of the power corresponding to the keyword voice 611 to the power corresponding to the ambient noise 617 and 619, and obtains the measured ratio as a voice quality level. can do.
  • the power may be an amplitude or power calculated through an amplitude.
  • the audio processor 181 or the processor 180 measures the power ratio of the power spectrum corresponding to the noises 613, 615, 617, 619 to the power of the power spectrum corresponding to the keyword voice 611, and , The measured ratio can be obtained as a voice quality level.
  • FIG. 5 will be described.
  • the processor 180 of the artificial intelligence device 100-1 receives the second voice quality level from the first external artificial intelligence device 100-2 through the wireless communication unit 110 (S509 ).
  • the processor 180 may receive a second voice quality level from the first external artificial intelligence device 100-2 through the short-range communication module 114.
  • the processor 180 of the artificial intelligence device 100-1 compares the first voice quality level and the second voice quality level, and determines whether the first voice quality level is greater than the second voice quality level (S511).
  • the processor 180 compares the KSANR of the startup command received by the artificial intelligence device 100-1 with the KSANR of the startup command received by the first external artificial intelligence device 100-2, and You can judge if this is larger.
  • the processor 180 determines the first voice quality. It may be determined that the level is greater than the second voice quality level.
  • the processor 180 determines the first voice quality level. 2 It can be determined to be less than the voice quality level.
  • the processor 180 compares the SNR of the start command received by the artificial intelligence device 100-1 with the SNR of the start command received by the first external artificial intelligence device 100-2, and the value is You can judge if it is bigger.
  • the processor 180 determines that the first voice quality level is the second voice. It can be determined to be greater than the quality level.
  • the processor 180 determines the first voice quality level. It can be determined to be smaller than the 2 voice quality level.
  • the processor 180 of the artificial intelligence device 100-1 determines that the first voice quality level is higher than the second voice quality level. Big case , A notification indicating that the artificial intelligence device 100-1 has been selected as a control target is output (S513).
  • the processor 180 may output a notification indicating that the artificial intelligence device 100-1 has been selected according to a user's activation command.
  • the artificial intelligence device 100-1 may output a notification indicating that it is activated according to a start command.
  • the processor 180 may output the notification as a voice through the sound output unit 152 or may output specific light through the light output unit 154.
  • the processor 180 may also output a specific light while outputting the notification as a voice.
  • the microphone 122 of the artificial intelligence device 100-1 receives the operation command (S515), and the processor 180 acquires the intention of the received operation command (S517).
  • the processor 180 may convert an operation command into text and transmit the converted text to the NLP server 20 illustrated in FIG. 2.
  • the processor 180 may receive an intention analysis result analyzed by the NLP server 20 from the NLP server 20.
  • the intention analysis result may include an external artificial intelligence device to perform an operation command and an operation to be performed by the external artificial intelligence device.
  • the processor 180 may acquire the intention of the operation instruction by itself.
  • the processor 180 may include a natural language processing engine capable of performing the function of the NLP server 20, and may analyze the intention of an operation instruction by using the natural language processing engine.
  • the processor 180 of the artificial intelligence device 100-1 determines a device to perform an operation corresponding to the operation command based on the acquired intention (S519).
  • the processor 180 may determine a device capable of performing an operation according to an acquired intention among a plurality of external artificial intelligence devices.
  • Each of the plurality of external artificial intelligence devices may be devices connected to or connectable to the artificial intelligence device 100-1.
  • the processor 180 is a device capable of performing an operation according to an acquired intention among the artificial intelligence device 100-1, the first external artificial intelligence device 100-2, and the second external artificial intelligence device 100-3. Can be selected.
  • the processor 180 of the artificial intelligence device 100-1 transmits an operation command to the determined second external artificial intelligence device 100-2 through the wireless communication unit 110 (S521).
  • the second external artificial intelligence device 100-2 may receive an operation command from the artificial intelligence device 100-1 and perform an operation corresponding to the received operation command.
  • the processor 180 of the artificial intelligence device 100-1 determines that the first sound quality level is less than the second sound quality level
  • the comparison result of the sound quality level is compared to the first external artificial intelligence device 100-2. It is transmitted to (S523).
  • the comparison result of the voice quality level may include information indicating which of the first voice quality level and the second voice quality level is greater.
  • the processor 180 transmits a message informing that the first external artificial intelligence device 100-2 has been selected as a control target device according to the user's speech. Can be transferred to.
  • the artificial intelligence device 100-1 may not be activated and may maintain a deactivated state according to the reception of the start command.
  • the first external artificial intelligence device 100-2 outputs a notification indicating that the first external artificial intelligence device 100-2 has been selected as the control target based on the result of comparing the received voice quality level (S525 ).
  • the artificial intelligence device 100-1 is a smart TV
  • the first external artificial intelligence device 100-2 is an air cleaner
  • the second external artificial intelligence device 100-3 is a robot cleaner. I assume.
  • the artificial intelligence device 100-1 and the first external artificial intelligence device 100-2 are located in a living room, and the second external artificial intelligence device 100-3 is located in the bedroom.
  • the second external artificial intelligence device 100-3 cannot receive or recognize the voice command uttered by the user because it is far from the user.
  • the user fires a start command called ⁇ High LG>.
  • the artificial intelligence device 100-1 and the first external artificial intelligence device 100-2 receive a start command called ⁇ High LG> uttered by the user.
  • the artificial intelligence device 100-1 may acquire the first voice quality level for the activation command received by the artificial intelligence device 100-1.
  • the artificial intelligence device 100-1 may receive a second voice quality level for the start command received by the first external artificial intelligence device 100-2 from the first external artificial intelligence device 100-2. have.
  • the artificial intelligence device 100-1 may compare the first voice quality level and the second voice quality level, and if the first voice quality level is greater, may output a notification indicating that it has been selected as a control target.
  • the artificial intelligence device 100-1 may transmit a message indicating that it has been selected as a control target to the first external artificial intelligence device 100-2.
  • the first external artificial intelligence device 100-2 may not be activated according to a message received from the artificial intelligence device 100-1 even though it receives a start command from a user.
  • only one of a plurality of artificial intelligence devices activated by a single activation command may be selected as a control target.
  • the microphone 122 of the artificial intelligence device 100 receives a start command (S801).
  • the processor 180 of the artificial intelligence device 100 measures the volume of the received start command (S803).
  • the processor 180 may measure the volume of the input start command.
  • the measured volume may have units of decibels, but this is only an example.
  • the processor 180 of the artificial intelligence device 100 determines whether the measured volume falls within an appropriate range (S805).
  • the appropriate range may be a range of a volume required for the artificial intelligence device 100 to change to an active state according to a start command.
  • the appropriate range may be 40 to 60, but this is only an example.
  • the appropriate range may be a range that can be set by a user when each artificial intelligence device is placed in a home. That is, an appropriate range may be registered in each device according to a user input.
  • the processor 180 of the artificial intelligence device 100 determines that the measured volume falls within an appropriate range, it outputs a notification indicating that it has been selected as a control target (S807).
  • the processor 180 may change the deactivated state of the artificial intelligence device 100 into an activated state in response to a start command.
  • the inactive state of the artificial intelligence device 100 may be a state in which the user does not respond to an operation command uttered.
  • the activation state of the artificial intelligence device 100 may be a state in which an operation corresponding to the operation command can be performed in response to an operation command uttered by a user.
  • the processor 180 may output a notification indicating that it has been selected as a control target through the sound output unit 152 or the light output unit 154.
  • the processor 180 of the artificial intelligence device 100 determines that the measured volume does not fall within the appropriate range, it maintains the deactivated state (S809).
  • the processor 180 may not perform any operation even if an operation command uttered by the user is input to the microphone 122 in the future.
  • an artificial intelligence device 100-1 a first external artificial intelligence device 100-2, and a second external artificial intelligence device 100-3 are disposed.
  • the appropriate range of the volume set in order for each of the artificial intelligence device 100-1, the first external artificial intelligence device 100-2, and the second external artificial intelligence device 100-3 to change to the active state according to the start command is All are 40 to 60, and it is assumed that they are the same.
  • the appropriate range may be a range within the upper limit value 910 and the lower limit value 930.
  • the first distance between the user and the artificial intelligence device 100-1 is greater than the second distance between the user and the first external artificial intelligence device 100-2, and between the user and the second external artificial intelligence device 100-3 It is assumed that the third distance is less than the second distance.
  • the user utters a start command 901 called ⁇ High LG> with a loud voice.
  • the artificial intelligence device 100-1 determines whether the volume of the first voice signal 951 of the start command 901 input through the microphone 122 is between the upper limit value 910 and the lower limit value 930 can do.
  • the artificial intelligence device 100-1 has the volume of the first voice signal 951 of the start command 901 between the upper limit value 910 and the lower limit value 930, May be selected as a control target for the start command 901.
  • the artificial intelligence device 100-1 may be activated according to the start command 901.
  • the first external artificial intelligence device 100-2 has a volume of the second voice signal 953 of the start command 901 input through the microphone 122 is greater than the lower limit 930, but sets the upper limit 910. Since there is an excess section, it can be determined that the volume of the second voice signal 953 does not fall within an appropriate range.
  • the first external artificial intelligence device 100-2 may not be activated even if the start command 901 is input to the microphone 122 because the volume of the start command 901 is not within an appropriate range.
  • the 3 It may be determined that the volume of the audio signal 955 does not fall within an appropriate range.
  • the second external artificial intelligence device 100-3 may not be activated even if the start command 901 is input to the microphone 122 because the volume of the start command 901 is not within an appropriate range.
  • the user visually determines the distance to the device to be controlled, and when the device to be controlled is far away, by firing a start command with a loud voice, the desired device is controlled Can be easily selected.
  • the user utters a start command 1001 called ⁇ High LG> with a small voice.
  • Each artificial intelligence device may determine whether the volume of the start command 1001 input through the microphone falls within an appropriate range.
  • the artificial intelligence device 100-1 has the fourth voice signal 1010 because the volume of the fourth voice signal 1010 of the start command 1001 input to its microphone 122 is less than the lower limit value 930. It can be determined that the volume of is not within an appropriate range.
  • the artificial intelligence device 100-1 may not be activated in response to the start command 1001.
  • the first external artificial intelligence device 100-2 has a section where the volume of the fifth voice signal 1030 of the start command 1001 input to its microphone 122 is smaller than the lower limit value 930 5 It may be determined that the volume of the voice signal 1030 does not fall within an appropriate range.
  • the first external artificial intelligence device 100-2 may not be activated in response to the start command 1001.
  • the second external artificial intelligence device 100-3 Since the second external artificial intelligence device 100-3 has the volume of the sixth voice signal 1050 of the start command 1001 input to its microphone 122 within an appropriate range in the entire section, It can be selected as a control target for (1001).
  • the user visually determines the distance to the device to be controlled, and when the device to be controlled is close, by speaking a start command with a small voice, the desired device is controlled Can be easily selected.
  • FIG. 11 is a diagram illustrating an example in which one of a plurality of artificial intelligence devices becomes a master device and selects a control target according to a start command.
  • each of the artificial intelligence device 100-1, the first external artificial intelligence device 100-2, and the second external artificial intelligence device 100-3 receives a start command through a microphone 122. Do (S1101, S1103, S1105).
  • the processor 180 of the artificial intelligence device 100-1 measures the first volume of the startup command (S1107), and the first external artificial intelligence device 100-2 measures the second volume of the startup command (S1109). ), the second external artificial intelligence device 100-3 measures the third volume of the start command (S1111).
  • the processor 180 of the artificial intelligence device 100-1 receives volume information including a second volume from the first external artificial intelligence device 100-2 through the wireless communication unit 110 (S1113), and the second Volume information including the third volume is received from the external artificial intelligence device 100-3 (S1115).
  • the processor 180 of the artificial intelligence device 100-1 determines whether there is a volume within an appropriate range among the first volume, the second volume, and the third volume (S1117).
  • the processor 180 of the artificial intelligence device 100-1 determines a device corresponding to the volume as a control target (S1119).
  • the processor 180 of the artificial intelligence device 100-1 transmits a message indicating that a control target has been selected to the device determined through the wireless communication unit 110 (S1121).
  • the processor 180 transmits the first external artificial intelligence device 100-through the wireless communication unit 110.
  • a message indicating that 2) is selected as a control target may be transmitted to the first external artificial intelligence device 100-2.
  • the first external artificial intelligence device 100-2 may change its own state to an active state according to a message received from the artificial intelligence device 100-1.
  • step S1121 may be omitted.
  • the processor 180 may output a notification indicating this.
  • the master device may efficiently select a control target according to the firing of the user's start command.
  • a voice signal of a start command is reflected on the obstacle, so that a device that the user does not want may be activated.
  • FIG. 12 is a view in which an obstacle 1200 is further disposed based on the embodiment of FIG. 9.
  • the user utters a start command 901 with a loud voice to select the artificial intelligence device 100-1 that is the farthest among artificial intelligence devices.
  • the voice signal of the start command 901 is reflected on the obstacle, and the generated reflected signal may be input to the second external artificial intelligence device 100-2.
  • the voice signal 955 and the voice signal 955 of the start command 901 are reflected to the obstacle 1200 and the reflected signal 1310 is generated. ) Can be entered.
  • the user may utter the start command 901 with a loud voice to select the artificial intelligence device 100-1, but the second external artificial intelligence device 100-3 ) Is also activated.
  • the two devices react to the user's operation command later, Confusion can increase.
  • each artificial intelligence device may determine the existence of an obstacle by measuring the reverberation time of the start command 901.
  • the reverberation time is the time it takes for the amplitude of the voice signal received through the microphone 122 to decrease by 60 dB.
  • the second external artificial intelligence device 100-3 may determine that an obstacle has been detected when the reverberation time of the voice signal corresponding to the start command 901 is equal to or greater than a preset time.
  • the signal input to the second external artificial intelligence device 100-3 may include the voice signal 955 and the reflected signal 1310 reflected by the obstacle 1200 and input with a time difference.
  • a general reverberation time may exceed a preset time. This is because of the influence of the input reflected signal 1310 with a time difference.
  • the waveform of the synthesized signal 1330 in which the voice signal 955 and the reflection signal 1310 are combined. Can be analyzed.
  • the second external artificial intelligence device 100-3 may extract time difference signals 1331 and 1333 generated due to a time difference between the voice signal 955 and the reflected signal 1310 from the synthesized signal 1330. .
  • the second external artificial intelligence device 100-3 may not consider the extracted time difference signals 1331 and 1333.
  • the second external artificial intelligence device 100-3 determines the extracted time difference signals 1331 and 1333 as an error signal, and the volume of the synthesized signal other than the extracted time difference signals 1331 and 1333 It can be determined whether it is within an appropriate range.
  • the volume of the remaining synthesized signals does not fall within an appropriate range. I can judge.
  • the second external artificial intelligence device 100-3 may not be activated according to the input of the start command 901.
  • a control target device desired by the user may be selected according to the volume level of the user's start command.
  • the volume level of the operation command accepted by the device may change, and the volume may not fall within an appropriate range.
  • the present invention proposes a method of adaptively adjusting an appropriate range of a volume by detecting a movement of a user.
  • the processor 180 of the artificial intelligence device 100 determines whether a user's movement is detected (S1401).
  • the artificial intelligence device 100 may detect the user's movement by using one of an ultrasonic sensor, an infrared sensor, and a laser sensor to detect the movement of the user.
  • the ultrasonic sensor may measure the time until the sound wave is emitted and the sound wave reflected from the object is received.
  • the infrared sensor emits infrared rays and may repeatedly measure the time until infrared rays reflected from the object are received.
  • the laser sensor emits a laser and can repeatedly measure the time until the laser reflected from the object is received.
  • the processor 180 may acquire a distance between the user and the artificial intelligence device 100 by using the measured time. In addition, the processor 180 may determine whether the user is moving away from or close to the artificial intelligence device 100 by obtaining a change in distance according to the measured change in time.
  • the processor 180 does not detect the movement of the user. If not , Maintain an appropriate range of the volume (S1403).
  • the processor 180 of the artificial intelligence device 100 adjusts an appropriate range of the volume (S1405).
  • the processor 180 may adaptively adjust an appropriate range of the volume according to the distance between the user and the artificial intelligence device 100.
  • the processor 180 may decrease an upper limit value and a lower limit value of an appropriate range.
  • the processor 180 may increase the upper and lower limits of the appropriate range.
  • an appropriate range (upper limit value: 910, lower limit value: 930) of the volume of a voice received by the artificial intelligence device 100-1 when the user is in position A is illustrated.
  • the artificial intelligence device 100-1 may determine whether the volume of the voice signal 1501 corresponding to the received operation command is within an appropriate range. .
  • the artificial intelligence device 100-1 may perform an operation corresponding to an operation command.
  • the artificial intelligence device 100-1 may detect that the user is moved from the A position to the B position.
  • the artificial intelligence device 100-1 may measure a distance between the user who has moved to the B position and the artificial intelligence device 100-1.
  • the artificial intelligence device 100-1 may adjust an appropriate range of the volume by using the measured distance.
  • a voice signal 1501 corresponding to an operation command falls within an appropriate range. Assume that the lower limit of the appropriate range is 40 and the upper limit is 60.
  • the distance between the artificial intelligence device 100-1 and the user is further increased, so that the voice signal 1601 is The volume cannot satisfy the proper range.
  • the artificial intelligence device 100-1 measures the distance between the user and the artificial intelligence device 100-1, and uses the measured distance to determine the upper and lower limits of the appropriate range. Can be adjusted.
  • the artificial intelligence device 100-1 may change an upper limit value from 60 to 45 and a lower limit value from 40 to 25 when the measured distance is farther than the existing distance.
  • the voice signal 1601 of the motion command 1500 may fall within the changed appropriate range.
  • the artificial intelligence device 100-1 may adjust an upper limit value and a lower limit value while maintaining a difference between the upper limit value and the lower limit value.
  • the appropriate range of the volume is adjusted accordingly, so that the control target device desired by the user can be continuously controlled.
  • the user can control the control target device according to the size of the existing spoken voice without needing to adjust the size of the spoken voice according to his or her movement.
  • the processor 180 receives an operation command through the microphone 122 (S1407), and measures the volume of the operation command (S1409).
  • the processor 180 determines whether the measured volume falls within the adjusted appropriate range (S1411).
  • the processor 180 When the measured volume falls within an appropriate range, the processor 180 performs an operation corresponding to the operation command (S1413).
  • each of the artificial intelligence device 100-1, the first external artificial intelligence device 100-2, and the second external artificial intelligence device 100-3 may be disposed in a fixed position in a home. I can.
  • the distance between the user and the first external artificial intelligence device 100-2 is the farthest and the distance between the second external artificial intelligence device 100-3 is the closest.
  • the user can register the appropriate speech volume range of each device at a fixed location.
  • the user utters a start command 1700 having a specific volume level.
  • the processor 180 of the artificial intelligence device 100_1 may measure the volume of the received start command 1700 and set an appropriate speech volume range suitable for the measured volume (S1701).
  • the appropriate speech volume range may have an upper limit value 910 and a lower limit value 930.
  • the processor 180 sets the upper limit value 910 to 40, the lower limit value 930 to 60, and sets the range of values from 40 to 60 to an appropriate utterance volume. You can register with a range.
  • the first external artificial intelligence device 100-2 may set the lower limit value 1730 of the appropriate speech volume range to be lower than 40 (S1703 ).
  • the second external artificial intelligence device 100-3 may set the upper limit value 1710 to be smaller than 60 (S1705).
  • each artificial intelligence device may register the average value of the upper limit values and the average value of the lower limit values as an appropriate speech volume range.
  • FIG. 18 relates to an embodiment of analyzing a user's speech intention and determining a device to perform an operation corresponding to a user's voice command based on the analyzed speech intention.
  • the artificial intelligence device 100-1 may control the operation of the first external artificial intelligence device 100-2 and the second external artificial intelligence device 100-3, and serve as a hub. It may be a hub device that can do.
  • the hub device may be a device capable of receiving a user's voice command, obtaining an intention of the received voice command, and transmitting a control command for controlling the operation of another external artificial intelligence device according to the obtained intention.
  • the hub device may be a device previously designated by the user.
  • the hub device may be a device wirelessly connected to the largest number of artificial intelligence devices among a plurality of artificial intelligence devices.
  • the hub device may have information about the artificial intelligence device connected to it.
  • the information on the artificial intelligence device may include identification information capable of identifying the artificial intelligence device and operation state information indicating an operation state of the artificial intelligence device.
  • the microphone 122 is A start command is received (S1801).
  • the start command may be a command for activating the operation of the artificial intelligence device 100-1.
  • the start command may include the name of the artificial intelligence device 100-1 and a preset start word.
  • the processor 180 of the artificial intelligence device 100-1 waits for the reception of the operation command according to the reception of the start command (S1803).
  • the microphone 122 of the artificial intelligence device 100-1 receives a first operation command (S1805).
  • the user may utter a first operation command.
  • the processor 180 of the artificial intelligence device 100-1 acquires a first voice quality level indicating the quality of the received first motion command and the intention of the first motion command (S1807).
  • the processor 180 may obtain a first voice quality level from voice data of the first operation command.
  • the voice quality level may be a power ratio of the keyword voice to the ambient noise (KSNAR).
  • the voice quality level may be a signal-to-noise section signal ratio (SNR) of the keyword voice section.
  • SNR signal-to-noise section signal ratio
  • the voice quality level may be the volume of voice commands.
  • the volume of the voice command may indicate the size of a voice signal corresponding to the voice command.
  • the processor 180 may receive the intention of the first operation command from the NLP server 20 of FIG. 2.
  • the processor 180 may transmit voice data of the first operation command to the NLP server 20 and receive the intention of the first operation command analyzed by the NLP server 20 from the NLP server 20.
  • the processor 180 may acquire the intention of the first operation instruction by using the natural language processing engine.
  • the first operation command may be a command to perform a specific operation of the artificial intelligence device.
  • the processor 180 of the artificial intelligence device 100-1 determines a device corresponding to the acquired first intention (S1809).
  • the processor 180 may determine an optimal device capable of performing the first intention among the external artificial intelligence devices 100-2 and 100-3.
  • the processor 180 may determine a device capable of performing the first intention based on information of the plurality of external artificial intelligence devices 100-2 and 100-3.
  • the information of the external artificial intelligence device may include one or more of identification information, a name, and functions of the external artificial intelligence device for identifying the external artificial intelligence device.
  • the processor 180 may determine a device suitable for the first intention by using information of the plurality of external artificial intelligence devices 100-2 and 100-3.
  • the processor 180 of the artificial intelligence device 100-1 sends a first control command to the first external artificial intelligence device 100-2, which is the determined device, to perform an operation corresponding to the first intention. 114) through transmission (S1811).
  • the processor 180 determines a device that meets the first intention among the first external artificial intelligence device 100-2 and the second external artificial intelligence device 100-3 as the first external artificial intelligence device 100-2. I can.
  • the first external artificial intelligence device 100-2 performs an operation corresponding to the first control command upon receiving the first control command (S1813).
  • the microphone 122 of the artificial intelligence device 100-1 receives a second operation command (S1815).
  • the second operation command may be a command continuously uttered after the user utters the first operation command.
  • the second operation command may be a received command 1 second after the first operation command is received.
  • 1 second is a numerical value for illustrative purposes only.
  • the processor 180 of the artificial intelligence device 100-1 acquires a second voice quality level indicating the quality of the received second motion command and the intention of the second motion command (S1817).
  • the processor 180 may acquire a second voice quality level of the second operation command based on the voice data of the second operation command.
  • the process of obtaining the voice quality level adopts the description of FIGS. 5 and 6.
  • the processor 180 may acquire the intention of the second operation instruction by using the NLP server 20 or a natural language processing engine provided by itself.
  • the processor 180 of the artificial intelligence device 100-1 compares the first voice quality level and the second voice quality level to determine whether the voice quality level has changed (S1819).
  • the processor 180 may determine that the voice quality level has changed.
  • the preset level range determines the change of the voice quality level, and may be a range that becomes a reference.
  • the processor 180 when the voice quality level is the volume, the processor 180 indicates that the voice quality level has changed when the difference between the first volume of the first action command and the second volume of the second action command is more than a preset volume range. I can judge.
  • the processor 180 may recognize the intention to change the control target device.
  • the processor 180 of the artificial intelligence device 100-1 determines a device corresponding to the second intention (S1821).
  • the processor 180 may determine a device capable of performing the second intention based on information on a plurality of artificial intelligence devices.
  • the processor 180 of the artificial intelligence device 100-1 transmits a second control command to the determined second external artificial intelligence device 100-3 to perform an operation suitable for the second intention. It is transmitted through (S1823).
  • the second external artificial intelligence device 100-3 performs an operation corresponding to the second control command upon receiving the second control command (S1825).
  • the AI hub device 1900-1 is the artificial intelligence device 100-1 of FIG. 18, the TV 1900-2 is the first external artificial intelligence device 100-2, and an air purifier. It is assumed that (1900-3) is the second external artificial intelligence device 100-3.
  • the voice quality level is the volume of an operation command.
  • the AI hub device 1900-1 may perform wireless communication with the TV 1900-2 and the air purifier 1900-3.
  • the AI hub device 1900-1 is from the TV 1900-2, identification information of the TV 1900-2, the name of the TV 1900-2, the model name, and functions that the TV 1900-3 can perform. You can receive information about them.
  • the AI hub device 1900-1 may provide identification information, name, model name, and functions that the air purifier 1900-3 can perform from the air purifier 1900-3. You can receive information about it.
  • FIG. 20 a graph showing a change in volume of voice commands uttered by a user over time.
  • the user utters a first operation command 2010 having a first time period t1, a second operation command 2030 having a second time period t2, and then the third time period t3
  • the third operation command 2050 with is sequentially fired.
  • the AI hub device 1900-1 may receive the first operation command 2010 and obtain a first volume and a first intention of the received first operation command 2010.
  • the AI hub device 1900-1 may acquire a first intention of the first operation command 2010 by using voice data corresponding to the first operation command 2010.
  • the AI hub device 1900-1 may recognize the intention of ⁇ turn on air cleaner> as turning on the power of the air cleaner 1900-3.
  • the AI hub device 1900-1 searches for the air purifier 1900-3 using the information of the device connected to it, and turns on the searched air purifier 1900-3 as shown in FIG. 21. You can send a control command to make it happen.
  • the air purifier 1900-3 may turn on its own power according to a control command received from the AI hub device 1900-1.
  • the AI hub device 1900-1 may receive the second operation command 2030, and obtain a second volume and a second intention of the second operation command 2030.
  • the AI hub device 1900-1 may compare the first volume and the second volume, and, as a result of the comparison, determine whether a difference between the first volume and the second volume is greater than or equal to a preset volume range.
  • the first volume is 20, the second volume is 50, and the preset volume range is 10 to 20.
  • the preset volume range is only an example, and the reference value may be a preset fixed value.
  • the reception of the second operation command 2030 can be recognized as a trigger for changing the control target device. have.
  • the AI hub device 1900-1 may recognize the intention to change the control target device and acquire the intention of the second operation command 2030 ⁇ tell me tomorrow weather>.
  • the AI hub device 1900-1 may acquire the intention of a user who wants the weather of tomorrow.
  • the AI hub device 1900-1 searches for devices other than the air purifier 1900-3 that performed an operation corresponding to the first intention of the first operation command, and the TV 1900-2, which is the remaining device, is 2 It is possible to determine whether the device is capable of carrying out the intention.
  • the AI hub device 1900-1 determines that it is a device capable of performing the second intention based on the functions of the TV 1900-2 stored in advance, the TV 1900-2 may perform the second intention. It can be decided by the device.
  • the AI hub device 1900-1 may transmit a control command for outputting tomorrow's weather corresponding to the second intention to the TV 1900-2.
  • the TV 1900-2 may output tomorrow's weather according to a control command received from the AI hub device 1900-1.
  • a device to perform an operation corresponding to the voice command may be clearly selected by grasping the volume and intention of the user's voice command.
  • a user can obtain a desired result by simply speaking a voice command that changes the speaking size.
  • a user can accurately obtain a desired result by uttering only a command to perform his/her desired operation without uttering the name of the device, thereby allowing an improved user experience.
  • the AI hub device 1900-1 may receive a third operation command 2030 and obtain a third volume and a third intention of the third operation command 2050.
  • the AI hub device 1900-1 may compare the second volume and the third volume and, as a result of the comparison, determine whether a difference between the second volume and the third volume is greater than or equal to a preset volume range.
  • the difference is 30, and does not fall within the preset volume range.
  • the AI hub device 1900-1 may recognize the reception of the third operation command 2050 as a trigger for changing the control target device.
  • the AI hub device 1900-1 may recognize the control target device as a trigger for changing the control target device to an existing control target device.
  • the AI hub device 1900-1 may recognize the control target device as a trigger for changing to an existing control target device. .
  • the AI hub device 1900-1 may recognize the intention to change the control target device and obtain the intention ⁇ go to power mode>, which is the third operation command 2050.
  • the AI hub device 1900-1 may acquire the user's intention to change the mode to the strong mode.
  • the AO hub device 1900-1 may search for a device having a strong mode and determine the searched air purifier 2010 as a control target device.
  • the AI hub device 1900-1 determines the air purifier 1900-3 having a function of the strong mode as a device capable of performing the third intention, and as shown in FIG. 21, the air purifier 1900-3 ) Can be sent a control command requesting the switch to the strong mode.
  • the air purifier 1900-3 may switch the operation mode to the powerful mode.
  • the AI hub device may confirm that the first and second external artificial intelligence devices can perform the corresponding operation command in the process of searching for a device that will perform the intention corresponding to the operation command.
  • the AI hub device may determine a device that will perform the intention corresponding to the motion command, based on a distance from the first and second external artificial intelligence devices.
  • the AI hub device operates the first external artificial intelligence device. It can be determined by the device that will carry out its intention.
  • the AI hub device may determine the first external artificial intelligence device as the first priority and the second external artificial intelligence device as the second priority.
  • the AI hub device may determine the second external artificial intelligence device as the control target device regardless of the distance.
  • the AI hub device is a second external artificial intelligence device, and may transmit a control signal suitable for the user's intention.
  • the above-described present invention can be implemented as a computer-readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.
  • the computer may include the processor 180 of an artificial intelligence device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따른 다른 기기의 동작을 제어할 수 있는 인공 지능 기기는 사용자가 발화한 명령어를 수신하는 마이크로폰과 외부 인공 지능 기기와 통신을 수행하는 무선 통신부 및 상기 마이크로폰을 통해 제1 동작 명령어를 수신하고, 수신된 제1 동작 명령어의 제1 음성 품질 레벨 및 제1 의도를 획득하고, 획득된 제1 의도를 수행할 제1 외부 인공 지능 기기를 결정하고, 결정된 제1 외부 인공 지능 기기에 제1 의도에 상응하는 제1 제어 명령을 전송하고, 제2 동작 명령어를 상기 마이크로폰을 통해 수신하고, 수신된 제2 동작 명령어의 제2 음성 품질 레벨 및 제2 의도를 획득하고, 상기 제1 음성 품질 레벨과 상기 제2 음성 품질 레벨 간의 차이가 기 설정된 레벨 범위 이상인 경우, 제어 대상 기기가 변경된 것으로 판단하는 프로세서를 포함할 수 있다.

Description

다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
본 발명은 인공 지능 기기에 관한 것으로, 보다 상세하게는 사용자의 음성 명령어에 응답하여, 동작을 수행할 수 있는 기기를 선정할 수 있는 인공 지능 기기에 관한 것이다.
스마트폰에 시작된 음성인식 기술 경쟁은 사물인터넷(IoT)의 본격 확산과 맞물려 이제 집 안에서 본격적으로 불붙을 전망이다.
특히, 주목할 만 한 점은 그 기기가 음성을 매개로 명령을 내리고, 대화를 나눌 수도 있는 인공지능(AI) 기기라는 점이다.
음성인식 서비스는 막대한 양의 데이터베이스를 활용하여, 사용자의 질문에 최적 답변을 선택하는 구조를 갖고 있다.
음성검색 기능 역시 입력된 음성데이터를 클라우드 서버에서 텍스트로 변환하여 분석하고, 그 결과에 따른 실시간 검색결과를 기기로 재전송하는 방식이다.
클라우드 서버는 수많은 단어들을 성별, 연령별, 억양별로 구분된 음성 데이터로 구분하여, 저장하고 실시간으로 처리할 수 있는 컴퓨팅 능력을 보유하고 있다.
음성 인식은 더 많은 음성데이터가 축적될수록, 인간과 동등한(Human parity) 수준 정도로, 정확해 질 것이다.
최근에는, 음성 인식이 가능한 복수의 인공 지능 기기들이 댁내에 존재한다.
사용자가 제어할 인공 지능 기기를 선택하기 위해서는, 발화 명령어를 분석하여, 분석 결과에 따라 기기가 결정된다.
그러나, 복수의 인공 지능 기기들이 댁내에 있는 경우, 사용자가 발화한 명령어가 기기를 특정하지 않는 경우, 어느 기기가 동작되어야 하는지 명확하지 않다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명은 복수의 인공 지능 기기들 중 사용자가 발화한 동작 명령어의 음성 품질 및 의도를 이용하여, 제어 대상 기기를 선택할 수 있는 인공 지능 기기의 제공을 목적으로 한다.
본 발명의 복수의 인공 지능 기기들 중 사용자가 발화한 동작 명령어의 성량 및 의도에 따라 제어 대상 기기를 선택할 수 있는 인공 지능 기기의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 인공 지능 기기는 수신된 동작 명령어의 음성 품질의 변경 여부 및 동작 명령어의 의도에 따라 제어 대상 기기를 선정할 수 있다.
본 발명의 실시 예에 따른 인공 지능 기기는 동작 명령어의 성량의 변화가 기 설정된 범위 내에 있는지 여부에 따라 복수의 외부 인공 지능 기기들 중 어느 하나를 제어 대상 기기로 선정할 수 있다.
본 발명의 실시 예에 따르면, 명령어의 음성 품질에 따라 제어 대상 기기가 선택되므로, 사용자는 보다 쉽게 제어 대상 기기를 선정할 수 있다.
본 발명의 실시 예에 따르면, 명령어의 음량에 따라 제어 대상 기기가 선택되므로, 사용자는 목소리의 크기만을 변화시켜 발화하는 것만으로도, 원하는 혼란 없이, 제어 대상 기기를 선택할 수 있다.
본 발명의 실시 예에 따르면, 사용자의 음성 명령어의 성량 및 의도를 파악하여, 음성 명령어에 대응하는 동작을 수행할 기기가 명확하게 선정될 수 있다. 따라서, 사용자는 발화 크기를 변경하는 음성 명령어의 단순한 발화만으로도, 원하는 결과를 얻을 수 있다.
또한, 사용자는 기기의 명칭을 발화하지 않고, 자신의 원하는 동작을 수행하도록 하는 명령어만을 발화함에 따라 원하는 결과를 정확하게 얻을 수 있어, 향상된 사용자 경험을 느낄 수 있다.
도 1은 본 발명과 관련된 인공 지능 기기를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 변형 가능한 이동 인공 지능 기기의 다른 예를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시 예에 따라 음성 신호로부터 사용자의 발화 특징을 추출하는 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 음성 신호를 파워 스펙트럼으로 변환한 예를 설명한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 따라, 음성 품질 레벨을 측정하는 예를 설명하는 도면이다.
도 7은 도 5에 도시된 인공 지능 시스템의 동작 방법에 대한 실제 사용 시나리오를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 인공 지능 기기의 동작 방법을 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 발명의 실시 예에 따라 복수의 인공 지능 기기들 중 사용자의 기동 명령어에 응답하여, 어느 하나의 기기가 제어 대상으로 선택되는 과정을 설명하는 도면이다.
도 11은 본 발명의 또 다른 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하기 위한 래더 다이어 그램이다.
도 12 및 도 13은 사용자와 인공 지능 기기 사이에 장애물이 존재하는 경우, 기동 명령어의 음량 크기를 보정하는 방법을 설명하는 예를 설명하는 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 인공 지능 기기의 동작 방법을 설명하기 위한 흐름도이다.
도 15 및 도 16은 사용자의 이동 감지에 따라, 음량의 적정 범위를 자동으로, 조절하는 과정을 설명하는 도면이다.
도 17은 본 발명의 일 실시 예에 따라, 복수의 인공 지능 기기들이 고정된 위치에 배치되는 경우, 각 기기의 적정 발화 음량 범위를 등록하는 과정을 설명하는 도면이다.
도 18은 본 발명의 또 다른 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하기 위한 래더다이어 그램이다.
도 19 내지 도 21은 본 발명의 실시 예에 따라 AI 허브 기기가 사용자가 발화한 음성 명령어를 수행할 기기를 결정하고, 결정된 기기에 제어 명령을 전송하는 과정을 설명하는 도면이다.
도 22는 본 발명의 실시 예에 따라, 사용자가 발화한 동작 명령어를 수행할 기기가 복수 개 존재하는 경우, 복수의 인공 지능 기기들 중, 동작 명령어를 수행할 기기를 결정하는 예를 설명한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 설명되는 인공 지능 기기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 인공 지능 기기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 인공 지능 기기 (smartwatch), 글래스형 인공 지능 기기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 인공 지능 기기(100)는 스마트 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 인공 지능 기기에도 적용될 수도 있다.
또한, 본 발명의 실시 예에 따른 인공 지능 기기(100)는 고정 또는 이동 가능한 로봇에도 적용될 수 있다.
또한, 본 발명의 실시 예에 따른 인공 지능 기기(100)는 음성 에이전트의 기능을 수행할 수 있다. 음성 에이전트는 사용자의 음성을 인식하고, 인식된 사용자의 음성에 적합한 응답을 음성으로 출력하는 프로그램일 수 있다.
인공 지능 기기(100)는 무선 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 프로세서(180) 및 전원 공급부(190)를 포함할 수 있다.
무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 인공 지능 기기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
위치정보 모듈(115)은 이동 인공 지능 기기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 인공 지능 기기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 인공 지능 기기의 위치를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 인공 지능 기기(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 인공 지능 기기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면,
프로세서(180)는 입력된 정보에 대응되도록 인공 지능 기기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 인공 지능 기기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성 될 수 있다.
러닝 프로세서(130)는 인공 지능 기기에 의해 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 출력되거나 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 다른 컴포넌트, 디바이스, 인공 지능 기기 또는 인공 지능 기기와 통신하는 장치에 의해 출력되는 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함 할 수 있다.
러닝 프로세서(130)는 인공 지능 기기에 통합되거나 구현된 메모리를 포함 할 수 있다. 일부 실시 예에서, 러닝 프로세서(130)는 메모리(170)를 사용하여 구현 될 수 있다.
선택적으로 또는 부가 적으로, 러닝 프로세서(130)는 인공 지능 기기에 직접 결합된 외부 메모리 또는 인공 지능 기기와 통신하는 서버에서 유지되는 메모리와 같이 인공 지능 기기와 관련된 메모리를 사용하여 구현 될 수 있다.
다른 실시 예에서, 러닝 프로세서(130)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 인공 지능 기기에 의해 액세스 가능한 다른 원격 메모리 위치를 이용하여 구현 될 수 있다.
러닝 프로세서(130)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신에서 사용하기 위해 데이터를 식별, 색인화, 카테고리화, 조작, 저장, 검색 및 출력하기 위해 데이터를 하나 이상의 데이터베이스에 저장하도록 구성될 수 있다.
러닝 프로세서(130)에 저장된 정보는 다양한 상이한 유형의 데이터 분석 알고리즘 및 기계 학습 알고리즘 중 임의의 것을 사용하여 프로세서(180) 또는 인공 지능 기기의 하나 이상의 다른 제어기에 의해 이용될 수 있다.
이러한, 알고리즘의 예로는, k-최근 인접 시스템, 퍼지 논리 (예: 가능성 이론), 신경 회로망, 볼츠만 기계, 벡터 양자화, 펄스 신경망, 지원 벡터 기계, 최대 마진 분류기, 힐 클라이밍, 유도 논리 시스템 베이지안 네트워크, 페리트넷 (예: 유한 상태 머신, 밀리 머신, 무어 유한 상태 머신), 분류기 트리 (예: 퍼셉트론 트리, 지원 벡터 트리, 마코프 트리, 의사 결정 트리 포리스트, 임의의 포리스트), 판돈 모델 및 시스템, 인공 융합, 센서 융합, 이미지 융합, 보강 학습, 증강 현실, 패턴 인식, 자동화 된 계획 등을 포함한다.
프로세서(180)는 데이터 분석 및 기계 학습 알고리즘을 사용하여 결정되거나, 생성된 정보에 기초하여 인공 지능 기기의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 상기 인공 지능 기기를 제어할 수 있다.
프로세서(180)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다.
프로세서(180)는, 또한 I/O 처리 모듈, 환경 조건 모듈, 음성 - 텍스트 (STT) 처리 모듈, 자연어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈과 같이, 음성 및 자연 언어 음성 처리를 수반하는 연산을 가능하게 하는 서브 모듈을 포함할 수 있다.
이들 서브 모듈들 각각은, 인공 지능 기기에서의 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼 셋에 대한 액세스를 가질 수 있다. 또한, 이들 서브 모듈들 각각은, 어휘 색인, 사용자 데이터, 작업 흐름 모델, 서비스 모델 및 자동 음성 인식 (ASR) 시스템을 비롯한 다양한 기능을 제공할 수 있다.
다른 실시 예에서, 프로세서(180) 또는 인공 지능 기기의 다른 양태는 상기 서브 모듈, 시스템, 또는 데이터 및 모델로 구현 될 수 있다.
일부 예에서, 러닝 프로세서(130)의 데이터에 기초하여, 프로세서(180)는 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 검출하고 감지하도록 구성 될 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 완전히 결정하는데 필요한 정보를 능동적으로 이끌어 내고, 획득할 수 있다. 예를 들어, 프로세서(180)는 역사적 입력 및 출력, 패턴 매칭, 모호하지 않은 단어, 입력 의도 등을 포함하는 과거 데이터를 분석함으로써 요구 사항을 결정하는데, 필요한 정보를 능동적으로 이끌어낼 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항에 응답하는 기능을 실행하기 위한 태스크 흐름을 결정할 수 있다.
프로세서(180)는 러닝 프로세서(130)에서 프로세싱 및 저장을 위한 정보를 수집하기 위해, 인공 지능 기기에서 하나 이상의 감지 컴포넌트를 통해 데이터 분석 및 기계 학습 작업에 사용되는 신호 또는 데이터를 수집, 감지, 추출, 검출 및/또는 수신하도록 구성 될 수 있다.
정보 수집은 센서를 통해 정보를 감지하는 것, 메모리(170)에 저장된 정보를 추출하는 것 또는 통신 수단을 통해 다른 인공 지능 기기, 엔티티 또는 외부 저장 장치로부터 정보를 수신하는 것을 포함 할 수 있다.
프로세서(180)는 인공 지능 기기에서 사용 히스토리 정보를 수집하여, 저장할 수 있다.
프로세서(180)는 저장된 사용 히스토리 정보 및 예측 모델링을 사용하여 특정 기능을 실행하기 위한 최상의 매치를 결정할 수 있다.
프로세서(180)는 센싱부(140)를 통해 주변 환경 정보 또는 기타 정보를 수신하거나 감지 할 수 있다.
프로세서(180)는 무선 통신부(110)을 통해 방송 신호 및/또는 방송 관련 정보, 무선 신호, 무선 데이터를 수신할 수 있다.
프로세서(180)는 입력부(120)로부터 이미지 정보 (또는 해당 신호), 오디오 정보 (또는 해당 신호), 데이터 또는 사용자 입력 정보를 수신 할 수 있다.
프로세서(180)는 정보를 실시간으로 수집하고, 정보 (예를 들어, 지식 그래프, 명령 정책, 개인화 데이터베이스, 대화 엔진 등)를 처리 또는 분류하고, 처리 된 정보를 메모리(170) 또는 러닝 프로세서(130)에 저장할 수 있다.
인공 지능 기기의 동작이 데이터 분석 및 기계 학습 알고리즘 및 기술에 기초하여 결정될 때, 프로세서(180)는 결정된 동작을 실행하기 위해 인공 지능 기기의 구성 요소를 제어 할 수 있다. 그리고 프로세서(180)는 제어 명령에 따라 단말을 제어하여 결정된 동작을 수행 할 수 있다.
프로세서(180)는 특정 동작이 수행되는 경우, 데이터 분석 및 기계 학습 알고리즘 및 기법을 통해 특정 동작의 실행을 나타내는 이력 정보를 분석하고, 분석된 정보에 기초하여 이전에 학습 한 정보의 업데이트를 수행 할 수 있다.
따라서, 프로세서(180)는 러닝 프로세서(130)과 함께, 업데이트 된 정보에 기초하여 데이터 분석 및 기계 학습 알고리즘 및 기법의 미래 성능의 정확성을 향상시킬 수 있다.
센싱부(140)는 이동 인공 지능 기기 내 정보, 이동 인공 지능 기기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 인공 지능 기기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 인공 지능 기기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 인공 지능 기기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 인공 지능 기기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 인공 지능 기기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 인공 지능 기기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 인공 지능 기기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
인터페이스부(160)는 인공 지능 기기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)중 적어도 하나를 포함할 수 있다. 인공 지능 기기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
한편, 식별 모듈은 인공 지능 기기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 인공 지능 기기(100)와 연결될 수 있다.
메모리(170)는 인공 지능 기기(100)의 다양한 기능을 지원하는 데이터를 저장한다.
메모리(170)는 인공 지능 기기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 인공 지능 기기(100)의 동작을 위한 데이터들, 명령어들을, 러닝 프로세서(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 인공 지능 기기(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용프로그램의 구동을 위하여, 인공 지능 기기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 인공 지능 기기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
한편, 앞서 살펴본 것과 같이, 프로세서(180)는 응용 프로그램과 관련된 동작과, 통상적으로 인공 지능 기기(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(180)는 상기 이동 인공 지능 기기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 음성 시스템(1)은 인공 지능 기기(100), 음성 텍스트 변환(Speech To Text, STT) 서버(10), 자연어 처리(Natural Language Processing, NLP) 서버(20) 및 음성 합성 서버(30)를 포함할 수 있다.
인공 지능 기기(100)는 음성 데이터를 STT 서버(10)에 전송할 수 있다.
STT 서버(10)는 인공 지능 기기(100)로부터 수신된 음성 데이터를 텍스트 데이터로 변환할 수 있다.
STT 서버(10)는 언어 모델을 이용하여 음성-텍스트 변환의 정확도를 높일 수 있다.
언어 모델은 문장의 확률을 계산하거나, 이전의 단어들이 주어졌을 때 다음 단어가 나올 확률을 계산할 수 있는 모델을 의미할 수 있다.
예컨대, 언어 모델은 유니그램(Unigram) 모델, 바이그램(Bigram) 모델, N-그램(N-gram) 모델 등과 같은 확률론적 언어 모델들을 포함할 수 있다.
유니그램 모델은 모든 단어의 활용이 완전히 서로 독립적이라고 가정하는 모델로, 단어 열의 확률을 각 단어의 확률의 곱으로 계산하는 모델이다.
바이그램 모델은 단어의 활용이 이전 1개의 단어에만 의존한다고 가정하는 모델이다.
N-그램 모델은 단어의 활용이 이전 (n-1)개의 단어에 의존한다고 가정하는 모델이다.
즉, STT 서버(10)는 언어 모델을 이용하여 음성 데이터로부터 변환된 텍스트 데이터가 적합하게 변환된 것인지 판단할 수 있고, 이를 통해 텍스트 데이터로의 변환의 정확도를 높일 수 있다.
NLP 서버(20)는 STT 서버(10)로부터 텍스트 데이터를 수신할 수 있다. NLP 서버(20)는 수신된 텍스트 데이터에 기초하여, 텍스트 데이터에 대한 의도 분석을 수행할 수 있다.
NLP 서버(20)는 의도 분석의 수행 결과를 나타내는 의도 분석 정보를 인공 지능 기기(100)에 전송할 수 있다.
NLP 서버(20)는 텍스트 데이터에 대해, 형태소 분석 단계, 구문 분석 단계, 화행 분석 단계, 대화 처리 단계를 순차적으로, 수행하여, 의도 분석 정보를 생성할 수 있다.
형태소 분석 단계는 사용자가 발화한 음성에 대응하는 텍스트 데이터를 의미를 지닌 가장 작은 단위인 형태소 단위로 분류하고, 분류된 각 형태소가 어떤 품사를 가지는지를 결정하는 단계이다.
구문 분석 단계는 형태소 분석 단계의 결과를 이용하여, 텍스트 데이터를 명사구, 동사구, 형용사 구 등으로 구분하고, 구분된 각 구들 사이에, 어떠한 관계가 존재하는지를 결정하는 단계이다.
구문 분석 단계를 통해, 사용자가 발화한 음성의 주어, 목적어, 수식어들이 결정될 수 있다.
화행 분석 단계는 구문 분석 단계의 결과를 이용하여, 사용자가 발화한 음성에 대한 의도를 분석하는 단계이다. 구체적으로, 화행 분석 단계는 사용자가 질문을 하는 것인지, 요청을 하는 것인지, 단순한 감정 표현을 하는 것인지와 같은 문장의 의도를 결정하는 단계이다.
대화 처리 단계는 화행 분석 단계의 결과를 이용하여, 사용자의 발화에 대해 대답을 할지, 호응을 할지, 추가 정보를 문의하는 질문을 할지를 판단하는 단계이다.
NLP 서버(20)는 대화 처리 단계 후, 사용자가 발화한 의도에 대한 답변, 호응, 추가 정보 문의 중 하나 이상을 포함하는 의도 분석 정보를 생성할 수 있다.
한편, NLP 서버(20)는 인공 지능 기기(100)로부터 텍스트 데이터를 수신할 수도 있다. 예를 들어, 인공 지능 기기(100)가 음성 텍스트 변환 기능을 지원하는 경우, 인공 지능 기기(100)는 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 NLP 서버(20)에 전송할 수 있다.
음성 합성 서버(30)는 기 저장된 음성 데이터들을 조합하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 모델로 선정된 한 사람의 음성을 녹음하고, 녹음된 음성을 음절 또는 단어 단위로 분할할 수 있다. 음성 합성 서버(30)는 음절 또는 단어 단위로, 분할된 음성을 내부 또는 외부의 데이터 베이스에 저장할 수 있다.
음성 합성 서버(30)는 주어진 텍스트 데이터에 대응하는 음절 또는 단어를 데이터 베이스로부터 검색하고, 검색된 음절 또는 단어들의 조합을 합성하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 복수의 언어들 각각에 대응하는 복수의 음성 언어 그룹들을 저장하고 있을 수 있다.
예를 들어, 음성 합성 서버(30)는 한국어로 녹음된 제1 음성 언어 그룹, 영어로, 녹음된 제2 음성 언어 그룹을 포함할 수 있다.
음성 합성 서버(30)는 제1 언어의 텍스트 데이터를 제2 언어의 텍스트로 번역하고, 제2 음성 언어 그룹을 이용하여, 번역된 제2 언어의 텍스트에 대응하는 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 생성된 합성 음성을 인공 지능 기기(100)에 전송할 수 있다.
음성 합성 서버(30)는 NLP 서버(20)로부터 의도 분석 정보를 수신할 수 있다.
음성 합성 서버(30)는 의도 분석 정보에 기초하여, 사용자의 의도를 반영한, 합성 음성을 생성할 수 있다.
일 실시 예에서, STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30)는 하나의 서버로 구현될 수 있다.
위에서, 설명된 STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30) 각각의 기능은 인공 지능 기기(100)에서도 수행될 수도 있다. 이를 위해, 인공 지능 기기(100)는 복수의 프로세서들을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 음성 신호로부터 사용자의 발화 특징을 추출하는 과정을 설명하는 도면이다.
도 1에 도시된, 인공 지능 기기(100)는 오디오 프로세서(181)를 더 포함할 수 있다.
오디오 프로세서(181)는 프로세서(180)와 별도의 칩으로 구현되거나, 프로세서(180)에 포함된 칩으로 구현될 수 있다.
오디오 프로세서(181)는 음성 신호로부터, 잡음을 제거할 수 있다.
오디오 프로세서(181)는 음성 신호를 텍스트 데이터로 변환할 수 있다. 이를 위해, 오디오 프로세서(181)는 STT 엔진을 구비할 수 있다.
오디오 프로세서(181)는 인공 지능 기기(100)의 음성 인식을 활성화시키기 위한 기동어를 인식할 수 있다. 오디오 프로세서(181)는 마이크로폰(122)을 통해 수신된 기동어를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터가 기 저장된 기동어에 대응하는 텍스트 데이터인 경우, 기동어를 인식한 것으로 판단할 수 있다.
오디오 프로세서(181)는 잡음이 제거된 음성 신호를 파워 스펙트럼으로 변환할 수 있다.
파워 스펙트럼은 시간적으로 변동하는 음성 신호의 파형에 어떠한 주파수 성분이 어떠한 크기로 포함되어 있는지를 나타내는 파라미터일 수 있다.
파워 스펙트럼은 음성 신호의 파형의 주파수에 따른 진폭 제곱 값의 분포를 보여준다.
이에 대해서는 도 4를 참조하여, 설명한다.
도 4는 본 발명의 일 실시 예에 따른 음성 신호를 파워 스펙트럼으로 변환한 예를 설명한 도면이다.
도 4을 참조하면, 음성 신호(410)가 도시되어 있다. 음성 신호(410)는 마이크로폰(122)을 통해 수신되거나, 메모리(170)에 미리 저장된 신호일 수 있다.
음성 신호(410)의 x축은 시간이고, y축은 진폭의 크기를 나타낼 수 있다.
오디오 프로세서(181)는 x축이 시간 축인 음성 신호(410)를 x축이 주파수 축인 파워 스펙트럼(430)으로 변환할 수 있다.
오디오 프로세서(181)는 고속 퓨리에 변환(Fast Fourier Transform, FFT)을 이용하여, 음성 신호(410)를 파워 스펙트럼(430)으로 변환할 수 있다.
파워 스펙트럼(430)의 x축은 주파수, y축은 진폭의 제곱 값을 나타낸다.
다시 도 3을 설명한다.
프로세서(180)는 오디오 프로세서(181)로부터 전달된 텍스트 데이터 또는 파워 스펙트럼(430) 중 하나 이상을 이용하여, 사용자의 발화 특징을 결정할 수 있다.
사용자의 발화 특징은 사용자의 성별, 사용자의 음의 높낮이, 사용자의 음색, 사용자의 발화 주제, 사용자의 발화 속도, 사용자의 성량등을 포함할 수 있다.
프로세서(180)는 파워 스펙트럼(430)을 이용하여, 음성 신호(410)의 주파수 및 주파수에 대응하는 진폭을 획득할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 음성을 발화한 사용자의 성별을 결정할 수 있다.
예를 들어, 프로세서(180)는 파워 스펙트럼(430)의 주파수 대역이 기 설정된 제1 주파수 대역 범위 내인 경우, 사용자의 성별을 남자로 결정할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역이 기 설정된 제2 주파수 대역 범위 내인 경우, 사용자의 성별을 여자로 결정할 수 있다. 여기서, 제2 주파수 대역 범위는 제1 주파수 대역 범위보다 클 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 음성의 높낮이를 결정할 수 있다.
예를 들어, 프로세서(180)는 특정 주파수 대역 범위 내에서, 진폭의 크기에 따라 음의 높낮이 정도를 결정할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 사용자의 음색(tone)을 결정할 수 있다. 예를 들어, 프로세서(180)는 파워 스펙트럼(430)의 주파수 대역들 중, 진폭의 크기가 일정 크기 이상인 주파수 대역을 사용자의 주요 음역대로 결정하고, 결정된 주요 음역대를 사용자의 음색으로 결정할 수 있다.
프로세서(180)는 변환된 텍스트 데이터로부터, 단위 시간 당 발화된 음절 수를 통해, 사용자의 발화 속도를 결정할 수 있다.
프로세서(180)는 변환된 텍스트 데이터에 대해, Bag-Of-Word Model 기법을 이용하여, 사용자의 발화 주제를 결정할 수 있다.
Bag-Of-Word Model 기법은 문장 내 단어 빈도 수 기반으로, 주로 사용하는 단어를 추출하는 기법이다. 구체적으로, Bag-Of-Word Model 기법은 문장 내에서, 유니크한 단어를 추출하고, 추출된 각 단어의 빈도 수를 벡터로 표현하여, 발화 주제를 특징을 결정하는 기법이다.
예를 들어, 프로세서(180)는 텍스트 데이터에 <달리기>, <체력> 등과 같은 단어가 자주 등장하면, 사용자의 발화 주제를 운동으로 분류할 수 있다.
프로세서(180)는 공지된 텍스트 카테고리화(Text Categorization) 기법을 이용하여, 텍스트 데이터로부터 사용자의 발화 주제를 결정할 수 있다. 프로세서(180)는 텍스트 데이터로부터 키워드를 추출하여, 사용자의 발화 주제를 결정할 수 있다.
프로세서(180)는 전체 주파수 대역에서의 진폭 정보를 고려하여 사용자의 성량을 결정할 수 있다.
예컨대, 프로세서(180)는 파워 스펙트럼의 각 주파수 대역에서의 진폭의 평균 또는 가중치 평균을 기준으로 사용자의 성량을 결정할 수 있다.
도 3 및 도 4에서 설명된 오디오 프로세서(181) 및 프로세서(180)의 기능은 NLP 서버(20), 음성 합성 서버(30) 중 어느 하나의 서버에서도 수행될 수 있다.
예를 들어, NLP 서버(20)는 음성 신호를 이용하여, 파워 스펙트럼을 추출하고, 추출된 파워 스펙트럼을 이용하여, 사용자의 발화 특징을 결정할 수 있다.
인공 지능 시스템은 인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2), 제2 외부 인공 지능 기기(100-3)를 포함할 수 있다.
인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2), 제2 외부 인공 지능 기기(100-3)는 도 1에 도시된 모든 구성 요소들을 포함할 수 있다.
한편, 도 5에서는 인공 지능 시스템이 3개의 인공 지능 기기들을 포함하는 것을 예로 들어 설명하나, 이는 예시에 불과하고, 더 많은 수의 인공 지능 기기들을 포함할 수도 있다.
인공 지능 기기(100-1)의 마이크로폰(122) 및 제1 외부 인공 지능 기기(100-2)의 마이크로폰(122) 각각은 기동 명령어를 수신한다(S501, S503).
일 실시 예에서, 기동 명령어는 특정 인공 지능 기기를 활성화시키기 위해 사용되는 사용자의 음성 명령어일 수 있다.
도 5에서는, 인공 지능 기기(100-1) 및 제1 외부 인공 지능 기기(100-2) 만이 기동 명령어를 수신하는 것으로 실시 예로 기재하였으나, 이는 예시에 불과하고, 제2 외부 인공 지능 기기(100-3) 또한, 기동 명령어를 수신할 수도 있다.
인공 지능 기기(100-1)의 프로세서(180)는 수신된 기동 명령어의 제1 음성 품질 레벨을 획득하고(S505), 제1 외부 인공 지능 기기(100-2)는 기동 명령어의 제2 음성 품질 레벨을 획득한다(S507).
프로세서(180)는 수신된 기동 명령어의 음성 품질을 나타내는 제1 음성 품질 레벨을 획득할 수 있다.
일 예로, 프로세서(180)는 시간 축에서, 키워드 음성 대비 주변 잡음의 파워 비율(Keyword Speech to Ambient Noise Ratio, KSANR)을 제1 음성 품질 레벨로 획득할 수 있다.
즉, 프로세서(180)는 수신된 기동 명령어에 대해 시간 축에서, 키워드 음성 대비 주변 잡음의 파워 비율을 측정하고, 측정된 비율을 제1 음성 품질 레벨로 획득할 수 있다.
또 다른 예로, 프로세서(180)는 주파수 도메인에서, 키워드 음성 구간의 신호 대비 잡음 구간의 신호 비율(Signal to Noise Ration, SNR)을 측정하고, 측정된 비율을 제1 음성 품질 레벨로 획득할 수 있다.
즉, 프로세서(180)는 수신된 기동 명령어에 대해, 주파수 도메인에서, 키워드 음성 구간의 신호 대비 잡음 비율을 제1 음성 품질 레벨로 획득할 수 있다.
마찬가지로, 제1 외부 인공 지능 기기(100-2)의 프로세서(180) 또한, 수신된 기동 명령어의 KSANR 또는 SNR 중 어느 하나를 제2 음성 품질 레벨로 획득할 수 있다.
한편, 프로세서(180)는 기동 명령어로부터, 키워드 음성, 음성 잡음, 주변 잡음을 추출할 수 있다. 프로세서(180)는 추출 결과를 이용하여, KSANR 또는 SNR과 같은, 음성 품질 레벨을 측정할 수 있다.
또 다른 예로, 음성 품질 레벨은 기동 명령어의 음량이 적정 범위 내에 속하는 정도를 나타낼 수 있다.
예를 들어, 인공 지능 기기(100-1)가 수신한 기동 명령어의 음량이 적정 범위 내에 있고, 제1 외부 인공 지능 기기(100-2)가 수신된 기동 명령어의 음량이 적정 범위 내에 있지 않은 경우, 인공 지능 기기(100-1)가 수신한 기동 명령어의 제1 음성 품질 레벨이 제1 외부 인공 지능 기기(100-2)가 수신된 기동 명령어의 제2 음성 품질 레벨보다 더 큰 것으로 판단할 수 있다.
이 경우, 음성 품질 레벨은 외부 인공 지능 기기가 수신한 기동 명령어의 음량 또는 기동 명령어의 음량이 적정 범위 내에 속하는지 여부에 대한 정보를 포함할 수 있다.
도 6을 참조하면, 마이크로폰(122)을 통해 입력된 기동 명령어에 대응하는 음성 신호(610) 및 음성 신호(610)의 파워 스펙트럼(430)이 도시되어 있다.
오디오 프로세서(181)는 음성 신호(610)로부터, 키워드 음성(611), 음성 잡음(613, 615), 주변 잡음(617, 619)를 추출할 수 있다.
오디오 프로세서(181)는 음성 신호(610)의 특정 구간의 음성 패턴이 기 설정된 잡음 패턴과 일정 비율 이상 매칭되는 경우, 해당 구간을 음성 잡음으로 분류할 수 있다.
마찬가지로, 오디오 프로세서(181)는 음성 신호(610)의 특정 구간의 음성 패턴이 기 설정된 주변 잡음 패턴과 일정 비율 이상 매칭되는 경우, 해당 구간을 주변 잡음으로 구별할 수 있다.
오디오 프로세서(181)는 음성 신호(610)로부터, 음성 잡음 및 주변 잡음을 제외한 나머지 구간을 키워드 음성으로 결정할 수 있다.
오디오 프로세서(181) 또는 프로세서(180)는 음성 신호(610)부터 추출된 키워드 음성(611), 음성 잡음(613, 615), 주변 잡음(617, 619)을 이용하여, 음성 품질 레벨을 획득할 수 있다.
일 예로, 오디오 프로세서(181) 또는 프로세서(180)는 키워드 음성(611)에 대응하는 파워 대비 주변 잡음(617, 619)에 대응하는 파워의 비율을 측정하고, 측정된 비율을 음성 품질 레벨로 획득할 수 있다. 여기서, 파워는 진폭 또는 진폭을 통해 계산된 파워일 수 있다.
또 다른 예로, 오디오 프로세서(181) 또는 프로세서(180)는 키워드 음성(611)에 대응되는 파워 스펙트럼의 전력 대비 잡음들(613, 615, 617, 619)에 대응하는 파워 스펙트럼의 전력 비율을 측정하고, 측정된 비율을 음성 품질 레벨로 획득할 수 있다.
다시, 도 5를 설명한다.
인공 지능 기기(100-1)의 프로세서(180)는 무선 통신부(110)를 통해 제1 외부 인공 지능 기기(100-2)로부터 제2 음성 품질 레벨을 수신한다(S509).
프로세서(180)는 근거리 통신 모듈(114)을 통해, 제1 외부 인공 지능 기기(100-2)로부터, 제2 음성 품질 레벨을 수신할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 제1 음성 품질 레벨과 제2 음성 품질 레벨을 비교하고, 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 큰지를 판단한다(S511).
일 실시 예에서, 프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동명령어의 KSANR과 제1 외부 인공 지능 기기(100-2)가 수신한 기동 명령어의 KSANR을 비교하고, 어느 값이 더 큰지를 판단할 수 있다.
프로세서(180)는 프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동명령어의 KSANR가 제1 외부 인공 지능 기기(100-2)로부터 수신된 KSANR 보다 더 큰 경우, 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 큰 것으로 결정할 수 있다.
반대로, 프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동 명령어의 KSANR가 제1 외부 인공 지능 기기(100-2)로부터 수신된 KSANR 보다 더 작은 경우, 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 작은 것으로 결정할 수 있다.
또 다른 예로, 프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동 명령어의 SNR과 제1 외부 인공 지능 기기(100-2)가 수신한 기동 명령어의 SNR을 비교하고, 어느 값이 더 큰지를 판단할 수 있다.
프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동 명령어의 SNR이 제1 외부 인공 지능 기기(100-2)로부터 수신된 SNR보다 더 큰 경우, 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 큰 것으로 결정할 수 있다.
반대로, 프로세서(180)는 인공 지능 기기(100-1)가 수신한 기동 명령어의 SNR이 제1 외부 인공 지능 기기(100-2)로부터 수신된 SNR보다 더 작은 경우, 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 더 작은 것으로 결정할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 큰 경우 , 인공 지능 기기(100-1)가 제어 대상으로 선택되었음을 나타내는 알림을 출력한다(S513).
프로세서(180)는 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 더 큰 경우, 인공 지능 기기(100-1)가 사용자의 기동 명령어에 따라 선택되었음을 나타내는 알림을 출력할 수 있다.
즉, 인공 지능 기기(100-1)는 기동 명령어에 따라 활성화되었음을 나타내는 알림을 출력할 수 있다.
프로세서(180)는 상기 알림을 음향 출력부(152)를 통해 음성으로 출력하거나, 광출력부(154)를 통해 특정 광을 출력할 수도 있다.
프로세서(180)는 상기 알림을 음성으로 출력하면서, 특정 광을 함께 출력할 수도 있다.
그 후, 인공 지능 기기(100-1)의 마이크로폰(122)은 동작 명령어를 수신하고(S515), 프로세서(180)는 수신된 동작 명령어의 의도를 획득한다(S517).
일 예로, 프로세서(180)는 동작 명령어를 텍스트로 변환하고, 변환된 텍스트를 도 2에 도시된 NLP 서버(20)로 전송할 수 있다.
프로세서(180)는 NLP 서버(20)가 분석한 의도 분석 결과를 NLP 서버(20)로부터 수신할 수 있다.
의도 분석 결과는 동작 명령어를 수행할 외부 인공 지능 기기 및 상기 외부 인공 지능 기기가 수행해야 할 동작을 포함할 수 있다.
또 다른 예로, 프로세서(180)는 동작 명령어의 의도를 자체적으로 획득할 수 있다.
프로세서(180)는 NLP 서버(20)의 기능을 수행할 수 있는 자연어 처리 엔진을 포함할 수 있고, 자연어 처리 엔진을 이용하여, 동작 명령어의 의도를 분석할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 획득된 의도에 기초하여, 동작 명령어에 대응하는 동작을 수행할 기기를 결정한다(S519).
프로세서(180)는 복수의 외부 인공 지능 기기들 중 획득된 의도에 따른 동작을 수행할 수 있는 기기를 결정할 수 있다. 복수의 외부 인공 지능 기기들 각각은 인공 지능 기기(100-1)와 연결된 기기 또는 연결 가능한 기기일 수 있다.
프로세서(180)는 인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2), 제2 외부 인공 지능 기기(100-3) 중 획득된 의도에 따른 동작을 수행할 수 있는 기기를 선정할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 결정된 제2 외부 인공 지능 기기(100-2)에 동작 명령어를 무선 통신부(110)를 통해 전송한다(S521).
제2 외부 인공 지능 기기(100-2)는 인공 지능 기기(100-1)로부터 동작 명령어를 수신하고, 수신된 동작 명령어에 대응하는 동작을 수행할 수 있다.
한편, 인공 지능 기기(100-1)의 프로세서(180)는 제1 음성 품질 레벨이 제2 음성 품질 레벨보다 작다고 판단한 경우, 음성 품질 레벨의 비교 결과를 제1 외부 인공 지능 기기(100-2)에 전송한다(S523).
음성 품질 레벨의 비교 결과는 제1 음성 품질 레벨과 제2 음성 품질 레벨 중 어느 것이 더 큰지를 나타내는 정보를 포함할 수 있다.
프로세서(180)는 음성 품질 레벨의 비교 결과 이외에, 제1 외부 인공 지능 기기(100-2)가 사용자의 발화에 따른 제어 대상 기기로 선정되었음을 알리는 메시지를 제1 외부 인공 지능 기기(100-2)에 전송할 수 있다.
제1 음성 품질 레벨이 제2 음성 품질 레벨보다 작은 경우, 인공 지능 기기(100-1)는 기동 명령어의 수신에 따라, 활성화되지 않고, 비 활성화 상태를 유지할 수 있다.
제1 외부 인공 지능 기기(100-2)는 수신된 음성 품질 레벨의 비교 결과에 기초하여, 제1 외부 인공 지능 기기(100-2)가 제어 대상으로 선택되었음을 나타내는 알림을 출력한다(S525).
도 7을 참조하면, 인공 지능 기기(100-1)는 스마트 TV이고, 제1 외부 인공 지능 기기(100-2)는 공기 청정기이고, 제2 외부 인공 지능 기기(100-3)는 로봇 청소기임을 가정한다.
또한, 인공 지능 기기(100-1) 및 제1 외부 인공 지능 기기(100-2)는 거실에 위치하고, 제2 외부 인공 지능 기기(100-3)는 안방에 위치함을 가정한다.
제2 외부 인공 지능 기기(100-3)는 사용자와의 거리가 멀어, 사용자가 발화한 음성 명령어를 수신 또는 인식하지 못함을 가정한다.
사용자는 <하이 엘지>라는 기동 명령어를 발화한다.
인공 지능 기기(100-1) 및 제1 외부 인공 지능 기기(100-2)는 사용자가 발화한 <하이 엘지>라는 기동 명령어를 수신한다.
인공 지능 기기(100-1)는 자신이 수신한 기동 명령어에 대한 제1 음성 품질 레벨을 획득할 수 있다.
또한, 인공 지능 기기(100-1)는 제1 외부 인공 지능 기기(100-2)로부터 제1 외부 인공 지능 기기(100-2)가 수신한 기동 명령어에 대한 제2 음성 품질 레벨을 수신할 수 있다.
인공 지능 기기(100-1)는 제1 음성 품질 레벨 및 제2 음성 품질 레벨을 비교하고, 제1 음성 품질 레벨이 더 큰 경우, 자신이 제어 대상으로 선정되었음을 나타내는 알림을 출력할 수 있다.
동시에, 인공 지능 기기(100-1)는 자신이 제어 대상으로 선정되었음을 나타내는 메시지를 제1 외부 인공 지능 기기(100-2)에 전송할 수 있다.
제1 외부 인공 지능 기기(100-2)는 인공 지능 기기(100-1)로부터 수신된 메시지에 따라, 사용자로부터, 기동 명령어를 수신했음에도, 활성화되지 않을 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 하나의 기동 명령어로 활성화되는 복수의 인공 지능 기기들 중 어느 하나의 기기만이, 제어 대상으로 선택될 수 있다.
이에 따라, 하나의 기동 명령어로 복수의 인공 지능 기기들이 활성화됨에 따라 발생될 수 있는, 혼란이 없어질 수 있다.
인공 지능 기기(100)의 마이크로폰(122)은 기동 명령어를 수신한다(S801).
인공 지능 기기(100)의 프로세서(180)는 수신된 기동 명령어의 음량을 측정한다(S803).
프로세서(180)는 마이크로폰(122)을 통해 기동 명령어가 입력된 경우, 입력된 기동 명령어의 음량을 측정할 수 있다.
측정된 음량은 데시벨의 단위를 가질 수 있으나, 이는 예시에 불과하다.
인공 지능 기기(100)의 프로세서(180)는 측정된 음량이 적정 범위에 속하는지를 판단한다(S805).
일 실시 예에서, 적정 범위는 인공 지능 기기(100)가 기동 명령어에 따라 활성화 상태로 변경되기 위해 요구되는 음량의 범위일 수 있다.
예를 들어, 적정 범위는 40 내지 60일 수 있으나, 이는 예시에 불과한 범위이다.
적정 범위는 각 인공 지능 기기가 댁 내에 배치될 때, 사용자에 의해 설정될 수 있는 범위일 수 있다. 즉, 사용자 입력에 따라 적정 범위가 각 기기에 등록될 수 있다.
인공 지능 기기(100)의 프로세서(180)는 측정된 음량이 적정 범위에 속한다고 판단한 경우, 자신이 제어 대상으로 선택되었음을 나타내는 알림을 출력한다(S807).
프로세서(180)는 측정된 음량이 적정 범위에 속하는 것으로 판단한 경우, 기동 명령어에 응답하여, 인공 지능 기기(100)의 비활성화 상태를 활성화 상태로 변경할 수 있다.
인공 지능 기기(100)의 비활성화 상태는 사용자가 발화한 동작 명령어에 대해 응답하지 않는 상태일 수 있다.
인공 지능 기기(100)의 활성화 상태는 사용자가 발화한 동작 명령어에 응답하여, 동작 명령어에 대응하는 동작을 수행할 수 있는 상태일 수 있다.
프로세서(180)는 측정된 음량이 적정 범위에 속한다고 판단한 경우, 자신이 제어 대상으로 선택되었음을 나타내는 알림을 음향 출력부(152) 또는 광 출력부(154)를 통해 출력할 수 있다.
한편, 인공 지능 기기(100)의 프로세서(180)는 측정된 음량이 적정 범위에 속하지 않는다고 판단한 경우, 비활성화 상태를 유지한다(S809).
즉, 프로세서(180)는 추후, 사용자가 발화한 동작 명령어가 마이크로폰(122)에 입력되더라도, 아무런 동작을 수행하지 않을 수 있다.
도 9 및 도 10을 참조하면, 인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2) 및 제2 외부 인공 지능 기기(100-3)가 배치되어 있다.
인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2) 및 제2 외부 인공 지능 기기(100-3) 각각이 기동 명령어에 따라 활성화 상태로 변경되기 위해 설정된 음량의 적정 범위는 모두 40 내지 60으로, 동일함을 가정한다.
적정 범위는 상한 값(910)과 하한 값(930) 내의 범위일 수 있다.
또한, 사용자와 인공 지능 기기(100-1) 간의 제1 거리는 사용자와 제1 외부 인공 지능 기기(100-2) 간의 제2 거리보다 크고, 사용자와 제2 외부 인공 지능 기기(100-3) 간의 제3 거리는 제2 거리보다 작음을 가정한다.
먼저, 도 9를 참조하면, 사용자가 큰 목소리로, <하이 엘지>라는 기동 명령어(901)를 발화한다.
인공 지능 기기(100-1)는 마이크로폰(122)을 통해 입력된 기동 명령어(901)의 제1 음성 신호(951)의 음량이 상한 값(910)과 하한 값(930)의 사이에 있는지를 판단할 수 있다.
도 9에 도시된 바에 따르면, 인공 지능 기기(100-1)는 기동 명령어(901)의 제1 음성 신호(951)의 음량이 상한 값(910)과 하한 값(930)의 사이에 있으므로, 자신을 기동 명령어(901)에 대한 제어 대상으로 선정할 수 있다.
즉, 인공 지능 기기(100-1)는 기동 명령어(901)에 따라 활성화 될 수 있다.
제1 외부 인공 지능 기기(100-2)는 마이크로폰(122)을 통해 입력된 기동 명령어(901)의 제2 음성 신호(953)의 음량이 하한 값(930) 보다 크나, 상한 값(910)을 초과하는 구간이 있으므로, 제2 음성 신호(953)의 음량이 적정 범위 내에 속하지 않는 것으로 판단할 수 있다.
즉, 제1 외부 인공 지능 기기(100-2)는 기동 명령어(901)의 음량이 적정 범위 내에 있지 않으므로, 마이크로폰(122)에 기동 명령어(901)가 입력되더라도, 활성화 되지 않을 수 있다.
제2 외부 인공 지능 기기(100-3)는 마이크로폰(122)을 통해 입력된 기동 명령어(901)의 제3 음성 신호(955)의 전체 구간에서, 음량이 상한 값(910)을 초과하므로, 제3 음성 신호(955)의 음량이 적정 범위 내에 속하지 않은 것으로 판단할 수 있다.
즉, 제2 외부 인공 지능 기기(100-3)는 기동 명령어(901)의 음량이 적정 범위 내에 있지 않으므로, 마이크로폰(122)에 기동 명령어(901)가 입력되더라도, 활성화 되지 않을 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 사용자는 제어하고자 하는 기기와의 거리를 시각적으로 판단하고, 제어하고자 하는 기기가 멀리 있는 경우, 큰 목소리로, 기동 명령어를 발화하여, 원하는 기기를 제어 대상으로 손쉽게 선택할 수 있다.
다음으로, 도 10을 참조하면, 사용자가 작은 목소리로 <하이 엘지>라는 기동 명령어(1001)를 발화한다.
각 인공 지능 기기는 마이크로폰을 통해 입력된 기동 명령어(1001)의 음량이 적정 범위 내에 속하는지를 판단할 수 있다.
인공 지능 기기(100-1)는 자신의 마이크로폰(122)에 입력된 기동 명령어(1001)의 제4 음성 신호(1010)의 음량이 하한 값(930)보다 작으므로, 제4 음성 신호(1010)의 음량이 적정 범위 내에 속하지 않는 것으로 판단할 수 있다.
즉, 인공 지능 기기(100-1)는 기동 명령어(1001)에 응답하여, 활성화되지 않을 수 있다.
제1 외부 인공 지능 기기(100-2)는 자신의 마이크로폰(122)에 입력된 기동 명령어(1001)의 제5 음성 신호(1030)의 음량이 하한 값(930)보다 작은 구간이 존재하므로, 제5 음성 신호(1030)의 음량이 적정 범위 내에 속하지 않는 것으로 판단할 수 있다.
즉, 제1 외부 인공 지능 기기(100-2)는 기동 명령어(1001)에 응답하여, 활성화되지 않을 수 있다.
제2 외부 인공 지능 기기(100-3)는 자신의 마이크로폰(122)에 입력된 기동 명령어(1001)의 제6 음성 신호(1050)의 음량이 전체 구간에서, 적정 범위 내에 있으므로, 자신을 기동 명령어(1001)에 대한 제어 대상으로 선정할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 사용자는 제어하고자 하는 기기와의 거리를 시각적으로 판단하고, 제어하고자 하는 기기가 가까이 있는 경우, 작은 목소리로, 기동 명령어를 발화하여, 원하는 기기를 제어 대상으로 손쉽게 선택할 수 있다.
또한, 도 9 및 도 10의 실시 예에 따르면, 동일한 기동 명령어의 발화에 따라, 어느 하나의 기기만이 활성화되므로, 복수의 기기가 활성화됨에 따라 발생하는 혼잡이 해소될 수 있다.
특히, 도 11은 복수의 인공 지능 기기들 중 어느 하나가 마스터 기기가 되어, 기동 명령어에 따른 제어 대상을 선정하는 예를 설명하는 도면이다.
도 11을 참조하면, 인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2) 및 제2 외부 인공 지능 기기(100-3) 각각은 마이크로폰(122)을 통해 기동 명령어를 수신한다(S1101, S1103, S1105).
인공 지능 기기(100-1)의 프로세서(180)는 기동 명령어의 제1 음량을 측정하고(S1107), 제1 외부 인공 지능 기기(100-2)는 기동 명령어의 제2 음량을 측정하고(S1109), 제2 외부 인공 지능 기기(100-3)는 기동 명령어의 제3 음량을 측정한다(S1111).
인공 지능 기기(100-1)의 프로세서(180)는 무선 통신부(110)를 통해 제1 외부 인공 지능 기기(100-2)로부터 제2 음량을 포함하는 음량 정보를 수신하고(S1113), 제2 외부 인공 지능 기기(100-3)로부터 제3 음량을 포함하는 음량 정보를 수신한다(S1115).
인공 지능 기기(100-1)의 프로세서(180)는 제1 음량, 제2 음량, 제3 음량 중 적정 범위 내에 속하는 음량이 있는지를 판단한다(S1117).
인공 지능 기기(100-1)의 프로세서(180)는 적정 범위 내에 속하는 음량이 있는 경우, 해당 음량에 대응하는 기기를 제어 대상으로 결정한다(S1119).
인공 지능 기기(100-1)의 프로세서(180)는 무선 통신부(110)를 통해 결정된 기기로, 제어 대상이 선정되었음을 나타내는 메시지를 전송한다(S1121).
예를 들어, 제1 외부 인공 지능 기기(100-2)에 대응하는 제2 음량이 적정 범위 내에 속하는 경우, 프로세서(180)는 무선 통신부(110)를 통해, 제1 외부 인공 지능 기기(100-2)가 제어 대상으로 선정되었음을 나타내는 메시지를 제1 외부 인공 지능 기기(100-2)에 전송할 수 있다.
제1 외부 인공 지능 기기(100-2)는 인공 지능 기기(100-1)로부터 수신된 메시지에 따라 자신의 상태를 활성화 상태로 변경할 수 있다.
만약, 프로세서(180)는 인공 지능 기기(100-1) 자신이 제어 대상으로 선정된 경우, 단계 S1121은 생략될 수 있다.
프로세서(180)는 인공 지능 기기(100-1)가 제어 대상으로 선정된 경우, 이를 나타내는 알림을 출력할 수 있다.
이와 같이, 도 11의 실시 예에 따르면, 마스터 기기가 사용자의 기동 명령어의 발화에 따른 제어 대상이 효율적으로 선정될 수 있다.
한편, 사용자와 인공 지능 기기 사이에 장애물이 존재하는 경우, 기동 명령어의 음성 신호가 장애물에 반사되어, 사용자가 원하는 않는 기기가 활성화될 수 있다.
따라서, 장애물에 의해 반사되는 음성 신호를 고려하여, 제어 대상을 선택할 필요가 있다.
도 12는 도 9의 실시 예를 기본으로, 장애물(1200)이 더 배치된 도면이다.
사용자는 인공 지능 기기들 중 가장 멀리 있는 인공 지능 기기(100-1)를 선택하기 위한 큰 목소리로 기동 명령어(901)를 발화한다.
그러나, 장애물(1200)의 존재로 인해, 기동 명령어(901)의 음성 신호가 장애물에 반사되어, 생성된 반사 신호가 제2 외부 인공 지능 기기(100-2)에 입력될 수 있다.
즉, 제2 외부 인공 지능 기기(100-2)의 마이크로폰(122)에는 기동 명령어(901)의 음성 신호(955) 및 음성 신호(955)가 장애물(1200)에 반사되어 생성된 반사 신호(1310)가 입력될 수 있다.
반사 신호(1310)가 적정 범위 내에 속하는 경우, 사용자는 인공 지능 기기(100-1)를 선택하기 위해 큰 목소리로 기동 명령어(901)를 발화하였음에도 불구하고, 제2 외부 인공 지능 기기(100-3)도 활성화되는 문제가 발생한다.
인공 지능 기기(100-1) 및 제2 외부 인공 지능 기기(100-3)가 기동 명령어(901)에 응답하여, 활성화되는 경우, 추후, 사용자의 동작 명령어에 대해 2개의 기기가 반응하게 되어, 혼란이 가중될 수 있다.
이를 위해, 각 인공 지능 기기는 기동 명령어(901)의 잔향 시간을 측정하여, 장애물의 존재를 판단할 수 있다.
잔향 시간은 마이크로폰(122)을 통해 수신된 음성 신호의 크기가 60dB 감소하는데 걸리는 시간이다.
제2 외부 인공 지능 기기(100-3)는 기동 명령어(901)에 대응하는 음성 신호의 잔향 시간이 기 설정된 시간 이상인 경우, 장애물이 검출된 것으로 판단할 수 있다.
실제, 제2 외부 인공 지능 기기(100-3)에 입력된 신호는 음성 신호(955) 및 시간 차를 두고, 장애물(1200)에 반사되어 입력된 반사 신호(1310)를 포함할 수 있다.
음성 신호(955) 및 반사 신호(1310)가 입력된 경우, 일반적은 잔향 시간은 기 설정된 시간을 초과할 수 있다. 시간차를 두고, 입력되는 반사 신호(1310)의 영향 때문이다.
제2 외부 인공 지능 기기(100-3)는 잔향 시간이 기 설정된 시간 이상이어서, 장애물이 검출된 것으로 판단한 경우, 음성 신호(955) 및 반사 신호(1310)가 합쳐진 합성 신호(1330)의 파형을 분석할 수 있다.
제2 외부 인공 지능 기기(100-3)는 합성 신호(1330)로부터, 음성 신호(955)와 반사 신호(1310)의 시간 차로 인해 발생된 시간 차 신호들(1331, 1333)을 추출할 수 있다.
제2 외부 인공 지능 기기(100-3)는 합성 음성(1330)의 음량이 적정 범위 내에 있는지 판단할 시, 추출된 시간 차 신호들(1331, 1333)을 고려하지 않을 수 있다.
즉, 제2 외부 인공 지능 기기(100-3)는 추출된 시간 차 신호들(1331, 1333)을 에러 신호로 판단하고, 추출된 시간 차 신호들(1331, 1333) 제외한 나머지 합성 신호의 음량이 적정 범위 내에 있는지를 판단할 수 있다.
제2 외부 인공 지능 기기(100-3)는 시간 차 신호들(1331, 1333) 제외한 나머지 합성 신호의 일부가 상한 값(910)을 초과하기 때문에, 나머지 합성 신호의 음량이 적정 범위 내에 속하지 않는 것으로 판단할 수 있다.
이에 따라, 제2 외부 인공 지능 기기(100-3)는 기동 명령어(901)의 입력에 따라 활성화되지 않을 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 장애물이 있는 경우라도, 사용자의 기동 명령어의 음량 크기에 따라, 사용자가 원하는 제어 대상 기기가 선택될 수 있다.
한편, 제어 대상이 선택된 상황에서, 사용자는 이동을 하면서, 동작 명령어를 발화하는 경우가 있다. 사용자가 이동하면서, 동작 명령어의 발화를 하는 경우, 기기가 받아들이는 동작 명령어의 음량 크기가 달라져, 음량이 적정 범위 내에 속하지 않을 수 있다.
따라서, 본 발명에서는, 사용자의 이동을 감지하여, 음량의 적정 범위를 적응적으로, 조절하는 방법을 제안한다.
도 14는 제어 대상 기기가 선택된 상태에서, 수행되는 과정일 수 있다.
도 14를 참조하면, 인공 지능 기기(100)의 프로세서(180)는 사용자의 이동이 감지되는지를 판단한다(S1401).
일 예로, 인공 지능 기기(100)는 사용자의 이동 감지를 위해, 초음파 센서, 적외선 센서, 레이져 센서 중 하나를 이용하여, 사용자의 이동을 감지할 수 있다.
초음파 센서는 음파를 방출하고, 물체로부터 반사된 음파가 수신되기까지의 시간을 반복하여, 측정할 수 있다.
적외선 센서는 적외선을 방출하고, 물체로부터 반사된 적외선이 수신되기까지의 시간을 반복하여 측정할 수 있다.
레이저 센서는 레이져를 방출하고, 물체로부터 반사된 레이져가 수신되기 까지의 시간을 반복하여 측정할 수 있다.
프로세서(180)는 측정된 시간을 이용하여, 사용자와 인공 지능 기기(100) 간의 거리를 획득할 수 있다. 또한, 프로세서(180)는 측정된 시간의 변화량에 따라 거리의 변화량을 획득하여, 사용자가 인공 지능 기기(100)로부터 멀어지는지, 가까워지는지를 판단할 수 있다.
프로세서(180)는 사용자의 이동이 감지되지 않은 경우 , 음량의 적정 범위를 유지한다(S1403).
인공 지능 기기(100)의 프로세서(180)는 사용자의 이동이 감지된 경우, 음량의 적정 범위를 조절한다(S1405).
프로세서(180)는 사용자와 인공 지능 기기(100) 간의 거리에 따라 음량의 적정 범위를 적응적으로(adaptive) 조절할 수 있다.
프로세서(180)는 사용자와 인공 지능 기기(100) 간의 거리가, 멀어지는 경우, 적정 범위의 상한 값 및 하한 값을 감소시킬 수 있다.
반대로, 프로세서(180)는 사용자와 인공 지능 기기(100) 간의 거리가 가까워지는 경우, 적정 범위의 상한 값과 하한 값을 증가시킬 수 있다.
이에 대해서는, 도 15 및 도 16을 참조하여 설명한다.
도 15를 참조하면, 사용자가 A 위치에 있을 때의, 인공 지능 기기(100-1)가 수신하는 음성의 음량의 적정 범위(상한 값: 910, 하한 값: 930)가 도시되어 있다.
즉, 인공 지능 기기(100-1)는 사용자가 A 위치에 있을 때, 동작 명령어를 수신한 경우, 수신된 동작 명령어에 대응하는 음성 신호(1501)의 음량이 적정 범위 내에 있는지를 판단할 수 있다.
인공 지능 기기(100-1)는 음성 신호(1501)의 음량이 적정 범위 내에 있는 경우, 동작 명령어에 대응하는 동작을 수행할 수 있다.
인공 지능 기기(100-1)는 사용자가 A 위치에서, B 위치로 이동됨을 감지할 수 있다.
인공 지능 기기(100-1)는 B 위치로 이동한 사용자와 인공 지능 기기(100-1)간의 거리를 측정할 수 있다.
인공 지능 기기(100-1)는 측정된 거리를 이용하여, 음량의 적정 범위를 조절할 수 있다.
도 16을 참조하면, 사용자가 A 위치에 있는 경우, 동작 명령어에 대응하는 음성 신호(1501)는 적정 범위 내에 속한다. 적정 범위의 하한 값은 40이고, 상한 값은 60임을 가정한다.
만약, 사용자가 A 위치에서, B 위치로 이동한 상태에서, 동일한 음량 크기를 갖는 동작 명령어를 수신한 경우, 인공 지능 기기(100-1)와 사용자 간의 거리는 더 멀어졌으므로, 음성 신호(1601)의 음량은 적정 범위를 만족할 수 없다.
이 경우, 사용자의 동작 명령어에 대한 동작이 이루어지지 않는다는 점에서, 불편함이 초래될 수 있다.
인공 지능 기기(100-1)는 사용자가 B 위치로 이동한 경우, 사용자와 인공 지능 기기(100-1) 간의 거리를 측정하고, 측정된 거리를 이용하여, 적정 범위의 상한 값과 하한 값을 조절할 수 있다.
예를 들어, 인공 지능 기기(100-1)는 측정된 거리가 기존의 거리보다 더 멀어진 경우, 상한 값을 60에서 45로 변경하고, 하한 값을 40에서 25로 변경할 수 있다.
이에 따라, 사용자가 B 위치에서 동작 명령어(1500)를 발화하는 경우, 동작 명령어(1500)의 음성 신호(1601)가 변경된 적정 범위 내에 속하게 될 수 있다.
인공 지능 기기(100-1)는 상한 값과 하한 값의 차이를 유지하면서, 상한 값과 하한 값을 조절할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 사용자의 이동하더라도, 음량의 적정 범위를 그에 따라 조절하여, 사용자가 원하는 제어 대상 기기가 지속적으로, 제어될 수 있다.
사용자는 자신의 이동에 따라 발화 음성의 크기를 조절할 필요 없이, 기존의 발화 음성 크기대로, 제어 대상 기기를 제어할 수 있게 된다.
다시, 도 14를 설명한다.
프로세서(180)는 마이크로폰(122)을 통해 동작 명령어를 수신하고(S1407), 동작 명령어의 음량을 측정한다(S1409).
프로세서(180)는 측정된 음량이 조절된 적정 범위에 속하는지를 판단한다(S1411).
프로세서(180)는 측정된 음량이 적정 범위에 속하는 경우, 동작 명령어에 대응하는 동작을 수행한다(S1413).
도 17을 참조하면, 인공 지능 기기(100-1), 제1 외부 인공 지능 기기(100-2), 제2 외부 인공 지능 기기(100-3) 각각은 댁 내에서, 고정된 위치에 배치될 수 있다.
사용자와 제1 외부 인공 지능 기기(100-2) 간의 거리는 가장 멀고, 제2 외부 인공 지능 기기(100-3)와의 거리는 가장 가까움을 가정한다.
사용자는 각 기기가 고정된 위치에서, 해당 기기의 적절 발화 음량 범위를 등록할 수 있다.
예를 들어, 사용자가 인공 지능 기기(100-1)의 적정 발화 음량 범위를 등록함을 가정한다.
사용자는 특정 음량 크기를 갖는 기동 명령어(1700)를 발화한다.
인공 지능 기기(100_1)의 프로세서(180)는 수신된 기동 명령어(1700)의 음량을 측정하고, 측정된 음량에 맞는 적정 발화 음량 범위를 설정할 수 있다(S1701).
적정 발화 음량 범위는 상한 값(910) 및 하한 값(930)을 가질 수 있다.
예를 들어, 기동 명령어(1700)의 음량이 50인 경우, 프로세서(180)는 상한 값(910)을 40으로, 하한 값(930)을 60으로, 40 내지 60의 값의 범위를 적정 발화 음량 범위로 등록할 수 있다.
한편, 제1 외부 인공 지능 기기(100-2)는 적절 발화 음량 범위의 하한 값(1730)을 40보다 더 낮게 설정할 수 있다(S1703).
반대로, 제2 외부 인공 지능 기기(100-3)는 상한 값(1710)을 60보다 더 작게 설정할 수 있다(S1705).
S1701, S1703 및 S1705의 각 과정이 사용자의 특정 위치 또는 다른 위치에서, 반복 수행되는 경우, 각 인공 지능 기기는 상한 값들의 평균 값, 하한 값들의 평균 값을 적정 발화 음량 범위로 등록할 수 있다.
특히, 도 18은 사용자의 발화 의도를 분석하고, 분석된 발화 의도에 기반하여, 사용자의 음성 명령어에 대응하는 동작을 수행할 기기를 결정하는 실시 예에 관한 것이다.
또한, 이하의 실시 예에서, 인공 지능 기기(100-1)는 제1 외부 인공 지능 기기(100-2) 및 제2 외부 인공 지능 기기(100-3)의 동작을 제어할 수 있고, 허브 역할을 할 수 있는 허브 기기일 수 있다.
허브 기기는 사용자의 음성 명령어를 수신하고, 수신된 음성 명령어의 의도를 획득하고, 획득된 의도에 맞게 다른 외부 인공 지능 기기의 동작을 제어하는 제어 명령을 전송할 수 있는 기기일 수 있다.
일 실시 예에서, 허브 기기는 사용자가 미리 지정한 기기일 수 있다.
또 다른 예로, 허브 기기는 복수의 인공 지능 기기들 중 가장 많은 인공 지능 기기와 무선으로 연결된 기기일 수 있다.
허브 기기는 자신과 연결된 인공 지능 기기에 대한 정보를 가지고 있을 수 있다.
인공 지능 기기에 대한 정보는 인공 지능 기기를 식별할 수 있는 식별 정보, 인공 지능 기기의 동작 상태를 나타내는 동작 상태 정보를 포함할 수 있다.
인공 지능 기기(100-1)의 마이크로폰(122)는 기동 명령어를 수신한다(S1801).
일 실시 예에서, 기동 명령어는 인공 지능 기기(100-1)의 동작을 활성화시키기 위한 명령어일 수 있다.
기동 명령어는 인공 지능 기기(100-1)의 명칭 및 기 설정된 기동어를 포함할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 기동 명령어의 수신에 따라 동작 명령어의 수신을 대기한다(S1803).
인공 지능 기기(100-1)의 마이크로폰(122)은 제1 동작 명령어를 수신한다(S1805).
사용자는 제1 동작 명령어를 발화할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 수신된 제1 동작 명령어의 품질을 나타내는 제1 음성 품질 레벨 및 제1 동작 명령어의 의도를 획득한다(S1807).
프로세서(180)는 제1 동작 명령어의 음성 데이터로부터 제1 음성 품질 레벨을 획득할 수 있다.
음성 품질 레벨은 키워드 음성 대비 주변 잡음의 파워 비율(KSNAR)일 수 있다.
또 다른 예에서, 음성 품질 레벨은 키워드 음성 구간의 신호 대비 잡음 구간의 신호 비율(SNR)일 수 있다.
또 다른 예로, 음성 품질 레벨은 음성 명령어의 성량일 수 있다. 음성 명령어의 성량은 음성 명령어에 대응하는 음성 신호의 크기를 나타낼 수 있다.
프로세서(180)는 제1 동작 명령어의 의도를 도 2의 NLP 서버(20)로부터 수신할 수 있다.
프로세서(180)는 제1 동작 명령어의 음성 데이터를 NLP 서버(20)에 전송하고, NLP 서버(20)가 분석한 제1 동작 명령어의 의도를 NLP 서버(20)로부터 수신할 수 있다.
또 다른 예로, 프로세서(180)가 자연어 처리 엔진을 포함하는 경우, 프로세서(180)는 자연어 처리 엔진을 이용하여, 제1 동작 명령어의 의도를 획득할 수 있다.
제1 동작 명령어는 인공 지능 기기의 특정 동작을 수행하도록 하는 명령어일 수 있다.
음성 품질 레벨을 획득하는 과정은 도 5 및 도 6의 설명을 차용한다.
인공 지능 기기(100-1)의 프로세서(180)는 획득된 제1 의도에 상응하는 기기를 결정한다(S1809).
일 실시 예에서, 프로세서(180)는 외부 인공 지능 기기들(100-2, 100-3) 중 제1 의도를 수행할 수 있는 최적의 기기를 결정할 수 있다.
프로세서(180)는 복수의 외부 인공 지능 기기들(100-2, 100-3)의 정보에 기초하여, 제1 의도를 수행할 수 있는 기기를 결정할 수 있다.
외부 인공 지능 기기의 정보는 외부 인공 지능 기기를 식별할 수 있는 식별 정보, 명칭, 외부 인공 지능 기기의 기능 중 하나 이상을 포함할 수 있다.
프로세서(180)는 복수의 외부 인공 지능 기기들(100-2, 100-3)의 정보를 이용하여, 제1 의도에 맞는 기기를 결정할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 결정된 기기인 제1 외부 인공 지능 기기(100-2)에 제1 의도에 대응하는 동작을 수행하도록 하기 위한 제1 제어 명령을 근거리 통신 모듈(114)을 통해 전송한다(S1811).
프로세서(180)는 제1 외부 인공 지능 기기(100-2) 및 제2 외부 외부 인공 지능 기기(100-3) 중 제1 의도에 맞는 기기를 제1 외부 인공 지능 기기(100-2)로 결정할 수 있다.
제1 외부 인공 지능 기기(100-2)는 제1 제어 명령을 수신함에 따라 제1 제어 명령에 상응하는 동작을 수행한다(S1813).
한편, 인공 지능 기기(100-1)의 마이크로폰(122)은 제2 동작 명령어를 수신한다(S1815).
제2 동작 명령어는 사용자가 제1 동작 명령어를 발화한 후, 연속적으로 발화된 명령어일 수 있다.
제2 동작 명령어는 제1 동작 명령어가 수신된 1초 이후, 수신된 명령어일 수 있다, 여기서, 1초는 예시에 불과한 수치이다.
인공 지능 기기(100-1)의 프로세서(180)는 수신된 제2 동작 명령어의 품질을 나타내는 제2 음성 품질 레벨 및 제2 동작 명령어의 의도를 획득한다(S1817).
프로세서(180)는 제2 동작 명령어의 음성 데이터에 기초하여, 제2 동작 명령어의 제2 음성 품질 레벨을 획득할 수 있다. 음성 품질 레벨을 획득하는 과정은 도 5 및 도 6의 설명을 차용한다.
또한, 프로세서(180)는 NLP 서버(20) 또는 자체적으로 구비된 자연어 처리 엔진을 이용하여, 제2 동작 명령어의 의도를 획득할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 제1 음성 품질 레벨과 제2 음성 품질 레벨을 비교하여, 음성 품질 레벨이 변경되었는지를 판단한다(S1819).
프로세서(180)는 제1 음성 품질 레벨과 제2 음성 품질 레벨이 기 설정된 레벨 범위 이상 차이가 나는 경우, 음성 품질 레벨이 변경된 것으로 판단할 수 있다.
여기서, 기 설정된 레벨 범위는 음성 품질 레벨의 변경을 판단하는데, 기준이 되는 범위일 수 있다.
예를 들어, 음성 품질 레벨이 성량인 경우, 프로세서(180)는 제1 동작 명령어의 제1 성량과 제2 동작 명령어의 제2 성량 간의 차이가 기 설정된 성량 범위 이상인 경우, 음성 품질 레벨이 변경된 것으로 판단할 수 있다.
프로세서(180)는 제1 동작 명령어 및 그 이후에 수신된 제2 동작 명령어의 성량 변화가 발생하는 경우, 제어 대상 기기를 변경하라는 의도로 파악할 수 있다.
인공 지능 기기(100-1)의 프로세서(180)는 음성 품질 레벨이 변경된 경우, 제2 의도에 상응하는 기기를 결정한다(S1821).
프로세서(180)는 복수의 인공 지능 기기들의 정보에 기초하여, 제2 의도를 수행할 수 있는 기기를 결정할 수 있다.
본 실시 예에서는, 제2 의도를 수행할 수 있는 최적의 기기로, 제2 외부 인공 지능 기기(100-3)가 결정된 것을 가정하여 설명한다.
인공 지능 기기(100-1)의 프로세서(180)는 결정된 제2 외부 인공 지능 기기(100-3)에 제2 의도에 맞는 동작을 수행하도록 하기 위한 제2 제어 명령을 근거리 통신 모듈(114)을 통해 전송한다(S1823).
제2 외부 인공 지능 기기(100-3)는 제2 제어 명령을 수신함에 따라 제2 제어 명령에 대응하는 동작을 수행한다(S1825).
도 19 내지 도 21에서 AI 허브 기기(1900-1)는 도 18의 인공 지능 기기(100-1)이고, TV(1900-2)는 제1 외부 인공 지능 기기(100-2)이고, 공기 청정기(1900-3)는 제2 외부 인공 지능 기기(100-3)임을 가정한다.
또한, 도 19 내지 도 21에서 음성 품질 레벨은 동작 명령어의 성량임을 가정한다.
AI 허브 기기(1900-1)는 TV(1900-2) 및 공기 청정기(1900-3)와 무선 통신을 수행할 수 있다.
AI 허브 기기(1900-1)는 TV(1900-2)로부터, TV(1900-2)의 식별 정보, TV(1900-2)의 명칭, 모델명, TV(1900-3)가 수행할 수 있는 기능들에 대한 정보를 수신할 수 있다.
마찬가지로, AI 허브 기기(1900-1)는 공기 청정기(1900-3)로부터, 공기 청정기(1900-3)의 식별 정보, 명칭, 모델명, 공기 청정기(1900-3)가 수행할 수 있는 기능들에 대한 정보를 수신할 수 있다.
도 20을 참조하면, 사용자가 발화한 음성 명령어의 시간에 따른 성량 변화를 보여주는 그래프이다.
먼저, 사용자는 제1 시간 구간(t1)을 갖는 제1 동작 명령어(2010)를 발화하고, 제2 시간 구간(t2)을 갖는 제2 동작 명령어(2030)를 발화하고, 제3 시간 구간(t3)을 갖는 제3 동작 명령어(2050)를 순차적으로, 발화한다.
AI 허브 기기(1900-1)는 제1 동작 명령어(2010)를 수신하고, 수신된 제1 동작 명령어(2010)의 제1 성량 및 제1 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 제1 동작 명령어(2010)에 대응하는 음성 데이터를 이용하여, 제1 동작 명령어(2010)의 제1 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 <turn on air cleaner>의 의도를 공기 청정기(1900-3)의 전원을 온 시키는 것으로 파악할 수 있다.
AI 허브 기기(1900-1)는 자신과 연결된 기기의 정보를 이용하여, 공기 청정기(1900-3)를 검색하고, 도 21에 도시된 바와 같이, 검색된 공기 청정기(1900-3)에 전원을 온 시키기 위한 제어 명령을 전송할 수 있다.
공기 청정기(1900-3)는 AI 허브 기기(1900-1)로부터 수신된 제어 명령에 따라, 자신의 전원을 온 시킬 수 있다.
그 후, AI 허브 기기(1900-1)는 제2 동작 명령어(2030)를 수신하고, 제2 동작 명령어(2030)의 제2 성량 및 제2 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 제1 성량과 제2 성량을 비교하고, 비교 결과, 제1 성량과 제2 성량의 차이가 기 설정된 성량 범위 이상인지를 판단할 수 있다.
예를 들어, 제1 성량이, 20이고, 제2 성량이 50이고, 기 설정된 성량 범위가 10 내지 20임을 가정한다. 여기서, 기 설정된 성량 범위는 예시에 불과하고, 기준치는 기 설정된 고정된 값일 수 있다.
AI 허브 기기(1900-1)는 제1 성량과 제2 성량의 차이인 30이 기 설정된 성량 범위 내에 속하지 않으므로, 제2 동작 명령어(2030)의 수신을 제어 대상 기기를 변경하는 트리거로 인식할 수 있다.
AI 허브 기기(1900-1)는 제어 대상 기기를 변경하는 의도를 인식하고, 제2 동작 명령어(2030)인 <tell me tomorrow weather>의 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 내일의 날씨를 원하는 사용자의 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 제1 동작 명령어의 제1 의도에 상응하는 동작을 수행한 공기 청정기(1900-3)를 제외한 나머지 기기를 검색하여, 나머지 기기인 TV(1900-2)가 제2 의도를 수행할 수 있는 기기인지를 판별할 수 있다.
AI 허브 기기(1900-1)는 미리 저장된 TV(1900-2)의 기능들에 기초하여, 제2 의도를 수행할 수 있는 기기로 판단한 경우, TV(1900-2)를 제2 의도를 수행할 기기로 결정할 수 있다.
AI 허브 기기(1900-1)는 도 21에 도시된 바와 같이, TV(1900-2)에 제2 의도에 상응하는 내일의 날씨를 출력하는 제어 명령을 전송할 수 있다.
TV(1900-2)는 AI 허브 기기(1900-1)로부터 수신된 제어 명령에 따라 내일의 날씨를 출력할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 사용자의 음성 명령어의 성량 및 의도를 파악하여, 음성 명령어에 대응하는 동작을 수행할 기기가 명확하게 선정될 수 있다.
따라서, 사용자는 발화 크기를 변경하는 음성 명령어의 단순한 발화만으로도, 원하는 결과를 얻을 수 있다.
또한, 사용자는 기기의 명칭을 발화하지 않고, 자신의 원하는 동작을 수행하도록 하는 명령어만을 발화함에 따라 원하는 결과를 정확하게 얻을 수 있어, 향상된 사용자 경험을 느낄 수 있다.
한편, 도 20을 다시 참조하면, AI 허브 기기(1900-1)는 제3 동작 명령어(2030)를 수신하고, 제3 동작 명령어(2050)의 제3 성량 및 제3 의도를 획득할 수 있다.
AI 허브 기기(1900-1)는 제2 성량과 제3 성량을 비교하고, 비교 결과, 제2 성량과 제3 성량의 차이가 기 설정된 성량 범위 이상인지를 판단할 수 있다.
예를 들어, 제2 성량이 50이고, 제3 성량이 20인 경우, 그 차이는 30이고, 기 설정된 성량 범위 내에 속하지 않는다.
AI 허브 기기(1900-1)는 제2 성량과 제3 성량의 차이가 기 설정된 성량 범위 내에 속하지 않으므로, 제3 동작 명령어(2050)의 수신을 제어 대상 기기를 변경하는 트리거로 인식할 수 있다.
일 실시 예에서, AI 허브 기기(1900-1)는 제3 성량이 제1 성량과 동일한 경우, 제어 대상 기기를 기존의 제어 대상 기기로 변경하는 트리거로 인식할 수 있다.
또 다른 예에서, AI 허브 기기(1900-1)는 제3 성량과 제1 성량 간의 차이가 기 설정된 성량 범위 내에 속하는 경우, 제어 대상 기기를 기존의 제어 대상 기기로 변경하는 트리거로 인식할 수 있다.
AI 허브 기기(1900-1)는 제어 대상 기기를 변경하는 의도를 인식하고, 제3 동작 명령어(2050)인 <go to power mode> 의도를 획득할 수 있다.
즉, AI 허브 기기(1900-1)는 강력 모드로 모드를 변경하라는 사용자의 의도를 획득할 수 있다.
AO 허브 기기(1900-1)는 강력 모드를 갖는 기기를 검색하고, 검색된 공기 청정기(2010)를 제어 대상 기기로 결정할 수 있다.
AI 허브 기기(1900-1)는 강력 모드의 기능을 갖는 공기 청정기(1900-3)를 제3 의도를 수행할 수 있는 기기로 결정하고, 도 21에 도시된 바와 같이, 공기 청정기(1900-3)에 강력 모드로의 전환을 요구하는 제어 명령을 전송할 수 있다.
이에 따라, 공기 청정기(1900-3)는 동작 모드를 강력 모드로 전환할 수 있다.
다음으로, 도 22를 설명한다.
도 22에서 동작 명령어는 <turn on the light> 임을 가정한다.
AI 허브 기기는 동작 명령어에 상응하는 의도를 수행할 기기를 검색하는 과정에서, 제1,2 외부 인공 지능 기기가 해당 동작 명령어를 수행할 수 있음을 확인할 수 있다.
이 경우, AI 허브 기기는 제1,2 외부 인공 지능 기기들 중, 자신과 떨어진 거리에 기초하여, 동작 명령어에 대응하는 의도를 수행할 기기를 결정할 수 있다.
예를 들어, AI 허브 기기와 제1 외부 인공 지능 기기 간의 거리가 3m이고, AI 허브 기기와 제2 외부 인공 지능 기기 간의 거리가 5m인 경우, AI 허브 기기는 제1 외부 인공 지능 기기를 동작 명령어의 의도를 수행할 기기로 결정할 수 있다.
즉, AI 허브 기기는 제1 외부 인공 지능 기기를 제1 우선 순위로, 제2 외부 인공 지능 기기를 제2 우선 순위로 결정할 수 있다.
이는 AI 허브 기기와 외부 인공 지능 기기 간의 거리가 가까울수록, AI 허브 기기가 외부 인공 지능 기기에 전송하는 제어 신호가 더 빨리 전달될 수 있기 때문이다.
제어 신호가 더 빨리 전달되는 경우, 사용자의 동작 명령에 상응하는 동작 결과가 더 빠르게 사용자에게 제공될 수 있다.
만약, 제1 외부 인공 지능 기기의 전원이 오프된 경우, AI 허브 기기는 거리와 상관 없이, 제2 외부 인공 지능 기기를 제어 대상 기기로 결정할 수 있다.
즉, AI 허브 기기는 제2 외부 인공 지능 기기로, 사용자의 의도에 맞는 제어 신호를 전송할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 인공 지능 기기의 프로세서(180)를 포함할 수도 있다.

Claims (15)

  1. 다른 기기의 동작을 제어할 수 있는 인공 지능 기기에 있어서,
    사용자가 발화한 명령어를 수신하는 마이크로폰;
    외부 인공 지능 기기와 통신을 수행하는 무선 통신부; 및
    상기 마이크로폰을 통해 제1 동작 명령어를 수신하고, 수신된 제1 동작 명령어의 제1 음성 품질 레벨 및 제1 의도를 획득하고, 획득된 제1 의도를 수행할 제1 외부 인공 지능 기기를 결정하고, 결정된 제1 외부 인공 지능 기기에 제1 의도에 상응하는 제1 제어 명령을 전송하고, 제2 동작 명령어를 상기 마이크로폰을 통해 수신하고, 수신된 제2 동작 명령어의 제2 음성 품질 레벨 및 제2 의도를 획득하고, 상기 제1 음성 품질 레벨과 상기 제2 음성 품질 레벨 간의 차이가 기 설정된 레벨 범위 이상인 경우, 제어 대상 기기가 변경된 것으로 판단하는 프로세서를 포함하는
    인공 지능 기기.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 제1 음성 품질 레벨과 상기 제2 음성 품질 레벨 간의 차이가 기 설정된 레벨 범위 이상인 경우, 상기 제2 의도에 대응하는 동작을 수행할 제2 외부 인공 지능 기기를 검색하고, 상기 제2 외부 인공 지능 기기에 상기 제2 의도에 상응하는 제2 제어 명령을 전송하는
    인공 지능 기기.
  3. 제2항에 있어서,
    상기 제1 음성 품질 레벨은 상기 제1 동작 명령어의 제1 성량이고, 상기 제2 음성 품질 레벨은 상기 제2 동작 명령어의 제2 성량이고,
    상기 프로세서는
    상기 제1 성량과 상기 제2 성량 간의 차이가 기 설정된 성량 범위 내에 속하지 않은 경우, 상기 제어 대상 기기가 변경된 것으로 판단하는
    인공 지능 기기.
  4. 제3항에 있어서,
    상기 프로세서는
    상기 제1 성량과 상기 제2 성량 간의 차이가 기 설정된 성량 범위 내에 속하지 않은 경우, 이를 상기 제어 대상 기기의 변경을 나타내는 트리거로 인식하는
    인공 지능 기기.
  5. 제3항에 있어서,
    상기 프로세서는
    제3 동작 명령어를 수신하고, 수신된 제3 동작 명령어의 제3 성량 및 제3 의도를 획득하고,
    상기 제2 성량과 제3 성량 간의 차이가 상기 기 설정된 성량 범위 내에 속하지 않는 경우, 상기 제어 대상 기기가 변경된 것으로 판단하는
    인공 지능 기기.
  6. 제5항에 있어서,
    상기 프로세서는
    상기 제3 성량과 상기 제1 성량 간의 차이가 기 설정된 성량 범위 내에 속하는 경우, 상기 제1 외부 인공 지능 기기를 상기 제어 대상 기기로 결정하는
    인공 지능 기기.
  7. 제2항에 있어서,
    상기 프로세서는
    상기 제2 의도를 수행할 기기가 복수 개 검색된 경우, 복수의 기기들 중, 상기 인공 지능 기기 간의 거리가 가장 가까운 기기를 상기 제어 대상 기기로 결정하는
    인공 지능 기기.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 수신된 제1,2 동작 명령어를 자연어 처리 서버에 전송하고, 상기 자연어 처리 서버로부터 분석된 의도 분석 결과를 수신하고, 수신된 의도 분석 결과에 기반하여, 상기 제1,2 동작 명령어의 의도를 각각 획득하는
    인공 지능 기기.
  9. 제8항에 있어서,
    상기 의도 분석 결과는
    동작 명령어를 수행할 외부 인공 지능 기기 및 상기 외부 인공 지능 기기가 수행해야 할 동작을 포함하는
    인공 지능 기기.
  10. 다른 기기의 동작을 제어할 수 있는 인공 지능 기기의 동작 방법에 있어서,
    제1 동작 명령어를 수신하는 단계;
    수신된 제1 동작 명령어의 제1 음성 품질 레벨 및 제1 의도를 획득하는 단계;
    획득된 제1 의도를 수행할 제1 외부 인공 지능 기기를 결정하는 단계;
    결정된 제1 외부 인공 지능 기기에 제1 의도에 상응하는 제1 제어 명령을 전송하는 단계;
    제2 동작 명령어를 상기 마이크로폰을 통해 수신하는 단계;
    수신된 제2 동작 명령어의 제2 음성 품질 레벨 및 제2 의도를 획득하는 단계; 및
    상기 제1 음성 품질 레벨과 상기 제2 음성 품질 레벨 간의 차이가 기 설정된 레벨 범위 이상인 경우, 제어 대상 기기가 변경된 것으로 판단하는 단계를 포함하는
    인공 지능 기기의 동작 방법.
  11. 제10항에 있어서,
    상기 제1 음성 품질 레벨과 상기 제2 음성 품질 레벨 간의 차이가 기 설정된 레벨 범위 이상인 경우, 상기 제2 의도에 대응하는 동작을 수행할 제2 외부 인공 지능 기기를 검색하고, 상기 제2 외부 인공 지능 기기에 상기 제2 의도에 상응하는 제2 제어 명령을 전송하는 단계를 더 포함하는
    인공 지능 기기의 동작 방법.
  12. 제11항에 있어서,
    상기 제1 음성 품질 레벨은 상기 제1 동작 명령어의 제1 성량이고, 상기 제2 음성 품질 레벨은 상기 제2 동작 명령어의 제2 성량이고,
    상기 제1 성량과 상기 제2 성량 간의 차이가 기 설정된 성량 범위 내에 속하지 않은 경우, 상기 제어 대상 기기가 변경된 것으로 판단하는 단계를 더 포함하는
    인공 지능 기기의 동작 방법.
  13. 제12항에 있어서,
    제3 동작 명령어를 수신하는 단계;
    수신된 제3 동작 명령어의 제3 성량 및 제3 의도를 획득하는 단계; 및
    상기 제2 성량과 제3 성량 간의 차이가 상기 기 설정된 성량 범위 내에 속하지 않는 경우, 상기 제어 대상 기기가 변경된 것으로 판단하는 단계를 더 포함하는
    인공 지능 기기의 동작 방법.
  14. 제5항에 있어서,
    상기 제3 성량과 상기 제1 성량 간의 차이가 기 설정된 성량 범위 내에 속하는 경우, 상기 제1 외부 인공 지능 기기를 상기 제어 대상 기기로 결정하는 단계를 더 포함하는
    인공 지능 기기의 동작 방법.
  15. 제11항에 있어서,
    상기 제2 의도를 수행할 기기가 복수 개 검색된 경우, 복수의 기기들 중, 상기 인공 지능 기기 간의 거리가 가장 가까운 기기를 상기 제어 대상 기기로 결정하는 단계를 더 포함하는
    인공 지능 기기의 동작 방법.
PCT/KR2019/006764 2019-06-04 2019-06-04 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법 WO2020246634A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/498,334 US11393491B2 (en) 2019-06-04 2019-06-04 Artificial intelligence device capable of controlling operation of another device and method of operating the same
PCT/KR2019/006764 WO2020246634A1 (ko) 2019-06-04 2019-06-04 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
KR1020190089729A KR20190094307A (ko) 2019-06-04 2019-07-24 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006764 WO2020246634A1 (ko) 2019-06-04 2019-06-04 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020246634A1 true WO2020246634A1 (ko) 2020-12-10

Family

ID=67624607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006764 WO2020246634A1 (ko) 2019-06-04 2019-06-04 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11393491B2 (ko)
KR (1) KR20190094307A (ko)
WO (1) WO2020246634A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712803B (zh) * 2019-07-15 2022-02-25 华为技术有限公司 一种语音唤醒的方法和电子设备
WO2021015308A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 로봇 및 그의 기동어 인식 방법
WO2021060570A1 (ko) * 2019-09-23 2021-04-01 엘지전자 주식회사 가전 기기 및 서버
WO2021075774A1 (en) * 2019-10-16 2021-04-22 Samsung Electronics Co., Ltd. Method for controlling iot device and electronic device therefor
US11586889B1 (en) * 2019-12-13 2023-02-21 Amazon Technologies, Inc. Sensory perception accelerator
CN111276139B (zh) * 2020-01-07 2023-09-19 百度在线网络技术（北京）有限公司 语音唤醒方法及装置
CN111312239B (zh) * 2020-01-20 2023-09-26 北京小米松果电子有限公司 响应方法、装置、电子设备及存储介质
KR20210098250A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20230010624A (ko) 2020-03-10 2023-01-19 밋카이, 인크. 다중 언어, 다중 턴, 다중 도메인 가상 어시스턴트를 강화하기 위한 병렬 가설적 추론
WO2021188719A1 (en) * 2020-03-17 2021-09-23 MeetKai, Inc. An intelligent layer to power cross platform, edge-cloud hybrid artificail intelligence services
US11995561B2 (en) 2020-03-17 2024-05-28 MeetKai, Inc. Universal client API for AI services
US11921712B2 (en) 2020-10-05 2024-03-05 MeetKai, Inc. System and method for automatically generating question and query pairs
KR20220078224A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR20240056532A (ko) * 2021-11-04 2024-04-30 엘지전자 주식회사 인공 지능 기기 및 그것의 제어 방법
WO2024063508A1 (ko) * 2022-09-19 2024-03-28 삼성전자 주식회사 전자 장치 및 복수의 장치들의 동작 상태를 제공하는 방법
WO2024063507A1 (ko) * 2022-09-19 2024-03-28 삼성전자 주식회사 전자 장치 및 전자 장치의 사용자 발화 처리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078242A1 (en) * 2012-09-19 2014-03-20 Sony Corporation Information processing system and storage medium
KR20140106715A (ko) * 2012-03-08 2014-09-03 엘지전자 주식회사 다수의 디바이스 음성 제어 장치 및 방법
KR20180034637A (ko) * 2015-09-30 2018-04-04 애플 인크. 지능형 디바이스 식별
KR20190008663A (ko) * 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
KR20190016260A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 가전기기 제어 시스템 및 그 제어방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
WO2017218234A1 (en) * 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
US10580405B1 (en) * 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US10466962B2 (en) * 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10755706B2 (en) * 2018-03-26 2020-08-25 Midea Group Co., Ltd. Voice-based user interface with dynamically switchable endpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140106715A (ko) * 2012-03-08 2014-09-03 엘지전자 주식회사 다수의 디바이스 음성 제어 장치 및 방법
US20140078242A1 (en) * 2012-09-19 2014-03-20 Sony Corporation Information processing system and storage medium
KR20180034637A (ko) * 2015-09-30 2018-04-04 애플 인크. 지능형 디바이스 식별
KR20190008663A (ko) * 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
KR20190016260A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 가전기기 제어 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR20190094307A (ko) 2019-08-13
US11393491B2 (en) 2022-07-19
US20210366506A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020246634A1 (ko) 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
WO2020196955A1 (ko) 인공 지능 기기 및 인공 지능 기기의 동작 방법
WO2020138624A1 (en) Apparatus for noise canceling and method for the same
WO2020235696A1 (ko) 스타일을 고려하여 텍스트와 음성을 상호 변환하는 인공 지능 장치 및 그 방법
WO2020222444A1 (en) Server for determining target device based on speech input of user and controlling target device, and operation method of the server
WO2020218635A1 (ko) 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체
WO2019182325A1 (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
WO2020218650A1 (ko) 전자기기
WO2020085794A1 (en) Electronic device and method for controlling the same
WO2020230933A1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
WO2020230926A1 (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
WO2020213758A1 (ko) 음성으로 상호작용하는 인공 지능 장치 및 그 방법
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2020111880A1 (en) User authentication method and apparatus
WO2020184748A1 (ko) 교통 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2021006404A1 (ko) 인공지능 서버
WO2021029627A1 (en) Server that supports speech recognition of device, and operation method of the server
WO2020226213A1 (ko) 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법
WO2020184747A1 (ko) 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2020184753A1 (ko) 음성 추출 필터를 이용하여 음성 제어를 수행하는 인공 지능 장치 및 그 방법
WO2021225403A1 (en) Electronic device for speech recognition and method of speech recognition using thereof
WO2019151802A1 (en) Method of processing a speech signal for speaker recognition and electronic apparatus implementing same
WO2019221440A1 (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
WO2020122293A1 (ko) 세탁 스케쥴링 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932093

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932093

Country of ref document: EP

Kind code of ref document: A1