WO2018199390A1 - 전자기기 - Google Patents

전자기기 Download PDF

Info

Publication number
WO2018199390A1
WO2018199390A1 PCT/KR2017/007125 KR2017007125W WO2018199390A1 WO 2018199390 A1 WO2018199390 A1 WO 2018199390A1 KR 2017007125 W KR2017007125 W KR 2017007125W WO 2018199390 A1 WO2018199390 A1 WO 2018199390A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
command
function corresponding
information
recognition
Prior art date
Application number
PCT/KR2017/007125
Other languages
English (en)
French (fr)
Inventor
정규혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/607,707 priority Critical patent/US20200135194A1/en
Publication of WO2018199390A1 publication Critical patent/WO2018199390A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/12—Score normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to an electronic device capable of determining whether to execute a command when the same example language is input to a plurality of electronic devices.
  • Artificial intelligence is a field of computer science and information technology that studies how to enable computers to do things like thinking, learning, and self-development that human intelligence can do. It means to be able to imitate.
  • artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science. Particularly in modern times, attempts are being actively made to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in those fields.
  • a word for calling an electronic device For example, a word for calling an electronic device, a user inputs an example word to call the electronic device, and then inputs a command, the electronic device performs a function corresponding to the command.
  • a word for calling a plurality of electronic devices may be forced to the same example language.
  • an electronic device may not recognize a command following the example word, which may cause inconvenience to a user.
  • the home air conditioner and the speaker may be called at the same time.
  • the speaker can perform a function corresponding to the command “Play music” (ie, play music), but the air conditioner can “play music”.
  • the function corresponding to the command "can not be performed and the message" Can not be heard "will be printed.
  • a plurality of electronic devices may recognize a command following the example word and may cause inconvenience to a user.
  • the refrigerator may lower the temperature of the refrigerator by recognizing a command.
  • it may cause a problem of operating to lower the room temperature by recognizing the command up to the air conditioner.
  • the present invention is to solve the above-described problem, an object of the present invention is to provide an electronic device that can determine whether or not to perform the command, when the same example language is input to a plurality of electronic devices.
  • an electronic device may include an input unit configured to receive a voice input including a command word and a command from a sound source, a communication unit communicating with one or more other electronic devices, and a degree of recognition of the example word in the electronic device.
  • the electronic device includes an artificial intelligence unit that performs a function corresponding to the command when the electronic device has the highest priority, and the degree of recognition of the example word in the electronic device includes score of the example word and position information of the sound source in the electronic device. It is obtained based on at least one of.
  • an electronic device an input unit for receiving a voice input including a command and a voice input from the sound source, a communication unit for communicating with one or more other electronic devices and servers, and the electronic device Obtain a degree of recognition of the example word in each other, receive a degree of recognition of the example word in each of the one or more other electronic devices, and recognize the degree of recognition of the example word in the electronic device and the in each of the one or more other electronic devices And an artificial intelligence unit configured to transmit command information corresponding to a voice input including the command to the server when the electronic device is equal to or greater than a preset priority based on the recognition degree of the example word.
  • the degree of recognition is less than the score of the example language in the electronic device and the positional information of the sound source. It is obtained on the basis of one.
  • the server for communicating with a plurality of electronic devices, receives command information corresponding to the user's voice input from one or more electronic devices, and included in the voice input based on the command information And a controller configured to recognize a command, obtain a function corresponding to the command, and transmit a command to perform a function corresponding to the command to any one of the one or more electronic devices.
  • the present invention can prevent confusion that may occur when it is forced to write the same example language to a plurality of electronic devices.
  • FIG. 1 is a diagram illustrating a plurality of electronic devices according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of the display apparatus 100 as an example of an electronic device.
  • FIG. 4 is a diagram illustrating an environment of using a plurality of electronic devices according to an exemplary embodiment of the present invention.
  • FIG. 5 is a view for explaining a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a plurality of electronic devices and a server according to another embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a server according to an exemplary embodiment of the present invention.
  • FIG. 8 is a diagram for describing an operating method of an electronic device and a server according to a fourth embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing an operating method of an electronic device and a server according to a fifth embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing an operating method of an electronic device and a server according to a sixth embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a plurality of electronic devices according to an embodiment of the present invention.
  • the plurality of electronic devices 100, 200, 300, 400, 500 can communicate with each other.
  • each of the plurality of electronic devices may include a communication unit, and the communication unit may provide an interface for connecting the electronic device to a wired / wireless network including an internet network.
  • the communication unit may transmit or receive data with another electronic device through the connected network or another network linked to the connected network.
  • the communication unit may include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless-Fidelity).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Near Field Communication
  • NFC Near Field Communication
  • Wi-Fi Wireless-Fidelity
  • the communication unit may support wireless communication between the electronic device and other electronic devices through wireless area networks.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be devices located within a specific range. Accordingly, at least two or more electronic devices of the plurality of electronic devices may receive and recognize the same voice of the user.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be electronic devices located together at a specific place.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be a TV, an air conditioner, a refrigerator, a cleaner, or a speaker installed in one house.
  • at least two or more electronic devices among the plurality of electronic devices may receive and recognize the same voice of the user.
  • a voice recognition engine may be mounted on each of the plurality of electronic devices 100, 200, 300, 400, and 500.
  • the speech recognition engine may include a keyword engine that recognizes an example word and a continuous word engine that recognizes a general command for performing a function.
  • the same voice recognition engine may be mounted on each of the plurality of electronic devices 100, 200, 300, 400, and 500.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be called by, for example, words.
  • the meaning that the electronic device is called may mean that the electronic device enters a command waiting state.
  • the command waiting state may refer to a state in which a command included in the voice input may be recognized by processing the received voice input using the continuous language engine when the voice input is received.
  • each of the plurality of electronic devices 100, 200, 300, 400, 500 operates normally in a call waiting state.
  • each of the plurality of electronic devices 100, 200, 300, 400, and 500 includes a keyword in the voice input of the user by processing the voice input using a keyword engine. Will be judged.
  • Each of the plurality of electronic devices 100, 200, 300, 400, and 500 operates in a command waiting state when the user's voice input includes the example word, and when the user's voice input does not contain the example word, the call waiting state. Will remain the same.
  • each of the plurality of electronic devices receives a voice input including the example "Michael” and through the recognition of the voice input It can be determined that the voice input includes the example word "Michael". Accordingly, each of the plurality of electronic devices 100, 200, 300, 400, and 500 enters a command standby state.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be called by the same example language.
  • the example word calling the first electronic device 100 may be “Michael”
  • the example word calling the second electronic device 200 may also be “Michael”.
  • FIG. 2 is a block diagram illustrating an electronic device according to an embodiment of the present invention.
  • FIG. 1 a TV, an air conditioner, a refrigerator, a cleaner, and a speaker are illustrated, which may be an example of the electronic apparatus 1000. That is, the electronic apparatus 1000 described in the present invention may include all electronic apparatuses that recognize a user's voice and perform a device-specific function based on the user's voice.
  • the electronic apparatus 1000 includes a communication unit 1110, an input unit 1120, an artificial intelligence unit 1130, a storage unit 140, a function performing unit 1150, and a controller 1160. can do.
  • the communication unit 1110 may provide an interface for connecting the electronic apparatus 1000 to a wired / wireless network including an internet network.
  • the communication unit 1110 may transmit or receive data with another electronic device through an connected network or another network linked to the connected network.
  • the communication unit 1110 may include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless). Short range communication may be supported using at least one of Fidelity, Wi-Fi Direct, and Wireless Universal Serial Bus (Wireless USB) technologies.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • Short range communication may be supported using at least one of Fidelity, Wi-Fi Direct, and Wireless Universal Serial Bus (Wireless USB) technologies.
  • the communication unit 1110 may support wireless communication between an electronic device and another electronic device through local area networks.
  • the communication unit 1110 may communicate with one or more other electronic devices.
  • the input unit 1120 processes an external sound signal as electrical voice data.
  • the input unit 1120 may include one or more microphones.
  • the processed voice data may be variously utilized according to a function (or an application program being executed) performed by the electronic apparatus 1000. Meanwhile, various noise reduction algorithms may be implemented in the input unit 1120 to remove noise generated in the process of receiving an external sound signal.
  • the input unit 1120 may receive a user's voice input and other sounds.
  • the artificial intelligence unit 1130 serves to process information based on artificial intelligence technology, and includes one or more modules that perform at least one of learning information, inferring information, perceiving information, and processing natural language. It may include.
  • the artificial intelligence unit 1130 uses machine learning technology, and includes a large amount of information (big data), such as information stored in an electronic device, environment information around the electronic device, and information stored in an external storage that can be communicated with. At least one of learning, reasoning, and processing may be performed.
  • the artificial intelligence unit 1130 predicts (or infers) an operation of at least one executable electronic device using information learned using the machine learning technique, and calculates the most of the at least one predicted operations.
  • the electronic device can be controlled to perform a highly feasible operation.
  • Machine learning technology is a technology that collects and learns a large amount of information based on at least one algorithm, and determines and predicts information based on the learned information.
  • the learning of information is an operation of grasping characteristics, rules, and judgment criteria of information, quantifying a relationship between information, and predicting new data using the quantized pattern.
  • the algorithms used by these machine learning techniques can be algorithms based on statistics, for example, decision trees that use tree structures as predictive models, and artificial ones that mimic the neural network structure and function of living things.
  • Neural networks genetic programming based on living evolutionary algorithms, clustering that distributes observed examples into subsets of clusters, and Monte Carlo, which computes function values randomly through randomized random numbers Monte carlo method.
  • deep learning technology is a technology that performs at least one of learning, determining, and processing information by using an artificial neural network algorithm.
  • the artificial neural network may have a structure that connects layers to layers and transfers data between layers.
  • Such deep learning technology can learn a huge amount of information through an artificial neural network using a graphic processing unit (GPU) optimized for parallel computation.
  • GPU graphic processing unit
  • the artificial intelligence unit 1130 collects (detects, monitors, and extracts) signals, data, and information input or output from the components of the electronic device in order to collect a large amount of information for applying the machine learning technology. , Detect, receive).
  • the artificial intelligence unit 130 may collect (detect, monitor, extract, detect, receive) data, information, and the like stored in an external storage (for example, a cloud server) connected through communication. More specifically, the collection of information may be understood as a term including an operation of sensing information through a sensor, extracting information stored in the storage 1140, or receiving information from an external storage through communication. .
  • the artificial intelligence unit 1130 may detect information in an electronic device, surrounding environment information surrounding a mobile terminal, and user information through the input unit 1120 or various sensing units (not shown). Also, the artificial intelligence unit 1130 may receive a broadcast signal and / or broadcast related information, a wireless signal, wireless data, and the like through the communication unit 1110. In addition, the artificial intelligence unit 130 may receive image information (or signal), audio information (or signal), data, or information input from a user from the input unit.
  • the AI unit 130 collects a large amount of information in real time in the background, learns it, and stores the processed information (eg, knowledge graph, command policy, personalization database, conversation engine, etc.) in an appropriate form. It may be stored in the unit 1140.
  • processed information eg, knowledge graph, command policy, personalization database, conversation engine, etc.
  • the artificial intelligence unit 1130 if the operation of the electronic device is predicted, in order to execute the predicted operation, to control the components of the electronic device, or
  • the control command for executing the operation may be transmitted to the controller 1160.
  • the controller 1160 may execute the predicted operation by controlling the electronic device based on the control command.
  • the artificial intelligence unit 1130 may analyze history information indicating performance of a specific operation through machine learning technology, and update the previously learned information based on the analysis information. Can be. Thus, the artificial intelligence unit 1130 may improve the accuracy of the information prediction.
  • the artificial intelligence unit 1130 may perform a speech recognition function.
  • the artificial intelligence unit 1130 may extract language information included in a voice signal received through the input unit 1120, and change the extracted language information into text information.
  • the artificial intelligence unit 1130 may perform a speech understanding function.
  • the artificial intelligence unit 1130 may determine syntax information of the character information and determine language information that the character information represents.
  • the artificial intelligence unit 1130 and the controller 1160 may be understood as the same component.
  • a function performed by the controller 1160 described herein may be expressed as being performed by the artificial intelligence unit 1130, and the controller 1160 may be named as the artificial intelligence unit 1130 or vice versa.
  • the intelligent unit 1130 may be referred to as the controller 1160.
  • all functions of the artificial intelligence unit 1130 and the controller 1160 introduced in the present specification may be performed by the artificial intelligence unit 1130 or may be performed by the controller 1160.
  • the artificial intelligence unit 1130 and the controller 1160 may be understood as separate components.
  • the artificial intelligence unit 1130 and the controller 1160 may perform various controls on the mobile terminal through data exchange with each other.
  • the controller 1160 may perform at least one function on the mobile terminal or control at least one of the components of the mobile terminal based on the result derived from the artificial intelligence unit 1130.
  • the artificial intelligence unit 1130 may also be operated under the control of the controller 1160.
  • the storage unit 1140 stores data supporting various functions of the electronic apparatus 1000.
  • the storage unit 1140 stores a plurality of application programs or applications that are driven by the electronic apparatus 1000, data for operating the electronic apparatus 1000, and instructions for the artificial intelligence unit 130.
  • Data for operation eg, at least one algorithm information for machine learning, etc.
  • At least some of these applications may be downloaded from an external server via wireless communication.
  • at least some of these application programs may exist on the electronic device 1000 from the time of shipment for basic functions of the electronic device 1000 (for example, a call forwarding, a calling function, a message receiving, and a calling function).
  • the application program may be stored in the storage 1140 and installed on the electronic device 1000, and may be driven by the controller 1160 to perform an operation (or function) of the mobile terminal.
  • the storage unit 1140 may store data or an application program for driving the voice recognition, the keyword engine, and the continuous language engine, and may be driven by the artificial intelligence unit 1130 to perform a voice recognition operation.
  • the controller 1160 In addition to the operation related to the application program, the controller 1160 typically controls the overall operation of the electronic apparatus 1000.
  • the controller 1160 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by running an application program stored in the storage 1140. .
  • controller 1160 may control at least some of the components of FIG. 2 to drive an application program stored in the storage 1140.
  • the controller 1140 may operate at least two or more of the components included in the electronic apparatus 1000 in combination with each other to drive the application program.
  • the function performing unit 1150 may perform an operation corresponding to the purpose of using the electronic apparatus 1000 under the control of the controller 1160 or the artificial intelligence unit 1130.
  • an operation such as displaying an image and outputting sound may be performed.
  • operations such as turn on, turn off, channel switching, and volume change may be performed.
  • an operation such as cooling, dehumidification, and air cleaning may be performed.
  • operations such as turn on, turn off, temperature change, mode change, and the like may be performed.
  • the function performing unit 1150 may perform a function corresponding to a command under the control of the controller 1160 or the artificial intelligence unit 1130. For example, if the electronic device 1000 is a TV and the command is “off,” the function performing unit 1150 may turn off the TV. In another example, when the electronic apparatus 1000 is an air conditioner and the command is “make it cooler”, the function performing unit 1150 may increase the air volume of the discharged air or lower the temperature.
  • the display apparatus 100 will be described as an example of the electronic apparatus 1000.
  • FIG. 3 is a block diagram illustrating a configuration of the display apparatus 100 as an example of an electronic device.
  • the display apparatus 100 is, for example, an intelligent display device in which a computer support function is added to a broadcast reception function. It can be equipped with a more convenient interface such as a touch screen or a space remote controller. In addition, by being connected to the Internet and a computer with the support of a wired or wireless Internet function, it is possible to perform functions such as e-mail, web browsing, banking or gaming. Standardized general-purpose operating systems can be used for these various functions.
  • the display device described in the present invention various applications can be freely added or deleted, for example, on a general-purpose OS kernel, so that various user-friendly functions can be performed.
  • the display device may be, for example, a network TV, an HBBTV, a smart TV, an LED TV, an OLED TV, or the like, and may be applicable to a smartphone in some cases.
  • FIG. 3 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment of the present invention.
  • the display apparatus 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a controller 170, and a near field communication unit 173.
  • the display unit 180 may include an audio output unit 185 and a power supply unit 190.
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface unit 133.
  • the tuner 131 may tune a specific broadcast channel according to a channel tuning command.
  • the tuner 131 may receive a broadcast signal for a tuned specific broadcast channel.
  • the demodulator 132 may separate the received broadcast signal into a video signal, an audio signal, and a data signal associated with a broadcast program, and may restore the separated video signal, the audio signal, and the data signal into a form capable of outputting the broadcast signal.
  • the external device interface unit 135 may receive an application or a list of applications in a neighboring external device and transmit the received application to the controller 170 or the storage 140.
  • the external device interface unit 135 may provide a connection path with the external device.
  • the external device interface 135 may receive one or more of an image and audio output from the external device and transmit the received one or more to the controller 170.
  • the external device connectable to the external device interface unit 135 may be any one of a set top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a smartphone, a PC, a USB memory, and a home theater.
  • the network interface unit 133 may provide an interface for connecting the display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • some content data stored in the display apparatus 100 may be transmitted to a user selected from another user or another electronic device registered in the display apparatus 100 or a selected electronic apparatus.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.
  • the network interface unit 133 may select and receive a desired application from among applications that are open to the public through the network.
  • the storage 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal, an image, an audio, or a data signal.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or a list of applications input from the external device interface unit 135 or the network interface unit 133.
  • the display apparatus 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170, or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, RF (Radio Frequency) communication, or Infrared (IR) communication.
  • the remote controller 200 may receive and process a control signal such as power on / off, channel selection, screen setting, or the like, or transmit a control signal from the controller 170 to the remote controller 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • controller 170 may control overall operations of the display apparatus 100.
  • controller 170 may control the display apparatus 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or a list of applications desired by the user. Can be downloaded to (100).
  • the controller 170 may output the channel information selected by the user together with the processed video or audio signal through the display unit 180 or the audio output unit 185.
  • the controller 170 may output an external device input through the external device interface unit 135, for example, from a camera or a camcorder, according to an external device image playback command received through the user input interface unit 150.
  • the video signal or the audio signal may be output through the display unit 180 or the audio output unit 185.
  • the controller 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface 135.
  • An image, an image input through a network interface unit, or an image stored in the storage 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the controller 170 may control the content stored in the display apparatus 100, the received broadcast content, or the external input content input from the outside to be reproduced.
  • the content may include a broadcast image, an external input image, and an audio file. , Still images, connected web screens, and document files.
  • the short range communication unit 173 may communicate with an external device through wired or wireless communication.
  • the short range communication unit 173 may perform short range communication with an external device.
  • the short-range communication unit 173 includes a Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wi-Fi.
  • Local area communication may be supported using at least one of wireless-fidelity, Wi-Fi Direct, and wireless universal serial bus (USB) technologies.
  • the short-range communication unit 173 may communicate between the display apparatus 100 and the wireless communication system, between the display apparatus 100 and another display apparatus 100, or with the display apparatus 100 through a local area network. Wireless communication between the network where the display apparatus 100 or the external server is located may be supported.
  • the local area network may be local area network (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interworking) data with the display device 100 according to the present invention (eg, smartwatch, smart glasses). (smart glass), head mounted display (HMD), and a mobile terminal such as a smart phone.
  • the short range communication unit 173 may sense (or recognize) a wearable device that can communicate with the display apparatus 100.
  • the controller 170 may select at least a portion of data processed by the display apparatus 100, and then use the short range communication unit 173. Can be transmitted to the wearable device. Therefore, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the display unit 180 converts the image signal, the data signal, the OSD signal processed by the controller 170, or the image signal, data signal, etc. received from the external device interface unit 135 into R, G, B signals, respectively. You can generate a signal.
  • the display apparatus 100 shown in FIG. 3 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display apparatus 100 that is actually implemented.
  • two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • the display apparatus 100 does not include the tuner 131 and the demodulator 132, as shown in FIG. 3, but the network interface unit 133 or the external device interface unit ( 135 may be received and played back.
  • the display apparatus 100 may be divided into an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services, and a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services
  • a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • the operation method of the display apparatus according to the embodiment of the present invention described below is not only the display apparatus 100 as described with reference to FIG. 3, but also an image processing apparatus or a display unit such as the separated set-top box ( 180 may be performed by any one of the content reproduction device including the audio output unit 185.
  • FIG. 4 is a diagram illustrating an environment of using a plurality of electronic devices according to an exemplary embodiment of the present invention.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be electronic devices located together at a specific place.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may be a TV, an air conditioner, a refrigerator, a cleaner, or a speaker installed in one house.
  • example language for calling a plurality of electronic devices is the same.
  • a call for a TV, an air conditioner, a refrigerator, a cleaner, or a speaker may be all “Michael”.
  • the user When the user requests a specific electronic device to provide a specific function, the user calls the example 411 first and then the command 412. For example, a user who asks the speaker to play the latest music will utter the voice “Mic (example), recent music please” (command).
  • the speaker recognizes that the speaker is called when an example of "Michael" is received.
  • the function corresponding to the command can be performed.
  • the artificial intelligence unit 1130 of the speaker may control the function performing unit 1150 to search for recently played music and output the searched music.
  • the cleaner also receives a voice input of "Michael (example), play latest music (command)".
  • the cleaner since the cleaner uses the same example word “Michael”, when the example word “Michael” is received, the cleaner recognizes that the cleaner is called, and attempts to perform a function corresponding to the command “Make music recently”. However, since the function corresponding to the command “Recently play music” is not a function performed by the cleaner, an error message such as “Unrecognized” is output.
  • FIG. 5 is a view for explaining a method of operating an electronic device according to an embodiment of the present disclosure.
  • a method of operating a first electronic device includes operating in a call command standby mode (S505), receiving a voice input including a spoken word (S510), and obtaining a score of the spoken word. Step S515, determining that the example language has been received based on the score of the example language (S520), obtaining position information of the sound source that ignited the example language (S525), score and position of one or more other electronic devices.
  • the electronic device provides a function corresponding to the command. Determining whether the electronic device provides a function corresponding to the command when the electronic device does not provide a function corresponding to the command (S 550), and when the electronic device provides a function corresponding to the command. It may include performing a function corresponding to the (S555).
  • Each of the above-described steps may be divided into operations of the first electronic device, and a plurality of steps may be integrated, and at least some of the steps may be omitted.
  • steps S505 to S520 are commonly applied to the first, second and third embodiments described below, and will be described first.
  • the first electronic device may operate in a call command waiting state (S505).
  • the call command waiting state may refer to a state of receiving a sound through the input unit 1120 and determining whether a reserved word is included in the received sound.
  • the input unit 1120 may receive a voice input including a spoken word from the sound source (S510).
  • the sound source may be a user who spoke the example word and the command.
  • the artificial intelligence unit 1130 may calculate a score of a keyword recognition mechanism (S515). In addition, if the calculated score is equal to or greater than the reference value, it may be determined that the example language is included in the voice input.
  • the artificial intelligence unit 1130 may perform preprocessing such as reverberation removal, echo cancellation, and noise removal.
  • the artificial intelligence unit 1130 may extract a feature vector used for speech recognition from the preprocessed speech signal.
  • the artificial intelligence unit 1130 may calculate a score for the received voice signal. The score may be expressed numerically as representing the degree of similarity between the input voice and the pre-stored example language (that is, the degree of matching between the input voice and the pre-stored example language).
  • the artificial intelligence unit 1130 may detect a predetermined keyword from continuously input voice signals based on the keyword detection technology. In addition, the artificial intelligence unit 1130 may calculate a score representing a similarity between a keyword and a stored example.
  • the artificial intelligence unit 1130 may determine that a voice input including a spoken word has been received (S520).
  • the artificial intelligence unit 1130 may return to the call command waiting state again.
  • the artificial intelligence unit 1130 may acquire the degree of recognition of the example word in the electronic apparatus 1000.
  • the recognition degree of the example word in the first electronic device may mean a possibility of calling the first electronic device among the plurality of electronic devices.
  • the more highly recognized electronic devices among the plurality of electronic devices the higher the possibility of being called by the user. For example, if the recognition level of the example word on the TV is higher than the recognition level of the example word on the speaker, the user may be more likely to call the TV.
  • the degree of recognition may be obtained based on at least one of scores of example words in the first electronic device and position information of sound sources in the first electronic device.
  • the score of the example word in the first electronic device is calculated.
  • the score of the example word in the first electronic device may be a degree of recognition of the example word in the first electronic device.
  • the first electronic device may acquire location information of the sound source (S525).
  • the sound source may be a user who spoke the voice.
  • the location information of the sound source means a relative position of the sound source with respect to the first electronic device, and may include at least one of a distance from the sound source and a direction of the sound source with respect to the first electronic device.
  • the input unit 1120 may include a multi-channel microphone array, and the artificial intelligence unit 1130 detects a signal generated from a sound source from sound signals received through a plurality of microphones, and various known location tracking algorithms. You can track the distance and direction of the sound source.
  • the degree of recognition may be determined based on the distance between the first electronic device and the sound source and the direction of the sound source based on the first electronic device.
  • the artificial intelligence unit 1030 may calculate the recognition degree by giving a higher weight to the direction of the sound source than the distance from the sound source. For example, when a user who is close to the TV shouts a word while looking at a refrigerator at a long distance, the recognition level of the example word in the refrigerator may be higher than that of the example word on the TV.
  • the artificial intelligence unit 1130 may acquire the degree of recognition of the example word in the first electronic device based on the score of the example word in the first electronic device and the position information of the sound source in the first electronic device 1000. have.
  • the artificial intelligence unit 1130 may calculate the recognition degree by giving a higher weight to the score of the example word in the electronic device 1000 than the position information of the sound source in the first electronic device.
  • other electronic devices except the first electronic device among the plurality of electronic devices may also perform the same operation as the first electronic device.
  • each of the plurality of electronic devices operates in a call command standby state, and when a voice signal is received, it is possible to determine whether a voice input including a language is received. Also, the electronic device that determines that a voice input including a foreword among the plurality of electronic devices has been received may acquire a degree of recognition of the foreword in its own device.
  • the electronic device that determines that the voice input including the example language is received may acquire the recognition degree of the example language based on the own device.
  • the second electronic device may calculate the score of the example word based on the voice input received from the second electronic device, and acquire the position (distance and direction) information of the sound source based on the second electronic device. can do.
  • the plurality of electronic devices may share the recognition degree of the example word in each electronic device with other devices.
  • the first electronic device has acquired the recognition degree of the example word in the first electronic device
  • the second electronic device has acquired the recognition degree of the example word in the second electronic device
  • the third electronic device has acquired the recognition degree of the example word in the third electronic device.
  • the artificial intelligence unit 1130 of the first electronic device may transmit the recognition degree of the example word in the first electronic device to one or more other electronic devices.
  • the artificial intelligence unit 1130 of the first electronic device may receive the recognition degree of the example word in each of the one or more other electronic devices from the one or more other electronic devices (S530).
  • the first electronic device may transmit the recognition degree of the example word in the first electronic device to the second electronic device and the third electronic device. Also, the first electronic device may receive a degree of recognition of the example word in the second electronic device from the second electronic device. Also, the first electronic device may receive a degree of recognition of the example word in the third electronic device from the third electronic device.
  • the second electronic device and the third electronic device may also perform the same operation as the first electronic device.
  • the artificial intelligence unit 1130 may obtain the priority of the first electronic device based on the degree of recognition of the example word in the first electronic device and the degree of recognition of the example word in each of the one or more other electronic devices.
  • the priority may be determined based on the degree of recognition. For example, when the recognition of the first electronic device is the highest, the recognition of the second electronic device is the middle, and the recognition of the third electronic device is the lowest, the first electronic device may be the highest priority and the second electronic device may be May be a priority.
  • the priority may be calculated in other ways by various methods of calculating the degree of recognition.
  • the artificial intelligence unit 1130 may obtain a score of the example word in the first electronic device, and receive the score of the example word in each of the one or more other electronic devices. In this case, the artificial intelligence unit 1130 may obtain the priority of the first electronic device based on the score of the example word in the first electronic device and the score of the example word in each of the one or more other electronic devices.
  • the artificial intelligence unit 1130 may obtain location information of the sound source in the first electronic device, and may receive location information of the sound source in each of the one or more other electronic devices. In this case, the artificial intelligence unit 1130 may obtain the priority of the first electronic device based on the location information of the sound source in the first electronic device and the location information of the sound source in each of the one or more other electronic devices.
  • the artificial intelligence unit 1130 may acquire the recognition degree in the first electronic device using the score of the example word in the first electronic device and the position information of the sound source.
  • the second electronic device may acquire the recognition degree of the second electronic device by using the score of the example word in the second electronic device and the position information of the sound source
  • the third electronic device may also be the example word in the third electronic device.
  • the recognition degree in the third electronic device may be obtained using the score of the and the position information of the sound source.
  • the artificial intelligence unit 1130 may receive a degree of recognition of example words in each of the one or more other electronic devices. And the artificial intelligence unit 1130 is based on the degree of recognition of the example word in the first electronic device and the recognition degree of the example word in one or more other electronic devices (second and third electronic devices) priority of the first electronic device. A ranking can be obtained.
  • the priority may be determined by appropriately combining the score and the position information.
  • the artificial intelligence unit 1130 obtains information on a plurality of electronic devices having a score higher than or equal to a predetermined rank, and the electronic device of any one of the plurality of electronic devices having a score higher than or equal to a predetermined rank based on the position information of the sound source. Can be determined as the highest priority electronics.
  • the first electronic device has a priority based on a score
  • the second electronic device has a priority
  • a third electronic device has a third priority
  • the first electronic device has a priority based on location information.
  • the second electronic device has the highest priority
  • the third electronic device has the third priority.
  • the preset rank is 2 rank.
  • the artificial intelligence unit 1130 may obtain information about the first electronic device and the second electronic device having a score of at least two ranks. In addition, the artificial intelligence unit 1130 may determine that the second electronic device among the first electronic device and the second electronic device is the highest priority based on the location information of the sound source.
  • the artificial intelligence unit 1130 may return to the call command standby state again (S535).
  • the artificial intelligence unit 1130 may enter a command standby state if the first electronic device is a highest priority.
  • the command waiting state may refer to a state in which a command included in the voice input may be recognized by processing the received voice input using the continuous language engine when the voice input is received.
  • the storage unit 1140 may store function information provided by the first electronic device and command information corresponding thereto.
  • the second electronic device and the third electronic device may return to the call command standby state again.
  • the artificial intelligence unit 1130 may recognize the command included in the voice input by processing the voice input using a continuous language engine. Can be.
  • to recognize the command may be to extract the command from the voice input and to recognize the meaning of the command.
  • the artificial intelligence unit 1130 may perform a function corresponding to the command.
  • the artificial intelligence unit 1130 may control the function performing unit 1150 to increase the volume of the output sound.
  • the present invention can prevent confusion that may occur when it is forced to write the same example language to a plurality of electronic devices.
  • the present invention may determine what the called electronic device is using the recognition degree of the example word.
  • the score may be affected by noise, ringing, and reverberation of the sound, which may change depending on the distance between the user and the electromagnetic period and the direction of the user.
  • the present invention can determine which electronic device the user is likely to call by calculating and comparing the scores.
  • the score value may not indicate the user's position due to effects such as reverberation.
  • the air conditioner is located in the corner.
  • the electronic device may directly measure the distance to the user and the direction of the user, and compare the electronic device with other electronic devices to determine which electronic device the user is likely to call.
  • the accuracy of the judgment may be further improved.
  • the recognition in the air conditioner may be designed to be higher than that in the refrigerator. And, by comparing the recognition degree, the air conditioner may recognize that it is called and thus may perform a function of lowering the temperature. However, the refrigerator may determine that it is not called and may not perform a function corresponding to the command.
  • a user often calls a short-range electronic device. For example, if the speaker is in the kitchen, the TV is in the living room, and the user is in front of the TV, the user may say “reduce the volume” and the perception on the TV may be higher than the perception on the speaker. In this case, the TV may recognize that it is called and perform a function of lowering the volume.
  • the present invention by appropriately combining the weight of the data related to the distance with the user and the weight of the data related to the direction of the user among the data related to the score or location information, it is possible to provide a service more in accordance with the user's intention. For example, if a user directly in front of a TV looks at a refrigerator that is far away and says, "Take the temperature down," it's a rule of thumb that the user calls the refrigerator. Accordingly, the present invention can provide a service that more closely matches the intention of the user by giving higher weight to data related to the direction with the user.
  • the present invention can prevent confusion caused by other electronic devices that do not recognize the command by allowing only the highest priority electronic device that is most likely to be called to recognize the command and perform a function.
  • the first electronic device is a TV
  • the second electronic device is an air conditioner
  • the user inputs a command to “reduce the temperature” to call the air conditioner.
  • the artificial intelligence unit 1130 may determine whether a function corresponding to the command is a function provided by the first electronic device (S545). .
  • the artificial intelligence unit 1130 may control the function performing unit 1150 to perform a function corresponding to the command (S555).
  • the function corresponding to the command may not be a function provided by the first electronic device.
  • the artificial intelligence unit 1130 may not perform a function corresponding to the command.
  • the artificial intelligence unit 1130 may transmit an execution command of a function corresponding to the command to the electronic device of the lower priority (S550).
  • the electronic device of the lower priority may be in a state of returning to a call command waiting state. Therefore, the electronic devices of the lower priority do not recognize the command.
  • the command for performing a function corresponding to the command may include voice signal information corresponding to a voice input including the command or a command recognized by the highest priority electronic device.
  • the electronic device of the lower priority may receive a command to perform a function corresponding to the command.
  • the electronic device of the lower priority may recognize the command based on the received voice signal information.
  • the electronic device of subpriority may determine whether the electronic device of subpriority provides a function corresponding to the command based on the recognized command.
  • the electronic device of the lower priority may perform a function corresponding to the command.
  • the TV may perform a function corresponding to the command. none.
  • the TV may send command information to the air conditioner, "Cool down the temperature.”
  • the air conditioner may determine whether it provides a function corresponding to the command of “lower temperature” and perform a function corresponding to the command of “reduce temperature” (ie, increase air volume or discharge air temperature). Can be lowered).
  • the first electronic device when the first electronic device is a lower priority electronic device, the first electronic device returns to a call command waiting state.
  • the first electronic device may receive a command to perform a function corresponding to the command from the electronic device having the highest priority.
  • the artificial intelligence unit 1130 may determine whether a function corresponding to the command is a function provided by the first electronic device, based on the recognized command. Also, if the function corresponding to the command is a function provided by the first electronic device, the artificial intelligence unit 1130 may perform a function corresponding to the command. Also, if the function corresponding to the command is not a function provided by the first electronic device, the artificial intelligence unit 1130 may transmit an execution command of a function corresponding to the command to an electronic device having a third rank.
  • the degree of recognition is inferring the user's intention through the distance or the direction of the user, it may not be able to accurately grasp the user's intention.
  • the highest priority electronic device may not be able to perform a function corresponding to the command.
  • the priority electronic device has an advantage of providing a function intended by the user without re-entering a voice by transmitting a performance command to a second priority electronic device which is most likely called by the user.
  • an electronic device having the highest priority has been described as entering the command standby state, but is not limited thereto.
  • an electronic device having a predetermined priority or more may enter a command standby state.
  • the first electronic device, the second electronic device, the third electronic device, and the fourth electronic device among the plurality of electronic devices recognize the example word. Further, it is assumed that the first electronic device is the highest priority, the second electronic device is the lower priority, the third electronic device is the third priority, and the fourth electronic device is the fourth priority.
  • the preset priority may be three priority.
  • an electronic device having a third priority or higher, which is a predetermined priority may enter the command standby state.
  • the first electronic device, the second electronic device, and the third electronic device may enter a command standby state.
  • the first electronic device, the second electronic device, and the third electronic device may recognize the received command.
  • the artificial intelligence unit of the first electronic device may determine whether the first electronic device provides a function corresponding to the command.
  • the artificial intelligence unit of the second electronic device may determine whether the second electronic device provides a function corresponding to the command.
  • the artificial intelligence unit of the third electronic device may determine whether the third electronic device provides a function corresponding to the command.
  • the first electronic device is a TV
  • the second electronic device is an air conditioner
  • the third electronic device is a refrigerator
  • the command is “low temperature”
  • the first electronic device does not provide a function corresponding to the command.
  • the second electronic device and the third electronic device may be determined to provide a function corresponding to the command.
  • the second electronic device and the third electronic device may wait without performing a function corresponding to the command.
  • the first electronic device since the first electronic device does not provide a function corresponding to the command, the first electronic device may transmit a command to perform a function corresponding to the command to the second electronic device. Meanwhile, since the second electronic device also recognizes the command, the recognized command does not need to be included in the command to perform a function corresponding to the command.
  • the second electronic device can provide a function corresponding to the command.
  • the second electronic device may perform a function corresponding to the command.
  • the air conditioner which is the second electronic device, may operate to lower the room temperature.
  • the second electronic device When the second electronic device performs a function corresponding to the command, the second electronic device does not transmit a command to perform a function corresponding to the command to the third electronic device.
  • the refrigerator which is the third electronic device, may also provide a function corresponding to the command of “low temperature”.
  • the third electronic device since the execution command is not transmitted from the second electronic device, the third electronic device may not perform a function corresponding to the command.
  • the present invention can provide a function intended by a user without re-entering a voice by transmitting a performance command to an electronic device of the lower priority when the electronic device of the highest priority cannot perform a function corresponding to the command. There is an advantage.
  • the performance command is not transmitted to the electronic device of the third order, thereby preventing confusion that may occur when the plurality of electronic devices provide the function.
  • the above-described operations of the second electronic device and the third electronic device may be applied to the first electronic device as it is.
  • FIG. 6 is a diagram illustrating a plurality of electronic devices and a server according to another embodiment of the present invention.
  • the plurality of electronic devices 100, 200, 300, 400, and 500 may communicate with the server 600.
  • each of the plurality of electronic devices may include a communication unit, and the communication unit may provide an interface for connecting the electronic device to a wired / wireless network including an internet network.
  • the communication unit may transmit or receive data with the server through the connected network or another network linked to the connected network.
  • each of the plurality of electronic devices 100, 200, 300, 400, and 500 is equipped with a keyword engine for recognizing example words and a continuous word engine for recognizing general commands for performing a function. It was. Accordingly, each of the plurality of electronic devices 100, 200, 300, 400, and 500 may perform both example word recognition and command recognition.
  • each of the plurality of electronic devices 100, 200, 300, 400, and 500 may recognize the example language, and the server may recognize the command and transmit the control command to the electronic device again.
  • FIG. 7 is a diagram illustrating a server according to an exemplary embodiment of the present invention.
  • the server 600 may include a communication unit 610, a storage unit 620, and a control unit 630.
  • the communication unit 610 may provide an interface for connecting the server 600 to a wired / wireless network including an internet network.
  • the communication unit 610 may transmit or receive data with the plurality of electronic devices through the connected network or another network linked to the connected network.
  • the storage unit 1140 may store data (eg, at least one algorithm information for machine learning) for the operation of the controller 630.
  • the storage unit 6240 may store data or an application program for driving a speech recognition and a continuous language engine, and may be driven by the controller 630 to perform a voice recognition operation.
  • the storage unit 630 may store function information provided by the plurality of electronic devices 100, 200, 300, 400, and 500 and command information corresponding thereto.
  • the controller 630 may perform all the functions of the artificial intelligence unit 1130 described with reference to FIG. 2.
  • the controller 630 In addition to the operation related to the application program, the controller 630 typically controls the overall operation of the server 600.
  • the controller 630 may provide or process information or a function appropriate to a user by processing signals, data, information, etc. input or output through the above-described components or driving an application program stored in the storage 620. .
  • FIG. 8 is a diagram for describing an operating method of an electronic device and a server according to a fourth embodiment of the present disclosure.
  • a method of operating a first electronic device includes operating in a call command standby mode (S805), receiving a voice input including a spoken word (S810), and obtaining a recognition degree of the spoken word.
  • Step S815 receiving the recognition degree of one or more other electronic devices (S820), determining whether the first electronic device has the highest priority based on the recognition degree of the first electronic device and the recognition degree of the one or more other electronic devices ( S825), if the electronic device has a priority state, enters a command standby state and receives a voice input including a command (S830), transmitting command information to a server (S830), and performing a command to perform a function corresponding to the command.
  • the artificial intelligence unit 1130 may transmit command information corresponding to the voice input including the command to the server 600 (S835).
  • the command information may be voice signal information corresponding to a voice input including a command.
  • the command information may be voice signal information of a state in which the command is not recognized because it is not processed by the continuous language engine.
  • the communication unit 610 of the server 600 may receive command information.
  • controller 630 of the server 600 may recognize the command included in the voice input by processing the command information using the continuous language engine.
  • to recognize the command may be to extract the command from the voice input and to recognize the meaning of the command.
  • the controller 630 of the server 600 may acquire a function corresponding to the command (S840). In addition, the controller 630 of the server 600 may transmit a command to perform a function corresponding to the command to the first electronic device (S845).
  • the command for performing a function corresponding to the command may include information about a function corresponding to the command.
  • the artificial intelligence unit 1130 of the first electronic device that has received a command to perform a function corresponding to the command may determine whether the first electronic device provides a function corresponding to the command (S850).
  • the artificial intelligence unit 1130 may return to the call command standby state without performing a function corresponding to the command.
  • the artificial intelligence unit 1130 may control the function performing unit 1150 to perform a function corresponding to the command (S855).
  • FIG. 9 is a diagram for describing an operating method of an electronic device and a server according to a fifth embodiment of the present disclosure.
  • a method of operating a first electronic device includes operating in a call command standby mode (S905), receiving a voice input including a spoken word (S910), and obtaining a recognition degree of the spoken word.
  • step S915 receiving the recognition degree of one or more other electronic devices (S920), determining whether the first electronic device is the highest priority based on the recognition degree of the first electronic device and the recognition degree of the one or more other electronic devices ( S925), if the electronic device has the highest priority state, enters a command standby state and receives a voice input including a command (S930), transmitting command information to a server (S935), a command to perform a function corresponding to the command, or Receiving a reject command (S950); determining whether the received command is a command for performing a function corresponding to the command (S955); and if the received command is a command for performing a function corresponding to the command It may include a step (S960) to perform a function
  • the artificial intelligence unit 1130 may transmit command information corresponding to the voice input including the command to the server 600 (S935).
  • the communication unit 610 of the server 600 may receive command information.
  • controller 630 of the server 600 may recognize the command included in the voice input by processing the command information using the continuous language engine.
  • to recognize the command may be to extract the command from the voice input and to recognize the meaning of the command.
  • controller 630 of the server 600 may obtain a function corresponding to the command (S940).
  • controller 630 of the server 600 may be configured based on the function information provided by the plurality of electronic devices 100, 200, 300, 400, and 500 stored in the storage unit 630 and command information corresponding thereto. 1 It may be determined whether the electronic device provides a function corresponding to the command (S945).
  • the controller 630 transmits a rejection command to the first electronic device, and if the function corresponding to the command is a function provided by the first electronic device, the command In operation S950, a command to perform a function corresponding to the first electronic device may be transmitted to the first electronic device.
  • the artificial intelligence unit 1130 of the first electronic device may determine whether the received command is an execution command of a function corresponding to the command (S955).
  • the artificial intelligence unit 1130 may return to the call command waiting state without performing a function corresponding to the command.
  • the artificial intelligence unit 1130 may perform a function corresponding to the command (S960).
  • the present invention performs a command recognition in a server serving as an AI hub, and thus a function for recognizing a command does not need to be mounted in electronic devices. Therefore, the cost can be reduced.
  • the server acts as an AI hub, since it is an electronic device that receives and analyzes example words, there may still be problems caused by using the same example words.
  • the present invention can solve the problem caused by the use of the same example language because only the highest priority electronic devices operate with the server.
  • FIG. 10 is a diagram for describing an operating method of an electronic device and a server according to a sixth embodiment of the present disclosure.
  • the first electronic device may be the electronic device of the highest priority
  • the second electronic device may be the electronic device of the lower priority
  • a method of operating a first electronic device includes operating in a call command standby mode (S905), receiving a voice input including a spoken word (S915), and obtaining a recognition degree of the spoken word.
  • operation S925 receiving the recognition degree of one or more other electronic devices (S935), and determining whether the first electronic device has a predetermined rank or more, based on the recognition degree of the first electronic device and the recognition degree of the one or more other electronic devices.
  • the terminal when the first electronic device is equal to or higher than a predetermined rank, the terminal enters a command standby state and receives a voice input including a command (S955); transmitting the command information and the ranking information to a server (S965). If a command for performing a function corresponding to the command is received, the method may include performing a function corresponding to the command (S980).
  • the operation method of the second electronic device the step of operating in a call command standby mode (S910), receiving a voice input including the example words (S920), the recognition degree of the example words Based on the obtaining step (S930), receiving the recognition degree of the at least one other electronic device (S940), the recognition degree of the second electronic device and the recognition degree of the at least one other electronic device, whether the second electronic device is above a predetermined rank
  • operation S950 when the second electronic device has a predetermined rank or more, entering a command standby state and receiving a voice input including a command in operation S960, and transmitting command information and ranking information to a server in operation S970. And performing a function corresponding to the command when a command corresponding to a function corresponding to the command is received (S1000).
  • the first electronic device, the second electronic device, the third electronic device, and the fourth electronic device among the plurality of electronic devices recognize the example word. Further, it is assumed that the first electronic device is the highest priority, the second electronic device is the lower priority, the third electronic device is the third priority, and the fourth electronic device is the fourth priority. It is also assumed that the preset priority is 2 priority.
  • the controller of the first electronic device may determine whether the first electronic device is equal to or higher than a predetermined rank (S945).
  • the controller of the first electronic device may enter a command standby state and receive a voice input including a command (S955).
  • the controller of the first electronic device may transmit the command information corresponding to the voice input including the command and the rank information of the first electronic device to the server ( 600) (S965).
  • the ranking information of the first electronic device may include information that the first electronic device is the highest priority.
  • control unit of the second electronic device may determine whether the second electronic device is a predetermined rank or more (S950).
  • the controller of the second electronic device may enter a command standby state and receive a voice input including a command (S960).
  • the controller of the second electronic device transmits command information and rank information corresponding to the voice input including the command to the server 600. It may be (S970).
  • the ranking information of the second electronic device may include information that the second electronic device is a subpriority.
  • the controller of the third electronic device may determine whether the third electronic device has a predetermined rank or more.
  • the third electronic device may return to the call command waiting state.
  • the communication unit 610 of the server 600 receives command information and rank information of the first electronic device from the first electronic device (S965), and receives command information and rank information of the second electronic device from the second electronic device. It may be (S970).
  • the controller 630 of the server 600 may recognize the command included in the voice input by processing the command information received from the first electronic device or the command information received from the second electronic device using a continuous language engine.
  • to recognize the command may be to extract the command from the voice input and to recognize the meaning of the command.
  • controller 630 of the server 600 may acquire a function corresponding to the command.
  • the controller 630 of the server 600 may determine whether the function corresponding to the command is a function provided by the electronic device having the highest priority, based on the received priority information (S975). That is, the controller 630 of the server 600 may determine whether a function corresponding to the command is a function provided by the first electronic device.
  • the controller 630 may transmit a command to perform the function corresponding to the command to the first electronic device (S980).
  • the first electronic device may receive a command to perform a function corresponding to the command.
  • the controller of the first electronic device may perform a function corresponding to the command (S985).
  • the controller 630 may determine whether the function corresponding to the command is provided by the electronic device having the highest priority. That is, the controller 630 may determine whether a function corresponding to the command is a function provided by the second electronic device (S990).
  • the controller 630 may transmit a command to perform a function corresponding to the command to the second electronic device (S995).
  • the second electronic device may receive a command to perform a function corresponding to the command.
  • the controller of the second electronic device may perform a function corresponding to the command (S1000).
  • the degree of recognition is inferring the user's intention through the distance or the direction of the user, it may not be able to accurately grasp the user's intention.
  • the highest priority electronic device may not be able to perform a function corresponding to the command.
  • the server first determines whether the highest priority electronic device provides the function corresponding to the command and transmits a performance command so that the highest priority electronic device most likely to be called by the user provides the function. Can be.
  • the electronic device of the highest priority determines whether the function provides a function corresponding to the command and transmits a command to provide the function intended by the user without re-entering the voice.
  • control unit is generally in charge of controlling the device, and may be used interchangeably with terms such as a central processing unit, a microprocessor, and a processor.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. There is this.
  • the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be interpreted as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Abstract

전자기기가 개시된다. 본 발명의 실시 예에 따른 전자기기는, 음원으로부터, 예령어 및 명령어를 포함하는 음성 입력을 수신하는 입력부, 하나 이상의 다른 전자기기와 통신하는 통신부, 및, 상기 전자기기에서의 상기 예령어의 인식도를 획득하고, 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도를 수신하고, 상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하는 인공지능부를 포함하고, 상기 전자기기에서의 상기 예령어의 인식도는, 상기 전자기기에서의, 상기 예령어의 스코어 및 상기 음원의 위치 정보 중 적어도 하나에 기초하여 획득된다.

Description

전자기기
본 발명은 복수의 전자기기에 동일 예령어가 입력되는 경우, 명령의 수행 여부를 결정할 수 있는 전자기기에 관한 것이다.
인공 지능(artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
한편, 종래에는 인공지능을 이용하여 사용자가 처한 상황을 인지하고 사용자가 원하는 정보나 기능을 원하는 형태로 제공하는 상황 인지(Context Awareness) 기술이 활발하게 연구되고 있다.
상술한, 상황 인지 기술이 발달함과 동시에 사용자가 처한 상황에 적합한 기능을 수행할 수 있는 전자기기에 대한 수요가 증가하고 있다.
한편, 사용자의 음성 인식과 상황 인지 기술을 결합하여, 음성 인식을 통하여 사용자에게 각종 동작과 기능을 수행하는 전자기기가 증가하고 있다.
예령어란 전자기기를 호출하는 단어로써, 사용자는 예령어를 먼저 입력하여 전자기기를 호출하고, 이후에 명령어를 입력하면, 전자기기는 명령어에 대응하는 기능을 수행하게 된다.
한편 복수의 전자기기가 동일한 음성인식 엔진을 사용하는 경우, 복수의 전자기기를 호출하는 단어가 동일한 예령어로 강제되는 경우가 있다.
이에 따라, 복수의 전자기기가 집과 같은 하나의 장소에 위치한 상태에서 사용자가 예령어를 부르는 경우, 복수의 전자기기가 동시에 호출되게 되는 문제가 발생할 수 있다.
이 경우 예령어 다음에 이어지는 명령어를 인식하지 못하는 전자기기가 생기게 되어, 사용자에게 불편함을 끼치는 문제가 발생할 수 있다.
예를 들어, “마이클”이라는 예령어가 입력된 경우, 가정 내 에어컨과 스피커가 동시에 호출될 수 있다. 그리고 예령어 다음에 “음악 틀어줘”라는 명령어가 입력된 경우, 스피커는 “음악 틀어줘”라는 명령에 대응하는 기능(즉, 음악을 트는 기능)을 수행할 수 있지만, 에어컨은 “음악 틀어줘”라는 명령에 대응하는 기능을 수행할 수 없어, “알아들을 수 없습니다.”라는 메시지를 출력하게 된다.
또한 예령어 다음에 이어지는 명령어를 복수의 전자기기가 인식하여 사용자에게 불편함을 끼칠 수도 있다.
예를 들어 사용자는 냉장고의 온도를 낮추기 위하여 “마이클, 온도 낮춰줘”라는 음성을 입력한 경우, 냉장고는 명령어를 인식하여 냉장고 온도를 낮출 수 있다. 다만 에어컨까지 명령어를 인식하여 실내 온도를 낮추도록 동작하는 문제점이 발생할 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 복수의 전자기기에 동일 예령어가 입력되는 경우, 명령의 수행 여부를 결정할 수 있는 전자기기를 제공하기 위함이다.
본 발명의 일 실시 예에 따른 전자기기는, 음원으로부터, 예령어 및 명령어를 포함하는 음성 입력을 수신하는 입력부, 하나 이상의 다른 전자기기와 통신하는 통신부, 상기 전자기기에서의 상기 예령어의 인식도를 획득하고, 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도를 수신하고, 상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하는 인공지능부를 포함하고, 상기 전자기기에서의 상기 예령어의 인식도는, 상기 전자기기에서의, 상기 예령어의 스코어 및 상기 음원의 위치 정보 중 적어도 하나에 기초하여 획득된다.
한편 본 발명의 실시 예에 따른 전자기기는, 음원으로부터 예령어를 포함하는 음성 입력 및 명령어를 포함하는 음성 입력을 수신하는 입력부, 하나 이상의 다른 전자기기 및 서버와 통신하는 통신부, 및, 상기 전자기기에서의 상기 예령어의 인식도를 획득하고, 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도를 수신하고, 상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기가 기 설정된 우선 순위 이상이면 상기 명령어를 포함하는 음성 입력에 대응하는 명령어 정보를 상기 서버로 전송하는 인공지능부를 포함하고, 상기 전자기기에서의 상기 예령어의 인식도는, 상기 전자기기에서의 상기 예령어의 스코어 및 상기 음원의 위치 정보 중 적어도 하나에 기초하여 획득된다.
한편 본 발명의 실시 예에 따른 서버는, 복수의 전자기기와 통신하는 통신부, 하나 이상의 전자기기로부터 사용자의 음성 입력에 대응하는 명령어 정보를 수신하고, 상기 명령어 정보에 기초하여 상기 음성 입력에 포함된 명령어를 인식하고, 상기 명령어에 대응하는 기능을 획득하고, 상기 명령어에 대응하는 기능의 수행 명령을 상기 하나 이상의 전자기기 중 어느 하나로 전송하는 제어부를 포함한다.
본 발명은, 복수의 전자기기에 동일한 예령어를 쓰는 것이 강제되는 경우에 발생될 수 있는 혼란을 방지할 수 있다.
도 1은 본 발명의 실시 예에 따른, 복수의 전자기기를 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 전자기기를 설명하기 위한 블록도이다.
도 3은 전자기기의 일례로써, 디스플레이 장치(100)의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른, 복수의 전자기기의 사용 환경을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른, 전자기기의 동작 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른, 복수의 전자기기 및 서버를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 서버를 설명하기 위한 도면이다.
도 8은 본 발명의 제4 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 제5 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 제6 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른, 복수의 전자기기를 도시한 도면이다.
복수의 전자기기(100, 200, 300, 400, 500)는, 상호간에 통신할 수 있다.
구체적으로 복수의 전자기기 각각은 통신부를 포함할 수 있으며, 통신부는 전자기기를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 통신부는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한 통신부는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신(Short range communication)을 지원할 수 있다.
통신부는 근거리 무선 통신망(Wireless Area Networks)을 통해, 전자기기와 다른 전자기기 사이의 무선 통신을 지원할 수 있다.
복수의 전자기기(100, 200, 300, 400, 500)는, 특정 범위 내에 위치한 장치일 수 있다. 따라서 복수의 전자기기 중 적어도 둘 이상의 전자기기는, 사용자의 동일한 음성을 함께 수신하여 인식할 수 있다.
또한 복수의 전자기기(100, 200, 300, 400, 500)는, 특정 장소에 함께 위치한 전자기기일 수 있다. 예를 들어 복수의 전자기기는 (100, 200, 300, 400, 500)는, 하나의 집에 설치된, TV, 에어컨, 냉장고, 청소기, 스피커일 수 있다. 이 경우 복수의 전자기기 중 적어도 둘 이상의 전자기기는, 사용자의 동일한 음성을 함께 수신하여 인식할 수 있다.
복수의 전자기기(100, 200, 300, 400, 500) 각각에는 음성인식 엔진이 탑재될 수 있다. 여기서 음성 인식 엔진은, 예령어를 인식하는 키워드 엔진 및 기능 수행을 위한 일반 명령을 인식하는 연속어 엔진을 포함할 수 있다.
복수의 전자기기(100, 200, 300, 400, 500) 각각에는 동일한 음성 인식 엔진이 탑재될 수 있다.
한편 복수의 전자기기(100, 200, 300, 400, 500)는, 예령어에 의하여 호출될 수 있다.
여기서 전자기기가 호출된다는 것의 의미는, 전자기기가 명령 대기 상태로 진입하는 것을 의미할 수 있다. 여기서 명령 대기 상태란, 음성 입력이 수신되는 경우 수신된 음성 입력을 연속어 엔진을 이용하여 처리함으로써, 음성 입력에 포함된 명령어를 인식할 수 있는 상태를 의미할 수 있다.
구체적으로 복수의 전자기기(100, 200, 300, 400, 500) 각각은, 평소에 호출 대기 상태로 동작하게 된다. 그리고, 호출 대기 상태에서 사용자의 음성 입력이 수신되면, 복수의 전자기기(100, 200, 300, 400, 500) 각각은, 음성 입력을 키워드 엔진을 이용하여 처리함으로써 사용자의 음성 입력에 예령어가 포함되는지 판단하게 된다. 그리고 복수의 전자기기(100, 200, 300, 400, 500) 각각은, 사용자의 음성 입력에 예령어가 포함되어 있으면 명령 대기 상태로 동작하고, 사용자의 음성 입력에 예령어가 포함되어 있지 않으면 호출 대기 상태를 그대로 유지하게 된다.
예를 들어 사용자가 예령어“마이클”을 부른 경우, 복수의 전자기기 (100, 200, 300, 400, 500) 각각은 예령어 “마이클”을 포함하는 음성 입력을 수신하고 음성 입력의 인식을 통해 음성 입력에 예령어 “마이클”이 포함된 것으로 판단할 수 있다. 이에 따라 복수의 전자기기(100, 200, 300, 400, 500) 각각은, 명령 대기 상태로 진입하게 된다.
한편 복수의 전자기기(100, 200, 300, 400, 500)는, 동일한 예령어에 의하여 호출될 수 있다. 예를 들어, 제1 전자기기(100)를 호출하는 예령어가 “마이클”일 수 있으며, 제2 전자기기(200)를 호출하는 예령어 역시 “마이클”일 수 있다.
도 2는 본 발명의 실시 예에 따른 전자기기를 설명하기 위한 블록도이다.
도 1에서는, TV, 에어컨, 냉장고, 청소기, 스피커가 도시되어 있으며, 이는 전자기기(1000)의 예시일 수 있다. 즉, 본 발명에서 설명하는 전자기기 (1000)는 사용자의 음성을 인식하고, 사용자의 음성에 기초하여 장치 고유의 기능을 수행할 수 있는 모든 전자기기를 포함할 수 있다.
본 발명의 실시 예에 따른 전자기기(1000)는, 통신부(1110), 입력부(1120), 인공지능부(1130), 저장부(140), 기능 수행부(1150) 및 제어부(1160)를 포함할 수 있다.
통신부(1110)는, 전자기기(1000)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 통신부(1110)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 전자 장치와 데이터를 송신 또는 수신할 수 있다.
또한 통신부(1110)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신(Short range communication)을 지원할 수 있다.
통신부(1110)는 근거리 무선 통신망(Wireless Area Networks)을 통해, 전자기기와 다른 전자기기 사이의 무선 통신을 지원할 수 있다.
통신부(1110)는 하나 이상의 다른 전자기기와 통신할 수 있다.
입력부(1120)는, 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 이를 위하여 입력부(1120)는 하나 이상의 마이크로폰을 포함할 수 있다.
처리된 음성 데이터는 전자기기(1000)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 입력부(1120)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
입력부(1120)는, 사용자의 음성 입력 및 기타 소리를 수신할 수 있다.
인공지능부(1130)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
인공지능부(1130)는 머신 러닝(machine learning) 기술을 이용하여, 전자기기 내에 저장된 정보, 전자기기 주변의 환경 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 그리고, 인공지능부(1130)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 실행 가능한 적어도 하나의 전자기기의 동작을 예측(또는 추론)하고, 상기 적어도 하나의 예측된 동작들 중 가장 실현성이 높은 동작이 실행되도록 전자기기를 제어할 수 있다.
머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝(deep learning) 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
한편, 인공지능부(1130)는 머신 러닝 기술을 적용하기 위한 방대한 양의 정보들을 수집하기 위하여, 전자기기의 구성 요소들에서 입력 또는 출력되는 신호, 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 또한, 인공지능부(130)는 통신을 통하여 연결되는 외부 저장소(예를 들어, 클라우드 서버, cloud server)에 저장된 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 보다 구체적으로, 정보의 수집이란, 센서를 통하여 정보를 감지하거나, 저장부(1140)에 저장된 정보를 추출하거나, 통신을 통하여, 외부 저장소로부터 정보들을 수신하는 동작을 포함하는 용어로 이해될 수 있다.
인공지능부(1130)는 입력부(1120) 또는 각종 센싱부(미도시)를 통하여, 전자기기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보를 감지할 수 있다. 또한, 인공지능부(1130)는 통신부(1110)를 통하여, 방송 신호 및/또는 방송 관련된 정보, 무선 신호, 무선 데이터 등을 수신할 수 있다. 또한, 인공지능부(130)는 입력부로부터 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터 또는 사용자로부터 입력되는 정보를 입력받을 수 있다.
이러한 인공지능부(130)는 백그라운드 상에서 실시간으로 방대한 양의 정보들을 수집하고, 이를 학습하여, 적절한 형태로 가공한 정보(예를 들어, 지식 그래프, 명령어 정책, 개인화 데이터베이스, 대화 엔진 등)를 저장부(1140)에 저장할 수 있다.
그리고, 인공지능부(1130)는 머신 러닝 기술을 이용하여 학습된 정보들을 바탕으로, 전자기기의 동작이 예측되면, 이러한 예측된 동작을 실행하기 위하여, 전자기기의 구성 요소들을 제어하거나, 예측된 동작을 실행하기 위한 제어 명령을 제어부(1160)로 전달할 수 있다. 제어부(1160)는 제어 명령에 근거하여, 전자기기를 제어함으로써, 예측된 동작을 실행할 수 있다.
한편, 인공지능부(1130)는 특정 동작이 수행되면, 머신 러닝 기술을 통하여, 특정 동작의 수행을 나타내는 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 이에, 인공지능부(1130)는 정보 예측의 정확도를 향상시킬 수 있다.
한편 인공지능부(1130)는, 음성 인식(speech recognition) 기능을 수행할 수 있다. 구체적으로 인공지능부(1130)는 입력부(1120)를 통하여 수신되는 음성 신호에 포함된 언어 정보를 추출하고, 추출된 언어 정보를 문자 정보로 변경할 수 있다.
또한 인공지능부(1130)는 음성 이해(speech understanding) 기능을 수행할 수 있다. 구체적으로 인공지능부(1130)는 문자 정보의 구문구조 등을 파악하여 문자 정보가 뜻하는 언어 정보를 결정할 수 있다.
한편, 본 명세서에서, 인공지능부(1130)와 제어부(1160)는 동일한 구성요소로 이해될 수 있다. 이 경우, 본 명세서에서 설명되는 제어부(1160)에서 수행되는 기능은, 인공지능부(1130)에서 수행된다고 표현할 수 있으며, 제어부(1160)는 인공지능부(1130)로 명명되거나, 이와 반대로, 인공지능부(1130)는 제어부(1160)로 명명되어도 무방하다. 또한 본 명세서에서 소개하는 인공지능부(1130)와 제어부(1160)의 모든 기능은, 인공지능부(1130)에서 수행되거나 제어부(1160)에서 수행될 수 있다.
또한, 이와 다르게, 본 명세서에서, 인공지능부(1130)와 제어부(1160)는 별도의 구성요소로 이해될 수 있다. 이 경우, 인공지능부(1130)와 제어부(1160)는 서로 데이터 교환을 통하여, 이동 단말기 상에서 다양한 제어를 수행할 수 있다. 제어부(1160)는 인공지능부(1130)에서 도출된 결과를 기반으로, 이동 단말기 상에서 적어도 하나의 기능을 수행하거나, 이동 단말기의 구성요소 중 적어도 하나를 제어할 수 있다. 나아가, 인공지능부(1130) 또한, 제어부(1160)의 제어 하에 동작될 수 있다.
저장부(1140)는 전자기기(1000)의 다양한 기능을 지원하는 데이터를 저장한다. 저장부(1140)는 전자기기(1000)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 전자기기(1000)의 동작을 위한 데이터들, 명령어들을, 인공 지능부(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 전자기기(1000)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 전자기기(1000) 상에 존재할 수 있다. 한편, 응용 프로그램은, 저장부(1140)에 저장되고, 전자기기(1000) 상에 설치되어, 제어부(1160)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한 저장부(1140)에는 음성 인식, 키워드 엔진 및 연속어 엔진의 구동을 위한 데이터 또는 응용 프로그램이 저장되어, 인공지능부(1130)에 의하여 음성 인식 동작을 수행하도록 구동될 수 있다.
제어부(1160)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 전자기기(1000)의 전반적인 동작을 제어한다. 제어부(1160)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(1140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(1160)는 저장부(1140)에 저장된 응용 프로그램을 구동하기 위하여, 도 2의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(1140)는 상기 응용프로그램의 구동을 위하여, 전자기기(1000)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
기능 수행부(1150)는, 제어부(1160) 또는 인공지능부(1130)의 제어 하에, 전자기기(1000)의 사용 목적에 부합하는 동작을 수행할 수 있다.
예를 들어, 전자기기(1000)가 TV인 경우, 영상을 디스플레이하고, 음향을 출력하는 등의 동작을 수행할 수 있다. 또한 인공지능부(1130) 또는 제어부(1160)의 제어 하에, 턴 온, 턴 오프, 채널 전환, 볼륨 변경 등의 동작을 수행할 수 있다.
다른 예를 들어, 전자기기(1000)가 에어컨인 경우, 냉방, 제습, 공기 청정 등의 동작을 수행할 수 있다. 또한 인공지능부(1130) 또는 제어부(1160)의 제어 하에, 턴 온, 턴 오프, 온도 변경, 모드 변경 등의 동작을 수행할 수 있다.
한편 기능수행부(1150)는, 제어부(1160) 또는 인공지능부(1130)의 제어 하에, 명령어에 대응하는 기능을 수행할 수 있다. 예를 들어 전자 전자기기(1000)가 TV이고 명령어가 “꺼줘”인 경우, 기능수행부(1150)는 TV를 턴 오프할 수 있다. 다른 예를 들어 전자기기(1000)가 에어컨이고 명령어가 “더 시원하게 해줘”인 경우, 기능수행부(1150)는 토출되는 공기의 풍량을 증가시키거나 온도를 낮출 수 있다.
한편 도 3에서는 전자기기(1000)의 일례로써 디스플레이 장치(100)를 설명하도록 한다.
도 3은 전자기기의 일례로써, 디스플레이 장치(100)의 구성을 도시한 블록도이다.
본 발명의 실시예에 따른 디스플레이 장치(100)는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 3을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 근거리 통신부(173), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 외부장치와의 연결 경로를 제공할 수 있다. 외부장치 인테퍼이스부(135)는 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
근거리 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 근거리 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 근거리 통신부(173)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 근거리 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 근거리 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 3에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 3에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 3을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
도 4는 본 발명의 실시 예에 따른, 복수의 전자기기의 사용 환경을 도시한 도면이다.
복수의 전자기기(100, 200, 300, 400, 500)는, 특정 장소에 함께 위치한 전자기기일 수 있다. 예를 들어 복수의 전자기기는 (100, 200, 300, 400, 500)는, 하나의 집에 설치된, TV, 에어컨, 냉장고, 청소기, 스피커일 수 있다.
한편, 복수의 전자기기(100, 200, 300, 400, 500)를 호출하는 예령어는 동일하다. 예를 들어, TV, 에어컨, 냉장고, 청소기, 스피커를 호출하는 예령어는 모두 “마이클”일 수 있다.
사용자는 특정 전자기기에게 특정 기능을 제공할 것을 요청하는 경우, 예령어(411)를 먼저 부르고 명령어(412)를 부르게 된다. 예를 들어 스피커에게 최근 음악을 틀어줄 것을 요청하는 사용자의 경우, “마이클(예령어), 최근 음악 틀어줘(명령어)”라는 음성을 발화하게 된다.
이 경우 스피커는 “마이클”이라는 예령어가 수신되면 스피커가 호출된 것으로 인식한다.
그리고 나서 “최근 음악 틀어줘”라는 명령어가 수신되면, 명령어에 대응하는 기능을 수행할 수 있다. 예를 들어 스피커의 인공지능부(1130)는 최근에 재생된 음악을 검색하고, 검색된 음악을 출력하도록 기능 수행부(1150)를 제어할 수 있다.
한편 집과 같은 좁은 환경에 복수의 전자기기가 배치되어 있는 경우, 사용자가 발화한 음성은 다른 전자기기에도 입력되게 된다.
예를 들어 청소기 역시, “마이클(예령어), 최근 음악 틀어줘(명령어)”라는 음성 입력을 수신하게 된다.
이 경우 청소기 역시 “마이클”이라는 동일한 예령어를 사용하기 때문에, “마이클”이라는 예령어가 수신되면 청소기가 호출된 것으로 인식하게 되며, “최근 음악 틀어줘”라는 명령어에 대응하는 기능을 수행하려고 한다. 다만 “최근 음악 틀어줘”라는 명령어에 대응하는 기능은 청소기에서 수행되는 기능이 아니기 때문에, “알아들을 수 없습니다” 등의 오류 메시지를 출력하게 된다.
도 5는 본 발명의 실시 예에 따른, 전자기기의 동작 방법을 설명하기 위한 도면이다.
아래에서는 복수의 전자기기 중 제1 전자기기의 동작에 대해서 설명한다.
본 발명의 실시 예에 따른 제1 전자기기의 동작 방법은, 호출 명령 대기 모드로 동작하는 단계(S505), 예령어를 포함하는 음성 입력을 수신하는 단계(S510), 예령어의 스코어를 획득하는 단계(S515), 예령어의 스코어에 기초하여 예령어가 수신된 것으로 결정하는 단계(S520), 예령어를 발화한 음원의 위치 정보를 획득하는 단계(S525), 하나 이상의 다른 전자기기의 스코어 및 위치 정보 중 적어도 하나를 수신하는 단계(S530), 전자기기의 스코어 및 위치 정보 중 적어도 하나와 하나 이상의 다른 전자기기의 스코어 및 위치 정보 중 적어도 하나에 기초하여, 전자기기가 최우선 순위인지 판단하는 단계(S535), 전자기기가 최우선 상태이면 명령 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신하는 단계(S540), 전자기기가 명령어에 대응하는 기능을 제공하는지 결정하는 단계(S545), 전자기기가 명령어에 대응하는 기능을 제공하지 않는 경우 차우선 순위의 전자기기로 명령어를 전송하는 단계(S550) 및 전자기기가 명령어에 대응하는 기능을 제공하는 경우 명령어에 대응하는 기능을 수행하는 단계(S555)를 포함할 수 있다.
상술한 각 단계는 제1 전자기기의 동작을 세분화 한 것으로써, 복수의 단계가 통합될 수 있으며, 실시 예에 따라 적어도 일부 단계는 생략될 수 있다.
한편, S505부터 S520까지는 아래서 설명하는 제1 실시 예, 제2 실시 예 및 제3 실시 예에 공통적으로 적용되는 단계로써, 먼저 설명하도록 한다.
제1 전자기기는 호출 명령 대기 상태로 동작할 수 있다(S505). 여기서 호출 명령 대기 상태란, 입력부(1120)를 통하여 소리를 수신하고 수신되는 소리에 예령어가 포함되어 있는지 판단하는 상태를 의미할 수 있다.
한편, 입력부(1120)는 음원으로부터 예령어를 포함하는 음성 입력을 수신할 수 있다(S510). 여기서 음원은, 예령어 및 명령어를 발화한 사용자일 수 있다.
구체적으로 입력부(1120)를 통하여 음성 신호가 수신되면, 인공지능부(1130)는 키워드 인식 매커니즘의 스코어(score)를 산출할 수 있다(S515). 또한 산출된 스코어가 기준값 이상이면, 음성 입력에 예령어가 포함된 것으로 결정할 수 있다.
더욱 구체적으로, 음성 신호가 수신되면 인공지능부(1130)는 잔향 제거, 에코 제거, 잡음 제거 등의 전처리를 수행할 수 있다. 또한 인공지능부(1130)는 전처리된 음성 신호로부터 음성 인식에 이용되는 특징백터를 추출할 수 있다. 또한 특징 백터와 기 저장된(기 학습된) 데이터 간의 비교 및 확률 모델에 기초하여, 인공지능부(1130)는 수신된 음성 신호에 대한 스코어(score)를 산출할 수 있다. 여기서 스코어(score)란, 입력된 음성과 기 저장된 예령어의 유사도(즉 입력된 음성과 기 저장된 예령어가 매칭되는 정도)를 나타내는 것으로 수치로써 표현될 수 있다.
이 경우 인공지능부(1130)는 핵심어 검출 기술에 기초하여, 연속적으로 입력되는 음성신호로부터 기 설정된 핵심어(keyword)를 검출할 수 있다. 또한 인공지능부(1130)는 핵심어(keyword)와 기 저장된 예령어의 유사도를 나타내는 스코어(score)를 산출할 수 있다.
그리고 산출된 스코어(score)가 기준값 이상이면, 인공지능부(1130)는 예령어를 포함하는 음성 입력이 수신된 것으로 판단할 수 있다(S520).
한편 음성 입력에 예령어가 포함되지 않은 경우, 즉 산출된 스코어가 기준값보다 작은 경우, 인공지능부(1130)는 다시 호출 명령 대기 상태로 돌아갈 수 있다.
한편, 음성 입력에 예령어가 포함된 것으로 결정되면, 인공 지능부(1130)는 전자기기(1000)에서의 예령어의 인식도를 획득할 수 있다.
여기서 제1 전자기기에서의 예령어의 인식도는, 복수의 전자기기 중 제1 전자기기를 호출했을 가능성을 의미할 수 있다.
따라서 복수의 전자기기 중 인식도가 높은 전자기기일 수록 사용자에 의하여 호출됐을 가능성이 높을 수 있다. 예를 들어 TV에서의 예령어의 인식도가 스피커에서의 예령어의 인식도보다 높으면, 사용자가 TV를 호출했을 가능성이 더 높을 수 있다.
한편 인식도는, 제1 전자기기에서의 예령어의 스코어 및 제1 전자기기에서의 음원의 위치 정보 중 적어도 하나에 기초하여 획득될 수 있다.
먼저 예령어의 스코어를 이용하여 인식도를 획득하는 제1 실시 예를 설명한다.
앞서, 제1 전자기기에서의 예령어의 스코어(score)를 산출하는 것으로 설명한 바 있다. 그리고 제1 실시 예에서는, 제1 전자기기에서의 예령어의 스코어가, 제1 전자기기에서의 예령어의 인식도가 될 수 있다.
한편 전자기기(1000)에서의 음원의 위치 정보에 기초하여 인식도를 획득하는 제2 실시 예를 설명한다.
제1 전자기기는 음원의 위치 정보를 획득할 수 있다(S525). 여기서 음원은 음성을 발화한 사용자일 수 있다. 또한 음원의 위치 정보는 제1 전자기기를 기준으로 한 음원의 상대적인 위치를 의미하는 것으로써, 제1 전자기기를 기준으로 한 음원과의 거리 및 음원의 방향 중 적어도 하나를 포함할 수 있다.
이를 위해 입력부(1120)는 다채널의 마이크로폰 어레이를 포함할 수 있으며, 인공지능부(1130)는 복수개의 마이크 각각을 통하여 수신된 음향신호로부터 음원으로부터 발생한 신호를 검출하고, 공지된 다양한 위치 추적 알고리즘에 따라 음원과의 거리와 방향을 추적할 수 있다.
즉 인식도는, 제1 전자기기와 음원과의 거리 및 제1 전자기기를 기준으로 한 음원의 방향에 기초하여 결정될 수 있다. 이 경우 인공지능부(1030)는 음원과의 거리보다 음원의 방향에 더 높은 가중치를 부여하여 인식도를 산출할 수 있다. 예를 들어TV와 가까운 거리에 있는 사용자가 먼 거리에 있는 냉장고를 바라보면서 예령어를 외친 경우, 냉장고에서의 예령어의 인식도가 TV에서의 예령어의 인식도보다 높을 수 있다.
한편 제1 전자기기에서의 예령어의 스코어 및 음원의 위치 정보에 기초하여 인식도를 획득하는 제3 실시 예를 설명한다.
인공지능부(1130)는, 제1 전자기기에서의 예령어의 스코어 및 제1 전자기기(1000)에서의 음원의 위치 정보에 기초하여, 제1 전자기기에서의 예령어의 인식도를 획득할 수 있다.
이 경우 인공지능부(1130)는 제1 전자기기에서의 음원의 위치 정보보다 전자기기(1000)에서의 예령어의 스코어에 더 높은 가중치를 부여하여 인식도를 산출할 수 있다.
한편 복수의 전자기기 중 제1 전자기기를 제외한 다른 전자기기 역시, 제1 전자기기와 동일한 동작을 수행할 수 있다.
즉, 복수의 전자기기 각각은 호출 명령 대기 상태로 동작하고, 음성 신호가 수신되면, 예령어를 포함하는 음성 입력의 수신 여부를 판단할 수 있다. 또한 복수의 전자기기 중 예령어를 포함하는 음성 입력이 수신된 것으로 판단한 전자기기는, 자신의 기기에서의 예령어의 인식도를 획득할 수 있다.
또한 예령어를 포함하는 음성 입력이 수신된 것으로 판단한 전자기기는, 자신의 장치를 기준으로 한 예령어의 인식도를 획득할 수 있다.
예를 들어 제2 전자기기는, 제2 전자기기에서 수신되는 음성 입력에 기초하여 예령어의 스코어를 산출할 수 있으며, 제2 전자기기를 기준으로 한 음원의 위치(거리 및 방향) 정보를 획득할 수 있다.
한편 복수의 전자기기는, 각각의 전자기기에서의 예령어의 인식도를 다른 장치들과 공유할 수 있다.
예를 들어, 제1 전자기기, 제2 전자기기, 제3 전자기기, 제4 전자기기, 제5 전자기기가 있고, 제1 전자기기가 제1 전자기기에서의 예령어의 인식도를 획득하였고, 제2 전자기기가 제2 전자기기에서의 예령어의 인식도를 획득하였고, 제3 전자기기가 제3 전자기기에서의 예령어의 인식도를 획득하였다고 가정한다.
이 경우 제1 전자기기의 인공지능부(1130)는 하나 이상의 다른 전자기기로 제1 전자기기에서의 예령어의 인식도를 전송할 수 있다. 또한 제1 전자기기의 인공지능부(1130)는 하나 이상의 다른 전자기기로부터 하나 이상의 다른 전자기기 각각에서의 예령어의 인식도를 수신할 수 있다.(S530)
예를 들어, 제1 전자기기는 제2 전자기기 및 제3 전자기기로 제1 전자기기에서의 예령어의 인식도를 전송할 수 있다. 또한 제1 전자기기는 제2 전자기기로부터 제2 전자기기에서의 예령어의 인식도를 수신할 수 있다. 또한 제1 전자기기는 제3 전자기기로부터 제3 전자기기에서의 예령어의 인식도를 수신할 수 있다.
또한 제2 전자기기 및 제3 전자기기 역시 제1 전자기기와 동일한 동작을 수행할 수 있다.
한편 인공지능부(1130)는, 제1 전자기기에서의 예령어의 인식도 및 하나 이상의 다른 전자기기 각각에서의 예령어의 인식도에 기초하여, 제1 전자기기의 우선 순위를 획득할 수 있다.
여기서 우선 순위는 인식도에 기초하여 결정될 수 있다. 예를 들어 제1 전자기기의 인식도가 가장 높고, 제2 전자기기의 인식도가 중간이고, 제3 전자기기의 인식도가 가장 낮은 경우, 제1 전자기기는 최우선순위일 수 있으며 제2 전자기기는 차우선순위일 수 있다.
한편 인식도를 산출하는 다양한 방법에 의하여, 우선순위는 다른 방법으로 산출될 수 있다.
구체적으로 제1 실시 예에서, 인공지능부(1130)는 제1 전자기기에서의 예령어의 스코어를 획득할 수 있으며, 하나 이상의 다른 전자기기 각각에서의 예령어의 스코어를 수신할 수 있다. 이 경우 인공지능부(1130)는 제1 전자기기에서의 예령어의 스코어 및 하나 이상의 다른 전자기기 각각에서의 예령어의 스코어에 기초하여 제1 전자기기의 우선순위를 획득할 수 있다.
또한 제2 실시 예에서, 인공지능부(1130)는 제1 전자기기에서의 음원의 위치 정보를 획득할 수 있으며, 하나 이상의 다른 전자기기 각각에서의 음원의 위치 정보를 수신할 수 있다. 이 경우 인공지능부(1130)는 제1 전자기기에서의 음원의 위치 정보 및 및 하나 이상의 다른 전자기기 각각에서의 음원의 위치 정보에 기초하여 제1 전자기기의 우선순위를 획득할 수 있다.
또한 제3 실시 예에서, 인공지능부(1130)는 제1 전자기기에서의 예령어의 스코어 및 음원의 위치 정보를 이용하여 제1 전자기기에서의 인식도를 획득할 수 있다. 또한 제2 전자기기는 제2 전자기기에서의 예령어의 스코어 및 음원의 위치 정보를 이용하여 제2 전자기기에서의 인식도를 획득할 수 있으며, 제3 전자기기 역시 제3 전자기기에서의 예령어의 스코어 및 음원의 위치 정보를 이용하여 제3 전자기기에서의 인식도를 획득할 수 있다.
이 경우 인공지능부(1130)는 하나 이상의 다른 전자기기 각각에서의 예령어의 인식도를 수신할 수 있다. 그리고 인공지능부(1130)는 제1 전자기기에서의 예령어의 인식도 및 하나 이상의 다른 전자기기(제2 전자기기 및 제3 전자기기)에서의 예령어의 인식도에 기초하여 제1 전자기기의 우선순위를 획득할 수 있다.
한편 우선 순위는, 스코어와 위치 정보를 적절히 조합하여 결정될 수도 있다.
구체적으로, 인공지능부(1130)는 스코어가 기 설정된 순위 이상인 복수의 전자기기에 대한 정보를 획득하고, 음원의 위치 정보에 기초하여 스코어가 기 설정된 순위 이상인 복수의 전자기기 중 어느 하나의 전자기기를 최우선 전자기기로 결정할 수 있다.
예를 들어 스코어에 기초한 우선 순위가 제1 전자기기가 최우선 순위, 제2 전자기기가 차우선 순위, 제3 전자기기가 3순위 이고, 위치 정보에 기초한 우선 순위가 제1 전자기기가 차우선 순위, 제2 전자기기가 최우선 순위, 제3 전자기기가 3순위인 것으로 가정한다. 또한 기 설정된 순위가 2순위인 것으로 가정한다.
이 경우 인공지능부(1130)는 스코어가 2순위 이상인 제1 전자기기 및 제2 전자기기에 대한 정보를 획득할 수 있다. 또한 인공지능부(1130)는 음원의 위치 정보에 기초하여, 제1 전자기기 및 제2 전자기기 중 제2 전자기기가 최우선 순위인 것으로 결정할 수 있다.
한편 인공지능부(1130)는 제1 전자기기가 최우선순위가 아니면 다시 호출 명령 대기 상태로 돌아갈 수 있다(S535).
또한 인공지능부(1130)는 제1 전자기기가 최우선순위이면 명령 대기 상태로 진입할 수 있다. (S535, S540) 여기서 명령 대기 상태란, 음성 입력이 수신되는 경우 수신된 음성 입력을 연속어 엔진을 이용하여 처리함으로써 음성 입력에 포함된 명령어를 인식할 수 있는 상태를 의미할 수 있다.
이 경우 저장부(1140)에는 제1 전자기기에서 제공하는 기능 정보 및 이에 대응하는 명령어 정보가 저장되어 있을 수 있다.
한편 제1 전자기기가 최우선순위인 경우, 제2 전가기기 및 제3 전자기기는 최우선순위가 아닌 바, 제2 전자기기 및 제3 전자기기는 다시 호출 명령 대기 상태로 돌아갈 수 있다.
한편, 제1 전자기기가 명령 대기 상태에서 동작하고 명령어를 포함하는 음성입력이 수신되면, 인공지능부(1130)는 음성 입력을 연속어 엔진을 이용하여 처리함으로써 음성 입력에 포함된 명령어를 인식할 수 있다. 여기서 명령어를 인식한다는 것은, 음성입력으로부터 명령어를 추출하고, 명령어의 의미를 인식하는 것일 수 있다.
이 경우 인공지능부(1130)는 명령어에 대응하는 기능을 수행할 수 있다
예를 들어 제1 전자기기가 TV이고 명령어가 “볼륨을 높여줘”인 경우, 인공지능부(1130)는 출력 음향의 볼륨을 높이도록 기능수행부(1150)를 제어할 수 있다.
이와 같이 본 발명은, 복수의 전자기기에 동일한 예령어를 쓰는 것이 강제되는 경우에 발생될 수 있는 혼란을 방지할 수 있다.
구체적으로, 본 발명은 예령어의 인식도를 이용하여 호출된 전자기기가 무엇인지 판단할 수 있다. 예를 들어 스코어의 경우 소리의 잡음, 울림, 반향(reverberation) 등에 의하여 영향을 받게 되는데, 이는 사용자와 전자기기간의 거리 및 사용자의 방향에 따라 변경될 수 있다.
즉 본 발명은 스코어를 산출하고 비교함으로써, 사용자가 어떠한 전자기기를 호출했을 확률이 높은지 판단할 수 있다.
또한 잔향 등의 효과로 스코어 값이 사용자의 위치를 나타내지 못하는 경우가 발생할 수 있다. 에어컨이 모서리에 위치하는 경우를 그 예로 들 수 있다.
이러한 경우 전자기기는 사용자와의 거리 및 사용자의 방향을 직접 측정하고, 이를 다른 전자기기와 비교함으로써, 사용자가 어떠한 전자기기를 호출했을 확률이 높은지 판단할 수 있다.
또한, 스코어, 사용자와의 거리 및 사용자의 방향을 모두 이용함으로써, 판단의 정확도를 더욱 향상시킬 수도 있다.
또한 사용자가 어떠한 전자기기를 호출했을 확률이 높은지 판단하고, 확률이 가장 높은(즉 인식도가 가장 높은) 전자기기가 명령을 인식하고 수행하게 함으로써, 사용자의 의도에 부합하는 동작을 제공할 수 있다.
예를 들어 사용자는 자신이 호출하고 싶은 전자기기를 바라보면서 예령어를 외치는 경우가 많다. 그리고, 사용자가 냉장고를 등지고 에어컨을 바라보면서 “온도를 낮춰줘”라고 말한 경우, 에어컨에서의 인식도가 냉장고에서의 인식도보다 더 높게 산출되도록 설계될 수 있다. 그리고 인식도 비교를 통하여, 에어컨은 자신이 호출된 것으로 인식할 수 있으며 이에 따라 온도를 낮추는 기능을 수행할 수 있다. 다만 냉장고는 자신이 호출되지 않은 것으로 판단하고, 명령에 대응하는 기능을 수행하지 않을 수 있다.
다른 예를 들어, 사용자는 가까운 거리의 전자기기를 호출하는 경우가 많다. 예를 들어 스피커는 부엌에 TV는 거실에 있고, 사용자가 TV 앞에 있는 경우, 사용자가 “볼륨 낮춰줘”라고 얘기하면 TV에서의 인식도가 스피커에서의 인식도보다 더 높을 수 있다. 이 경우 TV는 자신이 호출된 것으로 인식하고 볼륨을 낮추는 기능을 수행할 수 있다.
또한 본 발명은 스코어나 위치 정보와 관련된 데이터 중, 사용자와의 거리에 관련된 데이터의 가중치와 사용자의 방향에 관련된 데이터의 가중치를 적절히 조합함으로써, 사용자의 의도에 더욱 부합하는 서비스를 제공할 수 있다. 예를 들어 TV 바로 앞에 있는 사용자가 멀리 있는 냉장고를 바라보며 “온도 낮춰줘”라고 얘기하는 경우, 사용자는 냉장고를 호출했다고 보는 것이 경험칙상 상당하다. 따라서 본 발명은, 사용자와의 방향에 관련된 데이터에 더 높은 가중치를 부여함으로써 사용자의 의도에 더욱 부합하는 서비스를 제공할 수 있다.
또한 본 발명은, 호출되었을 가능성이 가장 높은 최우선 순위의 전자기기 만이 명령어를 인식하고 기능을 수행하게 함으로써, 명령어를 인식하지 못한 다른 전자기기 들이 야기하는 혼란을 방지할 수 있다.
한편, 인식도를 정확하게 산출하는 것은 불가능하기 때문에, 인식도는 가장 높음에도 불구하고 명령어에 대응하는 기능을 제공할 수 없는 경우가 발생할 수 있다. 예를 들어 제1 전자기기가 TV이고 제2 전자기기는 에어컨이며, 사용자가 에어컨을 호출하려고 “온도좀 낮춰줘”라는 명령어를 입력하였으나 TV의 인식도가 가장 높게 나온 경우를 들 수 있다.
따라서 제1 전자기기가 명령 대기 상태에서 동작하고 명령어를 포함하는 음성입력이 수신되면, 인공지능부(1130)는 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능인지 결정할 수 있다(S545).
그리고 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이면, 인공지능부(1130)는 명령어에 대응하는 기능을 수행하도록 기능수행부(1150)를 제어할 수 있다(S555).
한편 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이 아닐 수도 있다. 이 경우 인공지능부(1130)는 명령어에 대응하는 기능을 수행하지 않을 수 있다.
또한 인공지능부(1130)는 차우선 순위의 전자기기로 명령어에 대응하는 기능의 수행명령을 전송할 수 있다(S550).
한편 차우선 순위의 전자기기는 호출 명령 대기 상태로 돌아간 상태일 수 있다. 따라서 차우선 순위의 전자기기는 명령어를 인식하지 못한 상태이다.
따라서 명령어에 대응하는 기능의 수행 명령은, 명령어를 포함하는 음성 입력에 대응하는 음성 신호 정보 또는 최우선 전자기기에 의해서 인식된 명령어를 포함할 수 있다.
이 경우 차우선순위의 전자기기는 명령어에 대응하는 기능의 수행 명령을 수신할 수 있다.
또한 명령어에 대응하는 기능의 수행 명령에 음성 신호 정보가 포함된 경우, 차우선순위의 전자기기는, 수신된 음성 신호 정보에 기초하여 명령어를 인식할 수 있다.
그리고 차우선순위의 전자기기는, 인식된 명령어에 기초하여, 차우선순위의 전자기기가 명령어에 대응하는 기능을 제공하는지 결정할 수 있다.
또한, 차우선순위의 전자기기가 명령어에 대응하는 기능을 제공하면, 차우선순위의 전자기기는 명령어에 대응하는 기능을 수행할 수 있다.
예를 들어 최우선순위의 제1 전자기기가 TV이고 차우선순위의 제2 전자기기는 에어컨이며, 사용자가 “온도좀 낮춰줘”라는 명령어를 입력한 경우, TV는 명령어에 대응하는 기능을 수행할 수 없다. 이 경우, TV는 에어컨에게 “온도좀 낮춰줘”라는 명령어 정보를 전송할 수 있다. 또한 에어컨은 “온도좀 낮춰줘”라는 명령어에 대응하는 기능을 제공하는지 판단하고, “온도좀 낮춰줘”라는 명령어에 대응하는 기능을 수행할 수 있다(즉 풍량을 증가시키거나 토출되는 공기의 온도를 더욱 낮출 수 있다.).
반대로 제1 전자기기가 차우선 순위의 전자기기인 경우, 제1 전자기기는 호출 명령 대기 상태로 돌아간 상태이다. 이 경우 제1 전자기기는 최우선 순위의 전자기기로부터 명령어에 대응하는 기능의 수행 명령을 수신할 수 있다. 이 경우 인공지능부(1130)는 인식된 명령어에 기초하여, 명령어에 대응하는 기능이 제1 전가기기에서 제공하는 기능인지 판단할 수 있다. 또한 명령어에 대응하는 기능이 제1 전가기기에서 제공하는 기능이면, 인공지능부(1130)는 명령어에 대응하는 기능을 수행할 수 있다. 또한 명령어에 대응하는 기능이 제1 전가기기에서 제공하는 기능이 아니면, 인공지능부(1130)는 명령어에 대응하는 기능의 수행 명령을 3순위의 전자기기로 전송할 수 있다.
인식도는 사용자의 의도를 사용자와의 거리나 방향을 통해 추측하는 것이기 때문에, 사용자의 의도를 정확히 파악할 수 없는 경우가 발생할 수 있다.
따라서, 최우선 전자기기를 호출하는 것이 사용자의 의도가 아닐 수 있으며, 이에 따라 최우선 전자기기는 명령어에 대응하는 기능을 수행할 수 없는 경우가 발생할 수 있다.
이러한 경우, 최우선 전자기기는 사용자에 의하여 호출되었을 가능성이 두번째로 높은 차우선 전자기기로 수행 명령을 전송함으로써, 음성의 재입력 없이도 사용자가 의도한 기능을 제공할 수 있는 장점이 있다.
한편 본 실시 예에서는, 최우선 순위의 전자기기만 명령어 대기 상태로 진입하는 것으로 설명하였으나 이에 한정되지 않는다. 구체적으로, 기 설정된 우선순위 이상의 전자기기가 명령어 대기 상태로 진입할 수 있다.
설명을 위하여, 복수의 전자기기 중 제1 전자기기, 제2 전자기기, 제3 전자기기 및 제4 전자기기가 예령어를 인식한 것으로 가정한다. 그리고 제1 전자기기가 최우선순위이고, 제2 전자기기가 차우선순위이고, 제3 전자기기가 3순위의 우선순위이고, 제4 전자기기가 4순위의 우선순위인 것으로 가정한다.
한편 기 설정된 우선 순위는 3순위일 수 있다. 이 경우 기 설정된 우선순위인 3순위 이상의 전자기기가 명령어 대기 상태로 진입할 수 있다.
이 경우 제1 전자기기, 제2 전자기기 및 제3 전자기기가 명령어 대기 상태로 진입할 수 있다. 그리고 명령어가 수신되면, 제1 전자기기, 제2 전자기기 및 제3 전자기기가 수신된 명령어를 인식할 수 있다.
그리고 명령어를 포함하는 음성 입력이 수신되면, 제1 전자기기의 인공지능부는 제1 전자기기가 명령어에 대응하는 기능을 제공하는지 판단할 수 있다.
제2 전자기기 역시, 명령어를 포함하는 음성 입력이 수신되면, 제2 전자기기의 인공지능부는 제2 전자기기가 명령어에 대응하는 기능을 제공하는지 판단할 수 있다.
제3 전자기기 역시, 명령어를 포함하는 음성 입력이 수신되면, 제3 전자기기의 인공지능부는 제3 전자기기가 명령어에 대응하는 기능을 제공하는지 판단할 수 있다.
예를 들어, 제1 전자기기가 TV, 제2 전자기기가 에어컨, 제3 전자기기가 냉장고이고, 명령어가 “온도 낮춰줘”인 경우, 제1 전자기기는 명령어에 대응하는 기능을 제공하지 않는 것으로 판단하며, 제2 전자기기와 제3 전자기기는 명령어에 대응하는 기능을 제공하는 것으로 판단할 수 있다.
이 경우 제2 전자기기 및 제3 전자기기는 명령어에 대응하는 기능을 바로 수행하지 않고 대기할 수 있다.
한편 제1 전자기기는 명령어에 대응하는 기능을 제공하지 않기 때문에, 제2 전자기기로 명령어에 대응하는 기능의 수행 명령을 전송할 수 있다. 한편 제2 전자기기 역시 명령어를 인식한 상태이기 때문에, 명령어에 대응하는 기능의 수행 명령에 인식된 명령어가 포함될 필요는 없다.
한편 제2 전자기기는 명령어에 대응하는 기능을 제공할 수 있는 것으로 이미 판단한 바 있다. 이 상태에서 제1 전자기기로부터 명령어에 대응하는 기능의 수행명령이 수신되면, 제2 전자기기는 명령어에 대응하는 기능을 수행할 수 있다. 예를 들어 제2 전자기기인 에어컨은 실내 온도를 낮추도록 동작할 수 있다.
제2 전자기기가 명령어에 대응하는 기능을 수행한 경우, 제2 전자기기는 제3 전자기기에 명령어에 대응하는 기능의 수행 명령을 전송하지 않는다.
한편 제3 전자 기기인 냉장고 역시, “온도 낮춰줘”라는 명령에 대응하는 기능을 제공할 수 있다. 다만 제2 전자기기로부터 수행 명령이 전송되지 않기 때문에, 제3 전자기기는 명령어에 대응하는 기능을 수행하지 않을 수 있다.
이와 같이 본 발명은, 최우선 순위의 전자기기가 명령어에 대응하는 기능을 수행할 수 없는 경우 차우선 순위의 전자기기로 수행 명령을 전송함으로써, 음성의 재입력 없이도 사용자가 의도한 기능을 제공할 수 있는 장점이 있다.
또한 차우선 순위의 전자기기가 기능을 제공하는 경우에는 3순위의 전자기기로 수행 명령을 전송하지 않음으로써, 복수의 전자기기가 기능을 제공함으로써 발생될 수 있는 혼란을 방지할 수 있다.
한편 상술한 제2 전자기기 및 제3 전자기기의 동작은, 제1 전자기기에도 그대로 적용될 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른, 복수의 전자기기 및 서버를 도시한 도면이다.
복수의 전자기기(100, 200, 300, 400, 500)는, 서버(600)와 통신할 수 있다. 구체적으로 복수의 전자기기 각각은 통신부를 포함할 수 있으며, 통신부는 전자기기를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 통신부는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 서버와 데이터를 송신 또는 수신할 수 있다.
도 1내지 도 5에서는, 복수의 전자기기(100, 200, 300, 400, 500) 각각에 예령어를 인식하는 키워드 엔진 및 기능 수행을 위한 일반 명령을 인식하는 연속어 엔진이 모두 탑재되는 것으로 설명하였다. 이에 따라 복수의 전자기기(100, 200, 300, 400, 500) 각각은, 예령어 인식 및 명령어 인식을 모두 수행할 수 있다.
다만, 복수의 전자기기(100, 200, 300, 400, 500) 각각에서는 예령어를 인식하고, 서버에서는 명령어를 인식하여 다시 전자기기로 제어 명령을 전송하는 방식으로도 구현될 수 있다.
도 7은 본 발명의 실시 예에 따른 서버를 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 서버(600)는, 통신부(610), 저장부(620) 및 제어부(630)를 포함할 수 있다.
통신부(610)는, 서버(600)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 통신부(610)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 복수의 전자 장치와 데이터를 송신 또는 수신할 수 있다.
저장부(1140)는 제어부(630)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다. 또한 저장부(6240)에는 음성 인식 및 연속어 엔진의 구동을 위한 데이터 또는 응용 프로그램이 저장되어, 제어부(630)에 의하여 음성 인식 동작을 수행하도록 구동될 수 있다.
또한 저장부(630)에는 복수의 전자기기(100, 200, 300, 400, 500)에서 제공하는 기능 정보 및 이에 대응하는 명령어 정보가 저장될 수 있다.
제어부(630)는 도 2에서 설명한, 인공지능부(1130)의 모든 기능을 수행할 수 있다.
제어부(630)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 서버(600)의 전반적인 동작을 제어한다. 제어부(630)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(620)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
도 8은 본 발명의 제4 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
아래에서는 복수의 전자기기 중 제1 전자기기 및 서버의 동작에 대해서 설명한다.
본 발명의 실시 예에 따른 제1 전자기기의 동작 방법은, 호출 명령 대기 모드로 동작하는 단계(S805), 예령어를 포함하는 음성 입력을 수신하는 단계(S810), 예령어의 인식도를 획득하는 단계(S815), 하나 이상의 다른 전자기기의 인식도를 수신하는 단계(S820), 제1 전자기기의 인식도 및 하나 이상의 다른 전자기기의 인식도에 기초하여, 제1 전자기기가 최우선 순위인지 판단하는 단계(S825), 전자기기가 최우선 상태이면 명령 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신하는 단계(S830), 명령어 정보를 서버에 전송하는 단계(S830), 명령어에 대응하는 기능의 수행 명령을 수신하는 단계(S845), 제1 전자기기가 명령어에 대응하는 기능을 제공하는지 결정하는 단계(S850) 및 명령어에 대응하는 기능을 수행하는 단계(S855)를 포함할 수 있다.
여기서 S805 내지 S830의 단계는 도 5에서 설명한 S505 내지 S540의 설명이 그대로 적용될 수 있는 바, 자세한 설명은 생략한다.
제1 전자기기가 최우선 순위이고 명령어를 포함하는 음성 입력이 수신되면, 인공지능부(1130)는 명령어를 포함하는 음성 입력에 대응하는 명령어 정보를 서버(600)로 전송할 수 있다(S835).
여기서 명령어 정보는, 명령어를 포함하는 음성 입력에 대응하는 음성 신호 정보일 수 있다. 구체적으로 명령어 정보는, 연속어 엔진에 의하여 처리되지 않아 명령어가 인식되지 않은 상태의 음성 신호 정보일 수 있다.
한편 서버(600)의 통신부(610)는 명령어 정보를 수신할 수 있다.
또한 서버(600)의 제어부(630)는 명령어 정보를 연속어 엔진을 이용하여 처리함으로써 음성 입력에 포함된 명령어를 인식할 수 있다. 여기서 명령어를 인식한다는 것은, 음성입력으로부터 명령어를 추출하고, 명령어의 의미를 인식하는 것일 수 있다.
또한 서버(600)의 제어부(630)는 명령어에 대응하는 기능을 획득할 수 있다(S840). 또한 서버(600)의 제어부(630)는 명령어에 대응하는 기능의 수행 명령을 제1 전자기기로 전송할 수 있다(S845). 여기서 명령어에 대응하는 기능의 수행 명령은, 명령어에 대응하는 기능에 대한 정보를 포함할 수 있다.
한편 명령어에 대응하는 기능의 수행 명령을 수신한 제1 전자기기의 인공지능부(1130)는, 제1 전자기기에서 명령어에 대응하는 기능을 제공하는지 판단할 수 있다(S850).
그리고 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이 아니면, 인공지능부(1130)는 명령어에 대응하는 기능을 수행하지 않고 호출 명령 대기 상태로 돌아갈 수 있다.
또한 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이면, 인공지능부(1130)는 명령어에 대응하는 기능을 수행하도록 기능수행부(1150)를 제어할 수 있다(S855).
도 9는 본 발명의 제5 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
아래에서는 복수의 전자기기 중 제1 전자기기 및 서버의 동작에 대해서 설명한다.
본 발명의 실시 예에 따른 제1 전자기기의 동작 방법은, 호출 명령 대기 모드로 동작하는 단계(S905), 예령어를 포함하는 음성 입력을 수신하는 단계(S910), 예령어의 인식도를 획득하는 단계(S915), 하나 이상의 다른 전자기기의 인식도를 수신하는 단계(S920), 제1 전자기기의 인식도 및 하나 이상의 다른 전자기기의 인식도에 기초하여, 제1 전자기기가 최우선 순위인지 판단하는 단계(S925), 전자기기가 최우선 상태이면 명령 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신하는 단계(S930), 명령어 정보를 서버에 전송하는 단계(S935), 명령어에 대응하는 기능의 수행 명령 또는 거절 명령을 수신하는 단계(S950), 수신된 명령이 명령어에 대응하는 기능의 수행 명령인지 판단하는 단계(S955) 및 수신된 명령이 명령어에 대응하는 기능의 수행 명령이면 명령어에 대응하는 기능을 수행하는 단계(S960)를 포함할 수 있다.
여기서 S905 내지 S930의 단계는 도8에서 설명한 S805 내지 S830의 설명이 그대로 적용될 수 있는 바, 자세한 설명은 생략한다.
제1 전자기기가 최우선 순위이고 명령어를 포함하는 음성 입력이 수신되면, 인공지능부(1130)는 명령어를 포함하는 음성 입력에 대응하는 명령어 정보를 서버(600)로 전송할 수 있다(S935).
한편 서버(600)의 통신부(610)는 명령어 정보를 수신할 수 있다.
또한 서버(600)의 제어부(630)는 명령어 정보를 연속어 엔진을 이용하여 처리함으로써 음성 입력에 포함된 명령어를 인식할 수 있다. 여기서 명령어를 인식한다는 것은, 음성입력으로부터 명령어를 추출하고, 명령어의 의미를 인식하는 것일 수 있다.
또한 서버(600)의 제어부(630)는 명령어에 대응하는 기능을 획득할 수 있다(S940).
또한 서버(600)의 제어부(630)는, 저장부(630)에 저장된 복수의 전자기기(100, 200, 300, 400, 500)에서 제공하는 기능 정보 및 이에 대응하는 명령어 정보에 기초하여, 제1 전자기기에서 명령어에 대응하는 기능을 제공하는지 판단할 수 있다(S945).
그리고 제어부(630)는, 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이 아니면 거절 명령을 제1 전자기기로 전송하고, 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이면 명령어에 대응하는 기능의 수행 명령을 제1 전자기기로 전송할 수 있다(S950).
한편 제1 전자기기의 인공지능부(1130)는 수신한 명령이 명령어에 대응하는 기능의 수행 명령인지 판단할 수 있다(S955).
그리고 수신한 명령이 명령어에 대응하는 기능의 수행 명령이 아니면(즉 거절 명령이면), 인공지능부(1130)는 명령어에 대응하는 기능을 수행하지 않고 호출 명령 대기 상태로 돌아갈 수 있다.
한편 수신한 명령이 명령어에 대응하는 기능의 수행 명령이면, 인공지능부(1130)는 명령어에 대응하는 기능을 수행할 수 있다(S960).
이와 같이 본 발명은 AI 허브 역할을 하는 서버에서 명령어 인식을 수행하는 바, 명령어를 인식하기 위한 기능이 전자기기들에 탑재될 필요가 없다. 따라서 비용을 절감할 수 있는 장점이 있다.
또한 서버가 AI 허브 역할을 하는 경우에도 예령어를 수신하고 분석하는 것은 전자기기이기 때문에, 동일 예령어의 사용에 의한 문제점은 여전히 존재할 수 있다. 다만 본 발명은 최우선 순위의 전자기기만이 서버와 함께 동작하기 때문에 동일 예령어의 사용에 의한 문제점을 해결할 수 있다.
도 10은 본 발명의 제6 실시 예에 따른, 전자기기 및 서버의 동작 방법을 설명하기 위한 도면이다.
아래에서는 복수의 전자기기 중 제1 전자기기, 제2 전자기기 및 서버의 동작에 대해서 설명한다. 여기서 제1 전자기기는 최우선 순위의 전자기기일 수 있으며, 제2 전자기기는 차우선 순위의 전자기기일 수 있다.
본 발명의 실시 예에 따른 제1 전자기기의 동작 방법은, 호출 명령 대기 모드로 동작하는 단계(S905), 예령어를 포함하는 음성 입력을 수신하는 단계(S915), 예령어의 인식도를 획득하는 단계(S925), 하나 이상의 다른 전자기기의 인식도를 수신하는 단계(S935), 제1 전자기기의 인식도 및 하나 이상의 다른 전자기기의 인식도에 기초하여, 제1 전자기기가 기 설정된 순위 이상인지 판단하는 단계(S945), 제1 전자기기가 기 설정된 순위 이상이면 명령 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신하는 단계(S955), 명령어 정보 및 순위 정보를 서버에 전송하는 단계(S965) 및 명령어에 대응하는 기능의 수행 명령이 수신되면 명령어에 대응하는 기능을 수행하는 단계(S980)를 포함할 수 있다.
한편, 본 발명의 실시 예에 따른 제2 전자기기의 동작 방법은, 호출 명령 대기 모드로 동작하는 단계(S910), 예령어를 포함하는 음성 입력을 수신하는 단계(S920), 예령어의 인식도를 획득하는 단계(S930), 하나 이상의 다른 전자기기의 인식도를 수신하는 단계(S940), 제2 전자기기의 인식도 및 하나 이상의 다른 전자기기의 인식도에 기초하여, 제2 전자기기가 기 설정된 순위 이상인지 판단하는 단계(S950), 제2 전자기기가 기 설정된 순위 이상이면 명령 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신하는 단계(S960), 명령어 정보 및 순위 정보를 서버에 전송하는 단계(S970) 및 명령어에 대응하는 기능의 수행 명령이 수신되면 명령어에 대응하는 기능을 수행하는 단계(S1000)를 포함할 수 있다.
여기서 제1 전자기기의 S905, S915, S925, S935, 그리고 제2 전자기기의 S910, S920, S930, S940 단계는 도 9에서 설명한 S905 내지 S920의 설명이 그대로 적용될 수 있는 바, 자세한 설명은 생략한다.
설명을 위하여, 복수의 전자기기 중 제1 전자기기, 제2 전자기기, 제3 전자기기 및 제4 전자기기가 예령어를 인식한 것으로 가정한다. 그리고 제1 전자기기가 최우선순위이고, 제2 전자기기가 차우선순위이고, 제3 전자기기가 3순위의 우선순위이고, 제4 전자기기가 4순위의 우선순위인 것으로 가정한다. 또한 기 설정된 우선 순위가 2순위인 것으로 가정한다.
제1 전자기기의 제어부는 제1 전자기기가 기 설정된 순위 이상인지 판단할 수 있다(S945).
또한 제1 전자기기가 기 설정된 순위 이상이면, 제1 전자기기의 제어부는 명령어 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신할 수 있다(S955).
한편 제1 전자기기가 기 설정된 순위 이상이고 명령어를 포함하는 음성 입력이 수신되면, 제1 전자기기의 제어부는 명령어를 포함하는 음성 입력에 대응하는 명령어 정보 및 제1 전자기기의 순위 정보를 서버(600)로 전송할 수 있다(S965). 여기서 제1 전자기기의 순위 정보는, 제1 전자기기가 최우선순위라는 정보를 포함할 수 있다.
한편 제2 전자기기의 제어부는 제2 전자기기가 기 설정된 순위 이상인지 판단할 수 있다(S950).
또한 제2 전자기기가 기 설정된 순위 이상이면, 제2 전자기기의 제어부는 명령어 대기 상태로 진입하고 명령어를 포함하는 음성 입력을 수신할 수 있다(S960).
한편 제2 전자기기가 기 설정된 순위 이상이고 명령어를 포함하는 음성 입력이 수신되면, 제2 전자기기의 제어부는 명령어를 포함하는 음성 입력에 대응하는 명령어 정보를 및 순위 정보를 서버(600)로 전송할 수 있다(S970). 여기서 제2 전자기기의 순위 정보는, 제2 전자기기가 차우선순위라는 정보를 포함할 수 있다.
한편, 제3 전자기기의 제어부는 제3 전자기기가 기 설정된 순위 이상인지 판단할 수 있다.
한편 제3 전자기기의 우선 순위가 기 설정된 순위보다 낮기 때문에, 제3 전자기기는 호출 명령 대기 상태로 돌아갈 수 있다.
한편 서버(600)의 통신부(610)는 제1 전자기기로부터 명령어 정보 및 제1 전자기기의 순위 정보를 수신하고(S965), 제2 전자기기로부터 명령어 정보 및 제2 전자기기의 순위 정보를 수신할 수 있다(S970).
한편, 서버(600)의 제어부(630)는 제1 전자기기로부터 수신된 명령어 정보 또는 제2 전자기기로부터 수신된 명령어 정보를 연속어 엔진을 이용하여 처리함으로써 음성 입력에 포함된 명령어를 인식할 수 있다. 여기서 명령어를 인식한다는 것은, 음성입력으로부터 명령어를 추출하고, 명령어의 의미를 인식하는 것일 수 있다.
또한 서버(600)의 제어부(630)는 명령어에 대응하는 기능을 획득할 수 있다.
이 경우 서버(600)의 제어부(630)는 수신된 순위 정보에 기초하여, 명령어에 대응하는 기능이 최우선 순위의 전자기기에서 제공하는 기능인지 판단할 수 있다(S975). 즉 서버(600)의 제어부(630)는 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능인지 판단할 수 있다.
한편, 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이면 제어부(630)는 명령어에 대응하는 기능의 수행 명령을 제1 전자기기로 전송할 수 있다(S980).
이 경우 제1 전자기기는 명령어에 대응하는 기능의 수행 명령을 수신할 수 있다. 또한 명령어에 대응하는 기능의 수행 명령이 수신되면, 제1 전자기기의 제어부는 명령어에 대응하는 기능을 수행할 수 있다(S985).
한편, 명령어에 대응하는 기능이 제1 전자기기에서 제공하는 기능이 아니면 제어부(630)는 명령어에 대응하는 기능이 차우선 순위의 전자기기에서 제공하는 기능인지 판단할 수 있다. 즉 제어부(630)는 명령어에 대응하는 기능이 제2 전자기기에서 제공하는 기능인지 판단할 수 있다(S990).
또한, 명령어에 대응하는 기능이 제2 전자기기에서 제공하는 기능이면 제어부(630)는 명령어에 대응하는 기능의 수행 명령을 제2 전자기기로 전송할 수 있다(S995).
이 경우 제2 전자기기는 명령어에 대응하는 기능의 수행 명령을 수신할 수 있다. 또한 명령어에 대응하는 기능의 수행 명령이 수신되면, 제2 전자기기의 제어부는 명령어에 대응하는 기능을 수행할 수 있다(S1000).
인식도는 사용자의 의도를 사용자와의 거리나 방향을 통해 추측하는 것이기 때문에, 사용자의 의도를 정확히 파악할 수 없는 경우가 발생할 수 있다.
따라서, 최우선 전자기기를 호출하는 것이 사용자의 의도가 아닐 수 있으며, 이에 따라 최우선 전자기기는 명령어에 대응하는 기능을 수행할 수 없는 경우가 발생할 수 있다.
이러한 경우 서버는 먼저, 최우선 순위의 전자기기가 명령어에 대응하는 기능을 제공하는지 판단하고 수행 명령을 전송함으로써, 사용자에 의하여 호출되었을 가능성이 가장 높은 최우선 순위의 전자기기가 우선적으로 기능을 제공하도록 할 수 있다.
또한 최우선 순위의 전자기기가 기능을 제공할 수 없는 경우, 차우선 순위의 전자기기가 명령어에 대응하는 기능을 제공하는지 판단하고 수행 명령을 전송함으로써, 음성의 재입력 없이도 사용자가 의도한 기능을 제공할 수 있는 장점이 있다.
한편, 제어부는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 프로세서 등의 용어와 혼용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 전자기기에 있어서,
    음원으로부터, 예령어 및 명령어를 포함하는 음성 입력을 수신하는 입력부;
    하나 이상의 다른 전자기기와 통신하는 통신부;
    상기 전자기기에서의 상기 예령어의 인식도를 획득하고, 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도를 수신하고, 상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하는 인공지능부를 포함하고,
    상기 전자기기에서의 상기 예령어의 인식도는,
    상기 전자기기에서의, 상기 예령어의 스코어 및 상기 음원의 위치 정보 중 적어도 하나에 기초하여 획득되는
    전자기기.
  2. 제 1항에 있어서,
    상기 전자기기 및 상기 하나 이상의 다른 전자기기는,
    동일한 예령어에 의하여 호출되는
    전자기기.
  3. 제 1항에 있어서,
    상기 인공지능부는,
    상기 전자기기에서의 상기 예령어의 스코어 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 스코어에 기초하여 상기 전자기기의 우선순위를 획득하고, 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  4. 제 1항에 있어서,
    상기 인공지능부는,
    상기 전자기기에서의 상기 음원의 위치 정보 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 음원의 위치 정보에 기초하여 상기 전자기기의 우선순위를 획득하고, 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  5. 제 1항에 있어서,
    상기 인공지능부는,
    상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기의 우선순위를 획득하고, 상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능을 수행하고,
    상기 전자기기에서의 상기 예령어의 인식도는,
    상기 전자기기에서의, 상기 예령어의 스코어 및 상기 음원의 위치 정보에 기초하여 획득되고,
    상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도는,
    상기 하나 이상의 다른 전자기기 각각에서의, 상기 예령어의 스코어 및 상기 음원의 위치 정보에 기초하여 획득되는
    전자기기.
  6. 제 1항에 있어서,
    상기 인공지능부는,
    상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능이 상기 전자기기에서 제공하는 기능인지 결정하고, 상기 명령어에 대응하는 기능이 상기 전자기기에서 제공하는 기능이면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  7. 제 1항에 있어서,
    상기 인공지능부는,
    상기 전자기기가 최우선 순위이면 상기 명령어에 대응하는 기능이 상기 전자기기에서 제공하는 기능인지 결정하고, 상기 명령어에 대응하는 기능이 상기 전자기기에서 제공하는 기능이 아니면 상기 명령어에 대응하는 기능의 수행 명령을 차우선 순위의 전자기기로 전송하는
    전자기기.
  8. 전자기기에 있어서,
    음원으로부터 예령어를 포함하는 음성 입력 및 명령어를 포함하는 음성 입력을 수신하는 입력부;
    하나 이상의 다른 전자기기 및 서버와 통신하는 통신부; 및
    상기 전자기기에서의 상기 예령어의 인식도를 획득하고, 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도를 수신하고, 상기 전자기기에서의 상기 예령어의 인식도 및 상기 하나 이상의 다른 전자기기 각각에서의 상기 예령어의 인식도에 기초하여 상기 전자기기가 기 설정된 우선 순위 이상이면 상기 명령어를 포함하는 음성 입력에 대응하는 명령어 정보를 상기 서버로 전송하는 인공지능부를 포함하고,
    상기 전자기기에서의 상기 예령어의 인식도는,
    상기 전자기기에서의 상기 예령어의 스코어 및 상기 음원의 위치 정보 중 적어도 하나에 기초하여 획득되는
    전자기기.
  9. 제 8항에 있어서,
    상기 인공지능부는,
    상기 전자기기가 최우선 순위이면 상기 명령어정보를 상기 서버로 전송하고, 상기 명령어에 대응하는 기능의 수행 명령이 수신되면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  10. 제 8항에 있어서,
    상기 인공지능부는,
    상기 명령어 정보 및 상기 전자기기의 순위 정보를 상기 서버로 전송하고, 상기 명령어에 대응하는 기능의 수행 명령이 수신되면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  11. 제 8항에 있어서,
    상기 인공지능부는,
    상기 전자기기가 최우선 순위이면 명령어 정보를 상기 서버로 전송하고, 상기 명령어에 대응하는 기능의 수행 명령이 수신되고 상기 명령어에 대응하는 기능이 상기 전자기기에서 제공하는 기능이면 상기 명령어에 대응하는 기능을 수행하는
    전자기기.
  12. 서버에 있어서,
    복수의 전자기기와 통신하는 통신부;
    하나 이상의 전자기기로부터 사용자의 음성 입력에 대응하는 명령어 정보를 수신하고, 상기 명령어 정보에 기초하여 상기 음성 입력에 포함된 명령어를 인식하고, 상기 명령어에 대응하는 기능을 획득하고, 상기 명령어에 대응하는 기능의 수행 명령을 상기 하나 이상의 전자기기 중 어느 하나로 전송하는 제어부를 포함하는
    서버.
  13. 제 12항에 있어서,
    상기 제어부는,
    제1 전자기기로부터 상기 명령어 정보를 수신하고, 상기 명령어에 대응하는 기능이 상기 제1 전자기기에서 제공하는 기능인지 결정하고, 상기 명령어에 대응하는 기능이 상기 제1 전자기기에서 제공하는 기능이면 상기 제1 전자기기로 상기 명령어에 대응하는 수행 명령을 전송하는
    서버.
  14. 제 12항에 있어서,
    상기 제어부는,
    복수의 전자기기로부터 명령어 정보 및 순위 정보를 수신하고, 상기 명령어에 대응하는 기능을 결정하고, 상기 명령어에 대응하는 기능이 최우선 순위의 전자기기에서 제공하는 기능이면 상기 최우선 순위의 전자기기로 상기 명령어에 대응하는 기능의 수행 명령을 전송하고, 상기 명령어에 대응하는 기능이 상기 최우선 순위의 전자기기에서 제공하지 않는 기능이면, 상기 명령에 대응하는 기능이 차우선 순위의 전자기기에서 제공하는 기능인지 판단하는
    서버.
  15. 제 12항에 있어서,
    상기 제어부는,
    제1 전자기기로부터 상기 명령어 정보를 수신하고, 상기 명령어에 대응하는 기능의 수행 명령을 상기 제1 전자기기로 전송하는
    서버.
PCT/KR2017/007125 2017-04-24 2017-07-05 전자기기 WO2018199390A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/607,707 US20200135194A1 (en) 2017-04-24 2017-07-05 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0052567 2017-04-24
KR1020170052567A KR102392297B1 (ko) 2017-04-24 2017-04-24 전자기기

Publications (1)

Publication Number Publication Date
WO2018199390A1 true WO2018199390A1 (ko) 2018-11-01

Family

ID=63918363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007125 WO2018199390A1 (ko) 2017-04-24 2017-07-05 전자기기

Country Status (3)

Country Link
US (1) US20200135194A1 (ko)
KR (1) KR102392297B1 (ko)
WO (1) WO2018199390A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210085068A1 (en) * 2019-09-19 2021-03-25 L'oreal Guided routines for smart personal care devices
CN113115084A (zh) * 2020-01-13 2021-07-13 百度在线网络技术（北京）有限公司 电视频道的控制方法、装置、设备及存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
KR102088322B1 (ko) * 2018-11-16 2020-03-12 엘지전자 주식회사 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
CN110457078B (zh) * 2019-08-09 2020-11-24 百度在线网络技术（北京）有限公司 智能服务方法、装置及设备
KR102281602B1 (ko) 2019-08-21 2021-07-29 엘지전자 주식회사 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
CN110660390B (zh) * 2019-09-17 2022-05-03 百度在线网络技术（北京）有限公司 智能设备唤醒方法、智能设备及计算机可读存储介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
CN112102826A (zh) * 2020-08-31 2020-12-18 南京创维信息技术研究院有限公司 一种控制语音设备多端唤醒的系统和方法
CN112929724B (zh) * 2020-12-31 2022-09-30 海信视像科技股份有限公司 显示设备、机顶盒及远场拾音唤醒控制方法
WO2024038991A1 (en) * 2022-08-17 2024-02-22 Samsung Electronics Co., Ltd. Method and electronic device for providing uwb based voice assistance to user
CN115497484B (zh) * 2022-11-21 2023-03-28 深圳市友杰智新科技有限公司 语音解码结果处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130135410A (ko) * 2012-05-31 2013-12-11 삼성전자주식회사 음성 인식 기능을 제공하는 방법 및 그 전자 장치
KR20140058127A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 음성인식장치 및 음성인식방법
KR101556173B1 (ko) * 2012-11-28 2015-09-30 엘지전자 주식회사 음성인식을 이용한 전자 기기 구동 장치 및 방법
KR20150113701A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 음성 인식 시스템 및 방법
JP2016114744A (ja) * 2014-12-15 2016-06-23 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US9275637B1 (en) * 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
WO2017138934A1 (en) * 2016-02-10 2017-08-17 Nuance Communications, Inc. Techniques for spatially selective wake-up word recognition and related systems and methods
ES2806204T3 (es) * 2016-06-15 2021-02-16 Cerence Operating Co Técnicas para reconomiento de voz para activación y sistemas y métodos relacionados
US10152969B2 (en) * 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10664157B2 (en) * 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10831440B2 (en) * 2016-09-26 2020-11-10 Lenovo (Singapore) Pte. Ltd. Coordinating input on multiple local devices
US10950230B2 (en) * 2016-10-28 2021-03-16 Panasonic Intellectual Property Corporation Of America Information processing device and information processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130135410A (ko) * 2012-05-31 2013-12-11 삼성전자주식회사 음성 인식 기능을 제공하는 방법 및 그 전자 장치
KR20140058127A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 음성인식장치 및 음성인식방법
KR101556173B1 (ko) * 2012-11-28 2015-09-30 엘지전자 주식회사 음성인식을 이용한 전자 기기 구동 장치 및 방법
KR20150113701A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 음성 인식 시스템 및 방법
JP2016114744A (ja) * 2014-12-15 2016-06-23 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210085068A1 (en) * 2019-09-19 2021-03-25 L'oreal Guided routines for smart personal care devices
CN113115084A (zh) * 2020-01-13 2021-07-13 百度在线网络技术（北京）有限公司 电视频道的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20180119070A (ko) 2018-11-01
KR102392297B1 (ko) 2022-05-02
US20200135194A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
WO2018199390A1 (ko) 전자기기
WO2018043991A1 (en) Speech recognition method and apparatus based on speaker recognition
WO2019164148A1 (ko) 음성 명령을 수행하는 방법 및 시스템
WO2014107101A1 (en) Display apparatus and method for controlling the same
WO2018110818A1 (en) Speech recognition method and apparatus
WO2014003283A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
WO2016032021A1 (ko) 음성 명령 인식을 위한 장치 및 방법
WO2014107097A1 (en) Display apparatus and method for controlling the display apparatus
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
EP3533052A1 (en) Speech recognition method and apparatus
WO2020218650A1 (ko) 전자기기
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2019151802A1 (en) Method of processing a speech signal for speaker recognition and electronic apparatus implementing same
WO2019017665A1 (en) ELECTRONIC APPARATUS FOR PROCESSING A USER STATEMENT FOR CONTROLLING AN EXTERNAL ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THE APPARATUS
WO2021125784A1 (ko) 전자장치 및 그 제어방법
WO2019039873A1 (ko) Tts 모델을 생성하는 시스템 및 전자 장치
WO2020204429A1 (en) Electronic apparatus and control method thereof
WO2014142410A1 (en) Computing system with device interaction mechanism and method of operation thereof
WO2020096218A1 (en) Electronic device and operation method thereof
WO2022124493A1 (ko) 전자 장치 및 전자 장치에서 기억 서비스를 제공하는 방법
WO2022149620A1 (ko) 디스플레이 장치
WO2019164020A1 (ko) 디스플레이 장치
WO2021060570A1 (ko) 가전 기기 및 서버
WO2020145536A1 (ko) Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
WO2020122271A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17907759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17907759

Country of ref document: EP

Kind code of ref document: A1