WO2020166796A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2020166796A1
WO2020166796A1 PCT/KR2019/016377 KR2019016377W WO2020166796A1 WO 2020166796 A1 WO2020166796 A1 WO 2020166796A1 KR 2019016377 W KR2019016377 W KR 2019016377W WO 2020166796 A1 WO2020166796 A1 WO 2020166796A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
sensor device
electronic device
processor
received
Prior art date
Application number
PCT/KR2019/016377
Other languages
English (en)
French (fr)
Inventor
김가혜
김지혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19915473.3A priority Critical patent/EP3863012A4/en
Priority to CN201980087684.4A priority patent/CN113261055B/zh
Priority to US17/423,024 priority patent/US11710498B2/en
Publication of WO2020166796A1 publication Critical patent/WO2020166796A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device that performs voice recognition and a control method thereof.
  • AI artificial intelligence
  • artificial intelligence systems that implement human-level intelligence have been used in various fields.
  • artificial intelligence systems are systems in which machines learn, judge, and become smarter. As the artificial intelligence system is used, the recognition rate improves and users' tastes can be understood more accurately, and the existing rule-based smart system is gradually being replaced by a deep learning-based artificial intelligence system.
  • Machine learning for example, deep learning
  • component technologies using machine learning.
  • Machine learning is an algorithm technology that classifies/learns the features of input data by itself
  • element technology is a technology that simulates functions such as cognition and judgment of the human brain using machine learning algorithms such as deep learning. It consists of technical fields such as understanding, reasoning/prediction, knowledge expression, and motion control.
  • Linguistic understanding is a technology that recognizes and applies/processes human language/text, and includes natural language processing, machine translation, dialogue systems, question and answer, and speech recognition/synthesis.
  • Visual understanding is a technology that recognizes and processes objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image improvement.
  • Inference prediction is a technique that logically infers and predicts information by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data creation/classification), knowledge management (data utilization), and the like.
  • Motion control is a technology that controls autonomous driving of a vehicle and movement of a robot, and includes movement control (navigation, collision, driving), operation control (behavior control), and the like.
  • a method of using one edge device that processes a user's voice and a plurality of sub devices that receive and provide the user's voice to the main device have been developed.
  • a plurality of sub-devices may be disposed in a space such as a living room, a kitchen, and a master room.
  • the main device also controls the sub device to provide a guide audio signal to the user.
  • the guidance audio signal output from the sub device may be received by another sub device and transmitted to the main device.
  • the main device has a problem in processing the guidance audio signal received from the other sub device. That is, there is a problem in that a guide audio signal that does not require a user's voice or a control command is processed.
  • the present disclosure is in accordance with the above-described necessity, and an object of the present disclosure is to provide an electronic device and a control method for performing voice recognition on an effective audio signal among received audio signals.
  • the electronic device when a first audio signal is received from a first sensor device among a plurality of sensor devices through a communication interface and the communication interface, the electronic device And controlling the first sensor device to output a second audio signal indicating a result of performing the operation corresponding to the first audio signal, and controlling the first sensor device through the communication interface
  • the processor may obtain a similarity between the second audio signal and the third audio signal, and may not process the third audio signal if the similarity is greater than or equal to a threshold value.
  • the processor if the similarity is less than the threshold value, based on the operation history of the first sensor device and the second sensor device stored in the memory, the second in the third audio signal
  • the fourth audio signal from which the audio signal has been removed may be processed or the third audio signal may be processed.
  • the operation history is information about the similarity between the audio signal transmitted to one of the plurality of sensor devices and the audio signal received from the other one of the plurality of sensor devices, or the plurality of It may include at least one of parallax between times when an audio signal is received from another one of the sensor devices of.
  • the processor may control the first sensor device to output the second audio signal and the watermark, and may not process the third audio signal if the third audio signal includes the watermark.
  • the processor may control the first sensor device so that the watermark is output as one of low frequency, high frequency, and inaudible sound.
  • a memory may be further included, and the processor may acquire the threshold time based on operation history of the first sensor device and the second sensor device stored in the memory.
  • the processor may update the threshold time based on at least one of a signal strength of the first audio signal or a signal strength of the third audio signal.
  • the processor may determine whether to process speech recognition for the third audio signal based on the second audio signal and the third audio signal.
  • the processor may process the third audio signal when the third audio signal is received after the threshold time from the control point of the first sensor device through the communication interface.
  • a method of controlling an electronic device includes performing an operation corresponding to the first audio signal when a first audio signal is received from a first sensor device among a plurality of sensor devices, 1 controlling the first sensor device to output a second audio signal indicating a result of performing an operation corresponding to the audio signal, and a second sensor among the plurality of sensor devices within a threshold time from the control point of the first sensor device
  • a third audio signal is received from the device, determining whether to process the third audio signal based on the second audio signal and the third audio signal.
  • the determining may include obtaining a similarity between the second audio signal and the third audio signal, and not processing the third audio signal if the similarity is greater than or equal to a threshold value.
  • the method may further include processing the fourth audio signal from which the signal has been removed or processing the third audio signal.
  • the operation history is information about the similarity between the audio signal transmitted to one of the plurality of sensor devices and the audio signal received from the other one of the plurality of sensor devices, or the plurality of It may include at least one of parallax between times when an audio signal is received from another one of the sensor devices of.
  • controlling step controls the first sensor device to output the second audio signal and the watermark
  • the determining step includes the third audio signal when the third audio signal includes the watermark. May not be processed.
  • the first sensor device may be controlled so that the watermark is output as one of a low frequency, a high frequency, and an inaudible sound.
  • the method may further include acquiring the threshold time based on operation history of the first sensor device and the second sensor device stored in a memory of the electronic device.
  • the method may further include updating the threshold time based on at least one of a signal strength of the first audio signal or a signal strength of the third audio signal.
  • the determining may determine whether to process speech recognition for the third audio signal based on the second audio signal and the third audio signal.
  • the third audio signal when the third audio signal is received after the threshold time from the control point of the first sensor device, the third audio signal may be processed.
  • the electronic device determines whether to process the audio signal output by the sensor device after removing the audio signal from the received audio signal, unnecessary audio processing problems and redundant processing problems can be prevented. have.
  • FIG. 1 is a diagram illustrating an electronic system according to an embodiment of the present disclosure.
  • 2A is a block diagram illustrating an example of a configuration of an electronic device.
  • 2B is a block diagram illustrating an example of a detailed configuration of an electronic device.
  • 3 and 4 are diagrams for describing an operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing an operation of an electronic device according to another exemplary embodiment of the present disclosure.
  • FIG. 6 is a block diagram illustrating a configuration of another electronic device according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram illustrating a learning unit according to an embodiment of the present disclosure.
  • FIG. 8 is a block diagram illustrating an acquisition unit according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example in which an electronic device and an external server interwork with each other to learn and determine data according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • a or/and at least one of B is to be understood as representing either “A” or “B” or “A and B”.
  • Some component eg, a first component
  • another component eg, a second component
  • a "module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module except for the "module” or “unit” that needs to be implemented with specific hardware and implemented as at least one processor (not shown). Can be.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • the electronic system 1000 includes an electronic device 100 and a plurality of sensor devices 200-1 to 200-5.
  • the electronic device 100 may be referred to as an edge device or a hub device, and the sensor device may also be referred to as a dot device.
  • the electronic device 100 includes, for example, a speaker, a smart phone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, and a server.
  • PDA portable multimedia player
  • MP3 player portable multimedia player
  • Wearable devices can be accessory types (e.g. watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMD)), fabric or clothing integrals (e.g.
  • the electronic device 100 may include at least one of a body-attached type (eg, a skin pad or a tattoo), or a bio-implantable circuit
  • the electronic device 100 may include, for example, a television or a digital video disk (DVD).
  • a game console eg, XboxTM, PlayStationTM
  • an electronic dictionary e.g, an electronic key, a camcorder, or an electronic frame.
  • the TV is illustrated as the electronic device 100, but any number of other devices may operate as the electronic device 100.
  • any number of other devices may operate as the electronic device 100.
  • one of a refrigerator, a washing machine, and a speaker may operate as the electronic device 100.
  • the electronic device 100 may receive a first audio signal from one of the plurality of sensor devices 200-1 to 200-5.
  • the electronic device 100 may receive a first audio signal “lower the refrigerator temperature” from the first sensor device 200-1 disposed in the living room, in this case, the electronic device 100 A control command for lowering the temperature of the refrigerator may be transmitted to the refrigerator.
  • the plurality of sensor devices 200-1 to 200-5 may be devices that receive surrounding audio and transmit audio signals to the electronic device 200.
  • the electronic system 1000 may further include other electronic devices other than the electronic device 100 and the plurality of sensor devices 200-1 to 200-5, such as a refrigerator.
  • the other electronic device is a device controlled by the electronic device 100 and may be a device capable of communicating with the electronic device 100.
  • the electronic device 100 may control one of the plurality of sensor devices 200-1 to 200-5 to output a second audio signal indicating a result of performing an operation corresponding to the first audio signal.
  • the electronic device 100 transmits a control command for lowering the temperature of the refrigerator to the refrigerator, and then transmits the second audio signal "The temperature of the refrigerator has been lowered.” 200-5) can be transmitted.
  • One of the plurality of sensor devices 200-1 to 200-5 may output a second audio signal.
  • one of the plurality of sensor devices 200-1 to 200-5 may be a sensor device that receives a first audio signal and transmits the received first audio signal to the electronic device 100.
  • the electronic device 100 may transmit the second audio signal to a sensor device other than the sensor device that has transmitted the first audio signal.
  • the electronic device 100 receives a first audio signal “lower the refrigerator temperature” from the first sensor device 200-1 disposed in the living room, and then transmits the second audio signal.
  • the second audio signal may be transmitted to the second sensor device 200-2 disposed in the kitchen.
  • the electronic device 100 receives a third audio signal from the other of the plurality of sensor devices within a threshold time from the control point of one of the plurality of sensor devices 200-1 to 200-5, the second audio signal And whether to process the third audio signal based on the third audio signal.
  • the electronic device 100 may receive a third audio signal from the second sensor device 200-2 within 0.1 seconds from the control timing of the first sensor device 200-1.
  • the third audio signal may be an audio signal transmitted by the second sensor device 200-2 to the electronic device 100 by receiving the second audio signal output by the first sensor device 200-1.
  • the third audio signal other than the user's voice command may be an audio signal that does not need to be processed. have. This is a phenomenon that may occur as the first sensor device 200-1 and the second sensor device 200-2 are disposed adjacent to each other.
  • the electronic device 100 may receive a third audio signal from the fourth sensor device 200-4 5 seconds after the control timing of the first sensor device 200-1.
  • the fourth sensor device 200-4 is in a state that is separated from the first sensor device 200-1, and there is a difference in the time of receiving the audio signal, so the electronic device 100 processes the third audio signal. can do.
  • the electronic device 100 may determine whether to process the third audio signal by comparing the second audio signal and the third audio signal.
  • Each of the plurality of sensor devices 200-1 to 200-5 may receive a user voice or other sound. In particular, when a user voice is received, each of the plurality of sensor devices 200-1 to 200-5 may transmit an audio signal corresponding to the received user voice to the electronic device 100.
  • each of the plurality of sensor devices 200-1 to 200-5 operates in a standby mode and wakes up according to a user detection, and transmits an audio signal corresponding to the user's voice input after the user is detected to the electronic device 100. Can be transmitted.
  • each of the plurality of sensor devices 200-1 to 200-5 wakes up when a trigger word is received, and transmits an audio signal corresponding to a user's voice received after the wake-up is received. 100).
  • Each of the plurality of sensor devices 200-1 to 200-5 may output a second audio signal when a second audio signal indicating an operation result is received from the electronic device 100.
  • 2A is a block diagram illustrating an example of a configuration of the electronic device 100.
  • the electronic device 100 includes a communication interface 110 and a processor 120.
  • the communication interface 110 is a component for performing communication with various devices.
  • the communication interface 110 may support various communication interfaces such as BT (BlueTooth), BLE (Bluetooth Low Energy), WI-FI (Wireless Fidelity), Zigbee, and the like.
  • BT Bluetooth
  • BLE Bluetooth Low Energy
  • WI-FI Wireless Fidelity
  • Zigbee Zigbee
  • the present invention is not limited thereto, and any of the communication interfaces may be used as long as wireless communication is possible.
  • the communication interface 110 may include an input/output interface capable of wired communication with various devices.
  • the communication interface 110 includes input/output interfaces such as HDMI, MHL, USB, RGB, D-SUB, and DVI, and may communicate with various devices.
  • the present invention is not limited thereto, and the input/output interface may be any standard that can perform data transmission/reception.
  • the electronic device 100 may be connected to the plurality of sensor devices 200-1 to 200-5 to transmit and receive audio signals. Also, the electronic device 100 may be connected to another electronic device and transmit a control command corresponding to an audio signal received from the sensor device to the other electronic device.
  • the communication interface 110 may include interfaces of all communication standards capable of wired/wireless communication with various devices.
  • the processor 120 overall controls the operation of the electronic device 100.
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals, but is not limited thereto, and the central processing unit ( central processing unit (CPU)), microcontroller unit (MCU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU), or communication processor (CP)), one or more of an ARM processor, or may be defined in a corresponding term
  • the processor 120 is a system on chip (SoC) with a built-in processing algorithm, and a large scale integration (LSI).
  • SoC system on chip
  • LSI large scale integration
  • the processor 120 may be implemented or implemented in the form of a field programmable gate array (FPGA), and the processor 120 may perform various functions by executing computer executable instructions stored in a memory.
  • FPGA field programmable gate array
  • the processor 120 When a first audio signal is received from a first sensor device among a plurality of sensor devices through the communication interface 110, the processor 120 performs an operation corresponding to the first audio signal, and performs an operation corresponding to the first audio signal.
  • the first sensor device may be controlled to output a second audio signal indicating a result of the execution.
  • the processor 120 transmits a control signal for turning on the air conditioner to the air conditioner when the first audio signal "Turn on the air conditioner" is received from the first sensor device through the communication interface 110, and Turned on.” may be transmitted to the first sensor device.
  • the first sensor device can output a second audio signal that says "The air conditioner is turned on.”
  • the second audio signal "The air conditioner has been turned on" output from the first sensor device may be input to another sensor device adjacent to the first sensor device.
  • the second sensor device is adjacent to the first sensor device and receives a second audio signal output from the first sensor device.
  • the second sensor device transmits the third audio signal to the electronic device 100 based on the input second audio signal.
  • the processor 120 When a third audio signal is received from a second sensor device among a plurality of sensor devices within a threshold time from the control time point of the first sensor device through the communication interface 110, the processor 120 provides a second audio signal and a third audio signal. It may be determined whether to process the third audio signal based on. Specifically, the processor 120 may obtain a similarity between the second audio signal and the third audio signal, and may not process the third audio signal if the similarity is greater than or equal to a threshold value.
  • the processor 120 may generate the second audio signal and the third audio signal. If similarity is obtained and the second audio signal and the third audio signal are determined to be similar, the third audio signal is ignored, and if it is determined that the second audio signal and the third audio signal are not similar, the operation corresponding to the third audio signal Can be done.
  • the processor 120 when the processor 120 receives "The air conditioner has been turned on" from the second sensor device within 0.1 second from the control point of the first sensor device through the communication interface 110, the received audio signal is removed. Since it is the same as the second audio signal transmitted to the first sensor device, the received audio signal can be ignored.
  • control time of the first sensor device may be a time when the processor 120 transmits the second audio signal to the first sensor device.
  • the processor 120 may identify a similarity between the second audio signal and the third audio signal without performing speech recognition. For example, the processor 120 obtains a time domain similarity between a second audio signal and a third audio signal, obtains a frequency domain similarity between the second audio signal and a third audio signal, and obtains a time domain similarity or a frequency domain similarity. The degree of similarity may be obtained based on at least one of them. Further, the processor 120 may compare the acquired similarity and the threshold similarity to identify whether the second audio signal and the third audio signal are the same.
  • the processor 120 acquires a time domain similarity through cross-correlation of the second audio signal and a third audio signal, and obtains a frequency domain similarity through spectral coherence. And, the similarity may be obtained based on at least one of the time domain similarity and the frequency domain similarity. Since cross-correlation and spectral coherence are well-known techniques, detailed descriptions are omitted.
  • the threshold time was exemplified as 0.1 second, but this is only an example, and any other value may be used.
  • the electronic device 100 further includes a memory, and if the similarity degree is less than the threshold value, the electronic device 100 determines the third audio signal based on the operation history of the first sensor device and the second sensor device stored in the memory.
  • the fourth audio signal from which the 2 audio signal has been removed may be processed or the third audio signal may be processed.
  • the operation history is information about the similarity between the audio signal transmitted to one of the plurality of sensor devices and the audio signal received from the other of the plurality of sensor devices, or the other of the plurality of sensor devices from the control point of one of the plurality of sensor devices. It may include at least one of parallax between times when an audio signal is received from one.
  • the processor 120 controls the first sensor device to output a second audio signal, and provides a control within a threshold time according to the parallax information from the control point of the first sensor device.
  • a third audio signal is received from the second sensor device, whether to process the third audio signal may be determined based on a similarity between the second audio signal and the third audio signal.
  • the processor 120 may process the third audio signal without identifying a similarity.
  • the processor 120 may use a preset threshold time.
  • the parallax information may include information on a plurality of threshold times, such as a first threshold time between the first sensor device and the second sensor device, and a second threshold time between the second sensor device and the third sensor device.
  • the processor 120 may use one threshold time.
  • the memory may store information on the degree of similarity.
  • the memory may store a history identified as similar between an audio signal transmitted to the first sensor device and an audio signal received from the second sensor device.
  • the processor 120 controls the first sensor device to output the second audio signal, and when a third audio signal is received from the second sensor device within a threshold time according to the parallax information from the control point of the first sensor device , It may be determined whether to process the third audio signal based on the similarity between the second audio signal and the third audio signal. When it is identified that the second audio signal and the third audio signal are similar, the processor 120 may not perform processing on the third audio signal.
  • the processor 120 may obtain a fourth audio signal by removing the second audio signal from the third audio signal and process the fourth audio signal. have. This is because the second sensor device received the second audio signal output from the first sensor device, but ambient noise or an additional voice of the user is simultaneously input together with the second audio signal, so that the second sensor device is connected to the electronic device 100. It may be a case that the similarity of the third audio signal transmitted to the second audio signal is lowered.
  • the second sensor device includes the second audio signal and the user's voice.
  • the third audio signal may be transmitted to the electronic device 100.
  • the processor 120 may identify that the second audio signal is not similar to the third audio signal, although the third audio signal is received within a threshold time from the time when the first sensor device is controlled to output the second audio signal.
  • the processor 120 may identify that the third audio signal includes the second audio signal according to the history of the audio signal output from the first sensor device received through the second sensor device. Further, the processor 120 obtains a fourth audio signal from which the second audio signal is removed from the third audio signal, and processes the fourth audio signal.
  • the processor 120 controls the first sensor device to output the second audio signal and the watermark, and may not process the third audio signal if the third audio signal includes a watermark.
  • the processor 120 may control the first sensor device so that the watermark is output as one of low frequency, high frequency, and inaudible sound. Accordingly, the user does not recognize the watermark, but the processor 120 may determine whether to process the third audio signal by identifying the watermark.
  • the processor 120 may acquire the threshold time based on the operation history of the first sensor device and the second sensor device stored in the memory.
  • the processor 120 may update the threshold time based on at least one of the signal strength of the first audio signal or the signal strength of the third audio signal. For example, the processor 120 may identify a distance between the electronic device 100 and the first sensor device based on the signal strength of the first audio signal, and update the threshold time based on the identified distance.
  • the processor 120 may determine whether to process speech recognition for the third audio signal based on the second audio signal and the third audio signal. For example, if it is determined that the second audio signal and the third audio signal are not similar, the processor 120 may perform speech recognition on the third audio signal and perform an operation based on the speech recognition result.
  • the electronic device 100 may include a communication interface 110 and a processor 120.
  • the electronic device 100 may further include a memory 130, a display 140, a user interface 150, a camera 160, a speaker 170, and a microphone 180.
  • a detailed description of a portion of the components shown in FIG. 2B that overlaps the components shown in FIG. 2A will be omitted.
  • the communication interface 110 is a component that communicates with various types of external devices according to various types of communication methods.
  • the communication interface 110 includes a Wi-Fi module 111, a Bluetooth module 112, an infrared communication module 113, a wireless communication module 114, and the like.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the processor 120 may communicate with various external devices using the communication interface 110.
  • the external device includes a plurality of sensor devices, a display device such as a TV, an image processing device such as a set-top box, an external server, a control device such as a remote control, a sound output device such as a Bluetooth speaker, a lighting device, a smart cleaner, and a smart device. It may include a home appliance such as a refrigerator and a server such as an IOT home manager.
  • the WiFi module 111 and the Bluetooth module 112 perform communication in a WiFi method and a Bluetooth method, respectively.
  • various types of connection information such as SSID and session key may be first transmitted and received, and then various types of information may be transmitted and received after a communication connection using the same.
  • the infrared communication module 113 performs communication according to an infrared data association (IrDA) technology that wirelessly transmits data in a short distance using infrared rays between the sight ray and the millimeter wave.
  • IrDA infrared data association
  • the wireless communication module 114 includes zigbee, 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), LTE-A (LTE Advanced), and 4th generation (4G). ), and at least one communication chip for performing communication according to various wireless communication standards such as 5G (5th Generation).
  • 3G 3rd generation
  • 3GPP 3rd generation partnership project
  • LTE long term evolution
  • LTE-A LTE Advanced
  • 4G 4th generation
  • 5G 5th Generation
  • the communication interface 110 may include at least one of a LAN (Local Area Network) module, an Ethernet module, or a wired communication module performing communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • LAN Local Area Network
  • Ethernet Ethernet
  • wired communication module performing communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • the communication interface 110 may further include an input/output interface.
  • Input/output interfaces include HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port, It may be any one of D-subminiature (D-SUB) and Digital Visual Interface (DVI).
  • the input/output interface may input/output at least one of audio and video signals.
  • the input/output interface may include a port for inputting/outputting only an audio signal and a port for inputting/outputting only a video signal as separate ports, or may be implemented as a single port for inputting and outputting both audio and video signals.
  • the memory 130 may be implemented as an internal memory such as a ROM (eg, an electrically erasable programmable read-only memory (EEPROM)) or a RAM included in the processor 120, or It can also be implemented as a separate memory.
  • the memory 130 may be implemented in a form of a memory embedded in the electronic device 100 or may be implemented in a form of a memory that is detachable to the electronic device 100 according to the purpose of storing data. For example, in the case of data for driving the electronic device 100, it is stored in a memory embedded in the electronic device 100, and in the case of data for an extended function of the electronic device 100, the electronic device 100 is detachable. It can be stored in memory whenever possible.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.
  • a non-volatile memory examples: OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, flash memory (e.g.
  • NAND flash or NOR flash, etc.) a hard drive, or a solid state drive (SSD), and in the case of a memory that is detachable to the electronic device 100, a memory card (for example, compact flash (CF), SD ( secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to a USB port (for example, USB memory) or the like.
  • CF compact flash
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • the memory 130 stores various data such as an O/S (Operating System) software module, a history module, an audio processing module, and a voice recognition module for driving the electronic device 100.
  • O/S Operating System
  • the memory 130 stores various data such as an O/S (Operating System) software module, a history module, an audio processing module, and a voice recognition module for driving the electronic device 100.
  • the processor 120 overall controls the operation of the electronic device 100 by using various programs stored in the memory 130.
  • the processor 120 includes a RAM 121, a ROM 122, a main CPU 123, first to n interfaces 124-1 to 124-n, and a bus 125.
  • the RAM 121, the ROM 122, the main CPU 123, the first to n interfaces 124-1 to 124-n, and the like may be connected to each other through the bus 125.
  • the ROM 122 stores an instruction set for booting a system, and the like.
  • the main CPU 123 copies the O/S stored in the memory 130 to the RAM 121 according to the instruction stored in the ROM 122, and executes the O/S. Boot.
  • the main CPU 123 copies various application programs stored in the memory 130 to the RAM 121 and executes the application programs copied to the RAM 121 to perform various operations.
  • the main CPU 123 accesses the memory 130 and performs booting using the O/S stored in the memory 130. Then, various operations are performed using various programs and content data stored in the memory 130.
  • the first to nth interfaces 124-1 to 124-n are connected to the above-described various components.
  • One of the interfaces may be a network interface that is connected to an external device through a network.
  • the processor 120 may perform a graphic processing function (video processing function). For example, the processor 120 may generate a screen including various objects such as icons, images, texts, etc. using an operation unit (not shown) and a rendering unit (not shown).
  • the calculation unit (not shown) may calculate attribute values such as coordinate values, shape, size, color, etc. to be displayed for each object according to the layout of the screen based on the received control command.
  • the rendering unit (not shown) may generate screens of various layouts including objects based on attribute values calculated by the calculation unit (not shown).
  • the processor 120 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion on video data.
  • the processor 120 may process audio data. Specifically, the processor 120 may perform various processing such as decoding, amplification, noise filtering, or the like for audio data.
  • the display 140 may be implemented as various types of displays such as a Liquid Crystal Display (LCD), an Organic Light Emitting Diodes (OLED) display, and a Plasma Display Panel (PDP).
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • PDP Plasma Display Panel
  • a driving circuit, a backlight unit, and the like which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), or the like may also be included.
  • the display 140 may be implemented as a touch screen combined with a touch sensor, a flexible display, a 3D display, or the like.
  • the user interface 150 may be implemented as a device such as a button, a touch pad, a mouse, and a keyboard, or a touch screen capable of performing the above-described display function and manipulation input function.
  • the button may be various types of buttons such as a mechanical button, a touch pad, a wheel, etc. formed in an arbitrary area such as a front portion, a side portion, or a rear portion of the external body of the electronic device 100.
  • the camera 160 is a component for capturing a still image or a moving picture according to the user's control.
  • the camera 160 may capture a still image at a specific point in time, but may continuously capture a still image.
  • the speaker 170 may be a component that outputs not only various audio data processed by the input/output interface, but also various notification sounds or voice messages.
  • the microphone 180 is a component for receiving a user's voice or other sound and converting it into audio data.
  • the microphone 180 may receive a user's voice in an activated state.
  • the microphone 180 may be integrally formed in an upper, front, or side direction of the electronic device 100.
  • the microphone 180 is a microphone that collects an analog user voice, an amplifier circuit that amplifies the collected user voice, an A/D conversion circuit that samples the amplified user voice and converts it into a digital signal, and a noise component from the converted digital signal. It may include a variety of configurations such as a filter circuit to remove the.
  • the electronic device 100 may receive an audio signal including a user's voice from a sensor device including a microphone.
  • the received audio signal may be a digital audio signal, but may be an analog audio signal according to an implementation example.
  • the electronic device 100 may receive an audio signal through a wireless communication method such as Bluetooth or Wi-Fi.
  • the electronic device 100 may perform speech recognition by directly applying an automatic speech recognition (ASR) technology to a digital speech signal received from a sensor device.
  • ASR automatic speech recognition
  • the electronic device 100 may transmit a corresponding voice signal to an external server for voice recognition of the voice signal received from the sensor device.
  • the sensor device and the communication module for communication with the external server may be implemented as one or may be implemented separately.
  • the external server may perform speech recognition by applying an automatic speech recognition (ASR) technology to a digital speech signal, and may transmit the speech recognition result to the electronic device 100.
  • ASR automatic speech recognition
  • the electronic device 100 determines whether to process the audio signal output by the sensor device after removing the audio signal from the received audio signal, unnecessary audio processing problems and redundant processing problems can be prevented.
  • 3 and 4 are diagrams for describing an operation of the electronic device 100 according to an exemplary embodiment of the present disclosure.
  • the electronic device Edge 100 includes a first sensor device Dot 1 and 200-1, a second sensor device Dot 2 and 200-2, and a third sensor device Dot 3, 200-3) and communication can be performed.
  • the first sensor device 200-1 may transmit a first audio signal to the electronic device 100 according to a user's voice.
  • the processor 120 of the electronic device 100 performs an operation corresponding to the first audio signal and performs an operation corresponding to the first audio signal.
  • the first sensor device 200-1 may be controlled so that a second audio signal indicating a result is output.
  • the processor 120 may transmit a control command instructing to output a second audio signal and a second audio signal to the first sensor device 200-1, and the first sensor device 200-1 May output a second audio signal according to the received control command.
  • the processor 120 may store the transmission timing of the second audio signal and the second audio signal itself in the memory 130. When the threshold time elapses from the control point of the first sensor device 200-1, the processor 120 may delete the transmission point of the second audio signal stored in the memory 130 and the second audio signal itself.
  • the second sensor device 200-2 adjacent to the first sensor device 200-1 receives the second audio signal output by the first sensor device 200-1, but the first sensor device 200
  • the third sensor device 200-3 not adjacent to -1) may not receive the second audio signal output by the first sensor device 200-1.
  • the second sensor device 200-2 may transmit a third audio signal to the electronic device 100 based on the received second audio signal.
  • the third audio signal may be substantially similar to the second audio signal.
  • the third audio signal may be substantially similar to the second audio signal.
  • the third audio signal may be significantly different from the second audio signal.
  • the processor 120 may compare a time point at which the third audio signal is received and a time point at which the first sensor device 200-1 is controlled. When the third audio signal is received within a threshold time from the control point of the first sensor device 200-1, the processor 120 may identify a similarity between the second audio signal and the third audio signal. If the third audio signal is received after the threshold time from the control point of the first sensor device 200-1, the processor 120 may process the third audio signal.
  • the processor 120 may not process the third audio signal. Alternatively, when it is identified that the second audio signal and the third audio signal are similar, the processor 120 may obtain a fourth audio signal by removing the second audio signal from the third audio signal and process the fourth audio signal. . If it is identified that the second audio signal and the third audio signal are not similar, the processor 120 may process the third audio signal.
  • the memory 130 may store a history model including at least one of a return audio signal reception time or a return audio signal reception probability.
  • the return audio signal reception time or the return audio signal reception probability may be obtained based on the operation history.
  • the history model as described above may be acquired based on a rule or acquired by learning through an artificial intelligence algorithm.
  • a method of obtaining a history model based on a rule will be first described, and a method of using an artificial intelligence algorithm will be described later.
  • the processor 120 may use the return audio signal reception time stored in the memory 130 as a threshold time. For example, the processor 120 controls the first sensor device 200-1 to output the second audio signal, and then receives the third audio signal from the third sensor device 200-3, the first sensor device ( It is possible to identify whether the third audio signal has been received within 1 second from the control point of 200-1). Alternatively, the processor 120 controls the third sensor device 200-3 to output the second audio signal, and then when the third audio signal is received from the second sensor device 200-2, the third sensor device ( It is possible to identify whether the third audio signal has been received within 0.15 seconds from the control point of 200-3).
  • the return audio signal reception time may be obtained based on an operation history between sensor devices.
  • the processor 120 controls one sensor device among the plurality of sensor devices to output an audio signal, and when an audio signal similar to the output audio signal is received from the other sensor device among the plurality of sensor devices, The difference between the control point and the reception point may be stored in the memory 130.
  • the processor 120 may repeat such an operation and store a time difference with the highest reliability as a return audio signal reception time.
  • the processor 120 may store the longest time difference as a return audio signal reception time.
  • the processor 120 may store the longest time difference among a plurality of time differences satisfying a preset number of times or more as a return audio signal reception time.
  • the processor 120 is the most One second with a long time difference can be stored as the receiving time of the received return audio signal.
  • the processor 120 may determine whether the second audio signal is included in the third audio signal based on the probability of receiving the return audio signal stored in the memory 130.
  • the prerequisite for using the return audio signal reception probability is that the third audio signal is received within a threshold time from the time when the sensor device is controlled to output the second audio signal, and the second audio signal is not similar to the third audio signal. This is the case. That is, if the third audio signal is received from the second sensor device 200-2 within a threshold time after controlling the first sensor device 200-1 to output the second audio signal, the processor 120 The degree of similarity between the audio signal and the third audio signal can be identified.
  • the processor 120 identifies the probability of receiving the return audio signal of the first sensor device 200-1 and the second sensor device 200-2 can do. Then, if the identified return audio signal reception probability is greater than or equal to the threshold value, the processor 120 identifies that the third audio signal includes the second audio signal, and the fourth audio signal is removed from the third audio signal. An audio signal may be obtained and a fourth audio signal may be processed.
  • the probability of receiving the return audio signal may be obtained based on an operation history between sensor devices.
  • the processor 120 controls one sensor device among a plurality of sensor devices to output an audio signal, and when an audio signal is received from another sensor device among a plurality of sensor devices within a threshold time, the output audio A degree of similarity between the signal and the received audio signal may be identified, and the identified degree of similarity may be stored in the memory 130.
  • the memory 130 may accumulate and store the number of times when it is determined that it is similar and when it is determined that it is not similar. Further, the processor 120 may obtain a probability of receiving a return audio signal based on the number of times it is determined to be similar to the total number of times stored in the memory 130.
  • FIG. 5 is a diagram for describing an operation of an electronic device 100 according to another exemplary embodiment of the present disclosure.
  • the electronic device Edge 100 includes a first sensor device Dot 1 and 200-1, a second sensor device Dot 2 and 200-2, and a third sensor device Dot 3, 200-3) and communication can be performed.
  • the first sensor device 200-1 may transmit a first audio signal to the electronic device 100 according to a user's voice.
  • the processor 120 of the electronic device 100 performs an operation corresponding to the first audio signal and performs an operation corresponding to the first audio signal.
  • the watermark may be included in the second audio signal representing the result and transmitted to the first sensor device 200-1.
  • the first sensor device 200-1 may output a second audio signal including a watermark.
  • the second sensor device 200-2 adjacent to the first sensor device 200-1 receives the second audio signal including the watermark output by the first sensor device 200-1, 1
  • the third sensor device 200-3 not adjacent to the sensor device 200-1 may not receive the second audio signal including the watermark output by the first sensor device 200-1.
  • the second sensor device 200-2 may transmit a third audio signal to the electronic device 100 based on the second audio signal including the received watermark.
  • the third audio signal may be substantially similar to the second audio signal including the watermark.
  • the third audio signal may be substantially similar to the second audio signal including the watermark.
  • the third audio signal may be significantly different from the second audio signal including the watermark.
  • the processor 120 may identify whether the received third audio signal includes a watermark. That is, the processor 120 may identify only whether the watermark is included without considering the critical time as shown in FIG. 3. However, the present invention is not limited thereto, and when the third audio signal is received, the processor 120 compares the time point at which the third audio signal is received and the control time point of the first sensor device 200-1, and the first sensor device When the third audio signal is received within a threshold time from the control point of (200-1), it may be identified whether the third audio signal includes a watermark.
  • the processor 120 may not process the third audio signal. Alternatively, if the third audio signal includes a watermark, the processor 120 may obtain a fourth audio signal from which the second audio signal is removed from the third audio signal and process the fourth audio signal. If the third audio signal does not include a watermark, the processor 120 may process the third audio signal.
  • the processor 120 may identify a similarity between the second audio signal and the third audio signal. Further, if it is determined that the third audio signal is similar to the second audio signal, the processor 120 may not process the third audio signal. Alternatively, if it is determined that the third audio signal is not similar to the second audio signal, the processor 120 may obtain a fourth audio signal by removing the second audio signal from the third audio signal and process the fourth audio signal. have.
  • FIG. 6 is a block diagram illustrating a configuration of another electronic device 600 according to an embodiment of the present disclosure.
  • the other electronic device 600 may be a device that generates a history model through an artificial intelligence algorithm.
  • the other electronic device 600 may include at least one of a learning unit 610 and an acquisition unit 620.
  • the learning unit 610 may generate or learn a history model using an audio signal transmitted to one of the plurality of sensor devices and an audio signal received from another of the plurality of sensor devices.
  • the learning unit 610 may generate a history model using the transmitted audio signal and the received audio signal.
  • the acquisition unit 620 may obtain a return audio signal reception time and a return audio signal reception probability by using predetermined data as input data of the learned artificial intelligence model.
  • the acquisition unit 620 may acquire a return audio signal reception time based on a transmission time of an audio signal, a reception time of an audio signal, and a similarity between the transmitted audio signal and the received audio signal.
  • the learning unit 610 and the acquisition unit 620 may be included in the other electronic device 600, but these are only an embodiment and may be mounted inside the electronic device 100.
  • at least a portion of the learning unit 610 and at least a portion of the acquisition unit 620 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on the electronic device 100.
  • at least one of the learning unit 610 and the acquisition unit 620 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU or application). processor) or a graphics dedicated processor (for example, a GPU), and mounted on the aforementioned various electronic devices.
  • AI artificial intelligence
  • processor e.g, CPU or application
  • graphics dedicated processor for example, a GPU
  • the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probability calculation, and has higher parallel processing performance than conventional general-purpose processors, so it can quickly process computation tasks in artificial intelligence fields such as machine learning.
  • the learning unit 610 and the acquisition unit 620 are implemented as a software module (or a program module including an instruction)
  • the software module is a computer-readable non-transitory readable recording medium (non-transitory). transitory computer readable media).
  • the software module may be provided by an OS (Operating System) or a predetermined application.
  • OS Operating System
  • some of the software modules may be provided by an operating system (OS), and some of the software modules may be provided by a predetermined application.
  • the learning unit 610 and the acquisition unit 620 may be mounted on one electronic device, or may be mounted on separate electronic devices, respectively.
  • one of the learning unit 610 and the acquisition unit 620 may be included in the electronic device 100 and the other may be included in the other electronic device 600.
  • the learning unit 610 and the acquisition unit 620 may provide model information built by the learning unit 610 to the acquisition unit 620 through wired or wireless, or input to the learning unit 620 Data may be provided to the learning unit 610 as additional learning data.
  • FIG. 7 is a block diagram illustrating a learning unit 610 according to an embodiment of the present disclosure.
  • a learning unit 610 may include a learning data acquisition unit 610-1 and a model learning unit 610-4.
  • the learning unit 610 may further selectively include at least one of a training data preprocessor 610-2, a training data selection unit 610-3, and a model evaluation unit 610-5.
  • the training data acquisition unit 610-1 may acquire training data necessary for an artificial intelligence model.
  • the learning data acquisition unit 610-1 may acquire an audio signal transmitted by the electronic device 100 and a received audio signal as learning data.
  • the learning data may be data collected or tested by the learning unit 610 or the manufacturer of the learning unit 610.
  • the model learning unit 610-4 may learn a return audio signal reception time and a return audio signal reception probability by the artificial intelligence model using the training data.
  • the model learning unit 610-4 may train a history model based on the similarity between the transmitted audio signal and the received audio signal.
  • the model learning unit 610-4 may train an artificial intelligence model through supervised learning on at least part of the training data.
  • the model learning unit 610-4 may learn the artificial intelligence model through unsupervised learning with minimal noise, for example, by self-learning using the training data without special guidance.
  • the model learning unit 610-4 may train the artificial intelligence model through reinforcement learning using feedback on whether a result of providing a response according to learning is correct, for example.
  • the model learning unit 610-4 may train the artificial intelligence model using, for example, a learning algorithm including error back-propagation or gradient descent.
  • model learning unit 610-4 may learn a selection criterion for which training data to use in order to obtain data with guaranteed accuracy by using the input data.
  • the model learning unit 610-4 may determine an artificial intelligence model having a high correlation between the input training data and the basic training data as an artificial intelligence model to be trained.
  • the basic training data may be pre-classified by data type, and the artificial intelligence model may be pre-built for each data type.
  • the model learning unit 610-4 may store the learned artificial intelligence model.
  • the model learning unit 610-4 may store the learned artificial intelligence model in the memory of the other electronic device 600.
  • the model learning unit 610-4 may store the learned artificial intelligence model in a memory of a server or electronic device connected to another electronic device 600 through a wired or wireless network.
  • the learning unit 610 improves the response result of the artificial intelligence model or saves resources or time required for the generation of the artificial intelligence model, the training data preprocessing unit 610-2 and the training data selection unit 610-3. ) May be further included.
  • the training data preprocessor 610-2 may preprocess the acquired data. That is, the training data preprocessor 610-2 may process the acquired data into a preset format. For example, the training data preprocessor 610-2 may remove a case where the similarity is low or a case where an audio signal is received after a threshold time.
  • the learning data selection unit 610-3 may select data necessary for learning from data acquired by the learning data acquisition unit 610-1 or data preprocessed by the learning data preprocessor 610-2.
  • the selected training data may be provided to the model learning unit 610-4.
  • the learning data selection unit 610-3 may select learning data necessary for learning from acquired or preprocessed data according to a preset selection criterion.
  • the training data selection unit 610-3 may select training data according to a preset selection criterion by learning by the model learning unit 610-4.
  • the learning unit 610 may further include a model evaluation unit 610-5 in order to improve the response result of the artificial intelligence model.
  • the model evaluation unit 610-5 inputs evaluation data to the artificial intelligence model, and when the response result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 610-4 may retrain. have.
  • the evaluation data may be predefined data for evaluating an artificial intelligence model.
  • the model evaluation unit 610-5 evaluates whether each of the learned artificial intelligence models satisfies a predetermined criterion, and determines the model that satisfies the predetermined criterion. Can be determined as a model. In this case, when there are a plurality of models that satisfy a predetermined criterion, the model evaluation unit 610-5 may determine one or a predetermined number of models set in advance in the order of the highest evaluation scores as the final artificial intelligence model.
  • FIG. 8 is a block diagram illustrating an acquisition unit 620 according to an embodiment of the present disclosure.
  • the acquisition unit 620 may include an input data acquisition unit 620-1 and a response result providing unit 620-4.
  • the acquisition unit 620 may optionally further include at least one of an input data preprocessor 620-2, an input data selection unit 620-3, and a model update unit 620-5.
  • the input data acquisition unit 620-1 may acquire an audio signal transmitted by the electronic device 100 and a received audio signal.
  • the response result providing unit 620-4 applies the input data obtained from the input data acquisition unit 620-1 to the artificial intelligence model learned as an input value to obtain a return audio signal reception time and a return audio signal reception probability. I can.
  • the response result providing unit 620-4 applies the data selected by the input data preprocessor 620-2 or the input data selection unit 620-3 to be described later to the artificial intelligence model to obtain a response result. I can.
  • the response result can be determined by an artificial intelligence model.
  • the acquisition unit 620 is an input data preprocessing unit 620-2 and an input data selection unit 620-3 in order to improve the response result of the artificial intelligence model or to save resources or time for providing the response result. It may further include.
  • the input data preprocessor 620-2 may preprocess the acquired data. That is, the input data preprocessor 620-2 may process the data obtained by the response result providing unit 620-4 into a predefined format.
  • the input data selection unit 620-3 may select data necessary for providing a response from data obtained by the input data acquisition unit 620-1 or data preprocessed by the input data preprocessor 620-2. The selected data may be provided to the response result providing unit 620-4.
  • the input data selection unit 620-3 may select some or all of the acquired or pre-processed data according to a preset selection criterion for providing a response.
  • the input data selection unit 620-3 may select data according to a preset selection criterion by learning by the model learning unit 610-4.
  • the model update unit 620-5 may control the artificial intelligence model to be updated based on the evaluation of the response result provided by the response result providing unit 620-4. For example, the model update unit 620-5 provides the response result provided by the response result providing unit 620-4 to the model learning unit 610-4, so that the model learning unit 610-4 AI models can be requested to be further trained or updated.
  • FIG. 9 is a diagram illustrating an example in which the electronic device 100 and the external server S interwork with each other to learn and determine data according to an embodiment of the present disclosure.
  • an external server S is a history model including at least one of a return audio signal reception time or a return audio signal reception probability based on an audio signal transmitted from the electronic device 100 and a received audio signal.
  • a criterion for learning may be learned, and the electronic device 100 may acquire a history model based on a learning result by the server S.
  • the model learning unit 610-4 of the server S may perform the function of the learning unit 610 shown in FIG. 7. That is, the model learning unit 610-4 of the server (S) determines what information to use to acquire the training data, and how to determine the return audio signal reception time or the return audio signal reception probability using the above information. You can learn.
  • the response result providing unit 620-4 of the electronic device 100 applies the data selected by the input data selection unit 620-3 to the artificial intelligence model generated by the server S, and receives the received audio signal. It can be identified whether or not to process.
  • the response result providing unit 620-4 of the electronic device 100 receives the artificial intelligence model generated by the server S from the server S, and the audio signal received using the received artificial intelligence model It can be identified whether or not to process.
  • FIG. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • a first audio signal is received from a first sensor device among a plurality of sensor devices
  • an operation corresponding to the first audio signal is performed (S1010).
  • the first sensor device is controlled to output a second audio signal indicating a result of performing an operation corresponding to the first audio signal (S1020).
  • a third audio signal is received from a second sensor device among a plurality of sensor devices within a threshold time from the control point of the first sensor device, it is determined whether to process the third audio signal based on the second audio signal and the third audio signal. It is determined (S1030).
  • the determining (S1030) may include obtaining a similarity between the second audio signal and the third audio signal, and not processing the third audio signal if the similarity is greater than or equal to a threshold value.
  • the second audio signal is removed from the third audio signal. It may further include processing 4 audio signals or processing a third audio signal.
  • the operation history is information about the similarity between the audio signal transmitted to one of the plurality of sensor devices and the audio signal received from the other of the plurality of sensor devices, or the other of the plurality of sensor devices from the control point of one of the plurality of sensor devices. It may include at least one of parallax between times when an audio signal is received from one.
  • controlling step (S1020) controls the first sensor device to output the second audio signal and the watermark
  • the determining step (S1030) processes the third audio signal when the third audio signal includes a watermark. I can't.
  • the first sensor device may be controlled so that the watermark is output as one of low frequency, high frequency, and non-audible sound.
  • the step of acquiring a threshold time based on the operation history of the first sensor device and the second sensor device stored in the memory of the electronic device may be further included.
  • the threshold time may be updated based on at least one of the signal strength of the first audio signal or the signal strength of the third audio signal.
  • the determining operation S1030 may determine whether to process speech recognition for the third audio signal based on the second audio signal and the third audio signal.
  • the third audio signal when a third audio signal is received after a threshold time from the control point of the first sensor device, the third audio signal may be processed.
  • the electronic device determines whether to process the audio signal output by the sensor device after removing the audio signal from the received audio signal, unnecessary audio processing problems and redundant processing problems can be prevented. have.
  • the various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device or an external server of at least one of an electronic device and a display device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage medium (eg, a computer).
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments.
  • the processor When executed by the processor, the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor, and the instruction may include a code generated or executed by a compiler or an interpreter.
  • a storage medium that can be read as a non-transitory storage medium may be provided in the form of a non-transitory storage medium, where'non-transitory' means that the storage medium does not contain a signal and is tangible. However, it does not distinguish that data is stored semi-permanently or temporarily in a storage medium.
  • the method according to various embodiments described above may be included in a computer program product and provided.
  • Computer program products can be traded between sellers and buyers as commodities.
  • the computer program product may be distributed online in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)) or through an application store (eg, Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each of the constituent elements may be composed of a singular or plural entity, and some sub-elements of the above-described sub-elements are omitted, or other sub-elements are omitted. Components may be further included in various embodiments. Alternatively or additionally, some constituent elements (eg, a module or a program) may be integrated into one entity, and functions performed by each corresponding constituent element prior to the consolidation may be performed identically or similarly. Operations performed by modules, programs, or other components according to various embodiments may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added. I can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 통신 인터페이스 및 통신 인터페이스를 통해 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 제1 오디오 신호에 대응되는 동작을 수행하고, 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어하며, 통신 인터페이스를 통해 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 처리 여부를 결정하는 프로세서를 포함한다. 특히, 제3 오디오 신호에 대한 처리 여부를 결정하는 방법의 적어도 일부는 기계학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라 학습된 인공지능 모델을 이용할 수 있다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 음성 인식을 수행하는 전자 장치 및 그 제어 방법에 대한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
근래에는 인간 수준의 지능을 구현하는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
최근에는 AI 스피커와 같이 사용자의 음성을 인식하고, 그에 따라 동작하는 전자 장치들이 개발되고 있으나, 이러한 전자 장치들을 거실, 주방, 안방 등 모든 공간에 배치하는 것은 비용 상의 문제가 있을 수 있다.
그에 따라, 사용자의 음성을 처리하는 하나의 메인(Edge) 장치와 사용자의 음성을 수신하여 메인 장치로 제공하는 복수의 서브(Dot) 장치를 이용하는 방안이 개발되었다. 복수의 서브 장치는 거실, 주방, 안방 등과 같은 공간에 배치될 수 있다.
이때, 메인 장치는 사용자에게 안내 오디오 신호를 제공하기 위해 서브 장치를 제어하기도 한다. 다만, 서브 장치에서 출력된 안내 오디오 신호를 타 서브 장치가 수신하여 메인 장치로 전송할 수가 있으며, 이 경우 메인 장치는 타 서브 장치로부터 수신된 안내 오디오 신호를 처리하는 문제가 있었다. 즉, 사용자의 음성이나 제어 명령이 아닌 처리가 불필요한 안내 오디오 신호가 처리되는 문제가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 수신된 오디오 신호 중 유효한 오디오 신호에 대한 음성 인식을 수행하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 통신 인터페이스 및 상기 통신 인터페이스를 통해 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 상기 제1 오디오 신호에 대응되는 동작을 수행하고, 상기 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 상기 제1 센서 장치를 제어하며, 상기 통신 인터페이스를 통해 상기 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 상기 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 처리 여부를 결정하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 제2 오디오 신호 및 상기 제3 오디오 신호의 유사도를 획득하고, 상기 유사도가 임계 값 이상이면 상기 제3 오디오 신호를 처리하지 않을 수 있다.
그리고, 메모리를 더 포함하고, 상기 프로세서는 상기 유사도가 상기 임계 값 미만이면 상기 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여, 상기 제3 오디오 신호에서 상기 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 상기 제3 오디오 신호를 처리할 수 있다.
또한, 상기 동작 히스토리는 상기 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 상기 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 상기 복수의 센서 장치 중 하나의 제어 시점으로부터 상기 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함할 수 있다.
그리고, 상기 프로세서는 상기 제2 오디오 신호 및 워터마크가 출력되도록 상기 제1 센서 장치를 제어하며, 상기 제3 오디오 신호가 상기 워터마크를 포함하면 상기 제3 오디오 신호를 처리하지 않을 수 있다.
또한, 상기 프로세서는 상기 워터마크가 저주파, 고주파 및 비가청음 중 하나로 출력되도록 상기 제1 센서 장치를 제어할 수 있다.
그리고, 메모리를 더 포함하며, 상기 프로세서는 상기 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여 상기 임계 시간을 획득할 수 있다.
또한, 상기 프로세서는 상기 제1 오디오 신호의 신호 세기 또는 상기 제3 오디오 신호의 신호 세기 중 적어도 하나에 기초하여 상기 임계 시간을 업데이트할 수 있다.
그리고, 상기 프로세서는 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 음성 인식 처리 여부를 결정할 수 있다.
또한, 상기 프로세서는 상기 통신 인터페이스를 통해 상기 제1 센서 장치의 제어 시점으로부터 상기 임계 시간 이후에 상기 제3 오디오 신호가 수신되면, 상기 제3 오디오 신호를 처리할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 상기 제1 오디오 신호에 대응되는 동작을 수행하는 단계, 상기 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 상기 제1 센서 장치를 제어하는 단계 및 상기 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 상기 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 처리 여부를 결정하는 단계를 포함한다.
또한, 상기 결정하는 단계는 상기 제2 오디오 신호 및 상기 제3 오디오 신호의 유사도를 획득하는 단계 및 상기 유사도가 임계 값 이상이면 상기 제3 오디오 신호를 처리하지 않는 단계를 포함할 수 있다.
그리고, 상기 결정하는 단계는 상기 유사도가 상기 임계 값 미만이면 상기 전자 장치의 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여, 상기 제3 오디오 신호에서 상기 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 상기 제3 오디오 신호를 처리하는 단계를 더 포함할 수 있다.
또한, 상기 동작 히스토리는 상기 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 상기 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 상기 복수의 센서 장치 중 하나의 제어 시점으로부터 상기 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어하는 단계는 상기 제2 오디오 신호 및 워터마크가 출력되도록 상기 제1 센서 장치를 제어하며, 상기 결정하는 단계는 상기 제3 오디오 신호가 상기 워터마크를 포함하면 상기 제3 오디오 신호를 처리하지 않을 수 있다.
또한, 상기 제어하는 단계는 상기 워터마크가 저주파, 고주파 및 비가청음 중 하나로 출력되도록 상기 제1 센서 장치를 제어할 수 있다.
그리고, 상기 전자 장치의 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여 상기 임계 시간을 획득하는 단계를 더 포함할 수 있다.
또한, 상기 제1 오디오 신호의 신호 세기 또는 상기 제3 오디오 신호의 신호 세기 중 적어도 하나에 기초하여 상기 임계 시간을 업데이트하는 단계를 더 포함할 수 있다.
그리고, 상기 결정하는 단계는 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 음성 인식 처리 여부를 결정할 수 있다.
또한, 상기 결정하는 단계는 상기 제1 센서 장치의 제어 시점으로부터 상기 임계 시간 이후에 상기 제3 오디오 신호가 수신되면, 상기 제3 오디오 신호를 처리할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 수신된 오디오 신호 중 센서 장치에 의해 출력된 오디오 신호를 제거한 후, 처리 여부를 결정하기 때문에 불필요한 오디오 처리 문제 및 중복 처리 문제를 방지할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 시스템을 도시한 도면이다.
도 2a는 전자 장치의 구성의 일 예를 나타내는 블럭도이다.
도 2b는 전자 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 3 및 도 4는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 다른 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 타 전자 장치의 구성을 나타내는 블록도이다.
도 7는 본 개시의 일 실시 예에 따른 학습부를 나타내는 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 획득부를 나타내는 블록도이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치 및 외부의 서버가 서로 연동함으로써 데이터를 학습하고 판단하는 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 시스템(1000)을 도시한 도면이다. 도 1에 도시된 바와 같이 전자 시스템(1000)은 전자 장치(100), 복수의 센서 장치(200-1 ~ 200-5)를 포함한다. 여기서, 전자 장치(100)는 엣지(edge) 장치 또는 허브 장치로도 불릴 수 있으며, 센서 장치는 닷(dot) 장치로도 불릴 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치(100)는, 예를 들면, 스피커, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치(100)는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
도 1에서는 설명의 편의를 위하여 TV가 전자 장치(100)인 것으로 도시하였으나, 얼마든지 다른 장치가 전자 장치(100)로서 동작할 수도 있다. 예를 들어, 냉장고, 세탁기, 스피커 중 하나가 전자 장치(100)로서 동작할 수도 있다.
전자 장치(100)는 복수의 센서 장치(200-1 ~ 200-5) 중 하나로부터 제1 오디오 신호를 수신할 수 있다. 예를 들어, 전자 장치(100)는 거실에 배치된 제1 센서 장치(200-1)로부터 "냉장고 온도 낮춰줘."라는 제1 오디오 신호를 수신할 수 있고, 이 경우 전자 장치(100)는 냉장고의 온도를 낮추기 위한 제어 명령을 냉장고로 전송할 수 있다. 여기서, 복수의 센서 장치(200-1 ~ 200-5)는 주변의 오디오를 수신하고, 전자 장치(200)로 오디오 신호를 전송하는 장치일 수 있다. 또한, 전자 시스템(1000)은 냉장고 등과 같이 전자 장치(100) 및 복수의 센서 장치(200-1 ~ 200-5)가 아닌 타 전자 장치를 더 포함할 수 있다. 타 전자 장치는 전자 장치(100)에 의해 제어되는 장치로서, 전자 장치(100)와 통신이 가능한 장치일 수 있다.
그리고, 전자 장치(100)는 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 복수의 센서 장치(200-1 ~ 200-5) 중 하나를 제어할 수 있다. 상술한 예에서, 전자 장치(100)는 냉장고의 온도를 낮추기 위한 제어 명령을 냉장고로 전송한 후, "냉장고의 온도를 낮췄습니다."라는 제2 오디오 신호를 복수의 센서 장치(200-1 ~ 200-5) 중 하나로 전송할 수 있다. 복수의 센서 장치(200-1 ~ 200-5) 중 하나는 제2 오디오 신호를 출력할 수 있다. 여기서, 복수의 센서 장치(200-1 ~ 200-5) 중 하나는 제1 오디오 신호를 입력받고, 입력받은 제1 오디오 신호를 전자 장치(100)로 전송한 센서 장치일 수 있다.
다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 제1 오디오 신호를 전송한 센서 장치가 아닌 다른 센서 장치로 제2 오디오 신호를 전송할 수도 있다. 예를 들어, 전자 장치(100)는 거실에 배치된 제1 센서 장치(200-1)로부터 "냉장고 온도 낮춰줘."라는 제1 오디오 신호를 수신한 후, 제2 오디오 신호를 전송하려는 시점에 사용자가 부엌에 있는 경우, 부엌에 배치된 제2 센서 장치(200-2)로 제2 오디오 신호를 전송할 수도 있다.
이후, 전자 장치(100)는 복수의 센서 장치(200-1 ~ 200-5) 중 하나의 제어 시점으로부터 임계 시간 이내에 복수의 센서 장치 중 다른 하나로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 처리 여부를 결정할 수 있다.
예를 들어, 전자 장치(100)는 제1 센서 장치(200-1)의 제어 시점으로부터 0.1초 이내에 제2 센서 장치(200-2)로부터 제3 오디오 신호를 수신할 수 있다. 여기서, 제3 오디오 신호는 제2 센서 장치(200-2)가 제1 센서 장치(200-1)에 의해 출력된 제2 오디오 신호를 입력받아 전자 장치(100)로 전송한 오디오 신호일 수 있다. 이 경우, 제2 센서 장치(200-2)에 입력된 제2 오디오 신호는 동작의 수행 결과를 나타내는 신호에 불과하므로, 사용자의 음성 명령이 아닌 제3 오디오 신호는 처리할 필요가 없는 오디오 신호일 수 있다. 이는 제1 센서 장치(200-1) 및 제2 센서 장치(200-2)가 인접한 위치에 배치됨에 따라 발생할 수 있는 현상이다.
또다른 예로서, 전자 장치(100)는 제1 센서 장치(200-1)의 제어 시점으로부터 5초 이후에 제4 센서 장치(200-4)로부터 제3 오디오 신호를 수신할 수도 있다. 이 경우, 제4 센서 장치(200-4)는 제1 센서 장치(200-1)와 이격된 상태이며, 오디오 신호의 수신 시점에도 차이가 있으므로, 전자 장치(100)는 제3 오디오 신호를 처리할 수 있다.
이상과 같이, 전자 장치(100)는 제2 오디오 신호 및 제3 오디오 신호를 비교하여 제3 오디오 신호의 처리 여부를 결정할 수 있다.
복수의 센서 장치(200-1 ~ 200-5) 각각은 사용자 음성이나 기타 소리를 입력받을 수 있다. 특히, 복수의 센서 장치(200-1 ~ 200-5) 각각은 사용자 음성이 수신되면, 수신된 사용자 음성에 대응되는 오디오 신호를 전자 장치(100)로 전송할 수 있다.
그리고, 복수의 센서 장치(200-1 ~ 200-5) 각각은 스탠바이 모드 상태로 동작하다가 사용자 감지 등에 따라 웨이크업되어 사용자 감지 이후에 입력된 사용자 음성에 대응되는 오디오 신호를 전자 장치(100)로 전송할 수 있다.
다만, 이에 한정되는 것은 아니며, 복수의 센서 장치(200-1 ~ 200-5) 각각은 트리거 워드가 수신되면 웨이크업되고, 웨이크업된 이후에 수신된 사용자 음성에 대응되는 오디오 신호를 전자 장치(100)로 전송할 수도 있다.
이상과 같은 동작을 통해 복수의 센서 장치(200-1 ~ 200-5) 각각에 의한 전력 소모를 최소화하고, 불필요한 오디오 신호가 전자 장치(100)로 전송되는 것을 방지할 수 있다.
복수의 센서 장치(200-1 ~ 200-5) 각각은 전자 장치(100)로부터 동작의 수행 결과를 나타내는 제2 오디오 신호가 수신되면, 제2 오디오 신호를 출력할 수 있다.
도 2a는 전자 장치(100)의 구성의 일 예를 나타내는 블럭도이다.
도 2a에 따르면, 전자 장치(100)는 통신 인터페이스(110) 및 프로세서(120)를 포함한다.
통신 인터페이스(110)는 다양한 장치와 통신을 수행하기 위한 구성이다. 예를 들어, 통신 인터페이스(110)는 BT(BlueTooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같이 다양한 통신 인터페이스를 지원할 수 있다. 다만, 이에 한정되는 것은 아니며, 통신 인터페이스 중 무선 통신이 가능하다면 어떤 것이라도 무방하다.
또한, 통신 인터페이스(110)는 다양한 장치와의 유선 통신이 가능한 입출력 인터페이스를 포함할 수 있다. 예를 들어, 통신 인터페이스(110)는 HDMI, MHL, USB, RGB, D-SUB, DVI 등과 같은 입출력 인터페이스를 포함하며, 다양한 장치와 통신을 수행할 수 있다.
다만, 이에 한정되는 것은 아니며, 입출력 인터페이스는 데이터 송수신을 수행할 수 있는 규격이라면 어떠한 것이라도 무방하다.
전자 장치(100)는 복수의 센서 장치(200-1 ~ 200-5)와 연결되어 오디오 신호를 송수신할 수 있다. 또한, 전자 장치(100)는 타 전자 장치와 연결되어 센서 장치로부터 수신된 오디오 신호에 대응되는 제어 명령을 타 전자 장치로 전송할 수 있다.
통신 인터페이스(110)는 이상에서 설명한 인터페이스 외에도 다양한 장치와 유무선 통신이 가능한 모든 통신 규격의 인터페이스를 포함할 수 있다.
프로세서(120)는 전자 장치(100)의 동작을 전반적으로 제어한다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(120)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(120)는 통신 인터페이스(110)를 통해 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 제1 오디오 신호에 대응되는 동작을 수행하고, 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어할 수 있다.
예를 들어, 프로세서(120)는 통신 인터페이스(110)를 통해 제1 센서 장치로부터 "에어컨 켜줘."라는 제1 오디오 신호가 수신되면 에어컨을 턴 온하기 위한 제어 신호를 에어컨으로 전송하고, "에어컨을 켰습니다."라는 제2 오디오 신호를 제1 센서 장치로 전송할 수 있다. 그리고, 제1 센서 장치는 "에어컨을 켰습니다."라는 제2 오디오 신호를 출력할 수 있습니다. 이 경우, 제1 센서 장치에서 출력된 "에어컨을 켰습니다."라는 제2 오디오 신호는 제1 센서 장치와 인접한 다른 센서 장치로 입력될 수 있다. 이하에서는 설명의 편의를 위하여, 제2 센서 장치가 제1 센서 장치와 인접하며, 제1 센서 장치에서 출력된 제2 오디오 신호를 입력받는 것으로 설명한다. 제2 센서 장치는 입력된 제2 오디오 신호에 기초하여 제3 오디오 신호를 전자 장치(100)로 전송하게 된다.
프로세서(120)는 통신 인터페이스(110)를 통해 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 처리 여부를 결정할 수 있다. 구체적으로, 프로세서(120)는 제2 오디오 신호 및 제3 오디오 신호의 유사도를 획득하고, 유사도가 임계 값 이상이면 제3 오디오 신호를 처리하지 않을 수 있다.
예를 들어, 프로세서(120)는 통신 인터페이스(110)를 통해 제1 센서 장치의 제어 시점으로부터 0.1초 이내에 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호 및 제3 오디오 신호의 유사도를 획득하고, 제2 오디오 신호 및 제3 오디오 신호가 유사하다고 판단되면 제3 오디오 신호를 무시하고, 제2 오디오 신호 및 제3 오디오 신호가 유사하지 않다고 판단되면 제3 오디오 신호에 대응되는 동작을 수행할 수 있다.
상술한 예에서, 프로세서(120)가 통신 인터페이스(110)를 통해 제1 센서 장치의 제어 시점으로부터 0.1초 이내에 제2 센서 장치로부터 "에어컨을 켰습니다."가 수신되면, 수신된 오디오 신호가 제1 센서 장치로 전송한 제2 오디오 신호와 동일하므로 수신된 오디오 신호를 무시할 수 있다.
여기서, 제1 센서 장치의 제어 시점은 프로세서(120)가 제2 오디오 신호를 제1 센서 장치로 전송한 시점일 수 있다.
한편, 프로세서(120)가 음성 인식을 수행하지 않고 제2 오디오 신호 및 제3 오디오 신호 간의 유사도를 식별할 수 있다. 예를 들어, 프로세서(120)는 제2 오디오 신호 및 제3 오디오 신호 간의 시간 도메인 유사도를 획득하고, 제2 오디오 신호 및 제3 오디오 신호 간의 주파수 도메인 유사도를 획득하며, 시간 도메인 유사도 또는 주파수 도메인 유사도 중 적어도 하나에 기초하여 유사도를 획득할 수 있다. 그리고, 프로세서(120)는 획득된 유사도와 임계 유사도를 비교하여 제2 오디오 신호 및 제3 오디오 신호가 동일한지 식별할 수 있다.
그리고, 프로세서(120)는 제2 오디오 신호 및 제3 오디오 신호를 크로스-코릴레이션(cross-correlation)을 통해 시간 도메인 유사도를 획득하고, 스펙트럼 코히어런스(spectral coherence)를 통해 주파수 도메인 유사도를 획득하며, 시간 도메인 유사도 또는 주파수 도메인 유사도 중 적어도 하나에 기초하여 유사도를 획득할 수 있다. 크로스-코릴레이션 및 스펙트럼 코히어런스는 잘 알려진 기술이므로 구체적인 설명은 생략한다.
이상에서는 임계 시간을 0.1초로 예를 들었으나, 이는 일 실시 예에 불과하며, 얼마든지 다른 값이 이용될 수 있다.
한편, 전자 장치(100)는 메모리를 더 포함하고, 프로세서(120)는 유사도가 임계 값 미만이면 메모리에 저장된 제1 센서 장치 및 제2 센서 장치의 동작 히스토리에 기초하여, 제3 오디오 신호에서 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 제3 오디오 신호를 처리할 수 있다.
여기서, 동작 히스토리는 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 복수의 센서 장치 중 하나의 제어 시점으로부터 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함할 수 있다.
예를 들어, 메모리가 시차 정보만을 저장하고 있는 경우, 프로세서(120)는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어하고, 제1 센서 장치의 제어 시점으로부터 시차 정보에 따른 임계 시간 이내에 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호와 제3 오디오 신호 간의 유사도에 기초하여 제3 오디오 신호의 처리 여부를 결정할 수 있다. 프로세서(120)는 임계 시간 이후에 제3 오디오 신호가 수신되면, 유사도를 식별하지 않고 제3 오디오 신호에 대한 처리를 수행할 수 있다.
여기서, 시차 정보가 저장되어 있지 않다면, 프로세서(120)는 기설정된 임계 시간을 이용할 수 있다. 가령, 시차 정보는 제1 센서 장치 및 제2 센서 장치 간의 제1 임계 시간, 제2 센서 장치 및 제3 센서 장치 간의 제2 임계 시간 등 복수의 임계 시간에 대한 정보를 포함할 수 있다. 반면, 시차 정보가 없다면, 프로세서(120)는 하나의 임계 시간을 이용할 수 있다.
한편, 메모리는 유사도에 대한 정보를 저장하고 있을 수 있다. 예를 들어, 메모리는 제1 센서 장치로 전송한 오디오 신호와 제2 센서 장치로부터 수신된 오디오 신호가 유사하다고 식별된 히스토리를 저장하고 있을 수 있다. 이 경우, 프로세서(120)는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어하고, 제1 센서 장치의 제어 시점으로부터 시차 정보에 따른 임계 시간 이내에 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호와 제3 오디오 신호 간의 유사도에 기초하여 제3 오디오 신호의 처리 여부를 결정할 수 있다. 프로세서(120)는 제2 오디오 신호와 제3 오디오 신호가 유사하다고 식별되면, 제3 오디오 신호에 대한 처리를 수행하지 않을 수 있다. 또는, 프로세서(120)는 제2 오디오 신호와 제3 오디오 신호가 유사하지 않다고 식별되면, 제3 오디오 신호에서 제2 오디오 신호를 제거한 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리할 수 있다. 이는 제2 센서 장치가 제1 센서 장치에서 출력된 제2 오디오 신호를 수신하였으나, 제2 오디오 신호와 함께 주변의 노이즈나 사용자의 추가 음성이 동시에 입력되어, 제2 센서 장치가 전자 장치(100)로 전송한 제3 오디오 신호가 제2 오디오 신호와의 유사도가 낮아진 경우일 수 있다.
가령, 제1 센서 장치로부터 "에어컨을 켰습니다."라는 제2 오디오 신호가 출력됨과 동시에 사용자로부터 "지금 몇 시야?"라고 발화되면, 제2 센서 장치는 제2 오디오 신호와 사용자 음성을 포함하는 제3 오디오 신호를 전자 장치(100)로 전송할 수 있다. 프로세서(120)는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어한 시점으로부터 임계 시간 내에 제3 오디오 신호가 수신되었으나, 제2 오디오 신호가 제3 오디오 신호와 유사하지 않다고 식별할 수 있다. 다만, 프로세서(120)는 제1 센서 장치에서 출력된 오디오 신호가 제2 센서 장치를 통해 수신된 히스토리에 따라 제3 오디오 신호가 제2 오디오 신호를 포함하고 있다고 식별할 수 있다. 그리고, 프로세서(120)는 제3 오디오 신호에서 제2 오디오 신호를 제거한 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리하게 된다.
한편, 프로세서(120)는 제2 오디오 신호 및 워터마크가 출력되도록 제1 센서 장치를 제어하며, 제3 오디오 신호가 워터마크를 포함하면 제3 오디오 신호를 처리하지 않을 수도 있다. 여기서, 프로세서(120)는 워터마크가 저주파, 고주파 및 비가청음 중 하나로 출력되도록 제1 센서 장치를 제어할 수 있다. 그에 따라, 사용자는 워터마크를 인지하지 못하나, 프로세서(120)는 워터마크를 식별하여 제3 오디오 신호의 처리 여부를 결정할 수 있다.
한편, 프로세서(120)는 메모리에 저장된 제1 센서 장치 및 제2 센서 장치의 동작 히스토리에 기초하여 임계 시간을 획득할 수 있다.
또한, 프로세서(120)는 제1 오디오 신호의 신호 세기 또는 제3 오디오 신호의 신호 세기 중 적어도 하나에 기초하여 임계 시간을 업데이트할 수 있다. 예를 들어, 프로세서(120)는 제1 오디오 신호의 신호 세기에 기초하여 전자 장치(100) 및 제1 센서 장치 간의 거리를 식별하고, 식별된 거리에 기초하여 임계 시간을 업데이트할 수 있다.
한편, 프로세서(120)는 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 음성 인식 처리 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 제2 오디오 신호 및 제3 오디오 신호가 유사하지 않다고 판단되면, 제3 오디오 신호에 대한 음성 인식을 수행하고, 음성 인식 결과에 기초한 동작을 수행할 수 있다.
도 2b는 전자 장치(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 전자 장치(100)는 통신 인터페이스(110) 및 프로세서(120)를 포함할 수 있다. 또한, 도 2b에 따르면, 전자 장치(100)는 메모리(130), 디스플레이(140), 사용자 인터페이스(150), 카메라(160), 스피커(170), 마이크(180)를 더 포함할 수도 있다. 도 2b에 도시된 구성요소들 중 도 2a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(110)는 와이파이 모듈(111), 블루투스 모듈(112), 적외선 통신 모듈(113) 및 무선 통신 모듈(114) 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
프로세서(120)는 통신 인터페이스(110)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 복수의 센서 장치, TV와 같은 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈(111), 블루투스 모듈(112)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈(111)이나 블루투스 모듈(112)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈(113)은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈(114)은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(110)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신 인터페이스(110)는 입출력 인터페이스를 더 포함할 수 있다. 입출력 인터페이스는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
메모리(130)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(130)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
메모리(130)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 히스토리 모듈, 오디오 처리 모듈 및 음성 인식 모듈 등과 같이 다양한 데이터를 저장한다.
프로세서(120)는 메모리(130)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n), 버스(125)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 등은 버스(125)를 통해 서로 연결될 수 있다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 메모리(130)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(123)는 메모리(130)에 액세스하여, 메모리(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(130)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(124-1 내지 124-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(120)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(120)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(120)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(120)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(120)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
카메라(160)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(160)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.
스피커(170)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
마이크(180)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(180)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(180)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 마이크(180)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
한편, 전자 장치(100)는 마이크를 포함하는 센서 장치로부터 사용자 음성을 포함하는 오디오 신호를 수신할 수 있다. 이 경우, 수신된 오디오 신호는 디지털 음성 신호일 수 있으나, 구현 예에 따라 아날로그 음성 신호일 수 있다. 일 예로, 전자 장치(100)는 Bluetooth 또는 Wi-Fi 등의 무선 통신 방법을 통해 오디오 신호를 수신할 수 있다.
전자 장치(100)는 센서 장치로부터 수신된 디지털 음성 신호에 직접 자동 음성 인식(automatic speech recognition, ASR) 기술을 적용하여 음성 인식을 수행할 수 있다.
또는, 전자 장치(100)는 센서 장치로부터 수신된 음성 신호의 음성 인식을 위해, 외부 서버로 해당 음성 신호를 전송할 수 있다.
이 경우, 센서 장치 및 외부 서버와의 통신을 위한 통신 모듈은 하나로 구현되거나, 별개로 구현될 수 있다. 예를 들어, 센서 장치와는 Bluetooth 모듈을 이용하여 통신하고, 외부 서버와는 이더넷 모뎀 또는 Wi-Fi모듈을 이용하여 통신할 수 있다.
외부 서버는 디지털 음성 신호에 자동 음성 인식(automatic speech recognition, ASR) 기술을 적용하여 음성 인식을 수행하고, 음성 인식 결과를 전자 장치(100)로 전송할 수도 있다.
이상과 같이 전자 장치(100)는 수신된 오디오 신호 중 센서 장치에 의해 출력된 오디오 신호를 제거한 후, 처리 여부를 결정하기 때문에 불필요한 오디오 처리 문제 및 중복 처리 문제를 방지할 수 있다.
이하에서는 도면을 통해 전자 장치(100)의 동작을 좀더 구체적으로 설명한다.
도 3 및 도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)의 동작을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 전자 장치(Edge, 100)는 제1 센서 장치(Dot 1, 200-1), 제2 센서 장치(Dot 2, 200-2) 및 제3 센서 장치(Dot 3, 200-3)와 통신을 수행할 수 있다.
먼저, 제1 센서 장치(200-1)는 사용자 음성에 따라 제1 오디오 신호를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)의 프로세서(120)는 제1 센서 장치(200-1)로부터 제1 오디오 신호가 수신되면 제1 오디오 신호에 대응되는 동작을 수행하고, 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 제1 센서 장치(200-1)를 제어할 수 있다. 예를 들어, 프로세서(120)는 제2 오디오 신호 및 제2 오디오 신호를 출력할 것을 지시하는 제어 명령을 제1 센서 장치(200-1)로 전송할 수 있고, 제1 센서 장치(200-1)는 수신된 제어 명령에 따라 제2 오디오 신호를 출력할 수 있다.
프로세서(120)는 제2 오디오 신호의 전송 시점 및 제2 오디오 신호 자체를 메모리(130)에 저장할 수 있다. 프로세서(120)는 제1 세서 장치(200-1)의 제어 시점으로부터 임계 시간이 경과되면, 메모리(130)에 저장된 제2 오디오 신호의 전송 시점 및 제2 오디오 신호 자체를 삭제할 수 있다.
이때, 제1 센서 장치(200-1)와 인접한 제2 센서 장치(200-2)는 제1 센서 장치(200-1)에 의해 출력된 제2 오디오 신호를 수신하나, 제1 센서 장치(200-1)와 인접하지 않은 제3 센서 장치(200-3)는 제1 센서 장치(200-1)에 의해 출력된 제2 오디오 신호를 수신하지 못할 수 있다. 제2 센서 장치(200-2)는 수신된 제2 오디오 신호에 기초하여 제3 오디오 신호를 전자 장치(100)로 전송할 수 있다.
이때, 제3 오디오 신호는 제2 오디오 신호와 거의 유사할 수 있다. 가령, 제2 오디오 신호가 출력되는 동안 주변에 노이즈가 거의 없다면, 제3 오디오 신호는 제2 오디오 신호와 거의 유사할 수 있다. 다만, 제2 오디오 신호가 출력되는 동안 주변에 노이즈가 있거나 사용자의 추가 음성이 발화되면, 제3 오디오 신호는 제2 오디오 신호와 상당히 달라질 수 있다.
프로세서(120)는 제3 오디오 신호가 수신되면, 제3 오디오 신호의 수신된 시점과 제1 센서 장치(200-1)의 제어 시점을 비교할 수 있다. 프로세서(120)는 제1 센서 장치(200-1)의 제어 시점으로부터 임계 시간 이내에 제3 오디오 신호가 수신되면, 제2 오디오 신호와 제3 오디오 신호 간의 유사도를 식별할 수 있다. 만약, 제1 센서 장치(200-1)의 제어 시점으로부터 임계 시간 이후에 제3 오디오 신호가 수신되면, 프로세서(120)는 제3 오디오 신호를 처리할 수 있다.
프로세서(120)는 제2 오디오 신호와 제3 오디오 신호가 유사하다고 식별되면, 제3 오디오 신호를 처리하지 않을 수 있다. 또는, 프로세서(120)는 제2 오디오 신호와 제3 오디오 신호가 유사하다고 식별되면, 제3 오디오 신호에서 제2 오디오 신호를 제거한 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리할 수도 있다. 프로세서(120)는 제2 오디오 신호와 제3 오디오 신호가 유사하지 않다고 식별되면, 제3 오디오 신호를 처리할 수 있다.
메모리(130)는 도 4와 같이, 리턴 오디오 신호 수신 시간 또는 리턴 오디오 신호 수신 확률 중 적어도 하나를 포함하는 히스토리 모델을 저장할 수 있다. 리턴 오디오 신호 수신 시간 또는 리턴 오디오 신호 수신 확률은 동작 히스토리에 기초하여 획득될 수 있다. 특히, 이상과 같은 히스토리 모델은 룰 기반으로 획득하거나 인공지능 알고리즘을 통해 학습하여 획득될 수 있다. 이하에서는, 먼저 룰 기반으로 히스토리 모델을 획득하는 방법을 설명하고, 인공지능 알고리즘을 이용하는 방법은 후술한다.
프로세서(120)는 메모리(130)에 저장된 리턴 오디오 신호 수신 시간을 임계 시간으로서 이용할 수 있다. 가령, 프로세서(120)는 제2 오디오 신호가 출력되도록 제1 센서 장치(200-1)를 제어한 후 제3 센서 장치(200-3)로부터 제3 오디오 신호가 수신되면, 제1 센서 장치(200-1)의 제어 시점으로부터 1초 이내에 제3 오디오 신호가 수신되었는지 식별할 수 있다. 또는, 프로세서(120)는 제2 오디오 신호가 출력되도록 제3 센서 장치(200-3)를 제어한 후 제2 센서 장치(200-2)로부터 제3 오디오 신호가 수신되면, 제3 센서 장치(200-3)의 제어 시점으로부터 0.15초 이내에 제3 오디오 신호가 수신되었는지 식별할 수 있다.
리턴 오디오 신호 수신 시간은 센서 장치 간 동작 히스토리에 기초하여 획득될 수 있다. 예를 들어, 프로세서(120)는 복수의 센서 장치 중 하나의 센서 장치가 오디오 신호를 출력하도록 제어하고, 출력된 오디오 신호와 유사한 오디오 신호가 복수의 센서 장치 중 다른 하나의 센서 장치로부터 수신되면, 제어 시점과 수신 시점 간의 차이를 메모리(130)에 저장할 수 있다. 프로세서(120)는 이러한 동작을 반복하고, 가장 신뢰도가 높은 시간 차이를 리턴 오디오 신호 수신 시간으로 저장할 수 있다. 예를 들어, 프로세서(120)는 가장 긴 시간 차이를 리턴 오디오 신호 수신 시간으로 저장할 수 있다. 또는, 프로세서(120)는 기설정된 횟수 이상을 충족한 복수의 시간 차이 중 가장 긴 시간 차이를 리턴 오디오 신호 수신 시간으로 저장할 수도 있다. 가령, 프로세서(120)는 1초 시간 차이가 3회, 0.2초 시간 차이가 2회, 1.5초 시간 차이가 1회와 같이 히스토리가 저장된 경우, 2회 이상을 충족한 1초, 0.2초 중 가장 긴 시간 차이를 갖는 1초를 수신 리턴 오디오 신호 수신 시간으로 저장할 수 있다.
한편, 프로세서(120)는 메모리(130)에 저장된 리턴 오디오 신호 수신 확률에 기초하여 제3 오디오 신호에 제2 오디오 신호가 포함되어 있는지를 판단할 수 있다. 먼저, 리턴 오디오 신호 수신 확률을 이용하는 전제 조건은 제2 오디오 신호를 출력하도록 센서 장치를 제어한 시점으로부터 제3 오디오 신호가 임계 시간 내에 수신되고, 제2 오디오 신호가 제3 오디오 신호와 유사하지 않은 경우이다. 즉, 프로세서(120)는 제2 오디오 신호가 출력되도록 제1 센서 장치(200-1)를 제어한 후 임계 시간 내에 제2 센서 장치(200-2)로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호와 제3 오디오 신호의 유사도를 식별할 수 있다. 그리고, 프로세서(120)는 제3 오디오 신호가 제2 오디오 신호와 유사하지 않다고 판단되면, 제1 센서 장치(200-1) 및 제2 센서 장치(200-2)의 리턴 오디오 신호 수신 확률을 식별할 수 있다. 그리고, 프로세서(120)는 식별된 리턴 오디오 신호 수신 확률이 임계 값 이상이면, 제3 오디오 신호가 제2 오디오 신호를 포함하는 것으로 식별하고, 제3 오디오 신호에서 제2 오디오 신호가 제거된 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리할 수 있다.
리턴 오디오 신호 수신 확률은 센서 장치 간 동작 히스토리에 기초하여 획득될 수 있다. 예를 들어, 프로세서(120)는 복수의 센서 장치 중 하나의 센서 장치가 오디오 신호를 출력하도록 제어하고, 복수의 센서 장치 중 다른 하나의 센서 장치로부터 임계 시간 내에 오디오 신호가 수신되면, 출력된 오디오 신호와 수신된 오디오 신호의 유사도를 식별하고, 식별된 유사도를 메모리(130)에 저장할 수 있다. 메모리(130)는 유사하다고 판단된 경우와 유사하지 않다고 판단된 경우의 횟수를 누적하여 저장할 수 있다. 그리고, 프로세서(120)는 메모리(130)에 저장된 전체 횟수와 유사하다고 판단된 경우의 횟수에 기초하여 리턴 오디오 신호 수신 확률을 획득할 수 있다.
도 5는 본 개시의 다른 실시 예에 따른 전자 장치(100)의 동작을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 전자 장치(Edge, 100)는 제1 센서 장치(Dot 1, 200-1), 제2 센서 장치(Dot 2, 200-2) 및 제3 센서 장치(Dot 3, 200-3)와 통신을 수행할 수 있다.
먼저, 제1 센서 장치(200-1)는 사용자 음성에 따라 제1 오디오 신호를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)의 프로세서(120)는 제1 센서 장치(200-1)로부터 제1 오디오 신호가 수신되면 제1 오디오 신호에 대응되는 동작을 수행하고, 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호에 워터마크를 포함시켜 제1 센서 장치(200-1)로 전송할 수 있다. 제1 센서 장치(200-1)는 워터마크가 포함된 제2 오디오 신호를 출력할 수 있다.
이때, 제1 센서 장치(200-1)와 인접한 제2 센서 장치(200-2)는 제1 센서 장치(200-1)에 의해 출력된 워터마크가 포함된 제2 오디오 신호를 수신하나, 제1 센서 장치(200-1)와 인접하지 않은 제3 센서 장치(200-3)는 제1 센서 장치(200-1)에 의해 출력된 워터마크가 포함된 제2 오디오 신호를 수신하지 못할 수 있다. 제2 센서 장치(200-2)는 수신된 워터마크가 포함된 제2 오디오 신호에 기초하여 제3 오디오 신호를 전자 장치(100)로 전송할 수 있다.
이때, 제3 오디오 신호는 워터마크가 포함된 제2 오디오 신호와 거의 유사할 수 있다. 가령, 워터마크가 포함된 제2 오디오 신호가 출력되는 동안 주변에 노이즈가 거의 없다면, 제3 오디오 신호는 워터마크가 포함된 제2 오디오 신호와 거의 유사할 수 있다. 다만, 워터마크가 포함된 제2 오디오 신호가 출력되는 동안 주변에 노이즈가 있거나 사용자의 추가 음성이 발화되면, 제3 오디오 신호는 워터마크가 포함된 제2 오디오 신호와 상당히 달라질 수 있다.
프로세서(120)는 수신된 제3 오디오 신호가 워터마크를 포함하는지 식별할 수 있다. 즉, 프로세서(120)는 도 3과 같이 임계 시간을 고려하지 않고, 워터마크의 포함 여부만을 식별할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 제3 오디오 신호가 수신되면, 제3 오디오 신호의 수신된 시점과 제1 센서 장치(200-1)의 제어 시점을 비교하고, 제1 센서 장치(200-1)의 제어 시점으로부터 임계 시간 이내에 제3 오디오 신호가 수신되면, 제3 오디오 신호가 워터마크를 포함하는지 식별할 수도 있다.
프로세서(120)는 제3 오디오 신호가 워터마크를 포함하면, 제3 오디오 신호를 처리하지 않을 수 있다. 또는, 프로세서(120)는 제3 오디오 신호가 워터마크를 포함하면, 제3 오디오 신호에서 제2 오디오 신호를 제거한 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리할 수도 있다. 만약, 제3 오디오 신호가 워터마크를 포함하지 않으면, 프로세서(120)는 제3 오디오 신호를 처리할 수 있다.
프로세서(120)는 제3 오디오 신호가 워터마크를 포함하면, 제2 오디오 신호와 제3 오디오 신호의 유사도를 식별할 수 있다. 그리고, 프로세서(120)는 제3 오디오 신호가 제2 오디오 신호와 유사하다고 판단되면, 제3 오디오 신호를 처리하지 않을 수 있다. 또는, 프로세서(120)는 제3 오디오 신호가 제2 오디오 신호와 유사하지 않다고 판단되면, 제3 오디오 신호에서 제2 오디오 신호를 제거한 제4 오디오 신호를 획득하고, 제4 오디오 신호를 처리할 수도 있다.
즉, 도 5와 같이 워터마크를 이용하는 경우, 리턴 오디오 신호 수신 확률을 이용할 필요가 없다.
도 6은 본 개시의 일 실시 예에 따른 타 전자 장치(600)의 구성을 나타내는 블록도이다. 여기서, 타 전자 장치(600)는 인공지능 알고리즘을 통해 히스토리 모델을 생성하는 장치일 수 있다.
도 6을 참조하면, 타 전자 장치(600)는 학습부(610) 및 획득부(620) 중 적어도 하나를 포함할 수 있다.
학습부(610)는 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호를 이용하여 히스토리 모델을 생성 또는 학습시킬 수 있다. 학습부(610)는 전송된 오디오 신호 및 수신된 오디오 신호를 이용하여 히스토리 모델을 생성할 수 있다.
획득부(620)는 소정의 데이터를 학습된 인공지능 모델의 입력 데이터로 사용하여, 리턴 오디오 신호 수신 시간 및 리턴 오디오 신호 수신 확률을 획득할 수 있다.
예를 들어, 획득부(620)는 오디오 신호의 전송 시점과 오디오 신호의 수신 시점 및 전송된 오디오 신호와 수신된 오디오 신호의 유사도에 기초하여 리턴 오디오 신호 수신 시간을 획득할 수 있다.
본 개시의 일 실시 예로, 학습부(610) 및 획득부(620)는 타 전자 장치(600)에 포함될 수 있으나, 이는 일 실시 예에 불과할 뿐, 전자 장치(100) 내부에 탑재될 수 있다. 구체적으로, 학습부(610)의 적어도 일부 및 획득부(620)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 학습부(610) 및 획득부(620) 중 적어도 하나는 인공 지능(artificial intelligence, AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(610) 및 획득부(620)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
이 경우, 학습부(610) 및 획득부(620)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(610) 및 획득부(620) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 타 전자 장치(600)에 포함될 수 있다. 또한, 학습부(610) 및 획득부(620)는 유선 또는 무선으로 통하여, 학습부(610)가 구축한 모델 정보를 획득부(620)로 제공할 수도 있고, 학습부(620)로 입력된 데이터가 추가 학습 데이터로서 학습부(610)로 제공될 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 학습부(610)를 나타내는 블록도이다.
도 7을 참조하면, 일부 실시 예에 따른 학습부(610)는 학습 데이터 획득부(610-1) 및 모델 학습부(610-4)를 포함할 수 있다. 또한, 학습부(610)는 학습 데이터 전처리부(610-2), 학습 데이터 선택부(610-3) 및 모델 평가부(610-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(610-1)는 인공지능 모델에 필요한 학습 데이터를 획득할 수 있다. 본 개시의 실시 예로, 학습 데이터 획득부(610-1)는 전자 장치(100)가 전송한 오디오 신호 및 수신한 오디오 신호를 학습 데이터로서 획득할 수 있다. 학습 데이터는 학습부(610) 또는 학습부(610)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(610-4)는 학습 데이터를 이용하여, 인공지능 모델이 리턴 오디오 신호 수신 시간 및 리턴 오디오 신호 수신 확률을 학습시킬 수 있다. 특히, 모델 학습부(610-4)는 전송된 오디오 신호 및 수신된 오디오 신호의 유사도에 기초하여 히스토리 모델을 학습시킬 수 있다. 예로, 모델 학습부(610-4)는 학습 데이터 중 적어도 일부를 지도 학습(supervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또는, 모델 학습부(610-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 노이즈가 최소화된 비지도 학습(unsupervised learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(610-4)는, 예를 들어, 학습에 따른 응답 제공의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인공지능 모델을 학습시킬 수 있다. 또한, 모델 학습부(610-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 인공지능 모델을 학습시킬 수 있다
또한, 모델 학습부(610-4)는 입력 데이터를 이용하여 정확도가 보장된 데이터를 획득하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 선별 기준을 학습할 수도 있다.
모델 학습부(610-4)는 미리 구축된 인공지능 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 인공지능 모델을 학습할 인공지능 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입별로 기 분류되어 있을 수 있으며, 인공지능 모델은 데이터의 타입별로 미리 구축되어 있을 수 있다.
인공지능 모델이 학습되면, 모델 학습부(610-4)는 학습된 인공지능 모델을 저장할 수 있다. 이 경우, 모델 학습부(610-4)는 학습된 인공지능 모델을 타 전자 장치(600)의 메모리에 저장할 수 있다. 또는, 모델 학습부(610-4)는 학습된 인공지능 모델을 타 전자 장치(600)와 유선 또는 무선 네트워크로 연결되는 서버 또는 전자 장치의 메모리에 저장할 수도 있다.
학습부(610)는 인공지능 모델의 응답 결과를 향상시키거나, 인공지능 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(610-2) 및 학습 데이터 선택부(610-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(610-2)는 획득된 데이터를 전처리할 수 있다. 즉, 학습 데이터 전처리부(610-2)는 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 학습 데이터 전처리부(610-2)는 유사도가 낮은 경우 또는 오디오 신호가 임계 시간 이후에 수신된 경우를 제거할 수 있다.
학습 데이터 선택부(610-3)는 학습 데이터 획득부(610-1)에서 획득된 데이터 또는 학습 데이터 전처리부(610-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(610-4)에 제공될 수 있다. 학습 데이터 선택부(610-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(610-3)는 모델 학습부(610-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(610)는 인공지능 모델의 응답 결과를 향상시키기 위하여, 모델 평가부(610-5)를 더 포함할 수도 있다.
모델 평가부(610-5)는 인공지능 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 응답 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(610-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인공지능 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
한편, 학습된 인공지능 모델이 복수 개가 존재하는 경우, 모델 평가부(610-5)는 각각의 학습된 인공지능 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 인공지능 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(610-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 인공지능 모델로서 결정할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 획득부(620)를 나타내는 블록도이다.
도 8을 참조하면, 일부 실시 예에 따른 획득부(620)는 입력 데이터 획득부(620-1) 및 응답 결과 제공부(620-4)를 포함할 수 있다.
또한, 획득부(620)는 입력 데이터 전처리부(620-2), 입력 데이터 선택부(620-3) 및 모델 갱신부(620-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
입력 데이터 획득부(620-1)는 전자 장치(100)가 전송한 오디오 신호 및 수신한 오디오 신호를 획득할 수 있다. 응답 결과 제공부(620-4)는 입력 데이터 획득부(620-1)에서 획득된 입력 데이터를 입력 값으로 학습된 인공지능 모델에 적용하여 리턴 오디오 신호 수신 시간 및 리턴 오디오 신호 수신 확률을 획득할 수 있다. 응답 결과 제공부(620-4)는 후술할 입력 데이터 전처리부(620-2) 또는 입력 데이터 선택부(620-3)에 의해 선택된 데이터를 입력 값으로 인공지능 모델에 적용하여 응답 결과를 획득할 수 있다. 응답 결과는 인공지능 모델에 의해 결정될 수 있다.
획득부(620)는 인공지능 모델의 응답 결과를 향상시키거나, 응답 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 입력 데이터 전처리부(620-2) 및 입력 데이터 선택부(620-3)를 더 포함할 수도 있다.
입력 데이터 전처리부(620-2)는 획득된 데이터를 전처리할 수 있다. 즉, 입력 데이터 전처리부(620-2)는 응답 결과 제공부(620-4)가 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
입력 데이터 선택부(620-3)는 입력 데이터 획득부(620-1)에서 획득된 데이터 또는 입력 데이터 전처리부(620-2)에서 전처리된 데이터 중에서 응답 제공에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 응답 결과 제공부(620-4)에게 제공될 수 있다. 입력 데이터 선택부(620-3)는 응답 제공을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 입력 데이터 선택부(620-3)는 모델 학습부(610-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(620-5)는 응답 결과 제공부(620-4)에 의해 제공되는 응답 결과에 대한 평가에 기초하여, 인공지능 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(620-5)는 응답 결과 제공부(620-4)에 의해 제공되는 응답 결과를 모델 학습부(610-4)에게 제공함으로써, 모델 학습부(610-4)가 인공지능 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치(100) 및 외부의 서버(S)가 서로 연동함으로써 데이터를 학습하고 판단하는 예시를 나타내는 도면이다.
도 9를 참조하면, 외부의 서버(S)는 전자 장치(100)가 전송한 오디오 신호 및 수신한 오디오 신호에 기초하여 리턴 오디오 신호 수신 시간 또는 리턴 오디오 신호 수신 확률 중 적어도 하나를 포함하는 히스토리 모델을 학습하기 위한 기준을 학습할 수 있으며, 전자 장치(100)는 서버(S)에 의한 학습 결과에 기초하여 히스토리 모델을 획득할 수 있다.
이 경우, 서버(S)의 모델 학습부(610-4)는 도 7에 도시된 학습부(610)의 기능을 수행할 수 있다. 즉, 서버(S)의 모델 학습부(610-4)는 학습 데이터를 획득하기 위하여 어떤 정보를 이용할지, 이상의 정보를 이용하여 리턴 오디오 신호 수신 시간 또는 리턴 오디오 신호 수신 확률을 어떻게 결정할 것인지에 관한 기준을 학습할 수 있다.
또한, 전자 장치(100)의 응답 결과 제공부(620-4)는 입력 데이터 선택부(620-3)에 의해 선택된 데이터를 서버(S)에 의해 생성된 인공지능 모델에 적용하여 수신된 오디오 신호의 처리 여부를 식별할 수 있다. 또는, 전자 장치(100)의 응답 결과 제공부(620-4)는 서버(S)에 의해 생성된 인공지능 모델을 서버(S)로부터 수신하고, 수신된 인공지능 모델을 이용하여 수신된 오디오 신호의 처리 여부를 식별할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 제1 오디오 신호에 대응되는 동작을 수행한다(S1010). 그리고, 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 제1 센서 장치를 제어한다(S1020). 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 처리 여부를 결정한다(S1030).
여기서, 결정하는 단계(S1030)는 제2 오디오 신호 및 제3 오디오 신호의 유사도를 획득하는 단계 및 유사도가 임계 값 이상이면 제3 오디오 신호를 처리하지 않는 단계를 포함할 수 있다.
그리고, 결정하는 단계(S1030)는 유사도가 임계 값 미만이면 전자 장치의 메모리에 저장된 제1 센서 장치 및 제2 센서 장치의 동작 히스토리에 기초하여, 제3 오디오 신호에서 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 제3 오디오 신호를 처리하는 단계를 더 포함할 수 있다.
여기서, 동작 히스토리는 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 복수의 센서 장치 중 하나의 제어 시점으로부터 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함할 수 있다.
한편, 제어하는 단계(S1020)는 제2 오디오 신호 및 워터마크가 출력되도록 제1 센서 장치를 제어하며, 결정하는 단계(S1030)는 제3 오디오 신호가 워터마크를 포함하면 제3 오디오 신호를 처리하지 않을 수 있다.
여기서, 제어하는 단계(S1020)는 워터마크가 저주파, 고주파 및 비가청음 중 하나로 출력되도록 제1 센서 장치를 제어할 수 있다.
한편, 전자 장치의 메모리에 저장된 제1 센서 장치 및 제2 센서 장치의 동작 히스토리에 기초하여 임계 시간을 획득하는 단계를 더 포함할 수 있다.
여기서, 제1 오디오 신호의 신호 세기 또는 제3 오디오 신호의 신호 세기 중 적어도 하나에 기초하여 임계 시간을 업데이트할 수 있다.
한편, 결정하는 단계(S1030)는 제2 오디오 신호 및 제3 오디오 신호에 기초하여 제3 오디오 신호에 대한 음성 인식 처리 여부를 결정할 수 있다.
그리고, 결정하는 단계(S1030)는 제1 센서 장치의 제어 시점으로부터 임계 시간 이후에 제3 오디오 신호가 수신되면, 제3 오디오 신호를 처리할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 수신된 오디오 신호 중 센서 장치에 의해 출력된 오디오 신호를 제거한 후, 처리 여부를 결정하기 때문에 불필요한 오디오 처리 문제 및 중복 처리 문제를 방지할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 통신 인터페이스; 및
    상기 통신 인터페이스를 통해 복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 상기 제1 오디오 신호에 대응되는 동작을 수행하고,
    상기 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 상기 제1 센서 장치를 제어하며,
    상기 통신 인터페이스를 통해 상기 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 상기 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 처리 여부를 결정하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 오디오 신호 및 상기 제3 오디오 신호의 유사도를 획득하고,
    상기 유사도가 임계 값 이상이면 상기 제3 오디오 신호를 처리하지 않는, 전자 장치.
  3. 제2항에 있어서,
    메모리;를 더 포함하고,
    상기 프로세서는,
    상기 유사도가 상기 임계 값 미만이면 상기 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여, 상기 제3 오디오 신호에서 상기 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 상기 제3 오디오 신호를 처리하는, 전자 장치.
  4. 제3항에 있어서,
    상기 동작 히스토리는,
    상기 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 상기 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 상기 복수의 센서 장치 중 하나의 제어 시점으로부터 상기 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 오디오 신호 및 워터마크가 출력되도록 상기 제1 센서 장치를 제어하며,
    상기 제3 오디오 신호가 상기 워터마크를 포함하면 상기 제3 오디오 신호를 처리하지 않는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 워터마크가 저주파, 고주파 및 비가청음 중 하나로 출력되도록 상기 제1 센서 장치를 제어하는, 전자 장치.
  7. 제1항에 있어서,
    메모리;를 더 포함하며,
    상기 프로세서는,
    상기 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여 상기 임계 시간을 획득하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 오디오 신호의 신호 세기 또는 상기 제3 오디오 신호의 신호 세기 중 적어도 하나에 기초하여 상기 임계 시간을 업데이트하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 음성 인식 처리 여부를 결정하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 상기 제1 센서 장치의 제어 시점으로부터 상기 임계 시간 이후에 상기 제3 오디오 신호가 수신되면, 상기 제3 오디오 신호를 처리하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    복수의 센서 장치 중 제1 센서 장치로부터 제1 오디오 신호가 수신되면 상기 제1 오디오 신호에 대응되는 동작을 수행하는 단계;
    상기 제1 오디오 신호에 대응되는 동작의 수행 결과를 나타내는 제2 오디오 신호가 출력되도록 상기 제1 센서 장치를 제어하는 단계; 및
    상기 제1 센서 장치의 제어 시점으로부터 임계 시간 이내에 상기 복수의 센서 장치 중 제2 센서 장치로부터 제3 오디오 신호가 수신되면, 상기 제2 오디오 신호 및 상기 제3 오디오 신호에 기초하여 상기 제3 오디오 신호에 대한 처리 여부를 결정하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 결정하는 단계는,
    상기 제2 오디오 신호 및 상기 제3 오디오 신호의 유사도를 획득하는 단계; 및
    상기 유사도가 임계 값 이상이면 상기 제3 오디오 신호를 처리하지 않는 단계;를 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 결정하는 단계는,
    상기 유사도가 상기 임계 값 미만이면 상기 전자 장치의 메모리에 저장된 상기 제1 센서 장치 및 상기 제2 센서 장치의 동작 히스토리에 기초하여, 상기 제3 오디오 신호에서 상기 제2 오디오 신호가 제거된 제4 오디오 신호를 처리하거나 상기 제3 오디오 신호를 처리하는 단계;를 더 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 동작 히스토리는,
    상기 복수의 센서 장치 중 하나로 전송된 오디오 신호 및 상기 복수의 센서 장치 중 다른 하나로부터 수신된 오디오 신호 간 유사도에 대한 정보 또는 상기 복수의 센서 장치 중 하나의 제어 시점으로부터 상기 복수의 센서 장치 중 다른 하나로부터 오디오 신호가 수신된 시점 간의 시차 중 적어도 하나를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 제어하는 단계는,
    상기 제2 오디오 신호 및 워터마크가 출력되도록 상기 제1 센서 장치를 제어하며,
    상기 결정하는 단계는,
    상기 제3 오디오 신호가 상기 워터마크를 포함하면 상기 제3 오디오 신호를 처리하지 않는, 제어 방법.
PCT/KR2019/016377 2019-02-11 2019-11-26 전자 장치 및 그 제어 방법 WO2020166796A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19915473.3A EP3863012A4 (en) 2019-02-11 2019-11-26 ELECTRONIC DEVICE AND ASSOCIATED CONTROL PROCEDURE
CN201980087684.4A CN113261055B (zh) 2019-02-11 2019-11-26 电子装置及其控制方法
US17/423,024 US11710498B2 (en) 2019-02-11 2019-11-26 Electronic device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0015605 2019-02-11
KR1020190015605A KR20200098025A (ko) 2019-02-11 2019-02-11 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2020166796A1 true WO2020166796A1 (ko) 2020-08-20

Family

ID=72045291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016377 WO2020166796A1 (ko) 2019-02-11 2019-11-26 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US11710498B2 (ko)
EP (1) EP3863012A4 (ko)
KR (1) KR20200098025A (ko)
WO (1) WO2020166796A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915708B2 (en) * 2021-03-18 2024-02-27 Samsung Electronics Co., Ltd. Methods and systems for invoking a user-intended internet of things (IoT) device from a plurality of IoT devices
US20220321713A1 (en) * 2021-04-02 2022-10-06 Zebra Technologies Corporation Device and Method for Playing Audio at a Connected Audio Device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140038179A (ko) * 2012-09-20 2014-03-28 삼성전자주식회사 음량을 조절하기 위한 방법 및 그 전자 장치
US20160358614A1 (en) * 2015-06-04 2016-12-08 Intel Corporation Dialogue system with audio watermark
US20170046124A1 (en) * 2012-01-09 2017-02-16 Interactive Voice, Inc. Responding to Human Spoken Audio Based on User Input
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
KR20180133523A (ko) * 2017-05-16 2018-12-14 애플 인크. 디지털 어시스턴트의 트리거의 검출

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548681A (en) 1991-08-13 1996-08-20 Kabushiki Kaisha Toshiba Speech dialogue system for realizing improved communication between user and system
KR100552468B1 (ko) 2001-07-19 2006-02-15 삼성전자주식회사 음성인식에 따른 오동작을 방지 및 음성인식율을 향상 할수 있는 전자기기 및 방법
KR100651940B1 (ko) 2004-08-31 2006-12-06 엘지전자 주식회사 음성 인식 장치 및 방법
JP2010164992A (ja) 2010-03-19 2010-07-29 Toshiba Tec Corp 音声対話装置
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
JP2014032364A (ja) 2012-08-06 2014-02-20 Fujitsu Ltd 音処理装置、音処理方法及びプログラム
CN102831894B (zh) 2012-08-09 2014-07-09 华为终端有限公司 指令处理方法、装置和系统
KR102091236B1 (ko) 2012-09-28 2020-03-18 삼성전자 주식회사 전자기기 및 그 제어방법
US8918326B1 (en) 2013-12-05 2014-12-23 The Telos Alliance Feedback and simulation regarding detectability of a watermark message
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US9653075B1 (en) 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
KR101832058B1 (ko) 2016-05-30 2018-04-04 주식회사 엘지유플러스 음성 인식 시스템 및 방법
EP3301673A1 (en) 2016-09-30 2018-04-04 Nxp B.V. Audio communication method and apparatus
KR101883301B1 (ko) 2017-01-11 2018-07-30 (주)파워보이스 인공 지능 자동 화자 식별 방법을 이용하는 개인 맞춤형 음성 인식 서비스 제공 방법 및 이에 사용되는 서비스 제공 서버
US11138972B2 (en) * 2017-12-08 2021-10-05 Google Llc Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
KR20230051619A (ko) * 2018-03-07 2023-04-18 구글 엘엘씨 사용자 지정 디바이스 액션들의 음성 기반 시작을 위한 시스템들 및 방법들
US10685652B1 (en) * 2018-03-22 2020-06-16 Amazon Technologies, Inc. Determining device groups

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046124A1 (en) * 2012-01-09 2017-02-16 Interactive Voice, Inc. Responding to Human Spoken Audio Based on User Input
KR20140038179A (ko) * 2012-09-20 2014-03-28 삼성전자주식회사 음량을 조절하기 위한 방법 및 그 전자 장치
US20160358614A1 (en) * 2015-06-04 2016-12-08 Intel Corporation Dialogue system with audio watermark
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
KR20180133523A (ko) * 2017-05-16 2018-12-14 애플 인크. 디지털 어시스턴트의 트리거의 검출

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3863012A4 *

Also Published As

Publication number Publication date
KR20200098025A (ko) 2020-08-20
CN113261055A (zh) 2021-08-13
US11710498B2 (en) 2023-07-25
EP3863012A4 (en) 2021-12-22
EP3863012A1 (en) 2021-08-11
US20220084540A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
WO2018117428A1 (en) Method and apparatus for filtering video
WO2019039915A1 (en) METHOD FOR ACTIVATION OF VOICE RECOGNITION SERVICE AND ELECTRONIC DEVICE IMPLEMENTING THE SAME
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019164140A1 (en) System for processing user utterance and controlling method thereof
WO2020096255A1 (en) Electronic apparatus and control method thereof
WO2020111919A1 (en) Electronic device and control method thereof
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
EP3539056A1 (en) Electronic apparatus and operation method thereof
EP3642838A1 (en) Method for operating speech recognition service and electronic device and server for supporting the same
WO2020180105A1 (en) Electronic device and control method thereof
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2019164144A1 (ko) 전자 장치 및 이의 자연어 생성 방법
WO2019135534A1 (ko) 전자 장치 및 그의 제어 방법
WO2019050137A1 (en) SYSTEM AND METHOD FOR DETERMINING INPUT CHARACTERS BASED ON SCAN INPUT
WO2020166796A1 (ko) 전자 장치 및 그 제어 방법
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2018203623A1 (en) Electronic apparatus for processing user utterance
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
EP3785180A1 (en) Electronic apparatus and control method thereof
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
EP3545685A1 (en) Method and apparatus for filtering video
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2020060311A1 (en) Electronic device and method for providing or obtaining data for training thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915473

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019915473

Country of ref document: EP

Effective date: 20210507

NENP Non-entry into the national phase

Ref country code: DE