WO2018070639A1 - 전자 장치 및 전자 장치의 오디오 신호 처리 방법 - Google Patents

전자 장치 및 전자 장치의 오디오 신호 처리 방법 Download PDF

Info

Publication number
WO2018070639A1
WO2018070639A1 PCT/KR2017/006793 KR2017006793W WO2018070639A1 WO 2018070639 A1 WO2018070639 A1 WO 2018070639A1 KR 2017006793 W KR2017006793 W KR 2017006793W WO 2018070639 A1 WO2018070639 A1 WO 2018070639A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
target sound
voice
audio signal
electronic device
Prior art date
Application number
PCT/KR2017/006793
Other languages
English (en)
French (fr)
Inventor
신기훈
송명석
유종욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/333,369 priority Critical patent/US11094323B2/en
Priority to EP17860062.3A priority patent/EP3480820B1/en
Publication of WO2018070639A1 publication Critical patent/WO2018070639A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • the present disclosure relates to an electronic device and an audio signal processing method of the electronic device, and more particularly, to an electronic device for processing an audio signal for speech recognition and an audio signal processing method of the electronic device.
  • the spoken voice is received through a microphone and recognized through a voice recognizer, and thus, the target device may be controlled.
  • the performance of the speech recognizer is greatly degraded in a noise environment having a low signal to noise ratio (SNR).
  • SNR signal to noise ratio
  • various signal processing such as microphone-array technology or the like is performed. Pretreatment) techniques can be used.
  • Microphone-array technology uses a plurality of microphones to enhance a sound source in the target direction (user's voice) and to remove a sound source (noise) incident in the other direction.
  • the microphone-array-based preprocessing the noise-removed and speech-enhanced audio signal is transmitted to the speech recognizer, thereby enabling improved speech recognition even in a noisy environment.
  • multi-modal voice preprocessing techniques are used that recognize the user's face through the camera and use the results, but this may be due to privacy violations caused by video exposure or increased prices due to additional equipment. For this reason, the technology of selecting a desired sound source with only a microphone without a camera is emphasized more.
  • the electronic devices are remotely controlled by using a separate electronic device equipped with a microphone-array and a voice recognition function.
  • the controlled electronic device is an audio reproducing device such as a TV or a Bluetooth audio device
  • the audio output of the electronic device may have a high level and directivity compared to general background noise, and thus may significantly reduce voice recognition performance of the electronic device.
  • a voice when a person calls the other party has a characteristic that the energy is larger and the pitch is higher than the voice that is spoken in a state where the other party's attention is caught.
  • the user utterance introduced into the trigger recognizer has a high enough energy and a high pitch, but the user utterance that the word / sentence recognizer should recognize after the trigger recognition may be relatively low in energy. Therefore, the problem that the recognition of the command for controlling the electronic device fails after trigger recognition easily occurs in a noisy environment.
  • the present disclosure has been made to solve the above-described problem, and an object of the present disclosure is to accurately determine a target sound source for speech recognition among a plurality of external sound sources, and to process an audio signal of an electronic device. In providing a method.
  • An electronic device for achieving the above object includes a plurality of microphones for receiving audio signals generated from a plurality of sound sources, a communication unit for communicating with a voice recognition server, and a plurality of microphones received through the plurality of microphones. Determine a direction in which each of the plurality of sound sources exists based on the audio device based on the audio signal, and determine at least one target sound source among the plurality of sound sources based on the holding time of the determined direction of the sound source; And a processor configured to control the communication unit to transmit an audio signal of a target sound source from which the predetermined voice is generated from the at least one target sound source to the voice recognition server.
  • the processor may determine, as a target sound source, at least one sound source generating an audio signal in the same direction within a predetermined time period among the plurality of sound sources.
  • the processor may be further configured to separate the audio signals of the plurality of sound sources from the audio signals received by the plurality of microphones, and perform voice recognition on the separated plurality of audio signals to generate the target voice. You can judge the sound source.
  • the processor recognizes only the audio signal of the target sound source from which the predetermined sound is determined to be generated from the audio signals received from each of the plurality of microphones after determining the target sound source from which the predetermined sound is generated.
  • the communication unit may be controlled to transmit to a server.
  • the processor separates only an audio signal of the target sound source from audio signals received by each of the plurality of microphones, and performs voice recognition on the audio signal of the separated target sound source. It may be determined whether a predetermined voice is generated.
  • the processor may determine a target sound source that generates a voice among the at least one target sound source, and perform voice recognition only on an audio signal of the target sound source that is determined to generate the voice to generate the preset voice.
  • the target sound source can be determined.
  • the processor may determine a direction in which each of the plurality of sound sources smaller than the number of the plurality of microphones exists.
  • the display apparatus may further include a display configured to display a direction in which the target sound source in which the preset voice is generated, is displayed based on the electronic device.
  • the audio signal processing method of the electronic device the step of receiving audio signals generated from a plurality of sound sources through a plurality of microphones, to a plurality of audio signals received through the plurality of microphones Determining a direction in which each of the plurality of sound sources exists based on the electronic device; determining at least one target sound source among the plurality of sound sources based on the determined retention time of the direction of the sound source; and And transmitting an audio signal of the target sound source from which the predetermined voice is generated, from among the at least one target sound source to the voice recognition server.
  • the determining of the at least one target sound source may include determining, as the target sound source, at least one sound source that generates an audio signal in the same direction for less than a predetermined time of the plurality of sound sources.
  • the method may further include separating audio signals of each of a plurality of sound sources from audio signals received by each of the plurality of microphones, and performing voice recognition on the separated plurality of audio signals to determine a target sound source from which the predetermined voice is generated. It may include the step.
  • the transmitting of the target sound source to the voice recognition server may include: determining the target sound source from the audio signal received from each of the plurality of microphones after determining the target sound source from which the predetermined voice is generated. Only an audio signal may be transmitted to the voice recognition server.
  • separating only the audio signal of the target sound source from the audio signals received by each of the plurality of microphones, and performing voice recognition on the audio signal of the separated target sound source to perform the preset voice may include determining whether or not the occurrence of.
  • the method may further include determining a target sound source that generates a voice among the at least one target sound source, and performing voice recognition only on an audio signal of the target sound source that is determined to generate the voice to determine the target sound source where the predetermined voice is generated. Determining may include.
  • the determining of the direction may include determining a direction in which each of the plurality of sound sources smaller than the number of the plurality of microphones exists.
  • the method may further include displaying a direction in which the target sound source from which the predetermined voice is generated is displayed based on the electronic device.
  • a program for performing an audio signal processing method of an electronic device may include storing an audio signal of a target sound source from which a predetermined voice is generated among target sound sources of the electronic device to a voice recognition server.
  • FIG. 1 is a diagram illustrating a voice recognition environment through an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating a configuration of an electronic device according to another embodiment of the present disclosure.
  • FIG. 4 illustrates an example of various modules for an operation of an electronic device according to an embodiment of the present disclosure
  • 5A and 5B are diagrams for describing an operation of an electronic device according to an embodiment of the present disclosure.
  • 6A and 6B are diagrams for describing an operation of an electronic device according to another embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating an audio signal processing method of an electronic device according to an embodiment of the present disclosure.
  • modules such as “module”, “unit”, “part”, and the like are terms for referring to a component that performs at least one function or operation, and such components are referred to as hardware or software. It may be implemented or a combination of hardware and software.
  • a plurality of "modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with a particular specific hardware, and is at least one processor. It may be implemented as (not shown).
  • an audio signal generated from a plurality of external sound sources including a user is received to determine a target sound source (for example, a user), and voice recognition the audio signal of the determined target sound source.
  • the electronic device may include an electronic device transmitting to a server, a voice recognition server performing voice recognition on an audio signal received from the electronic device, and an external device performing an operation corresponding to the recognized voice. Therefore, the user can control the external device through the electronic device.
  • the external device may be various electronic devices that can be controlled through a user's voice, and may be various audio playback devices such as a TV, an electronic picture frame, a Bluetooth audio, a sound bar, but are not limited thereto. And various home appliances such as the like.
  • the voice recognition environment 10 may include an electronic device that receives a voice command spoken by a user 1 through a plurality of microphones 110-1 to 110-4 and transmits the voice command to the cloud server 3. 100, a cloud server 3 performing voice recognition on the audio signal received from the electronic device 100, and a TV 5 performing an operation corresponding to the voice recognized by the cloud server 3. have.
  • the user 1 may utter a voice command "up the volume” while watching the TV 5.
  • the electronic device 100 may receive the audio signal generated from the TV 5 and the audio signal corresponding to the voice spoken by the user through the plurality of microphones 110-1 to 110-4.
  • the electronic device 100 may determine a target sound source (user) among two sound sources (TV and user) based on the received audio signal, and transmit the audio signal generated from the determined target sound source to the cloud server 3.
  • the electronic device 100 determines a direction in which the two sound sources exist based on the electronic device 100 based on the received audio signal, and targets the user's direction based on the holding time of the determined direction of the sound source. You can judge the sound source. Details thereof will be described later.
  • the cloud server 3 performs a voice recognition on the audio signal received from the electronic device 100 and transmits a voice recognition result of "turning up the volume" to the TV 5 or controls corresponding to the recognized voice.
  • the signal may be transmitted to the TV 5, and the TV 5 may increase the volume according to the received voice recognition result or the control signal.
  • the cloud server 3 may transmit a voice recognition result or a control signal corresponding to the recognized voice to the electronic device 100 without transmitting the result to the TV 5, in which case the TV 5 may be electronic.
  • the device 100 may receive a voice recognition result or a control signal to increase the volume.
  • the user may utter a control command after uttering a predetermined word or sentence, that is, a trigger word or sentence.
  • the trigger word is a word for notifying the electronic device 100 that the user will control an external device such as the TV 5 through voice.
  • the trigger word may be a word or a sentence set by a designer when the electronic device 100 is manufactured.
  • the present invention is not limited thereto and may be set by the user of the electronic device 100 according to an embodiment.
  • the trigger word is a word that calls the electronic device 100 such as "ABC”
  • the user first utters a predetermined voice called “ABC” and then the TV 5 such as “turn up the volume”. Will trigger a control command.
  • the electronic device 100 first plays an audio signal corresponding to "ABC” uttered by the user through the plurality of microphones 110-1 to 110-4 and content being played on the TV 5 at the time of "ABC” utterance.
  • the audio signal may be received together, and based on the received audio signal, the direction in which the two sound sources (user and TV) respectively exist based on the electronic device 100 may be determined.
  • the electronic device 100 may determine a target sound source (user) among the two sound sources based on the determined time for maintaining the user direction and the TV direction, and perform voice recognition on the audio signal of the target sound source.
  • the electronic device 100 subsequently receives an audio signal received through the plurality of microphones 110-1 to 110-4. From the audio signal corresponding to the user's "up the volume” utterance and the audio signal of the content being played on the TV 5 at the time of the "up the volume” utterance, the audio signal of the target sound source from which the predetermined voice was generated, ie, the user's utterance The audio signal corresponding to the corresponding "volume up” may be transmitted to the cloud server 3.
  • the electronic device 100 may include a plurality of microphones 110-1 to 110-n, a processor 120, and a communication unit 130.
  • the plurality of microphones 110-1 to 110-n may receive audio signals generated from a plurality of sound sources.
  • the plurality of sound sources exist within a predetermined range from the electronic device 100 and generate an audio signal, and are a user of the electronic device 100, a third party other than the user of the electronic device 100, and the vicinity of the electronic device 100.
  • Audio playback devices such as TVs, electronic picture frames, Bluetooth audio, sound bars, and the like.
  • the plurality of microphones 110-1 to 110-n may be provided in the electronic device 100 in the form of sound waves generated in an external sound source, regardless of terms such as a microphone array, an array microphone, a multichannel microphone, a multiple microphone, and the like. It refers to a plurality of microphones that can receive an audio signal and output it as an electrical signal.
  • the number of microphones may be four, but the present invention is not limited thereto, and the number of microphones and a location where each microphone is disposed in the electronic device 100 may be determined experimentally by the manufacturer of the electronic device 100.
  • the microphone array may be configured by mixing a directional microphone, an omnidirectional microphone, or a directional microphone and an omnidirectional microphone.
  • the communicator 130 may communicate with a voice recognition server (not shown).
  • the voice recognition server (not shown) is a server on a network equipped with a voice recognition function, and may be, for example, a cloud server 3 as in the example of FIG. 1, but is not limited thereto. It may be a server.
  • the communication unit 130 may communicate with an external device (for example, the TV 5 in the example of FIG. 1) that is a control target through the electronic device 100.
  • the communication unit 130 may include at least one communication module of a short range wireless communication module (not shown) and a wireless LAN communication module (not shown).
  • the short range wireless communication module is a communication module for wirelessly performing data communication with an external device located in a short range, and may be, for example, a Bluetooth module, a ZigBee module, or an NFC module.
  • the wireless LAN communication module is a module that is connected to an external network according to a wireless communication protocol such as Wi-Fi, IEEE, etc. to communicate with an external server.
  • the communication unit 130 is connected to the mobile communication network according to various mobile communication standards such as 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), Long Term Evoloution (LTE), etc.
  • the module may further include a wired communication module (not shown) such as High-Definition Multimedia Interface (HDMI), Universal Serial Bus (USB), Institute of Electrical and Eletronics Engineers (IEEE) 1394, RS-232, and the like. You may.
  • the processor 120 controls the overall operation of the electronic device 100.
  • the processor 120 determines a direction in which each of the plurality of sound sources exists based on the electronic device based on the plurality of audio signals received through the plurality of microphones 110-1 to 110-n.
  • At least one target sound source may be determined among the plurality of sound sources based on the holding time in the direction of the sound source.
  • the processor 120 generates angle information for each frame from the plurality of audio signals received through the plurality of microphones 110-1 to 110-n, and normalizes them to determine a direction in which each of the plurality of sound sources exists. can do.
  • the processor 120 analyzes phase information for each sound source of a plurality of audio signals received through the plurality of microphones 110-1 through 110-n to determine a plurality of the plurality of audio signals. The direction in which each sound source exists may be determined. As such, the processor 120 may determine a direction in which each sound source for generating an audio signal exists, that is, a direction in which an audio signal generated from each sound source arrives at the electronic device 100 based on the electronic device 100. Can be.
  • the processor 120 may determine at least one target sound source based on a time in which the direction in which each sound source is determined as described above is maintained.
  • the processor 120 may determine, as the target sound source, at least one sound source that generates an audio signal in the same direction for less than a predetermined time of the plurality of sound sources.
  • the processor 120 when a trigger word for voice recognition is preset or a control command list for controlling an operation of an external device (not shown) is preset, the processor 120 triggers a trigger word.
  • the spoken length of the control command that is, the preset voice length, may be used to determine the target sound source.
  • the processor 120 may use the audio signal generated from the sound source existing in each direction to determine the target sound source whether the preset voice is maintained for a time that is generally spoken.
  • the direction in which the sound source exists is maintained to mean that the direction in which the audio signal generated from the sound source comes to the electronic device 100 remains the same for a preset time. It may also mean that the generation of the audio signal in the sound source is maintained for a predetermined time.
  • the processor 120 determines the direction in which each of the plurality of sound sources exists, there are fewer sound sources than the number of the microphones 110-1 to 110-n. You can determine the direction to do. For example, when the number of the microphones 110-1 to 110-n, that is, n is 4, the processor 120 may determine a direction in which three or less sound sources exist. However, this is only one example and the embodiment is not limited thereto.
  • the processor 120 since the processor 120 determines the target sound source based on the holding time in the direction in which the sound source exists, it may be determined as the target sound source even when the user does not speak the voice. However, as will be described later, the processor 120 may determine a target sound source that finally generates an audio signal to be transmitted to a speech recognition server (not shown) using the trigger word recognition result, thereby further increasing the accuracy of speech recognition. It becomes possible.
  • the processor 120 may control the communication unit 130 to transmit the audio signal of the target sound source from which the predetermined voice is generated among the at least one target sound source determined as described above to a voice recognition server (not shown).
  • the preset voice means a voice corresponding to a trigger word or trigger sentence.
  • the processor 120 may determine the target sound source in which the predetermined voice is generated, at least among the target sound sources. For example, the processor 120 separates audio signals of each of a plurality of sound sources from audio signals received by each of the plurality of microphones 110-1 through 110-n, and performs voice recognition on the plurality of separated audio signals. The target sound source in which the predetermined voice is generated may be determined based on the voice recognition result.
  • the processor 120 determines the audio of the target sound source determined from the audio signals received by the plurality of microphones 110-1 to 110-n, respectively. Only the signal may be separated, and voice recognition may be performed on the audio signal of the separated target sound source to determine whether a predetermined voice is generated. In this case, since only one audio signal is separated and speech recognition is performed, the amount of computation of the processor 120 may be reduced. Detailed description of separating the audio signal will be described in detail with reference to FIGS. 4 and 5.
  • the processor 120 determines that each of the plurality of microphones 110-1 through 110-n after determining the target sound source from which the predetermined sound is generated.
  • the communication unit 130 may be controlled to transmit only the audio signal of the target sound source, which is determined to have been generated from the audio signal received from the voice recognition server (not shown).
  • the processor 120 is configured to generate audio of the target sound source from which the predetermined voice is generated from audio signals received from each of the plurality of microphones 110-1 to 110-n after determining the target sound source from which the predetermined voice is generated. It is also possible to separate only the signal and transmit it to a voice recognition server (not shown), or to separate the audio signal of each of a plurality of sound sources and to transmit only the audio signal of the target sound source from which a predetermined voice is generated to the voice recognition server (not shown). It may be.
  • the processor 120 may operate in different ways according to the number of the at least one target sound sources determined as described above. For example, when there are a plurality of target sound sources, the audio signals of the plurality of sound sources are separated from the audio signals received by the plurality of microphones 110-1 through 110-n, respectively, and the voices of the separated plurality of audio signals are used. Recognition is performed to determine a target sound source from which a preset voice is generated, and when there is only one target sound source, only the audio signal of the target sound source is separated from the audio signals received by each of the plurality of microphones 110-1 to 110-n. The voice recognition may be performed on the separated audio signal of the target sound source to determine whether a predetermined voice is generated.
  • the processor 120 may determine a target sound source for generating voice among at least one target sound source determined as described above, and determine the target sound source for determining the voice. Speech recognition may be performed on only the audio signal to determine a target sound source in which a predetermined voice is generated.
  • the processor 120 separates audio signals of each of a plurality of sound sources from audio signals received from each of the plurality of microphones 110-1 to 110-n, and mel-frequency cepstral from each of the separated audio signals.
  • Voice signal template extracted at least one feature of Coefficient (LFCC), Linear-Frequency Cepstral Coefficient (LFCC), Linear Prediction Coefficient (LPC), Frequency Envelope, and Zero-Crossing Rate (ZCR), and the extracted at least one feature It is possible to determine whether each of the separated audio signals is a voice by comparing with the features of.
  • LFCC Linear-Frequency Cepstral Coefficient
  • LPC Linear Prediction Coefficient
  • ZCR Zero-Crossing Rate
  • the processor 120 separates an audio signal of a sound source determined as a target sound source from audio signals received by each of the plurality of microphones 110-1 through 110-n, and separates the audio signal from the separated audio signal. Extracting at least one feature of MFCC, LFCC, LPC, frequency envelope, and ZCR, and comparing the extracted at least one feature with that of the previously learned speech signal template to determine whether the audio signal of the separated target sound source is speech. You may.
  • the processor 120 may perform voice recognition only on the audio signal of the target sound source that is determined to generate the voice to determine the target sound source where the preset voice is generated.
  • the processor 120 since the processor 120 determines the target sound source based on the holding time in the direction in which the sound source exists, the processor 120 may be determined as the target sound source even if it is not the voice of the user. However, as described above, by performing voice recognition only on the audio signal of the target sound source that is determined to generate human voice, the amount of computation of the processor 120 can be reduced.
  • the electronic device 300 may include a plurality of microphones 310, a processor 320, a communication unit 330, a storage unit 340, and a display unit 350.
  • the same operation of the same configuration as described above with reference to FIG. 2 will not be repeated.
  • the display unit 350 may display a direction determined as a user direction through trigger word recognition based on the position of the electronic device 300.
  • the display unit 350 may display a direction in which the target sound source in which the predetermined voice is generated, as described above with reference to FIG. 2, exists.
  • the display unit 350 may include a plurality of LEDs.
  • the plurality of LEDs may be arranged to surround the outside of the electronic device 300 at a predetermined interval.
  • the processor 320 controls the display unit 350 to turn on or blink the LED disposed closest to the corresponding direction among the plurality of LEDs, and then the user direction. Can be displayed.
  • this is only one example, and the position or display method of the plurality of LEDs may be changed to be able to display a specific direction based on the position of the electronic device 300.
  • the display unit 350 may include a display.
  • the processor 320 may display various GUIs or texts on a display to display a direction in which a target sound source in which a predetermined voice is generated based on the position of the electronic device 300 exists.
  • the display includes organic light emitting diodes (OLEDs), liquid crystal display panels (LCD panels), plasma display panels (PDPs), vacuum fluorescent displays (VFDs), and fields of view (FED).
  • OLEDs organic light emitting diodes
  • LCD panels liquid crystal display panels
  • PDPs plasma display panels
  • VFDs vacuum fluorescent displays
  • FED fields of view
  • EmissionDisplay ELD (Electro Luminescence Display) may be implemented by various display technologies, and in some embodiments, may be implemented as a touch screen including a touch panel.
  • the electronic device 300 may include a speaker (not shown).
  • the processor 320 may output a voice to inform the user of the direction in which the target sound source in which the preset voice is generated based on the electronic device 300 exists.
  • the storage unit 340 may store O / S, various programs, and data for the operation of the electronic device 300.
  • the storage unit 340 may include an internal memory or an external memory.
  • the internal memory may include at least one of volatile memory and non-volatile memory.
  • the volatile memory may be, for example, a dynamic RAM (DRAM), a static RAM (SRAM), a synchronous dynamic RAM (SDRAM), or the like.
  • Non-volatile memory is, for example, one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EPEROM), mask ROM, flash ROM, NAN flash memory, NOR flash memory, etc.
  • the internal memory may be a solid state drive (SSD).
  • the external memory may include a flash drive, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (XD), or a Memory Stick. .
  • the external memory may be functionally connected to the electronic device 300 through various interfaces.
  • the electronic device 300 may further include a storage device such as a hard drive.
  • the storage unit 340 may include various modules for operating the electronic devices 100 and 300 according to various embodiments of the present disclosure.
  • the storage unit 340 includes a multiple sound source localization module (MSSL) 341, a target direction identification module (TDI) 343, and a sound source separation module (Geometric Source Separation). module: GSS 345, End-Point Detection module (EPD) 347, and Wake-Up Word recognition module (WUW) 349.
  • MSSL multiple sound source localization module
  • TDI target direction identification
  • WUW Wake-Up Word recognition module
  • the multi-source location tracking module 341 includes a plurality of microphones 310, for example, audio signals generated by M sound sources from the audio signals received and output by the N-channel multi-microphone array, to the electronic device 300.
  • M sound source direction information may be generated by estimating a direction to arrive, and the generated M sound source direction information may be transmitted to the destination direction identification module 343.
  • N may be a natural number larger than M.
  • a microphone-array technique may be applied to the multi-source location tracking module 341. Specifically, the sound source position tracking module 341 using the microphone-array technique estimates the input direction of the sound source from the audio signals input to the plurality of microphones 310, and provides an angle estimation module for each frame (not shown). And a normalization module (not shown).
  • the frame angle estimation module (not shown) generates the target direction angle information in units of frames from the input audio signal.
  • the normalization module (not shown) receives the target direction angle information in units of frames, estimates the most likely direction within a preset search range, and normalizes the angle information normalized to one sound source, that is, the direction of sound source arrival. Generate information.
  • the multi-source location tracking module 341 using the microphone-array technology may be configured by repeating the aforementioned sound source location tracking M times in order to estimate the locations of the M sound sources.
  • the direction of the first sound source is generated by applying the aforementioned sound source position tracking method to the N-channel multi-audio input signal received through the N-channel multi-microphone array, and again described for the same N-channel multi-audio input signal.
  • the direction of arrival of the M sound sources can be estimated by applying the direction tracking method of one sound source to generate the direction of the second sound source.
  • the sound source position tracking module 341 divides an entire frequency of an audio signal input through the plurality of microphones 310 into several bands and divides multiple audio input signals corresponding to each band. Analysis may generate phase information for each sound source, and the direction of arrival of each sound source may be estimated using the generated phase information for each sound source. Specifically, the sound source position tracking module 341 generates a histogram by accumulating the phase information of the generated sound source for each band, and inversely combines the directions of the sound sources that may constitute the histogram to determine the direction of arrival of the plurality of sound sources. Can be traced
  • the target direction identification module 343 receives the M sound source direction information generated by the multi-source location tracking module 341 and the trigger word recognition result of the trigger word recognition module 349 and receives the target sound source (or the target speaker, Primary Target: PT) can be detected, and target sound source direction information can be generated.
  • the target sound source direction information may indicate whether the sound source direction is a target sound source or a noise sound source in M sound source direction information generated by the multi-source location tracking module 341 described above. Index information may be added.
  • the target sound source direction information may include index information indicating the number of target sound sources in the M sound source direction information generated by the multi-sound source position tracking module 341 described above. It may be added.
  • the first index may be assigned to the corresponding direction. If two or more voices are spoken, the corresponding direction may be placed on the top of the direction information list and an index number 1 may be assigned to the direction in which the trigger word is recognized. After that, by transmitting only the audio signal of the sound source assigned the first index to the speech recognition server, a command (or sentence) spoken by the user among the M sound sources separated after the trigger word recognition may be selected and transmitted to the speech recognition server.
  • the target direction identification module 343 may generate the target sound source direction information based on a duration of each sound source direction information. Specifically, the objective direction identification module 343 monitors the change of the direction (angle) for a predetermined time (sampling time or multiples thereof) on the M sound source direction information received from the multi-source location tracking module 341, and the angle You can calculate the time the angle of the sound source is maintained at the time when is changed.
  • the sound source music, TV output, etc.
  • the audio output of the external device is longer than the speech utterance, so that the sound source shorter than the predetermined time is determined as the target sound source to generate target sound source direction information. can do.
  • the trigger word or the command may be used to determine the target sound source in consideration of the length of the voice of the trigger word or the command.
  • the sound source separation module 345 generates an N-channel multi-audio input signal received through the N-channel multi-microphone array, M sound source direction information generated by the multi-source location tracking module 341, and a destination direction identification module 343.
  • the target sound source direction information is input to generate separate audio signals for M different sound sources.
  • a linear delay-and-sum beamformer assuming a far-field response from each sound source to each microphone of the N microphone-arrays.
  • the filter coefficients may be modeled, and a separation filter matrix that separates sound in each direction from the microphone-array signals may be obtained by estimating an inverse of the response matrix composed of the sound source-microphone.
  • the inverse matrix estimation method includes a second-order source separation method by covariance between microphone signals of a predetermined interval or diagonalization of a correlation matrix, and a higher-order source separation method based on independent component analysis (Infomax-ICA).
  • Infomax-ICA independent component analysis
  • the audio signal for each sound source separated by the above method emphasizes sound in the corresponding direction, but includes sound in the other direction and ambient noise through channel leakage during the separation process.
  • the sound source separation module 345 further removes this noise by applying a post-filter for every M separation results.
  • the stationary noise variance is estimated using noise estimation techniques such as MCRA (Minima-Controlled Recursive Average), and the leakage noise variance is obtained by multiplying the other separation results by a certain amount of weight, and then OM- Through a decision directed speech estimation technique such as Optimal Modified Log-spectral Amplitude (LSA), a final gain function that extracts only a sound in a corresponding direction from each separated channel can be calculated.
  • MCRA Minimum-Controlled Recursive Average
  • LSA Optimal Modified Log-spectral Amplitude
  • the endpoint detection module 347 receives M separated audio signals generated by the sound source separation module 345, generates M separated speech signals, and transmits the M separated speech signals to the trigger word recognition module 349.
  • the endpoint detection module 347 detects a noise section (frame) and a voice section (frame) for the separated M audio signals to generate each of the separated voice signals, and from the time when the voice starts The audio signal until the end of the voice is output as a voice signal.
  • the endpoint detection module 347 determines the point having the energy or entropy above the threshold value as the starting point of the voice signal by using the feature.
  • the opposite case can be determined as the end point of the voice signal.
  • the endpoint detection module 347 may perform voice endpoint detection using energy or other voice features of a frequency band in which voice exists in consideration of changes in the voice frequency band.
  • the endpoint detection module 347 receives M separate audio signals generated by the sound source separation module 345 and generates K voice signals (K ⁇ M) to generate trigger words. May be passed to the recognition module 349. That is, by analyzing the characteristics of the received separated audio signal, only the K sound sources identified as speech may be transmitted to the trigger word recognition module 349, thereby reducing the amount of computation and improving noise response.
  • the endpoint detection module 347 extracts features from the input separated audio signal and compares the extracted feature vector with a feature vector of a template of a pre-learned voice signal to determine voice or non-voice according to the similarity. can do.
  • the characteristics of the audio signal may include a mel-frequency cepstral coefficient (MFCC), a linear-frequency cepstral coefficient (LFCC), a linear prediction coefficient (LPC), a frequency envelope, and a zero-crossing rate (ZCR).
  • the trigger word recognition module 349 generates a trigger word recognition result from the M separated speech signals generated by the endpoint detection module 347 and transmits the trigger word recognition result to the destination direction identification module 343.
  • the trigger word recognition result may be a score indicating whether or not the corresponding speech signal is the audio signal that uttered the trigger word or the probability (probability) that the corresponding speech signal is the audio signal which uttered the trigger word.
  • the trigger word recognition result may include a channel number (or direction information of the separated sound source) at the time when the trigger recognition result is generated.
  • the processor 320 controls the overall operation of the electronic device 300.
  • the processor 320 may perform an operation performed by each module by reading the modules stored in the storage unit 340 described above.
  • each module or combination of modules shown in FIG. 4 described above may be implemented in hardware of another processor or SoC type separate from the processor 320.
  • FIG. 5A illustrates an operation of the electronic device 100 or 300 according to an embodiment of the present disclosure.
  • Each of the modules 341, 343, 345, 347, and 349 illustrated in FIG. 5A performs operations of the modules 341, 343, 345, 347, and 349 described above with reference to FIG. 4.
  • the N channel microphone array receives N audio signals such as X 1 to X N in multiple sound source positions. Transfer to tracking module 341 and sound source separation module 345.
  • the multi-source location tracking module 341 estimates the direction of arrival of the sound sources from the N audio signals output from the N-channel microphone array, and ⁇ 1 M pieces of sound source direction information, such as ⁇ M , are generated and transmitted to the destination direction identification module 343.
  • the target direction identification module 343 detects the target sound source based on the holding time of the M sound source direction information generated by the multi-sound source position tracking module 341 and the trigger word recognition result delivered from the trigger word recognition module 343. , To generate target sound source direction information such as ⁇ ⁇ (1) to ⁇ ⁇ (M) with index information added to the sound source direction information.
  • the sound source separation module 345 receives N audio signals transmitted from the N-channel microphone array and target sound source direction information generated by the multi-source location tracking module 341 and the target direction identification module 343, and receives M audio signals.
  • M audio signals such as S 1 to S M , which are separated for different sound sources, are generated and transmitted to the endpoint detection module 347.
  • the endpoint detection module 347 receives M separated audio signals generated by the sound source separation module 345 and receives S ′ 1.
  • M separate speech signals, such as S ' M are generated and transmitted to the trigger word recognition module 349.
  • the trigger word recognition module 349 generates a trigger word recognition result from the M separated speech signals generated by the endpoint detection module 347 and transmits the trigger word recognition result to the destination direction identification module 343.
  • the separated S ' 1 To S ' M The separated voice signal of index 1 of the signal is transmitted to the voice recognition server.
  • the target sound source identification module 343 may perform another target sound source corresponding to the separated speech signal recognized as the trigger word.
  • the first index is added to the direction, and accordingly, the separated voice signal in the direction in which the trigger word is recognized, that is, the direction of the sound source newly added with the first index, is transmitted to the voice recognition server.
  • FIG. 5B is a diagram illustrating an operation of the electronic device 100 or 300 according to another embodiment of the present disclosure. While the operations of the electronic devices 100 and 300 as shown in FIG. 5A are to correspond to when there are a plurality of voices, the operations of the electronic devices 100 and 300 as shown in FIG. 5B may correspond to when there is one voice. It is for.
  • the sound source separation module 345, the endpoint detection module 347, and the trigger word recognition module 349 should be driven in the form of a multi-thread (or a single thread repetitive operation). Increasing the amount of computation can be serious. Therefore, in order to prevent this, the electronic devices 100 and 300 may operate in the same manner as in FIG. 5B.
  • the object direction identification module 343 determines one target sound source direction, and the sound source separation module 345 separates only the audio signal S 1 in the determined one target sound source direction to detect the endpoint detection module 347. Since the endpoint detection module 347 transmits only one voice signal to the trigger word recognition module 349 such as S ′ 1 , the amount of calculation can be reduced.
  • the electronic device 100 or 300 when there is one target sound source determined by the destination direction identification module 343, the electronic device 100 or 300 operates as shown in FIG. 5B, and the determined target sound source is Only when two or more may operate as shown in Figure 5a.
  • the object direction identification module 343 may determine which of the operation methods of FIG. 5A and 5B operates.
  • the electronic devices 100 and 300 operate in the method of FIG. 5A on the assumption that there are a plurality of voices during an initial operation, and the target sound source determined by the destination direction identification module 343 is triggered. If it is recognized as a word, it may operate from the method of FIG. 5B thereafter.
  • the channel number (or the direction of the separated sound source) at the time when the previous trigger recognition result is generated is determined as the target sound source direction, It can also work in a way. In this case, all events occurring within a predetermined range near the target sound source direction may be determined as the target sound source. Thereafter, if no speech is continuously detected for more than a predetermined time, it may time out and operate according to the method of FIG.
  • FIG. 6A is a diagram illustrating an operation of the electronic device 100 or 300 according to another embodiment of the present disclosure.
  • the object direction identification module 343 receives M sound source direction information
  • the method of FIG. 6A indicates that the object direction identification module 343 receives M separated audio signals. Operation method that receives input.
  • the sound source separation module 345 may generate M sound source direction information ( ⁇ 1 ) generated by the multi-source location tracking module 341. To ⁇ M ) to generate separate audio signals S 1 to S M for M different sound sources. The generated M separated audio signals and M sound source direction information are transmitted to the destination direction identification module 343.
  • the target direction identification module 343 detects the target sound source by analyzing the input M separated audio signals and the M sound source direction information, and separates the separated audio signals S ? (1) to S to which the target sound source direction information is added. sigma (M) ) may be generated and passed to the endpoint detection module 347. At this time, the target direction identification module 343 generates the separated audio signals S ? (1) to S ? (M) to which the target sound source direction information is added, based on the duration of the respective sound source direction information. can do. In this case, the generated audio signals S ⁇ (1) to S ⁇ (M) to which the target sound source direction information is added are added with index information indicating whether the separated audio signal is voice or noise, or the corresponding sound source. Index information indicating the direction of the target sound source is added, or the sound source order of the M separate audio signals is changed according to a predetermined appointment (for example, voice 1, voice 2, noise 1, noise 2). It may be.
  • a predetermined appointment for example, voice 1, voice 2, noise 1, noise 2).
  • the endpoint detection module 347 receives M separated audio signals S ⁇ (1) to S ⁇ (M) to which target sound source direction information generated by the target direction identification module 343 is added, and M separate signals.
  • the voice signal is generated and transmitted to the trigger word recognition module 349.
  • the separated voice signal generated at this time detects a noise section (frame) and a voice section (frame) from the separated audio signal inputted by the endpoint detection module 347, and the time point at which the voice ends from the time at which the voice starts. Up to audio signals may be output as voice signals.
  • the endpoint detection module 347 may analyze the characteristics of the input separated audio signal and transmit only K sound sources identified as voice to the trigger word recognition module 349. That is, after the target direction identification module 343 first selects a sound source based on the direction holding time of the sound source, the endpoint detection module 347 applies a speech / non-voice classification technique based on audio signal characteristic analysis. Finally, the target sound source direction can be selected.
  • 6B is a diagram illustrating an operation of the electronic device 100 or 300 according to another embodiment of the present disclosure.
  • 6A is a method for coping with a plurality of voices
  • the operation method of FIG. 6B is a method for coping with one voice.
  • the object direction identification module 343 of the electronic devices 100 and 300 is generated by the audio signals S 1 to S M and the multiple sound source location tracking module 341 separated by the sound source separation module 345.
  • One sound source direction information ( ⁇ 1 To ⁇ M )
  • only one audio signal determined to be closest to the voice may be determined and output as the audio signal S ⁇ (1) of the target sound source.
  • the method of determining the target sound source may be a method based on a duration of each inputted separate sound source direction, or a method of identifying a sound source determined as a voice by analyzing characteristics of the input separate sound source as the target sound source.
  • the endpoint detection module 347 also outputs only one voice signal S ′ ⁇ (1 ) to the trigger word recognition module 349. Therefore, the amount of calculation can be reduced.
  • the voice recognition of the trigger word is performed by the electronic devices 100 and 300, but for the user voice command for controlling an external device after the trigger word recognition, the electronic device 100 and 300 transmits the corresponding audio signal to the voice recognition server.
  • the voice recognition is performed by the voice recognition server.
  • the embodiment is not limited thereto, and when the high performance voice recognition module (not shown) is mounted on the electronic devices 100 and 300, the processors 120 and 320 may use the mounted voice recognition module (not shown).
  • the processors 120 and 320 may use the mounted voice recognition module (not shown).
  • the electronic device without using a voice recognition server
  • the 100 and 300 may directly control the operation of the external device.
  • FIG. 7 is a flowchart illustrating an audio signal processing method of an electronic device according to an embodiment of the present disclosure. In the description of FIG. 7, descriptions overlapping with the above description will be omitted.
  • the electronic devices 100 and 300 may be configured based on the plurality of audio signals received through the plurality of microphones.
  • the direction in which each of the plurality of sound sources exists based on the electronic devices 100 and 300 may be determined (S720).
  • the electronic devices 100 and 300 may determine a direction in which each of a plurality of sound sources smaller than the number of microphones exists.
  • the electronic devices 100 and 300 may determine at least one target sound source from among the plurality of sound sources based on the determined holding time in the direction of the sound source (S730). In detail, the electronic devices 100 and 300 may determine, as the target sound source, at least one sound source that generates an audio signal in the same direction within a predetermined time period among the plurality of sound sources.
  • the electronic device 100 or 300 may transmit an audio signal of the target sound source from which the preset voice is generated among the at least one target sound source to the voice recognition server in operation S740.
  • the electronic device 100 or 300 separates audio signals of each of a plurality of sound sources from audio signals received from each of the plurality of microphones, and voices a plurality of separated audio signals.
  • the recognition may determine the target sound source where the preset voice is generated.
  • the electronic device 100 or 300 when there is only one target sound source, the electronic device 100 or 300 separates only the audio signal of the target sound source from the audio signals received by each of the plurality of microphones, and separates the target sound source.
  • Voice recognition may be performed on the audio signal to determine whether the preset voice is generated.
  • the electronic device 100 or 300 determines a target sound source for generating voice among at least one target sound source, and only for an audio signal of the target sound source determined to generate voice. Speech recognition may be performed to determine a target sound source in which a predetermined voice is generated.
  • the electronic device 100 or 300 determines only the audio signal of the target sound source from which the predetermined sound is generated from the audio signals received from each of the plurality of microphones after determining the target sound source from which the predetermined voice is generated. Can be sent to a voice recognition server.
  • the electronic devices 100 and 300 may display a direction in which a target sound source in which a predetermined voice is generated based on the electronic devices 100 and 300 exists.
  • a plurality of micro-input audio signals are separated according to the direction in which the sound source comes, and the separated sound sources are delivered to the voice recognizer in the order of the high possibility of being voiced. Stable speech recognition performance can be obtained even in the existing environment.
  • the direction of speech can be predicted based on the persistence of the direction of the sound source, so that the voice command can be determined with a small amount of calculation.
  • the discrimination ability of the non-voice noise may be increased by analyzing the characteristics of the separated sound source to determine whether the voice is present.
  • the previous trigger word recognition result generated by the speech recognizer may be used in identifying the direction in which the speech comes, it is possible to more effectively acquire the speech of the user whose speech level is lowered after the trigger speech.
  • an operation of a processor of the electronic device or audio signal processing methods software of the electronic device may be generated and mounted on the electronic device.
  • a non-transitory computer readable medium may be installed to store a program for performing an audio signal processing method of an electronic device, the method including transmitting the same.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently rather than a medium storing data for a short time such as a register, a cache, a memory, and the like, and can be read by the device.
  • the above-described various middleware or programs may be stored and provided in a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 복수의 음원에서 발생되는 오디오 신호를 수신하는 복수의 마이크, 음성 인식 서버와 통신하는 통신부 및 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 전자 장치를 기준으로 복수의 음원 각각이 존재하는 방향을 판단하고, 판단된 음원의 방향의 유지 시간에 기초하여 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하고, 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하도록 통신부를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 전자 장치의 오디오 신호 처리 방법
본 개시는 전자 장치 전자 및 전자 장치의 오디오 신호 처리 방법에 관한 것으로, 보다 상세하게는 음성 인식을 위해 오디오 신호를 처리하는 전자 장치 및 전자 장치의 오디오 신호 처리 방법에 관한 것이다.
최근 사물 인터넷 등이 발달함에 따라 사용자의 음성을 통해 각종 전자 기기들을 제어하는 기술이 중요해지고 있다.
일반적으로, 사용자가 특정 기기를 제어하기 위한 음성을 발화하면, 발화된 음성은 마이크를 통해 수신되어 음성 인식기를 통해 인식되고, 이에 따라, 대상 기기가 제어될 수 있다.
이때, 신호대 잡음 비(signal to noise ratio: SNR)가 낮은 잡음 환경에서는 음성 인식기의 성능이 크게 저하되게 되는데, 음성 인식기의 잡음에 대한 저항력을 향상시키기 위해 마이크-어레이 기술 등과 같은 다양한 신호 처리(혹은 전처리) 기술이 사용될 수 있다.
마이크-어레이 기술은 다수의 마이크를 사용하여 목적 방향의 음원(사용자의 음성)을 강화하고 그 외의 방향에서 입사하는 음원(잡음)을 제거하는 기술이다. 이와 같은, 마이크-어레이 기반의 전처리에 의해 잡음이 제거되고 음성이 강화된 오디오 신호가 음성 인식기로 전달되므로, 잡음 환경에서도 향상된 음성 인식이 가능해 질 수 있다.
그 밖에, 카메라를 통해 사용자의 얼굴을 인식하고, 그 결과를 활용하는 멀티 모달(multi-modal) 음성 전처리 기법이 사용되기도 하지만, 이는 영상 노출에 의한 프라이버시 침해 문제나 추가적인 장비 사용으로 인한 가격 상승 등의 이유로 카메라없이 마이크만으로 목적하는 음원을 선별하는 기술이 보다 강조되고 있다.
한편, 사용자가 음성을 통해 각종 전자 기기들을 제어할 때, 마이크-어레이 및 음성 인식 기능을 탑재한 별도의 전자 장치를 이용하여 전자 기기들을 원격 제어하는 시나리오가 있을 수 있다. 이때, 제어되는 전자 기기가 TV나 블루투스 오디오 장치 등과 같은 오디오 재생 기기일 경우, 그 오디오 출력은 일반적인 배경 잡음에 비해 레벨이 높고 방향성이 강하기 때문에 전자 장치의 음성 인식 성능을 크게 저하시킬 수 있다.
또한, 일반적으로 사람이 상대방을 부를 때의 음성이 상대방의 주목을 끈 상태에서 말하는 음성보다 에너지가 크고 피치가 높은 특성이 있다. 이를 음성 인식의 관점에서 보면, 트리거 인식기로 유입되는 사용자 발화는 에너지가 충분히 크고 피치가 높지만, 트리거 인식 이후 단어/문장 인식기가 인식해야 하는 사용자 발화는 상대적으로 에너지가 작을 수 있음을 의미한다. 따라서, 트리거 인식 이후 전자 기기 제어를 위한 명령어의 인식이 실패하는 문제가 잡음 환경에서 쉽게 일어나게 된다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 복수의 외부 음원 중 음성 인식을 위한 타겟 음원을 정확히 판단하여 효과적으로 음성을 인식할 수 있는 전자 장치 및 전자 장치의 오디오 신호 처리 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 복수의 음원에서 발생되는 오디오 신호를 수신하는 복수의 마이크, 음성 인식 서버와 통신하는 통신부 및 상기 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 상기 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하고, 상기 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하고, 상기 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 상기 음성 인식 서버로 전송하도록 상기 통신부를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단할 수 있다.
또한, 상기 프로세서는, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고, 상기 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다.
또한, 상기 프로세서는, 상기 기설정된 음성이 발생된 타겟 음원이 판단된 이후 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터, 상기 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 상기 음성 인식 서버로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는, 타겟 음원이 하나인 경우, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 상기 타겟 음원의 오디오 신호만을 분리하고, 상기 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성의 발생 여부를 판단할 수 있다.
또한, 상기 프로세서는, 상기 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하고, 상기 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다.
또한, 상기 프로세서는, 상기 복수의 마이크의 개수보다 적은 수의 상기 복수의 음원 각각이 존재하는 방향을 판단할 수 있다.
또한, 상기 전자 장치를 기준으로 상기 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시하는 표시부를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 오디오 신호 처리 방법은, 복수의 음원에서 발생되는 오디오 신호를 복수의 마이크를 통해 수신하는 단계, 상기 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 상기 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하는 단계, 상기 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하는 단계 및 상기 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하는 단계를 포함한다.
또한, 상기 적어도 하나의 타겟 음원을 판단하는 단계는, 상기 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단할 수 있다.
또한, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하는 단계 및 상기 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 단계를 포함할 수 있다.
또한, 상기 음성 인식 서버로 전송하는 단계는, 상기 기설정된 음성이 발생된 타겟 음원이 판단된 이후 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터, 상기 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 상기 음성 인식 서버로 전송할 수 있다.
또한, 타겟 음원이 하나인 경우, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 상기 타겟 음원의 오디오 신호만을 분리하는 단계 및 상기 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성의 발생 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하는 단계 및 상기 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 단계를 포함할 수 있다.
또한, 상기 방향을 판단하는 단계는, 상기 복수의 마이크의 개수보다 적은 수의 상기 복수의 음원 각각이 존재하는 방향을 판단할 수 있다.
또한, 상기 전자 장치를 기준으로 상기 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시하는 단계를 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 컴퓨터 판독가능 기록매체는, 복수의 음원에서 발생되는 오디오 신호를 복수의 마이크를 통해 수신하는 단계, 상기 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 상기 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하는 단계, 상기 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하는 단계 및 상기 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하는 단계를 포함하는 전자 장치의 오디오 신호 처리 방법을 수행하는 프로그램이 저장될 수 있다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 복수의 외부 음원 중 음성 인식을 위한 타겟 음원을 정확히 판단하여 효과적으로 음성을 인식함으로써, 다양한 잡음 환경에서도 안정적인 음성 인식이 가능해 진다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 통한 음성 인식 환경을 나타내는 예시도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도,
도 3은 본 개시의 다른 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도,
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 위한 각종 모듈의 예시도,
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면,
도 6a 및 도 6b는 본 개시의 다른 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면, 및
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 오디오 신호 처리 방법을 나타내는 흐름도이다.
본 개시를 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수도 있다.
이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 상세히 설명한다.
본 개시의 일 실시 예에 따른 음성 인식 환경은, 사용자를 포함한 복수의 외부 음원에서 발생되는 오디오 신호를 수신하여 타겟 음원(예를 들어, 사용자)을 판단하고 판단된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하는 전자 장치, 전자 장치로부터 수신된 오디오 신호에 음성 인식을 수행하는 음성 인식 서버 및 인식된 음성에 대응되는 동작을 수행하는 외부 기기를 포함할 수 있다. 따라서, 사용자는 전자 장치를 통해 외부 기기를 제어할 수 있다.
여기서, 외부 기기는 사용자의 음성을 통해 제어될 수 있는 각종 전자 기기로서, TV, 전자 액자, 블루투스 오디오, 사운드 바 등과 같은 각종 오디오 재생 장치일 수 있으나, 이에 한정되는 것은 아니며, 냉장고, 세탁기, 에어컨 등과 같은 각종 가전 제품을 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)를 통한 음성 인식 환경을 나타내는 예시도이다. 도 1을 참조하면, 음성 인식 환경(10)은 복수의 마이크(110-1 내지 110-4)를 통해 사용자(1)가 발화한 음성 명령을 수신하여 클라우드 서버(3)로 전송하는 전자 장치(100), 전자 장치(100)로부터 수신된 오디오 신호에 대한 음성 인식을 수행하는 클라우드 서버(3) 및 클라우드 서버(3)에서 인식된 음성에 대응되는 동작을 수행하는 TV(5)를 포함할 수 있다.
예를 들어, 사용자(1)는 TV(5)를 시청 중에 "볼륨을 올려"라는 음성 명령을 발화할 수 있다. 이때, 전자 장치(100)는 TV(5)에서 발생되는 오디오 신호 및 사용자가 발화한 음성에 대응되는 오디오 신호를 복수의 마이크(110-1 내지 110-4)를 통해 수신할 수 있다. 전자 장치(100)는 수신된 오디오 신호에 기초하여 두 음원(TV 및 사용자) 중 타겟 음원(사용자)을 판단하고, 판단된 타겟 음원에서 발생된 오디오 신호를 클라우드 서버(3)로 전송할 수 있다.
이때, 전자 장치(100)는 수신된 오디오 신호에 기초하여, 전자 장치(100)를 기준으로 두 음원이 각각 존재하는 방향을 판단하고, 판단된 음원의 방향의 유지 시간에 기초하여 사용자 방향의 타겟 음원을 판단할 수 있다. 이에 관한 구체적인 내용은 후술하기로 한다.
이에 따라, 클라우드 서버(3)는 전자 장치(100)에서 수신한 오디오 신호에 음성 인식을 수행하여 "볼륨을 올려"라는 음성 인식 결과를 TV(5)로 전송하거나, 인식된 음성에 대응되는 제어 신호를 TV(5)로 전송할 수 있으며, TV(5)는 수신된 음성 인식 결과 또는 제어 신호에 따라 볼륨을 높이는 동작을 수행할 수 있다.
다른 실시 예로, 클라우드 서버(3)는 음성 인식 결과나 인식된 음성에 대응되는 제어 신호를 TV(5)로 전송하지 않고 전자 장치(100)로 전송할 수 있으며, 이 경우, TV(5)는 전자 장치(100)를 통해 음성 인식 결과나 제어 신호를 수신하여 볼륨을 높이는 동작을 수행할 수도 있다.
한편, 본 개시의 일 실시 예에 따르면, 사용자는 TV(5)의 동작을 제어하기 위해, 기설정된 단어나 문장 즉, 트리거 단어 또는 문장을 발화한 후에 제어 명령을 발화할 수 있다. 여기서, 트리거 단어는 사용자가 음성을 통해 TV(5)와 같은 외부 기기를 제어할 것임을 전자 장치(100)에 알리는 단어로서, 전자 장치(100) 제조시 설계자에 의해 설정된 단어나 문장일 수 있으나, 이에 한정되는 것은 아니며, 실시 예에 따라 전자 장치(100) 사용자에 의해 설정될 수도 있다.
예를 들어, 트리거 단어가 "ABC"와 같은 전자 장치(100)를 부르는 단어인 경우, 사용자는 먼저 "ABC"라는 기설정된 음성을 발화한 후, "볼륨을 올려"와 같은 TV(5)에 대한 제어 명령을 발화하게 된다.
이 경우, 전자 장치(100)는 먼저 복수의 마이크(110-1 내지 110-4)를 통해 사용자가 발화한 "ABC"에 대응되는 오디오 신호 및 "ABC" 발화 당시 TV(5)에서 재생 중인 컨텐츠의 오디오 신호를 함께 수신하고, 수신된 오디오 신호에 기초하여 전자 장치(100)를 기준으로 두 음원(사용자 및 TV)이 각각 존재하는 방향을 판단할 수 있다.
이에 따라, 전자 장치(100)는 판단된 사용자 방향 및 TV 방향이 유지되는 시간에 기초하여 두 음원 중 타겟 음원(사용자)을 판단하고, 타겟 음원의 오디오 신호에 음성 인식을 수행할 수 있다.
음성 인식 결과 기설정된 음성 즉, "ABC"가 타겟 음원에서 발생된 것으로 판단되면, 전자 장치(100)는 그 이후에 복수의 마이크(110-1 내지 110-4)를 통해 수신한 오디오 신호 즉, 사용자의 "볼륨을 올려" 발화에 대응되는 오디오 신호 및 "볼륨을 올려" 발화 당시 TV(5)에서 재생 중인 컨텐츠의 오디오 신호로부터, 기설정된 음성이 발생된 타겟 음원의 오디오 신호 즉, 사용자 발화에 해당하는 "볼륨을 올려"에 대응되는 오디오 신호를 클라우드 서버(3)로 전송할 수 있다.
이후 클라우드 서버(3)를 통한 음성 인식 및 TV(3)의 동작은 전술한 바와 같다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 복수의 마이크(110-1 내지 110-n), 프로세서(120) 및 통신부(130)를 포함할 수 있다.
복수의 마이크(110-1 내지 110-n)는 복수의 음원에서 발생되는 오디오 신호를 수신할 수 있다. 이때, 복수의 음원은 전자 장치(100)로부터 일정 범위 내에 존재하며 오디오 신호를 발생시키는 소스로서, 전자 장치(100)의 사용자, 전자 장치(100) 사용자 외의 제 3 자, 전자 장치(100) 주변의 TV, 전자 액자, 블루투스 오디오, 사운드 바 등과 같은 오디오 재생 장치 등을 포함할 수 있다.
복수의 마이크(110-1 내지 110-n)는 마이크-어레이, 어레이-마이크, 멀티채널 마이크, 다중 마이크 등과 같은 용어를 불문하고, 전자 장치(100)에 구비되어 외부 음원에서 발생되는 음파 형태의 오디오 신호를 수신하여 전기적 신호로 출력할 수 있는 복수의 마이크를 의미한다.
이때, 마이크의 개수는 4개일 수 있으나, 이에 한정되는 것은 아니며, 마이크의 개수 및 각 마이크가 전자 장치(100)에 배치되는 위치는 전자 장치(100) 제조 업체에서 실험적으로 정해질 수 있다.
한편, 복수의 마이크(110-1 내지 110-n)가 마이크-어레이를 구성하는 경우, 마이크-어레이는 지향성 마이크, 무지향성 마이크 또는 지향성 마이크와 무지향성 마이크가 믹스되어 구성될 수 있다.
통신부(130)는 음성 인식 서버(미도시)와 통신을 수행할 수 있다. 여기서, 음성 인식 서버(미도시)는 음성 인식 기능을 탑재한 네트워크상의 서버로서, 예를 들어, 도 1의 예에서와 같은 클라우드 서버(3)일 수 있으나, 이에 한정되는 것은 아니며, 일반적인 별개의 서버일 수도 있다. 또한, 통신부(130)는 실시 예에 따라, 전자 장치(100)를 통한 제어 대상인 외부 기기(예를 들어, 도 1의 예에서 TV(5))와 통신을 수행할 수도 있다.
이를 위해, 통신부(130)는 근거리 무선 통신 모듈(미도시) 및 무선랜 통신 모듈(미도시) 중 적어도 하나의 통신 모듈을 포함할 수 있다. 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기와 무선으로 데이터 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth) 모듈, 지그비(ZigBee) 모듈, NFC 모듈 등이 될 수 있다. 또한, 무선랜 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 외부 서버와 통신을 수행하는 모듈이다.
이 밖에 통신부(130)는 실시 예에 따라 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있으며, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394, RS-232 등의 유선 통신 모듈(미도시)을 더 포함할 수도 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 복수의 마이크(110-1 내지 110-n)를 통해 수신된 복수의 오디오 신호에 기초하여 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하고, 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단할 수 있다.
구체적으로, 프로세서(120)는 복수의 마이크(110-1 내지 110-n)를 통해 수신된 복수의 오디오 신호로부터 프레임별 각도 정보를 생성하고, 이를 정규화하여 복수의 음원 각각이 존재하는 방향을 판단할 수 있다. 또한, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 복수의 마이크(110-1 내지 110-n)를 통해 수신된 복수의 오디오 신호의 음원별 위상(phase) 정보를 분석하여 복수의 음원 각각이 존재하는 방향을 판단할 수도 있다. 이와 같이, 프로세서(120)는 전자 장치(100)를 기준으로, 오디오 신호를 발생시키는 각 음원이 존재하는 방향 즉, 각 음원에서 발생된 오디오 신호가 전자 장치(100)로 도래하는 방향을 판단할 수 있다.
또한, 프로세서(120)는 위와 같이 판단된 각 음원이 존재하는 방향이 유지되는 시간에 기초하여 적어도 하나의 타겟 음원을 판단할 수 있다.
일반적으로, TV나 사운드 바와 같은 외부 기기(미도시)는 그 위치가 고정적이며, 또한, 지속적으로 오디오 신호를 출력하므로, 외부 기기(미도시)의 오디오 출력에 의한 음원(예를 들어, 사운드 바에서 출력되는 음악이나 TV에서 재생되는 컨텐츠의 사운드)은 사용자의 음성 발화에 비해, 프로세서(120)에 의해 판단되는 음원이 존재하는 방향의 유지 시간이 길다. 따라서, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단할 수 있다.
이때, 본 개시의 일 실시 예에 따르면, 음성 인식을 위한 트리거 단어가 기설정되어 있거나 외부 기기(미도시)의 동작을 제어하는 제어 명령어 리스트가 기설정되어 있는 경우, 프로세서(120)는 트리거 단어 또는 제어 명령어의 발화 길이 즉, 기설정된 음성의 길이를 타겟 음원을 판단하는 데 이용할 수도 있다. 예를 들어, 프로세서(120)는 각 방향에 존재하는 음원에서 발생되는 오디오 신호가 기설정된 음성이 일반적으로 발화되는 시간만큼 유지되는지 여부를 타겟 음원을 판단하는 데 이용할 수도 있을 것이다.
이와 같이, 본 개시의 다양한 실시 예들에서, 음원이 존재하는 방향이 유지된다고 함은, 음원에서 발생된 오디오 신호가 전자 장치(100)로 도래하는 방향이 기설정된 시간 동안 동일하게 유지된다는 것을 의미할 수도 있고, 음원에서 오디오 신호의 발생이 기설정된 시간 동안 유지된다는 것을 의미할 수도 있다.
한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 복수의 음원 각각이 존재하는 방향을 판단할 때, 복수의 마이크(110-1 내지 110-n)의 개수보다 적은 개수의 음원이 존재하는 방향을 판단할 수 있다. 예를 들어, 복수의 마이크(110-1 내지 110-n)의 개수 즉, n이 4인 경우, 프로세서(120)는 3개 이하의 음원이 존재하는 방향을 판단할 수 있다. 그러나, 이는 하나의 예에 불과하며, 실시 예가 이에 한정되는 것은 아니다.
프로세서(120)는 전술한 바와 같이, 음원이 존재하는 방향의 유지 시간에 기초하여 타겟 음원을 판단하므로, 사용자의 음성 발화가 아닌 경우에도 타겟 음원으로 판단되는 경우가 있을 수 있다. 그러나, 후술할 바와 같이, 프로세서(120)는 트리거 단어 인식 결과를 이용하여 최종적으로 음성 인식 서버(미도시)로 전송할 오디오 신호가 발생되는 타겟 음원을 판단할 수 있으므로, 음성 인식의 정확도를 더욱 높일 수 있게 된다.
즉, 프로세서(120)는 위와 같이 판단된 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버(미도시)로 전송하도록 통신부(130)를 제어할 수 있다. 여기서, 기설정된 음성은 트리거 단어 또는 트리거 문장에 대응되는 음성을 의미한다.
구체적으로, 프로세서(120)는 적어도 타겟 음원 중 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다. 예를 들어, 프로세서(120)는 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고, 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하고, 음성 인식 결과에 기초하여 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다.
또한, 프로세서(120)는 전술한 바와 같이 타겟 음원을 판단한 결과 판단된 타겟 음원이 하나인 경우, 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 판단된 타겟 음원의 오디오 신호만을 분리하고, 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 기설정된 음성의 발생 여부를 판단할 수도 있다. 이 경우, 하나의 오디오 신호만 분리되어 음성 인식이 수행되므로, 프로세서(120)의 연산량을 줄일 수 있다. 이상에서 오디오 신호를 분리하는 구체적인 내용에 대하여는 도 4 및 도 5의 설명에서 자세히 설명하기로 한다.
위와 같이, 기설정된 음성 즉, 트리거 단어가 발생된 타겟 음원이 판단되면, 프로세서(120)는 기설정된 음성이 발생된 타겟 음원이 판단된 이후에 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터, 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 음성 인식 서버(미도시)로 전송하도록 통신부(130)를 제어할 수 있다.
이때, 프로세서(120)는 기설정된 음성이 발생된 타겟 음원이 판단된 이후에 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터, 기설정된 음성이 발생된 타겟 음원의 오디오 신호만을 분리하여 음성 인식 서버(미도시)로 전송할 수도 있고, 복수의 음원 각각의 오디오 신호를 분리한 후 그 중에 기설정된 음성이 발생된 타겟 음원의 오디오 신호만을 음성 인식 서버(미도시)로 전송할 수도 있다.
한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 전술한 바와 같이 판단된 적어도 하나의 타겟 음원의 개수에 따라 상이한 방법으로 동작할 수도 있다. 예를 들어, 타겟 음원이 복수인 경우에는, 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 기설정된 음성이 발생된 타겟 음원을 판단하고, 타겟 음원이 하나인 경우에는, 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 타겟 음원의 오디오 신호만을 분리하고 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 기설정된 음성의 발생 여부를 판단할 수도 있다.
한편, 본 개시의 또 다른 일 실시 예에 따르면, 프로세서(120)는 전술한 바와 같이 판단된 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하고, 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 기설정된 음성이 발생된 타겟 음원을 판단할 수도 있다.
구체적으로, 프로세서(120)는 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고, 분리된 각 오디오 신호로부터 MFCC(Mel-Frequency Cepstral Coefficient), LFCC(Linear-Frequency Cepstral Coefficient), LPC(Linear Prediction Coefficient), 주파수 envelope, ZCR(Zero-Crossing Rate) 중 적어도 하나의 특징 추출하고, 추출된 적어도 하나의 특징을 기학습된 음성 신호 템플릿의 특징과 비교하여 분리된 각 오디오 신호가 음성인지 여부를 판단할 수 있다.
또한, 실시 예에 따라, 프로세서(120)는 복수의 마이크(110-1 내지 110-n) 각각에서 수신한 오디오 신호로부터 타겟 음원으로 판단된 음원의 오디오 신호를 분리하고, 분리된 오디오 신호로부터 상기 MFCC, LFCC, LPC, 주파수 envelope, ZCR 중 적어도 하나의 특징을 추출하고, 추출된 적어도 하나의 특징을 기학습된 음성 신호 템플릿의 특징과 비교하여 분리된 타겟 음원의 오디오 신호가 음성인지 여부를 판단할 수도 있다.
이에 따라, 프로세서(120)는 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다.
프로세서(120)는 전술한 바와 같이, 음원이 존재하는 방향의 유지 시간에 기초하여 타겟 음원을 판단하므로, 사용자의 음성이 아닌 경우에도 일단 타겟 음원으로 판단될 수가 있다. 그러나, 위와 같이, 사람의 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행함으로써, 프로세서(120)의 연산량을 줄일 수 있게 된다.
이와 같이, 음원이 존재하는 방향의 유지 시간에 더하여 트리거 단어가 발화되었는지 여부를 함께 판단하여 트리거 단어가 발화된 음원의 오디오 신호만을 음성 인식 서버(미도시)로 전송함으로써, 잡음 환경에서 보다 효과적인 음성 인식이 가능해 진다.
도 3은 본 개시의 다른 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다. 도 3에 도시된 바와 같이, 전자 장치(300)는 복수의 마이크(310), 프로세서(320), 통신부(330), 저장부(340) 및 표시부(350)를 포함할 수 있다. 도 3을 설명함에 있어, 도 2를 통해 전술한 것과 동일한 구성의 동일한 동작은 중복 설명을 생략한다.
표시부(350)는 전자 장치(300)의 위치를 기준으로, 트리거 단어 인식을 통해 사용자 방향으로 판단된 방향을 표시할 수 있다. 구체적으로, 표시부(350)는 도 2를 통해 전술한 바와 같이 판단된 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시할 수 있다.
본 개시의 일 실시 예에 따르면, 표시부(350)는 복수의 LED를 포함할 수 있다. 예를 들어, 복수의 LED는 전자 장치(300)의 외곽을 일정 간격을 가지며 둘러싸도록 배치될 수 있다. 이 경우, 프로세서(320)는 기설정된 음성이 발생된 타겟 음원이 존재하는 방향이 판단되면, 복수의 LED 중 해당 방향에 가장 가깝게 배치된 LED를 점등 또는 점멸하도록 표시부(350)를 제어하여 사용자 방향을 표시할 수 있다. 그러나, 이는 하나의 예에 불과하며, 복수의 LED가 배치되는 위치나 표시 방법은, 전자 장치(300)의 위치를 기준으로 특정 방향을 표시할 수 있도록 얼마든지 달라질 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 표시부(350)는 디스플레이를 포함할 수 있다. 이 경우, 프로세서(320)는 각종 GUI 나 텍스트를 디스플레이에 디스플레이하여 전자 장치(300)의 위치를 기준으로 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시할 수 있다. 이를 위해, 디스플레이는 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있으며, 실시 예에 따라, 터치 패널을 포함한 터치 스크린으로 구현될 수도 있을 것이다.
한편, 실시 예에 따라, 전자 장치(300)는 스피커(미도시)를 포함할 수도 있다. 이 경우, 프로세서(320)는 음성을 출력하여 전자 장치(300)를 기준으로 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 사용자에게 알릴 수 있을 것이다.
저장부(340)는 전자 장치(300)의 동작을 위한 O/S, 각종 프로그램, 및 데이터를 저장할 수 있다. 이를 위해, 저장부(340)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 휘발성 메모리 또는 비휘발성 메모리(non-volatile Memory) 중 적어도 하나를 포함할 수 있다. 휘발성 메모리는, 예를 들어 DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등일 수 있다. 비휘발성 메모리는 예를 들어 OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAN flash memory, NOR flash memory 등일 수 있다. 또한, 내장 메모리는 Solid State Drive(SSD)일 수 있다.
외장 메모리는 flash drive, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(300)와 기능적으로 연결될 수 있다. 또한, 전자 장치(300)는 하드 드라이브와 같은 저장 장치를 더 포함할 수도 있다.
특히, 저장부(340)는 도 4에 도시된 바와 같이, 본 개시의 다양한 실시 예들에 따른 전자 장치(100, 300)의 동작을 위한 각종 모듈을 포함할 수 있다. 도 4에 따르면, 저장부(340)는 다중 음원 위치 추적 모듈(Multiple Sound Source Localization module: MSSL, 341), 목적 방향 식별 모듈(Target Direction Identification module: TDI, 343), 음원 분리 모듈(Geometric Source Separation module: GSS, 345), 끝점 검출 모듈(End-Point Detection module: EPD, 347) 및 트리거 단어 인식 모듈(Wake-Up Word recognition module: WUW, 349)를 포함할 수 있다.
다중 음원 위치 추적 모듈(341)은 복수의 마이크(310), 예를 들어, N 채널 다중 마이크 어레이가 수신하여 출력하는 오디오 신호로부터, M 개의 음원에서 발생된 오디오 신호 각각이 전자 장치(300)로 도래하는 방향을 추정하여 M 개의 음원 방향 정보를 생성하고, 생성된 M 개의 음원 방향 정보를 목적 방향 식별 모듈(343)로 전달할 수 있다. 이때, N 은 M 보다 큰 자연수 일 수 있다.
본 개시의 일 실시 예에 따르면, 다중 음원 위치 추적 모듈(341)에는 마이크-어레이 기술이 적용될 수 있다. 구체적으로, 마이크-어레이 기술을 이용한 음원 위치 추적 모듈(341)은 복수의 마이크(310)로 입력된 오디오 신호들로부터 음원의 입력 방향을 추정하는 역할을 하며, 프레임별 각도 추정 모듈(미도시)과 정규화 모듈(미도시)로 구성될 수 있다.
프레임별 각도 추정 모듈(미도시)은 입력된 오디오 신호로부터 목적 방향 각도 정보를 프레임 단위로 생성한다. 정규화 모듈(미도시)은 프레임 단위의 목적 방향 각도 정보를 입력받아, 기설정된 검색 범위(search range) 내에서 가장 가능성이 높은 방향을 추정하여 하나의 음원에 대해 정규화된 각도 정보 즉, 음원 도래 방향 정보를 생성한다.
한편, 본 개시의 일 실시 예에 따른 마이크-어레이 기술을 이용한 다중 음원 위치 추적 모듈(341)은 M 개의 음원에 대한 위치를 추정하기 위해, 전술한 음원 위치 추적을 M 번 반복하는 방법으로 구성될 수 있다. 예를 들어, N 채널 다중 마이크 어레이를 통해 수신되는 N 채널 다중 오디오 입력 신호에 대해 전술한 음원 위치 추적 방법을 적용하여 첫 번째 음원의 방향을 생성하고, 동일한 N 채널 다중 오디오 입력 신호에 대해 재차 전술한 음원 위치 추적 방법을 적용하여 두 번째 음원의 방향을 생성하는 방법으로 M 개 음원의 도래 방향을 추정할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따른 음원 위치 추적 모듈(341)은 복수의 마이크(310)를 통해 입력되는 오디오 신호의 전체 주파수를 몇 개의 대역으로 나누고 각 대역에 해당하는 다중 오디오 입력 신호를 분석하여 음원별 위상 정보를 생성하며, 생성된 음원별 위상 정보를 이용하여 각 음원의 도래 방향을 추정할 수 있다. 구체적으로, 음원 위치 추적 모듈(341)은 생성된 대역별 음원의 위상 정보를 축적해 히스토그램을 생성하고, 이러한 히스토그램을 구성할 수 있는 음원의 방향들을 역으로 조합하여 복수의 음원의 각 도래 방향을 추적할 수 있다.
목적 방향 식별 모듈(343)은 다중 음원 위치 추적 모듈(341)이 생성한 M 개 음원 방향 정보와 트리거 단어 인식 모듈(349)의 트리거 단어 인식 결과를 입력받아 타겟 음원(또는 목적 화자, Primary Target: PT)을 검출하고, 타겟 음원 방향 정보를 생성할 수 있다. 이때, 본 개시의 일 실시 예에 따르면, 타겟 음원 방향 정보는, 전술한 다중 음원 위치 추적 모듈(341)이 생성한 M 개의 음원 방향 정보에, 해당 음원 방향이 타겟 음원인지 잡음 음원인지 여부를 나타내는 색인 정보가 추가된 것일 수 있다.
또한, 본 개시의 다른 일 실시 예에 따르면, 타겟 음원 방향 정보는, 전술한 다중 음원 위치 추적 모듈(341)이 생성한 M 개의 음원 방향 정보에 해당 음원이 몇 번째 타겟 음원인지를 나타내는 색인 정보가 추가된 것일 수 있다.
예를 들어, M 개의 음원 중 1개만 음성일 경우, 해당 방향에 1번 색인을 부여할 수 있다. 만약, 2개 이상이 음성일 경우, 해당 방향을 방향 정보 리스트의 맨 위로 올리고 트리거 단어가 인식된 방향에 1번 색인을 부여할 수 있다. 이후 1번 색인이 부여된 음원의 오디오 신호만을 음성 인식 서버로 전송함으로써, 트리거 단어 인식 후 분리된 M 개 음원 중 사용자가 발화한 명령어(혹은 문장)가 선별되어 음성 인식 서버로 전송될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 목적 방향 식별 모듈(343)은 각 음원 방향 정보의 유지 시간(duration)에 기초하여 상기 타겟 음원 방향 정보를 생성할 수 있다. 구체적으로, 목적 방향 식별 모듈(343)은 다중 음원 위치 추적 모듈(341)로부터 입력받은 M 개 음원 방향 정보에 대해 일정 시간(sampling time 혹은 그의 배수)동안 방향(각도)의 변화를 모니터링 하고, 각도가 변하는 시점에 그동안 해당 음원의 각도가 유지된 시간을 계산할 수 있다. 일반적으로, 외부 기기의 오디오 출력에 의한 음원(음악, TV출력 등)은 그 유지 기간이 음성 발화에 비해 길기 때문에 상기 유지 시간이 일정 시간보다 짧은 음원을 타겟 음원이라고 판단하여 타겟 음원 방향 정보를 생성할 수 있다. 이때, 트리거 단어 또는 외부 기기 제어를 위한 특정 명령어 리스트가 정해져 있는 경우에는 해당 트리거 단어나 명령어의 음성의 길이를 고려하여 타겟 음원의 판단에 이용할 수 있다.
음원 분리 모듈(345)은 N 채널 다중 마이크 어레이를 통해 수신되는 N 채널 다중 오디오 입력 신호, 다중 음원 위치 추적 모듈(341)이 생성한 M 개 음원 방향 정보 및 목적 방향 식별 모듈(343)이 생성한 타겟 음원 방향 정보를 입력받아 M 개의 서로 다른 음원에 대한 분리된 오디오 신호를 생성한다.
구체적으로, M 개의 음원 방향을 알면, 각 음원으로부터 N 개의 마이크-어레이의 각 마이크까지의 응답을 원거리-음장(far-field)으로 가정한 선형 지연 및 합산(linear delay-and-sum) 빔포머 필터 계수로 모델링할 수 있고, 이를 기반으로 구성된 음원-마이크 간 응답 행렬의 역행렬을 추정하여 마이크-어레이 신호들로부터 각 방향의 소리를 분리하는 분리(separation) 필터 행렬을 구할 수 있다.
흔히 이러한 역행렬을 추정하는 방법으로, 일정 구간의 마이크 신호 간 covariance 또는 correlation 행렬의 diagonalization을 통한 second-order source separation 방법과 Infomax-ICA (independent component analysis)에 기반한 higher-order source separation 방법이 있다.
각 방법에 따라 구성된 목적 함수를 gradient descent 또는 ascent 적응 방식으로 최소화 또는 최대화할 때 상기 응답 행렬로 목적 함수 내 separation 필터 행렬을 초기화하거나 실시간 수렴을 위해 매 신호 프레임마다의 방향 정보에 기반한 상기 응답 행렬로 구성된 penalty term을 목적 함수에 추가할 수 있다.
상기 방법으로 분리된 각 음원 별 오디오 신호는 해당 방향의 소리를 강조하지만 분리 과정 중 일어나는 채널 간 누설(leakage)을 통해 타 방향의 소리와 주변 소음을 포함하게 된다. 따라서, 음원 분리 모듈(345)은 M 개의 분리 결과마다 post-filter를 적용하여 이러한 잡음을 추가로 제거한다.
먼저, MCRA(Minima-Controlled Recursive Average)와 같은 노이즈 추정 기법을 통해 stationary noise variance를 추정하고, 타 분리 결과에 일정량의 weight를 곱하여 leakage noise variance를 구한 후 둘을 더한 최종 noise variance를 기반으로 OM-LSA(Optimally Modified Log-spectral Amplitude)와 같은 decision directed speech estimation 기법을 통해 각 분리된 채널에서 해당 방향의 소리만을 추출하는 최종 gain 함수를 산출할 수 있다.
끝점 검출 모듈(347)은 음원 분리 모듈(345)이 생성한 M 개의 분리된 오디오 신호를 입력받아 M 개의 분리된 음성 신호를 생성하여 트리거 단어 인식 모듈(349)에 전달한다. 끝점 검출 모듈(347)은 각각의 분리된 음성 신호를 생성하기 위해 상기 분리된 M 개의 오디오 신호에 대해 잡음 구간(프레임)과 음성 구간(프레임)을 검출하고, 이를 기반으로 음성이 시작되는 시점부터 음성이 끝나는 시점까지의 오디오 신호를 음성 신호로 출력한다.
구체적으로, 음성은 발성되기 시작하면 신호의 에너지 혹은 엔트로피가 증가하는 특징이 있으므로, 끝점 검출 모듈(347)은 이러한 특징을 이용하여 임계값 이상의 에너지 혹은 엔트로피를 가지는 지점을 음성 신호의 시작점으로 판별하고 반대의 경우를 음성 신호의 종료점으로 판별할 수 있다.
또한, 끝점 검출 모듈(347)은 음성 주파수 대역에 대한 변화 등을 고려하여 음성이 존재하는 주파수 대역의 에너지나 다른 음성특징을 이용하여 음성 끝점 검출을 수행할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 끝점 검출 모듈(347)은 음원 분리 모듈(345)이 생성한 M 개의 분리된 오디오 신호를 입력받아 K 개(K≤M)의 음성신호를 생성하여 트리거 단어 인식 모듈(349)에 전달할 수 있다. 즉, 입력받은 분리된 오디오 신호의 특성을 분석하여 음성으로 식별되는 K 개의 음원만을 트리거 단어 인식 모듈(349)에 전달하여 연산량을 절약하는 동시에 잡음 대응력을 높일 수 있다.
구체적으로, 끝점 검출 모듈(347)은 입력받은 분리된 오디오 신호로부터 특징들을 추출하고 추출된 특징 벡터를 미리 학습한 음성 신호의 템플릿의 특징 벡터와 비교하여 그 유사 정도에 따라 음성 혹은 비음성으로 판별할 수 있다. 이때 이용될 수 있는 오디오 신호의 특징은 MFCC(mel-frequency cepstral coefficient), LFCC(linear-frequency cepstral coefficient), LPC(linear prediction coefficient), 주파수 envelope, ZCR(zero-crossing rate) 등일 수 있다.
트리거 단어 인식 모듈(349)는 끝점 검출 모듈(347)이 생성한 M 개의 분리된 음성 신호로부터 트리거 단어 인식 결과를 생성하여 목적 방향 식별 모듈(343)로 전달한다. 이때, 트리거 단어 인식 결과는 해당 음성 신호가 트리거 단어를 발화한 오디오 신호인지 아닌지 여부 혹은 해당 음성 신호가 트리거 단어를 발화한 오디오 신호일 확률(가능성)이 얼마인지를 나타내는 스코어일 수 있다. 또한 트리거 단어 인식 결과는 트리거 인식 결과가 생성될 당시의 채널 번호(또는 해당 분리된 음원의 방향 정보)를 포함할 수도 있다.
프로세서(320)는 전자 장치(300)의 전반적인 동작을 제어한다. 특히, 프로세서(320)는 전술한 저장부(340)에 저장된 모듈을 읽어 각 모듈이 수행하는 동작을 수행할 수 있다. 한편, 실시 예에 따라, 전술한 도 4에 도시된 각 모듈 또는 각 모듈들의 조합은 프로세서(320)와는 별도의 다른 프로세서나 SoC 형태의 하드웨어로 구현될 수도 있을 것이다.
이하에서, 도 5 및 도 6을 참조하여 본 개시의 다양한 실시 예들에 따른 전자 장치(100, 300)의 설명한다.
도 5a는 본 개시의 일 실시 예에 따른 전자 장치(100, 300)의 동작을 나타낸다. 도 5a에 도시된 각 모듈들(341, 343, 345, 347, 349)은 도 4를 통해 전술한 모듈들(341, 343, 345, 347, 349)의 동작을 수행한다.
즉, 도 5a에 도시된 바와 같이, M 개의 음원에서 발생된 오디오 신호가 N 채널의 마이크 어레이를 통해 수신되면, N 채널의 마이크 어레이는 X1 내지 XN과 같은 N 개의 오디오 신호를 다중 음원 위치 추적 모듈(341) 및 음원 분리 모듈(345)로 전달한다.
다중 음원 위치 추적 모듈(341)은 N 채널의 마이크 어레이가 출력하는 N 개의 오디오 신호로부터 음원들의 도래 방향을 추정하고, θ1 내지 θM과 같은 M 개의 음원 방향 정보를 생성하여 목적 방향 식별 모듈(343)로 전달한다.
목적 방향 식별 모듈(343)은 다중 음원 위치 추적 모듈(341)이 생성한 M 개의 음원 방향 정보의 유지 시간 및 트리거 단어 인식 모듈(343)로부터 전달되는 트리거 단어 인식 결과에 기초하여 타겟 음원을 검출하고, 음원 방향 정보에 색인 정보가 추가된 θσ (1) 내지 θσ(M)과 같은 타겟 음원 방향 정보를 생성한다.
음원 분리 모듈(345)은 N 채널의 마이크 어레이에서 전달된 N 개의 오디오 신호와, 다중 음원 위치 추적 모듈(341) 및 목적 방향 식별 모듈(343)이 생성한 타겟 음원 방향 정보를 입력받아, M 개의 서로 다른 음원에 대해 분리된 S1 내지 SM과 같은 M 개의 오디오 신호를 생성하여 끝점 검출 모듈(347)로 전달한다.
끝점 검출 모듈(347)은 음원 분리 모듈(345)이 생성한 M 개의 분리된 오디오 신호를 입력받아 S'1 내지 S'M과 같은 M 개의 분리된 음성 신호를 생성하여 트리거 단어 인식 모듈(349)로 전달한다.
트리거 단어 인식 모듈(349)는 끝점 검출 모듈(347)이 생성한 M 개의 분리된 음성 신호로부터 트리거 단어 인식 결과를 생성하여 목적 방향 식별 모듈(343)로 전달한다.
트리거 단어 인식 결과, 1번 색인의 타겟 음원 방향에 대해 분리된 음성 신호가 트리거 단어인 것으로 판단되면, 분리된 S'1 내지 S'M 신호 중 1번 색인의 분리된 음성 신호가 음성 인식 서버로 전송된다.
트리거 단어 인식 결과, 1번 색인의 타겟 음원 방향에 대해 분리된 음성 신호가 트리거 단어가 아닌 것으로 판단되면, 타겟 음원 식별 모듈(343)은 트리거 단어로 인식된 분리된 음성 신호에 대응되는 다른 타겟 음원 방향에 1번 색인을 부가하게 되며, 이에 따라, 트리거 단어가 인식된 방향 즉, 새롭게 1번 색인이 부가된 음원 방향의 분리된 음성 신호가 음성 인식 서버로 전송된다.
도 5b는 본 개시의 다른 일 실시 예에 따른 전자 장치(100, 300)의 동작을 나타내는 도면이다. 도 5a와 같은 전자 장치(100, 300)의 동작이 복수의 음성이 있는 경우에 대응하기 위한 것임에 반해, 도 5b와 같은 전자 장치(100, 300)의 동작은 음성이 1개일 경우에 대응하기 위한 것이다.
구체적으로, 도 5a와 같은 방법으로 동작시, 음원 분리 모듈(345), 끝점 검출 모듈(347) 및 트리거 단어 인식 모듈(349)은 multi-thread(또는 단일 thread의 반복 연산) 형태로 구동되어야 하므로, 연산량의 증가가 심각할 수 있다. 따라서, 이를 방지하기 위해, 전자 장치(100, 300)는 도 5b와 같은 방법으로 동작할 수 있다.
도 5b에 따르면, 목적 방향 식별 모듈(343)은 1개의 타겟 음원 방향을 판단하고, 음원 분리 모듈(345)은 판단된 1개의 타겟 음원 방향의 오디오 신호 S1만을 분리하여 끝점 검출 모듈(347)로 전달하게 되며, 끝점 검출 모듈(347)은 S'1과 같이 1개의 음성 신호만을 트리거 단어 인식 모듈(349)로 전달하게 되므로, 연산량을 줄일 수 있게 된다.
한편, 본 개시의 다른 일 실시 예에 따르면, 전자 장치(100, 300)는 목적 방향 식별 모듈(343)에 의해 판단된 타겟 음원이 1개일 경우에는 도 5b와 같이 동작하고, 판단된 타겟 음원이 2개 이상일 경우에만 도 5a와 같이 동작할 수도 있다. 이 경우, 목적 방향 식별 모듈(343)은 도 5a의 동작 방법과 도 5b의 동작 방법 중 어느 방법으로 동작할지 판단하는 역할을 하게 된다.
본 개시의 또 다른 실시 예에 따르면, 전자 장치(100, 300)는 초기 동작시에는 복수의 음성이 있다고 가정하여 도 5a의 방법으로 동작하다가, 목적 방향 식별 모듈(343)이 판단한 타겟 음원이 트리거 단어로 인식될 경우, 그 이후부터는 도 5b의 방법으로 동작할 수도 있다.
본 개시의 또 다른 실시 예에 따르면, 타겟 음원이 검출되지 않는 경우에는 직전의 트리거 인식 결과가 생성될 당시의 채널 번호(또는 해당 분리된 음원의 방향)를 타겟 음원 방향으로 판단하고, 도 5b의 방법으로 동작할 수도 있다. 이 경우, 타겟 음원 방향 근처 일정 범위 내 발생한 모든 이벤트는 타겟 음원으로 판단될 수 있다. 이후 일정 시간 이상 연속적으로 검출되는 발화가 없으면 타임 아웃되어 도 5a의 방법으로 동작할 수도 있다.
도 6a는 본 개시의 다른 일 실시 예에 따른 전자 장치(100, 300)의 동작을 나타내는 도면이다. 도 5a와 도 5b와 같은 동작 방법은 목적 방향 식별 모듈(343)이 M 개의 음원 방향 정보를 입력받는 것에 반해, 도 6a의 동작 방법은 목적 방향 식별 모듈(343)이 M 개의 분리된 오디오 신호를 입력받는 동작 방법이다.
이 경우, 음원 분리 모듈(345)은 다중 음원 위치 추적 모듈(341)이 생성한 M 개의 음원 방향 정보(θ1 내지 θM)를 입력받아 M 개의 서로 다른 음원에 대해 분리된 오디오 신호(S1 내지 SM)를 생성한다. 생성된 M 개의 분리된 오디오 신호와 M 개의 음원 방향 정보는 목적 방향 식별 모듈(343)에 전달된다.
목적 방향 식별 모듈(343)은 입력받은 M 개의 분리된 오디오 신호와 M 개의 음원 방향 정보를 분석하여 타겟 음원을 검출하고, 타겟 음원 방향 정보가 부가된 분리된 오디오 신호(Sσ(1) 내지 Sσ (M))를 생성하여 끝점 검출 모듈(347)로 전달할 수 있다. 이때, 목적 방향 식별 모듈(343)은 각 음원 방향 정보의 유지 기간(duration)에 기초하여, 타겟 음원 방향 정보가 부가된 분리된 오디오 신호(Sσ(1) 내지 Sσ (M))를 생성할 수 있다. 이때 생성된 타겟 음원 방향 정보가 부가된 분리된 오디오 신호(Sσ(1) 내지 Sσ (M))는 분리된 오디오 신호가 음성인지 잡음인지 여부를 가리키는 색인 정보가 추가된 것이거나, 해당 음원 방향이 몇 번째 타겟 음원인지를 가리키는 색인 정보가 추가된 것이거나, 혹은 정해진 약속(예를 들어 음성1, 음성2, 잡음1, 잡음2)에 맞게 M 개의 분리된 오디오 신호의 음원 순서를 변경한 것일 수 있다.
한편, 끝점 검출 모듈(347)은 목적 방향 식별 모듈(343)이 생성한 타겟 음원 방향 정보가 부가된 M 개의 분리된 오디오 신호(Sσ(1) 내지 Sσ (M)) 입력받아 M 개의 분리된 음성 신호를 생성하여 트리거 단어 인식 모듈(349)에 전달한다. 이때 생성되는 분리된 음성 신호는 끝점 검출 모듈(347)이 입력받은 분리된 오디오 신호에서 잡음 구간(프레임)과 음성 구간(프레임)을 검출하고, 이를 기반으로 음성이 시작되는 시점부터 음성이 끝나는 시점까지의 오디오 신호를 음성 신호로 출력한 것일 수 있다.
이때, 본 개시의 일 실시 예에 따르면, 끝점 검출 모듈(347)은 입력받은 분리된 오디오 신호의 특성을 분석하여 음성으로 식별되는 K 개의 음원만을 트리거 단어 인식 모듈(349)에 전달할 수도 있다. 즉, 목적 방향 식별 모듈(343)이 1차적으로 음원의 방향 유지 시간에 기초하여 음성 음원을 골라낸 후, 끝점 검출 모듈(347)이 오디오 신호 특성 분석에 기반한 음성/비음성 구분 기법을 적용하여 최종적으로 타겟 음원 방향을 선별할 수 있다.
도 6b는 본 개시의 또 다른 일 실시 예에 따른 전자 장치(100, 300)의 동작을 나타내는 도면이다. 도 6a와 같은 동작 방법이 복수의 음성에 대응하기 위한 방법인 것에 반해, 도 6b의 동작 방법은 음성이 1개일 경우에 대응하기 위한 방법이다. 전자 장치(100, 300)가 도 6a와 같은 방법으로 동작시 연산량 증가가 심각할 수 있기 때문에 이를 방지하기 위해, 도 6b와 같은 방법으로 동작할 수 있다.
도 6b에 따르면, 전자 장치(100, 300)의 목적 방향 식별 모듈(343)은 음원 분리 모듈(345)이 분리한 오디오 신호(S1 내지 SM) 및 다중 음원 위치 추적 모듈(341)이 생성한 음원 방향 정보(θ1 내지 θM)를 입력받아 그 중 가장 음성에 가깝다고 판단되는 하나의 오디오 신호만을 판단하여 타겟 음원의 오디오 신호(Sσ (1))로 출력할 수 있다. 이때 타겟 음원을 판단하는 방법은 입력받은 각 분리된 음원 방향의 유지 시간(duration)에 기초한 방법이거나 입력받은 분리된 음원의 특성을 분석하여 음성으로 판단되는 음원을 타겟 음원으로 식별하는 방법일 수 있다. 이에 따라, 끝점 검출 모듈(347) 역시 하나의 음성 신호(S'σ(1))만을 트리거 단어 인식 모듈(349)로 출력한다. 따라서, 연산량을 줄일 수 있게 된다.
이상에서는, 트리거 단어의 음성 인식은 전자 장치(100, 300)에서 이루어지나, 트리거 단어 인식 이후 외부 기기를 제어하기 위한 사용자 음성 명령에 대해서는 전자 장치(100, 300)가 해당 오디오 신호를 음성 인식 서버로 전송하여 음성 인식 서버에서 음성 인식을 수행하는 것을 예로 들었다.
그러나, 실시 예가 이에 한정되는 것은 아니며, 전자 장치(100, 300)에 고성능 음성 인식 모듈(미도시)이 탑재된 경우, 프로세서(120, 320)는 탑재된 음성 인식 모듈(미도시)을 이용하여 외부 기기 제어 명령에 대한 음성 인식을 수행하고, 음성 인식 결과 또는 인식된 음성에 대응되는 제어 신호를 외부 기기로 직접 전송하도록 통신부(130, 330)를 제어함으로써, 음성 인식 서버를 이용하지 않고 전자 장치(100, 300)가 직접 외부 기기의 동작을 제어할 수도 있음은 물론이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 오디오 신호 처리 방법을 나타내는 흐름도이다. 도 7을 설명함에 있어 전술한 내용과 중복되는 내용은 설명을 생략한다.
도 7에 도시된 바와 같이, 복수의 음원에서 발생되는 오디오 신호를 복수의 마이크를 통해 수신하면(S710), 전자 장치(100, 300)는 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 전자 장치(100, 300)를 기준으로 복수의 음원 각각이 존재하는 방향을 판단할 수 있다(S720). 이때, 본 개시의 일 실시 예에 따르면, 전자 장치(100, 300)는 복수의 마이크의 개수보다 적은 수의 복수의 음원 각각이 존재하는 방향을 판단할 수 있다.
이에 따라, 전자 장치(100, 300)는 상기 판단된 음원의 방향의 유지 시간에 기초하여 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단할 수 있다(S730). 구체적으로, 전자 장치(100, 300)는 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단할 수 있다.
이후, 전자 장치(100, 300)는 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송할 수 있다(S740).
구체적으로, 본 개시의 일 실시 예에 따르면, 전자 장치(100, 300)는 복수의 마이크 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고, 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 기설정된 음성이 발생된 타겟 음원을 판단할 수 있다.
또한, 본 개시의 다른 일 실시 예에 따르면, 전자 장치(100, 300)는 타겟 음원이 하나인 경우, 복수의 마이크 각각에서 수신한 오디오 신호로부터 타겟 음원의 오디오 신호만을 분리하고, 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성의 발생 여부를 판단할 수 있다.
본 개시의 다른 또 다른 일 실시 예에 따르면, 전자 장치(100, 300)는 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하고, 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 기설정된 음성이 발생된 타겟 음원을 판단할 수도 있다.
이에 따라, 전자 장치(100, 300)는 기설정된 음성이 발생된 타겟 음원이 판단된 이후 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터, 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 음성 인식 서버로 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치(100, 300)는 전자 장치(100, 300)를 기준으로 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시할 수도 있다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 복수의 외부 음원 중 음성 인식을 위한 타겟 음원을 정확히 판단할 수 있다. 이에 따라, 다양한 잡음 환경에서도 효과적이고, 안정적인 음성 인식이 가능해 진다.
구체적으로, 본 개시의 다양한 실시 예들에 따르면, 복수의 마이크로 입력된 오디오 신호를 음원의 도래 방향에 따라 분리하고, 분리된 음원들을 음성일 가능성이 높은 순서에 따라 음성 인식기에 전달하므로, 강력한 잡음이 존재하는 환경에서도 안정적인 음성 인식 성능을 확보할 수 있다.
또한, 분리된 음원들 중 음성 명령을 인식기에 전달하기 위해 음성의 도래 방향을 식별함에 있어, 음원의 도래 방향의 지속성에 기반하여 음성 방향을 예측할 수 있으므로, 적은 연산량으로 음성 명령을 판별할 수 있다.
또한, 음성의 도래 방향을 식별함에 있어 분리된 음원의 특성을 분석하여 음성 여부를 판별하는 방법에 의해 비음성 잡음에 대한 변별력을 높일 수 있다.
또한, 음성의 도래 방향을 식별함에 있어 음성 인식기가 생성한 이전의 트리거 단어 인식 결과를 이용할 수 있으므로, 트리거 발화 이후 발화 레벨이 낮아지는 사용자의 발화 음성을 보다 효과적으로 취득할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 전자 장치의 프로세서의 동작이나 전자 장치의 오디오 신호 처리 방법들 소프트웨어로 생성되어 전자 장치에 탑재될 수 있다.
예를 들어, 복수의 음원에서 발생되는 오디오 신호를 복수의 마이크를 통해 수신하는 단계, 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 전자 장치를 기준으로 복수의 음원 각각이 존재하는 방향을 판단하는 단계, 판단된 음원의 방향의 유지 시간에 기초하여 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하는 단계 및 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하는 단계를 포함하는 전자 장치의 오디오 신호 처리 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
여기서, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    복수의 음원에서 발생되는 오디오 신호를 수신하는 복수의 마이크;
    음성 인식 서버와 통신하는 통신부; 및
    상기 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 상기 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하고, 상기 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하고, 상기 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 상기 음성 인식 서버로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단하는 것을 특징으로 하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하고, 상기 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 것을 특징으로 하는 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 기설정된 음성이 발생된 타겟 음원이 판단된 이후 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터, 상기 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 상기 음성 인식 서버로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    타겟 음원이 하나인 경우, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 상기 타겟 음원의 오디오 신호만을 분리하고, 상기 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성의 발생 여부를 판단하는 것을 특징으로 하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하고, 상기 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 것을 특징으로 하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 복수의 마이크의 개수보다 적은 수의 상기 복수의 음원 각각이 존재하는 방향을 판단하는 것을 특징으로 하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 전자 장치를 기준으로 상기 기설정된 음성이 발생된 타겟 음원이 존재하는 방향을 표시하는 표시부;를 더 포함하는 것을 특징으로 하는 전자 장치.
  9. 전자 장치의 오디오 신호 처리 방법에 있어서,
    복수의 음원에서 발생되는 오디오 신호를 복수의 마이크를 통해 수신하는 단계;
    상기 복수의 마이크를 통해 수신된 복수의 오디오 신호에 기초하여 상기 전자 장치를 기준으로 상기 복수의 음원 각각이 존재하는 방향을 판단하는 단계;
    상기 판단된 음원의 방향의 유지 시간에 기초하여 상기 복수의 음원 중에서 적어도 하나의 타겟 음원을 판단하는 단계; 및
    상기 적어도 하나의 타겟 음원 중 기설정된 음성이 발생된 타겟 음원의 오디오 신호를 음성 인식 서버로 전송하는 단계;를 포함하는 오디오 신호 처리 방법.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 타겟 음원을 판단하는 단계는,
    상기 복수의 음원 중 기설정된 시간 미만으로 동일한 방향에서 오디오 신호를 발생하는 적어도 하나의 음원을 타겟 음원으로 판단하는 것을 특징으로 하는 오디오 신호 처리 방법.
  11. 제 9 항에 있어서,
    상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 복수의 음원 각각의 오디오 신호를 분리하는 단계; 및
    상기 분리된 복수의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  12. 제 11 항에 있어서,
    상기 음성 인식 서버로 전송하는 단계는,
    상기 기설정된 음성이 발생된 타겟 음원이 판단된 이후 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터, 상기 기설정된 음성이 발생된 것으로 판단된 타겟 음원의 오디오 신호만을 상기 음성 인식 서버로 전송하는 것을 특징으로 하는 오디오 신호 처리 방법.
  13. 제 9 항에 있어서,
    타겟 음원이 하나인 경우, 상기 복수의 마이크 각각에서 수신한 오디오 신호로부터 상기 타겟 음원의 오디오 신호만을 분리하는 단계; 및
    상기 분리된 타겟 음원의 오디오 신호에 대한 음성 인식을 수행하여 상기 기설정된 음성의 발생 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  14. 제 9 항에 있어서,
    상기 적어도 하나의 타겟 음원 중에서 음성을 발생하는 타겟 음원을 판단하는 단계; 및
    상기 음성을 발생하는 것으로 판단된 타겟 음원의 오디오 신호에 대해서만 음성 인식을 수행하여 상기 기설정된 음성이 발생된 타겟 음원을 판단하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  15. 제 9 항에 있어서,
    상기 방향을 판단하는 단계는,
    상기 복수의 마이크의 개수보다 적은 수의 상기 복수의 음원 각각이 존재하는 방향을 판단하는 것을 특징으로 하는 오디오 신호 처리 방법.
PCT/KR2017/006793 2016-10-14 2017-06-27 전자 장치 및 전자 장치의 오디오 신호 처리 방법 WO2018070639A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/333,369 US11094323B2 (en) 2016-10-14 2017-06-27 Electronic device and method for processing audio signal by electronic device
EP17860062.3A EP3480820B1 (en) 2016-10-14 2017-06-27 Electronic device and method for processing audio signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160133386A KR102562287B1 (ko) 2016-10-14 2016-10-14 전자 장치 및 전자 장치의 오디오 신호 처리 방법
KR10-2016-0133386 2016-10-14

Publications (1)

Publication Number Publication Date
WO2018070639A1 true WO2018070639A1 (ko) 2018-04-19

Family

ID=61905615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006793 WO2018070639A1 (ko) 2016-10-14 2017-06-27 전자 장치 및 전자 장치의 오디오 신호 처리 방법

Country Status (4)

Country Link
US (1) US11094323B2 (ko)
EP (1) EP3480820B1 (ko)
KR (1) KR102562287B1 (ko)
WO (1) WO2018070639A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599124A (zh) * 2018-11-23 2019-04-09 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
EP3806089A1 (en) * 2018-05-24 2021-04-14 Tencent Technology (Shenzhen) Company Limited Mixed speech recognition method and apparatus, and computer readable storage medium
CN114512141A (zh) * 2022-02-09 2022-05-17 腾讯科技（深圳）有限公司 音频分离的方法、装置、设备、存储介质和程序产品

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
KR102418952B1 (ko) * 2017-08-31 2022-07-08 삼성전자주식회사 음성인식 기능을 갖는 가전제품
KR20190084789A (ko) * 2018-01-09 2019-07-17 엘지전자 주식회사 전자 장치 및 그 제어 방법
TWI680676B (zh) * 2018-05-15 2019-12-21 波寶創新科技股份有限公司 網路攝影設備以及監控系統
CA3142707A1 (en) * 2018-06-04 2019-12-12 Disruptel, Inc. Systems and methods for operating an output device
CN108922523B (zh) * 2018-06-19 2021-06-15 Oppo广东移动通信有限公司 位置提示方法、装置、存储介质及电子设备
KR102623998B1 (ko) 2018-07-17 2024-01-12 삼성전자주식회사 음성인식을 위한 전자장치 및 그 제어 방법
CN109377987B (zh) * 2018-08-31 2020-07-28 百度在线网络技术（北京）有限公司 智能语音设备间的交互方法、装置、设备及存储介质
US10867619B1 (en) * 2018-09-20 2020-12-15 Apple Inc. User voice detection based on acoustic near field
KR20200043642A (ko) * 2018-10-18 2020-04-28 삼성전자주식회사 동작 상태에 기반하여 선택한 마이크를 이용하여 음성 인식을 수행하는 전자 장치 및 그의 동작 방법
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
KR102693751B1 (ko) 2018-12-19 2024-08-13 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102246936B1 (ko) * 2019-06-20 2021-04-29 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치
KR20210063698A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 전자장치와 그의 제어방법, 및 기록매체
CN110708600A (zh) * 2019-11-26 2020-01-17 三星电子（中国）研发中心 识别电视的有效观看者的方法和设备
CN113270109B (zh) * 2020-02-14 2023-05-26 宏碁股份有限公司 自动调整特定声源的方法及应用其的电子装置
CN111445920B (zh) * 2020-03-19 2023-05-16 西安声联科技有限公司 一种多声源的语音信号实时分离方法、装置和拾音器
CN113450823B (zh) * 2020-03-24 2022-10-28 海信视像科技股份有限公司 基于音频的场景识别方法、装置、设备及存储介质
CN111599357A (zh) * 2020-04-07 2020-08-28 宁波吉利汽车研究开发有限公司 一种车内多音区拾音方法、装置、电子设备及存储介质
CN111599380A (zh) * 2020-05-14 2020-08-28 陕西金蝌蚪智能科技有限公司 子弹计数方法、装置、终端及存储介质
EP4226370A4 (en) * 2020-10-05 2024-08-21 Univ Columbia SYSTEMS AND METHODS FOR BRAIN-BASED SPEECH SEPARATION
CN112637742B (zh) * 2020-12-29 2022-10-11 北京安声浩朗科技有限公司 信号处理方法及信号处理装置、存储介质及耳机
CN113709653B (zh) * 2021-08-25 2022-10-18 歌尔科技有限公司 定向定位听音方法、听力装置及介质
CN113576527A (zh) * 2021-08-27 2021-11-02 复旦大学 一种利用声控进行超声输入判断的方法
CN114390133A (zh) * 2022-01-24 2022-04-22 维沃移动通信有限公司 录音方法、装置和电子设备
CN114694638A (zh) * 2022-04-19 2022-07-01 深圳市未艾智能有限公司 一种语音唤醒方法、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215946B1 (ko) * 1994-05-13 1999-08-16 모리시타 요이치 게임장치,음성선택장치,음성인식장치및음성응답장치
JP2008309966A (ja) * 2007-06-13 2008-12-25 Fujitsu Ten Ltd 音声入力処理装置および音声入力処理方法
JP2012198289A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd 音声誤検出判別装置、音声誤検出判別方法、およびプログラム
KR20140060040A (ko) * 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR20160034855A (ko) * 2013-06-28 2016-03-30 가부시키가이샤 에이티알-트렉 로컬 음성인식을 행하는 음성인식 클라이언트 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233272B1 (ko) * 2011-03-08 2013-02-14 고려대학교 산학협력단 잡음 환경에서의 음성 처리 장치 및 방법
US9264553B2 (en) * 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
KR102081925B1 (ko) * 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
US9525938B2 (en) 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US10939201B2 (en) 2013-02-22 2021-03-02 Texas Instruments Incorporated Robust estimation of sound source localization
WO2014144579A1 (en) * 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9286897B2 (en) * 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
JP2016042613A (ja) 2014-08-13 2016-03-31 沖電気工業株式会社 目的音声区間検出装置、目的音声区間検出方法、目的音声区間検出プログラム、音声信号処理装置及びサーバ
KR101888391B1 (ko) 2014-09-01 2018-08-14 삼성전자 주식회사 음성 신호 관리 방법 및 이를 제공하는 전자 장치
JP6450139B2 (ja) 2014-10-10 2019-01-09 株式会社Ｎｔｔドコモ 音声認識装置、音声認識方法、及び音声認識プログラム
KR102269848B1 (ko) 2014-10-27 2021-06-28 엘지전자 주식회사 영상표시기기 및 그의 원거리 음성 인식율 향상 방법
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
US10056078B1 (en) * 2016-06-28 2018-08-21 Amazon Technology, Inc. Output of content based on speech-based searching and browsing requests
US10409552B1 (en) * 2016-09-19 2019-09-10 Amazon Technologies, Inc. Speech-based audio indicators

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215946B1 (ko) * 1994-05-13 1999-08-16 모리시타 요이치 게임장치,음성선택장치,음성인식장치및음성응답장치
JP2008309966A (ja) * 2007-06-13 2008-12-25 Fujitsu Ten Ltd 音声入力処理装置および音声入力処理方法
JP2012198289A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd 音声誤検出判別装置、音声誤検出判別方法、およびプログラム
KR20140060040A (ko) * 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR20160034855A (ko) * 2013-06-28 2016-03-30 가부시키가이샤 에이티알-트렉 로컬 음성인식을 행하는 음성인식 클라이언트 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3806089A1 (en) * 2018-05-24 2021-04-14 Tencent Technology (Shenzhen) Company Limited Mixed speech recognition method and apparatus, and computer readable storage medium
EP3806089A4 (en) * 2018-05-24 2021-07-21 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR MIXED SPEECH RECOGNITION AND COMPUTER-READABLE STORAGE MEDIUM
US11996091B2 (en) 2018-05-24 2024-05-28 Tencent Technology (Shenzhen) Company Limited Mixed speech recognition method and apparatus, and computer-readable storage medium
CN109599124A (zh) * 2018-11-23 2019-04-09 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
CN109599124B (zh) * 2018-11-23 2023-01-10 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
CN114512141A (zh) * 2022-02-09 2022-05-17 腾讯科技（深圳）有限公司 音频分离的方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
KR20180041355A (ko) 2018-04-24
EP3480820B1 (en) 2021-05-19
EP3480820A4 (en) 2019-07-24
KR102562287B1 (ko) 2023-08-02
US11094323B2 (en) 2021-08-17
EP3480820A1 (en) 2019-05-08
US20190214011A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
WO2018070639A1 (ko) 전자 장치 및 전자 장치의 오디오 신호 처리 방법
US10818296B2 (en) Method and system of robust speaker recognition activation
WO2021082941A1 (zh) 视频人物识别方法、装置、存储介质与电子设备
WO2017069556A1 (ko) 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2020189850A1 (en) Electronic device and method of controlling speech recognition by electronic device
EP3552201A1 (en) Electronic device and controlling method thereof
US9899025B2 (en) Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities
US11462213B2 (en) Information processing apparatus, information processing method, and program
WO2017078361A1 (en) Electronic device and method for recognizing speech
WO2017052082A1 (en) Voice recognition apparatus, voice recognition method of user device, and non-transitory computer readable recording medium
EP3002753B1 (en) Speech enhancement method and apparatus for same
US10089980B2 (en) Sound reproduction method, speech dialogue device, and recording medium
WO2018038381A1 (ko) 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법
US11626104B2 (en) User speech profile management
WO2020017759A1 (ko) 음성인식을 위한 전자장치 및 그 제어 방법
WO2020054980A1 (ko) 음소기반 화자모델 적응 방법 및 장치
WO2022206602A1 (zh) 语音唤醒方法、装置、存储介质及系统
WO2021071110A1 (en) Electronic apparatus and method for controlling electronic apparatus
US12033654B2 (en) Sound pickup device and sound pickup method
WO2021112391A1 (ko) 전자장치 및 그 제어방법
KR101430342B1 (ko) 발화자의 거리 추정을 이용한 음성인식방법 및 음성인식장치
WO2022114482A1 (ko) 전자장치 및 그 제어방법
WO2024053822A1 (en) System and method for receiving a voice command
WO2023182718A1 (en) Systems and methods for dynamically adjusting a listening time of a voice assistant device
WO2021107464A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860062

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017860062

Country of ref document: EP

Effective date: 20190129

NENP Non-entry into the national phase

Ref country code: DE