WO2022010320A1 - 음성을 처리하기 위한 장치 및 이의 작동 방법 - Google Patents

음성을 처리하기 위한 장치 및 이의 작동 방법 Download PDF

Info

Publication number
WO2022010320A1
WO2022010320A1 PCT/KR2021/008826 KR2021008826W WO2022010320A1 WO 2022010320 A1 WO2022010320 A1 WO 2022010320A1 KR 2021008826 W KR2021008826 W KR 2021008826W WO 2022010320 A1 WO2022010320 A1 WO 2022010320A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
sound source
voices
processing apparatus
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/008826
Other languages
English (en)
French (fr)
Inventor
김정민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amosense Co Ltd
Original Assignee
Amosense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200085369A external-priority patent/KR20220007302A/ko
Priority claimed from KR1020200141311A external-priority patent/KR20220056593A/ko
Priority claimed from KR1020200144534A external-priority patent/KR20220059211A/ko
Priority claimed from KR1020200144524A external-priority patent/KR20220059207A/ko
Application filed by Amosense Co Ltd filed Critical Amosense Co Ltd
Priority to JP2023501279A priority Critical patent/JP7659341B2/ja
Priority to US18/015,472 priority patent/US12451139B2/en
Publication of WO2022010320A1 publication Critical patent/WO2022010320A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Definitions

  • Embodiments of the present invention relate to an apparatus for processing voice and a method of operating the same.
  • a microphone is a device that converts voice into a voice signal, which is an electrical signal.
  • a microphone When a microphone is disposed in a space in which a plurality of speakers are located, such as a conference room or a classroom, the microphone receives all voices from the plurality of speakers and generates voice signals related to the voices of the plurality of speakers.
  • the voices of the plurality of speakers may all be mixed. In this case, it is necessary to separate a voice signal representing the voice of a specific speaker from among the voices of the plurality of speakers.
  • An object of the present invention is to provide an apparatus capable of identifying a speaker's location using a plurality of input voice signals, and separating and recognizing the plurality of voice signals for each speaker, and an operating method thereof.
  • An object of the present invention is to provide an apparatus capable of generating a separate voice signal associated with each voice of the speakers in response to the voices of the speakers, and a method of operating the same.
  • An object of the present invention is to provide an apparatus capable of generating a translation result for each speaker's voice by using a separate voice signal associated with each speaker's voice, and outputting the generated translation result, and a method of operating the same is to provide.
  • a voice processing apparatus includes a processor and a memory configured to perform sound source separation on the basis of the sound source location of each of the voice signals associated with the voices of speakers, wherein the processor is associated with the voices. Generates sound source location information indicating the location of each sound source by using the audio signal, and generates a separate audio signal associated with each speaker's voice from the audio signal based on the original sound source location information, and separates the audio signal and the sound source It is configured to match the location information with each other and store it in the memory.
  • An apparatus may identify a speaker's location using a voice signal, and may distinguish which speaker's voice the voice signal corresponds to through the speaker's position. Accordingly, even if a plurality of speakers simultaneously utter a voice, the voice separation apparatus has an effect of classifying and separating the voices for each speaker.
  • the voice processing apparatus can generate a separate voice signal related to a voice from a specific sound source location based on the sound source position of the voice, so that it is possible to generate a voice signal with minimal influence of ambient noise.
  • the speech processing apparatus may not only extract the voices of each speaker from the transmitted voice signal, but also determine the starting language, which is the language before translation of the voices, based on the location of the sound source of the voices, and determine the determined There is an effect of providing a translation result by translating the corresponding voice based on the starting language.
  • FIG. 1 is a diagram illustrating a voice processing environment according to embodiments of the present invention.
  • FIG. 2 illustrates a voice processing apparatus according to embodiments of the present invention.
  • 3 to 5 are diagrams for explaining an operation of a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a voice separation method by a voice processing apparatus according to embodiments of the present invention.
  • FIG. 7 is a diagram for explaining a translation function of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 8 is a diagram for explaining a translation function of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 9 is a flowchart illustrating a method of providing a translation result by a voice processing apparatus according to embodiments of the present invention.
  • FIGS. 10 and 11 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 12 is a diagram illustrating an operation of a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 13 illustrates a voice processing apparatus according to embodiments of the present invention.
  • FIGS. 14 and 15 are diagrams for explaining a speaker movement mode according to embodiments of the present invention.
  • FIG. 16 illustrates a voice processing apparatus according to embodiments of the present invention.
  • 17 and 18 are diagrams illustrating an operation of a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 19 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 20 illustrates a voice processing apparatus according to embodiments of the present invention.
  • FIG. 21 shows a voice processing apparatus according to embodiments of the present invention.
  • 22 and 23 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 24 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • 25 is a diagram for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • 26 is a diagram illustrating an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 27 is a diagram for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • speakers SPK1 to SPK4 may be located in a space (eg, a conference room, vehicle, lecture room, etc.) to pronounce a voice.
  • the first speaker SPK1 may utter a voice at a first position P1
  • the second speaker SPK2 may utter a voice at a position at a second position P2
  • the second speaker SPK2 may utter a voice at the second position P2
  • the third speaker SPK3 may utter a voice at the third position P3
  • the fourth speaker SPK4 may utter the voice at the fourth position P4 .
  • the voice processing device 100 may be an electronic device having an arithmetic processing function.
  • the voice processing apparatus 100 may be a smartphone, a laptop computer, a personal digital assistance (PDA), a wearable device, a smart watch, or a tablet computer.
  • PDA personal digital assistance
  • the embodiments of the present invention are not limited thereto.
  • the voice processing apparatus 100 may process voice signals related to the voices of the speakers SPK1 to SPK4, thereby performing voice processing on the voices of each of the speakers SPK1 to SPK4.
  • the voice processing apparatus 100 may generate a voice signal related to the voices of the speakers SPK1 to SPK4 in response to the voices of each of the speakers SPK1 to SPK4 .
  • the voice signal is a signal related to voices uttered for a specific time, and may be a signal representing voices of a plurality of speakers.
  • the voice processing apparatus 100 determines the sound source location of each of the voices of the speakers SPK1 to SPK4 by using a voice signal related to the voices of the speakers SPK1 to SPK4, and to the sound source location By performing sound source separation based on the sound source separation, it is possible to extract (or generate) a separate voice signal associated with the voices of each of the speakers SPK1 to SPK4 from the voice signal.
  • the voice processing apparatus 100 may generate a separate voice signal associated with the voices of the speakers SPK1 to SPK4 located at each position P1 to P4 based on the sound source positions of voices corresponding to the voice signals. have.
  • the voice processing apparatus 100 may generate a first separated voice signal associated with the voice of the first speaker SPK1 uttered at the first position P1 based on the voice signal.
  • the first divided voice signal may be a voice signal having the highest correlation with the voice of the first speaker SPK1 among the voices of the speakers SPK1 to SPK4.
  • the proportion of the voice component of the first speaker SPK1 among the voice components included in the first separated voice signal may be the highest.
  • the voice processing apparatus 100 may provide a translation for the voices of each of the speakers SPK1 to SPK4.
  • the speech processing device 100 determines a source language (translation target language) and a target language (post-translation language) for translating the speech of each of the speakers SPK1 to SPK4, and separates the speech
  • the signal may be used to provide a translation for each language of the speakers.
  • the voice processing apparatus 100 may output a translation result for each of the voices.
  • the translation result may be text data or voice signals associated with voices of the speakers SPK1 to SPK4 expressed in the arrival language.
  • the voice processing apparatus 100 determines the departure language and the arrival language according to the sound source positions of each of the voices of the speakers SPK1 to SPK4, it is possible to identify the language of the speaker's voice. There is an effect that it is possible to provide a translation for the speaker's voice with little time and less resources without need.
  • the voice processing apparatus 100 may include a microphone 110 , a communication circuit 120 , a processor 130 , and a memory 140 .
  • the voice processing apparatus 100 may further include a speaker 150 .
  • the microphone 110 may generate a voice signal in response to the generated voice. According to embodiments, the microphone 110 may detect vibration of air due to voice and generate a voice signal that is an electrical signal corresponding to the vibration according to the detection result.
  • each of the plurality of microphones 110 may generate a voice signal in response to a voice.
  • voice signals generated from each of the microphones 110 may have a phase difference (or time delay) from each other.
  • the microphone 110 may receive the voices of the speakers SPK1 to SPK4 located at the respective positions P1 to P4 and convert the voices of the speakers SPK1 to SPK4 into voice signals that are electrical signals.
  • the communication circuit 120 may exchange data with an external device according to a wireless communication method. According to embodiments, the communication circuit 120 may transmit and receive data to and from an external device using radio waves of various frequencies. For example, the communication circuit 120 may transmit and receive data to and from an external device according to at least one of short-range wireless communication, medium-range wireless communication, and long-range wireless communication.
  • the processor 130 may control the overall operation of the voice processing apparatus 100 .
  • the processor 130 may include a processor having an arithmetic processing function.
  • the processor 130 may include a central processing unit (CPU), a micro controller unit (MCU), a graphics processing unit (GPU), a digital signal processor (DSP), an analog to digital converter, or a digital to analog converter. converter), but is not limited thereto.
  • the processor 130 may process voice signals generated by the microphone 110 .
  • the processor 130 may convert an analog audio signal generated by the microphone 110 into a digital audio signal and process the converted digital audio signal.
  • the signal type analog or digital
  • a digital-type audio signal and an analog-type audio signal will be mixed.
  • the processor 130 may extract (or generate) a separate voice signal associated with the voice of each of the speakers SPK1 to SPK4 by using the voice signal generated by the microphone 110 . According to embodiments, the processor 130 may generate a separate voice signal associated with the voices of the speakers SPK1 to SPK4 located at each of the positions P1 to P4.
  • the processor 130 may determine the sound source positions of the voices (ie, the positions of the speakers SPK1 to SPK4 ) by using a time delay (or phase delay) between the voice signals. For example, the processor 130 may determine the relative positions of the sound sources (ie, the speakers SPK1 to SPK4 ) with respect to the voice processing apparatus 100 .
  • the processor 130 may generate a separate voice signal associated with the voice of each of the speakers SPK1 to SPK4 based on the determined sound source location. For example, the processor 130 may generate a first separated voice signal associated with the voice of the first speaker SPK1 based on the sound source positions of the voices.
  • the processor 130 may match and store the sound source location information indicating the determined sound source location with the separated voice signal. For example, the processor 130 matches the first separated voice signal associated with the voice of the first speaker SPK1 and the first sound source location information indicating the location of the sound source of the voice of the first speaker SPK1 and stores it in the memory 140 . can That is, since the location of the sound source corresponds to the location of each of the speakers SPK1 to SPK4, the location information of the sound source may function as speaker location information for identifying the location of each of the speakers SPK1 to SPK4.
  • the operation of the processor 130 or the voice processing device 100 described herein may be implemented in the form of a program executable by a computing device.
  • the processor 130 may execute an application stored in the memory 140 , and may perform operations corresponding to instructions instructing specific operations according to the execution of the application.
  • the memory 140 may store data necessary for the operation of the voice processing apparatus 100 .
  • the memory 140 may include at least one of a non-volatile memory and a volatile memory.
  • the memory 140 may store identifiers corresponding to the respective positions P1 to P4 in space.
  • the identifier may be data for distinguishing the positions P1 to P4. Since each of the speakers SPK1 to SPK4 is located in each of the positions P1 to P4, each of the speakers SPK1 to SPK4 can be distinguished using an identifier corresponding to the positions P1 to P4.
  • the first identifier indicating the first location P1 may indicate the first speaker SPK1. From this point of view, the identifier corresponding to each position P1 to P4 in space may function as a speaker identifier for identifying each of the speakers SPK1 to SPK4.
  • the identifier may be input through an input device (eg, a touch pad) of the voice processing apparatus 100 .
  • an input device eg, a touch pad
  • the memory 140 may store sound source location information related to the positions of each of the speakers SPK1 to SPK4 and a separate voice signal related to the voices of each of the speakers SPK1 to SPK4 .
  • the speaker 150 may vibrate under the control of the processor 130 , and a voice may be generated according to the vibration. According to embodiments, the speaker 150 may reproduce a voice associated with the voice signal by generating vibration corresponding to the voice signal.
  • the voice processing apparatus 100 includes the microphone 110 and directly generates a voice signal related to the voices of the speakers SPK1 to SPK4 using the microphone 110 , but in practice, the microphone may be configured externally separately from the voice processing device 100, and the voice processing device 100 may receive a voice signal from the separately configured microphone and process or use the received voice signal. .
  • the voice processing apparatus 100 may generate a separated voice signal from a voice signal received from the separated microphone.
  • the voice processing apparatus 100 includes the microphone 110 unless otherwise noted.
  • 3 to 5 are diagrams for explaining an operation of a voice processing apparatus according to an embodiment of the present invention.
  • each of the speakers SPK1 to SPK4 positioned at each position P1 to P4 may speak.
  • the voice processing apparatus 100 may generate a separate voice signal related to the voices of the respective speakers SPK1 to SPK4 from the voices of the speakers SPK1 to SPK4, and Position information indicating the positions of the speakers SPK1 to SPK4 may be stored.
  • the voice processing apparatus 100 may determine the sound source positions of the voices (ie, the positions of the speakers SPK1 to SPK4 ) by using a time delay (or phase delay) between the voice signals. For example, the voice processing apparatus 100 may determine the relative positions of the sound sources (ie, the speakers SPK1 to SPK4 ) with respect to the voice processing apparatus 100 .
  • the voice processing apparatus 100 may generate a separate voice signal associated with the voices of each of the speakers SPK1 to SPK4 based on the determined location of the sound source.
  • the first speaker SPK1 utters the voice “AAA”.
  • the voice processing apparatus 100 may generate a voice signal associated with the voice “AAA” in response to the voice “AAA”.
  • the voice signal associated with the voice “AAA” may include components related to noises other than the voice “AAA”.
  • the voice processing apparatus 100 may generate a separated voice signal associated with the voice “AAA” of the first speaker SPK1 by using the generated voice signal. At this time, the voice processing apparatus 100 sets the first separated voice signal associated with the voice “AAA” of the first speaker SPK1 and the first sound source position indicating the first position P1, which is the position of the first speaker SPK1. Information may be stored in the memory 140 . For example, as shown in FIG. 3 , the first separated voice signal and the first sound source location information may be matched and stored.
  • the second speaker SPK2 utters the voice “BBB”.
  • the voice processing apparatus 100 may generate a voice signal associated with the voice “BBB” in response to the voice “BBB”.
  • the voice processing apparatus 100 may generate a second separated voice signal associated with the voice “BBB” of the second speaker SPK2 by using the generated voice signal. At this time, the voice processing apparatus 100 sets the second separated voice signal associated with the voice "BBB” of the second speaker SPK2 and the second sound source position indicating the second position P2, which is the position of the second speaker SPK2. Information may be stored in the memory 140 . For example, as shown in FIG. 4 , the second separated voice signal and the second sound source location information may be matched and stored.
  • the third speaker SPK3 utters the voice “CCC” and the fourth speaker SPK4 utters the voice “DDD”.
  • the voice processing apparatus 100 may generate a voice signal associated with the voice “CCC” and the voice “DDD” in response to the voice “CCC” and the voice “DDD”. That is, the voice signal is a voice signal including components associated with voice "CCC” and voice "DDD".
  • the voice processing apparatus 100 uses the generated voice signal to obtain a third separated voice signal associated with the voice “CCC” of the third speaker SPK3 and the voice “DDD” of the fourth speaker SPK4.
  • a fourth separated voice signal associated with may be generated.
  • the voice processing apparatus 100 provides the third separated voice signal associated with the voice "CCC” of the third talker SPK3 and third location information indicating the third location P3, which is the location of the third talker SPK3. may be stored in the memory 140 .
  • the voice processing apparatus 100 obtains the fourth separated voice signal associated with the voice "DDD" of the fourth talker SPK4 and the fourth location information indicating the fourth location P4, which is the location of the fourth talker SPK4. It may be stored in the memory 140 .
  • the third separated voice signal and the third sound source location information may be matched to each other and stored, and the fourth separated voice signal and the fourth sound source location information may be matched and stored.
  • the voice processing apparatus 100 may generate a separate voice signal related to the voices of the speakers SPK1 to SPK4 from the voices of the speakers SPK1 to SPK4, and separate voices. Position information indicating the signal and the positions of the speakers SPK1 to SPK4 may be stored.
  • FIG. 6 is a flowchart illustrating a voice separation method by a voice processing apparatus according to embodiments of the present invention.
  • the operation method of the voice processing apparatus to be described with reference to FIG. 6 may be implemented as an application (eg, a voice separation application) that is stored in a non-transitory storage medium and is executable by the computing device.
  • the processor 130 may execute an application stored in the memory 140 , and may perform operations corresponding to instructions instructing specific operations according to the execution of the application.
  • the voice processing apparatus 100 may generate a voice signal in response to the voice ( S110 ). According to embodiments, the voice processing apparatus 100 may convert a voice sensed in space into a voice signal that is an electrical signal.
  • the voice processing apparatus 100 may determine the location of the sound source for each of the voices (that is, the positions of the speakers SPK1 to SPK4) by using the voice signals associated with the voices of the speakers SPK1 to SPK4 ( S120). According to embodiments, the voice processing apparatus 100 may generate sound source location information indicating the location of the sound source for each of the voices of the speakers SPK1 to SPK4 (that is, the location of the speakers SPK1 to SPK4). .
  • the voice processing apparatus 100 may generate a separate voice signal associated with each of the voices of the speakers SPK1 to SPK4 based on the location of the sound source for each of the voices ( S130 ). According to embodiments, the voice processing apparatus 100 may generate a separated voice signal associated with each of the voices of the speakers SPK1 to SPK4 by separating the generated voice signal based on the sound source location for each of the voices. have. For example, the voice processing apparatus 100 may generate a separated voice signal associated with each of the voices of the speakers SPK1 to SPK4 by separating components included in the voice signal based on the location of the sound source.
  • the voice processing apparatus 100 may store the sound source location information indicating the location of the sound source and the separated voice signal (S140). According to embodiments, the voice processing apparatus 100 may match and store the sound source location information indicating the location of the sound source and the separated voice signals associated with the respective voices of the speakers SPK1 to SPK4. For example, the voice processing apparatus 100 may match and store sound source location information with data corresponding to a separate voice signal related to the voices of each of the speakers SPK1 to SPK4.
  • the voice processing apparatus 100 executes an application (eg, a voice separation application) stored in the memory 140 to enable the speakers SPK1 to SPK4 .
  • an application eg, a voice separation application
  • a separate voice signal associated with each of the speakers SPK1 to SPK4 may be generated (or separated) from the voice signal associated with the voices of the .
  • a mobile terminal such as a smartphone basically includes a speaker and a processor
  • users perform the method according to the embodiments of the present invention using the voice processing device 100 , thereby It has the effect of isolating the voice.
  • the processor 130 of the voice processing apparatus 100 may execute a voice separation application and perform voice separation using hardware (eg, a speaker) included in the voice processing apparatus 100 .
  • the first speaker SPK1 utters the voice “AAA” in Korean (KR)
  • the second speaker SPK2 utters the voice “BBB” in English (EN)
  • the third speaker ( SPK3) utters the voice “CCC” in Chinese (CN)
  • the fourth speaker SPK4 utters the voice “DDD” in Japanese (JP).
  • the voice processing apparatus 100 may generate a separate voice signal related to the voices of the respective speakers SPK1 to SPK4 from the voices of the speakers SPK1 to SPK4, and generate the separated voice signal. By using this, it is possible to provide a translation for the voices of each of the speakers SPK1 to SPK4. In this case, the voice processing apparatus 100 determines the starting language of the voices of the speakers SPK1 to SPK4 by using the departure language information corresponding to the positions of each of the speakers SPK1 to SPK4, and translates the voices. can provide
  • the voice processing apparatus 100 provides a separate voice signal associated with each of the voices of the speakers SPK1 to SPK4, sound source location information indicating the positions of the speakers SPK1 to SPK4, and the speakers SPK1 It is possible to store the starting language information indicating the starting language of the voice of ⁇ SPK4). In this case, the starting language may be predetermined and stored for each sound source location.
  • the voice processing apparatus 100 may store first start language information indicating that the start language corresponding to the first location P1 is “KR” in the memory 140 .
  • the voice processing apparatus 100 provides the first separated voice signal associated with the voice “AAA” of the first speaker SPK1, and the first sound source location information indicating the first location P1, which is the location of the first speaker SPK1. and first starting language information indicating “KR”, which is the starting language of the voice “AAA (KR)” of the first speaker SPK1 , in the memory 140 .
  • the voice processing apparatus 100 when the speakers SPK1 to SPK4 utter a voice, the voice processing apparatus 100 responds to the voices of the speakers SPK1 to SPK4 and is associated with the respective voices of the speakers SPK1 to SPK4. It is possible to generate the separated voice signal and sound source location information indicating the positions of the speakers SPK1 to SPK4.
  • the voice processing apparatus 100 may determine a start language corresponding to each separated voice signal using the start language information, and provide a translation for the voices of the speakers SPK1 to SPK4 based on the determined start language. . According to embodiments, the voice processing apparatus 100 determines a start language corresponding to a sound source location of each voice by using the sound source location information corresponding to each separated voice signal, and provides a separate voice signal based on the determined start language. You can create a translation result for
  • the speech processing device 100 converts the separated speech signal into text data (eg, speech-to-text (STT) conversion), and generates a translation result from the source language to the destination language for the converted text data, and , the translation result may be converted into a speech signal (eg, text-to-speech (TTS) conversion). That is, the translation result referred to in the present specification may mean all text data or voice signals associated with the voices of the speakers SPK1 to SPK4 expressed in the arrival language.
  • text data eg, speech-to-text (STT) conversion
  • TTS text-to-speech
  • the voice processing apparatus 100 may output the generated translation result.
  • the voice processing apparatus 100 may output the generated translation result through the speaker 150 or transmit it to another external device.
  • the voice processing apparatus 100 generates a separate voice signal associated with each voice of the speakers SPK1 to SPK4, and uses the separated voice signals to each voice of the speakers SPK1 to SPK4. You can output the translation result for .
  • the translation result indicates a result of converting the language of the voices of the speakers SPK1 to SPK4 from the departure language to another language (eg, the arrival language).
  • the first speaker SPK1 utters the voice “AAA” in Korean (KR), and the second speaker SPK2 utters the voice “BBB” in English (EN).
  • the starting language of the voice “AAA” of the first speaker SPK1 is Korean (KR)
  • the starting language of the voice “BBB” of the second speaker SPK2 is English (EN).
  • the voice processing apparatus 100 determines the sound source location (eg, P1 ) of the first speaker SPK1 , and based on the sound source location, determines the first A first separated voice signal associated with the voice “AAA(KR)” of the speaker SPK1 may be generated.
  • the voice processing apparatus 100 determines the sound source location (eg, P2) of the second speaker SPK2, and based on the sound source location A second separated voice signal associated with the voice “BBB(EN)” of the second speaker SPK2 may be generated.
  • the speech processing apparatus 100 may provide a translation of the speech language of the speakers SPK1 to SPK4 from the departure language to the destination language by using the generated separated speech signal.
  • the voice processing apparatus 100 uses the start language information stored in the memory 140 to determine the start language determined according to the sound source positions of the voices of the speakers SPK1 to SPK4, and the determined start language Accordingly, the translation result from the departure language to the destination language for the speech language of each of the speakers SPK1 to SPK4 may be output.
  • the voice processing apparatus 100 may store arrival language information indicating the arrival language for each location, and use the stored arrival language information to correspond to the sound source location of each of the voices of the speakers SPK1 to SPK4 You can decide the language of your arrival. Also, according to embodiments, the voice processing apparatus 100 may determine the arrival language for each of the voices of the speakers SPK1 to SPK4 based on an input from the user.
  • the voice processing apparatus 100 uses the first sound source location information indicating the first location P1, which is the location of the sound source of the voice “AAA(KR)” of the first speaker SPK1, from the memory 140 .
  • the first starting language information corresponding to the first position P1 may be read.
  • the read first start language information may indicate that the start language of the voice “AAA” of the first speaker SPK1 is Korean (KR).
  • the translation result may be output through the speaker 150 , stored in the memory 140 , or transmitted to an external device through the communication circuit 120 .
  • the translation result output by the voice processing apparatus 100 may be text data expressed in the arrival language or a voice signal related to a voice uttered in the arrival language, but is not limited thereto.
  • generating the translation result by the voice processing device 100 means not only generating the translation result by translating a language through the operation of the processor 130 of the voice processing device 100 itself, but also generating the translation result. and generating a translation result by receiving the translation result from the server through communication with a server having a translation function (100).
  • the processor 130 may generate a translation result for the speech of each of the speakers SPK1 to SPK4 by executing the translation application stored in the memory 140 .
  • the voice processing apparatus 100 may transmit the separated voice signal, the departure language information, and the arrival language information to a translator, and receive a translation result for the separated voice signal from the translator.
  • a translator may refer to an environment or system that provides translation for a language.
  • the translator may output a translation result for each of the voices of the speakers SPK1 to SPK4 by using the separated voice signal, the departure language information, and the arrival language information.
  • the speech processing apparatus 100 provides a departure language (ie, Korean (KR)) and an arrival language (ie, English) for the voice “AAA(KR)” of the first speaker SPK1. (EN)) may be determined, and a translation result for the voice “AAA(KR)” of the first speaker SPK1 may be output according to the determined departure language and arrival language.
  • the translation result for the voice “AAA(KR)” may be data (eg, voice data or text data, etc.) associated with the voice “AAA(EN)” expressed in English (EN).
  • the destination language for the voice "AAA(KR)" is English (EN)
  • embodiments of the present invention are not limited thereto.
  • the speech processing apparatus 100 since the speech processing apparatus 100 provides translation based on the separated speech signals associated with the speeches of the speakers SPK1 to SPK4, the speech processing apparatus 100 outputs a translation result for the speech of a specific speaker. There is an effect that can be done.
  • the speech processing device 100 determines the departure language (ie, English (EN)) and the destination language (ie, Korean (KR)) for the voice "BBB(EN)" of the second speaker SPK2, According to the determined departure language and arrival language, a translation result for the voice “BBB(EN)” of the second speaker SPK2 may be output. In addition, the speech processing apparatus 100 may also output translation results for the voice “CCC(CN)” of the third speaker SPK3 and the voice “DDD(CN)” of the fourth speaker SPK4 .
  • FIG. 9 is a flowchart illustrating a method of providing a translation result by a voice processing apparatus according to embodiments of the present invention.
  • the operation method of the voice processing apparatus to be described with reference to FIG. 9 may be implemented as an application (eg, a translation application) that is stored in a non-transitory storage medium and is executable by the computing device.
  • the processor 130 may execute an application stored in the memory 140 , and may perform operations corresponding to instructions instructing specific operations according to the execution of the application.
  • the voice processing apparatus 100 may generate a separate voice signal associated with the voices of the speakers SPK1 to SPK4 ( S210 ). According to embodiments, the voice processing apparatus 100 may generate a separated voice signal by separating the voice signal generated in response to the voice based on the sound source location of each voice.
  • the speech processing apparatus 100 may determine a starting language for translating the speech of each of the speakers SPK1 to SPK4 ( S220 ). According to embodiments, the voice processing apparatus 100 may determine a starting language for translating the voices of each of the speakers SPK1 to SPK4 based on the sound source positions of the respective voices of the speakers SPK1 to SPK4. Also, the speech processing apparatus 100 may determine the destination language into which the speech of each of the speakers SPK1 to SPK4 is to be translated based on the sound source location of each of the speeches of the speakers SPK1 to SPK4 .
  • the speech processing apparatus 100 may output a translation result for the speech of each of the speakers SPK1 to SPK4 according to the starting language by using the separated speech signal ( S230 ).
  • the voice processing apparatus 100 may output a translation result from the departure language to the arrival language for each of the voices of the speakers SPK1 to SPK4 based on the determined departure language (and arrival language). have.
  • the voice processing apparatus 100 generates a voice signal related to the voices of the speakers SPK1 to SPK4 and processes the voice signals to thereby separate voices related to the voices of each of the speakers SPK1 to SPK4. signal can be generated.
  • the speech processing apparatus 100 may use the separated speech signal to translate the speeches of the speakers SPK1 to SPK4 and output the translation result. Accordingly, even if the speakers SPK1 to SPK4 use different languages, each of the speakers SPK1 to SPK4 can speak in their own language and use the voices of the speakers using other languages. It has the effect of being able to hear it translated into language.
  • a mobile terminal such as a smartphone basically includes a speaker and a processor
  • the voice processing device 100 is implemented in a mobile terminal such as a smartphone, users can use the voice processing device 100 to implement the present invention.
  • the voice processing apparatus 100 may operate in a location registration mode (or a speaker registration mode).
  • the location registration mode refers to a mode of storing the sound source positions of the voices of the speakers SPK1 to SPK4 as a reference sound source location in the voice processing apparatus 100 .
  • the voice processing apparatus 100 identifies the speakers SPK1 to SPK4 by using the stored reference sound source position to generate a separated voice signal or selectively processes only a separated voice signal related to a voice uttered at a specific position. You may.
  • the processor 130 may operate in a location registration mode in response to an input from the outside. According to embodiments, the processor 130 operates in a location registration mode in response to a voice signal including a specific phrase, or to input through an input unit (eg, a button or a touch panel) formed in the voice processing device 100 . In response, it can operate in location registration mode.
  • a voice signal including a specific phrase
  • an input unit eg, a button or a touch panel
  • the voice processing apparatus 100 may determine a sound source location for each voice of the speakers SPK1 to SPK4 in response to the voices of the speakers SPK1 to SPK4 and generate sound source location information indicating the location of the sound source.
  • the voice processing apparatus 100 may store the generated sound source location information in the memory 140 as reference sound source location information.
  • the voice processing apparatus 100 responds to the voice of the first speaker SPK1.
  • a signal may be generated, and a first position P1 that is a position of the first speaker SPK1 may be determined from the voice signal.
  • the voice processing apparatus 100 may generate first location information indicating the first location P1 and store the first sound source location information as reference sound source location information.
  • the voice processing apparatus 100 responds to the voices of the remaining speakers SPK2 to SPK3, and the sound source positions P2 to P4 of the other speakers SPK2 to SPK4. ) can be determined.
  • the voice processing apparatus 100 according to embodiments of the present invention can calculate the sound source position of each of the voices of the speakers SPK1 to SPK4 even if the voices of the speakers SPK1 to SPK4 overlap in time. .
  • the voice processing apparatus 100 may generate second sound source location information indicating the second location P2 that is the location of the second speaker SPK2, store the second sound source location information as reference sound source location information, and the third
  • the third sound source location information indicating the third location P3, which is the location of the speaker SPK3, may be generated, the third sound source location information may be stored as reference sound source location information, and the fourth sound source location information indicating the location of the fourth speaker SPK4 may be generated.
  • the fourth sound source location information indicating the location P4 may be generated, and the fourth sound source location information may be stored as reference sound source location information.
  • the voice processing apparatus 100 may store sound source location information and an identifier corresponding to the sound source location information.
  • the identifier is data for discriminating the location of the sound source, and may be, for example, data (eg, name, etc.) indicating the speaker located at the location of the sound source.
  • the voice processing apparatus 100 generates a first identifier SID1 indicating the first speaker SPK1 in response to the voice of the first speaker SPK1, and the generated first identifier SID1 is generated.
  • the first identifier SID1 may be matched and stored together with the first sound source location information. That is, the first identifier SID1 may be a means for identifying the first speaker SPK1.
  • the voice processing apparatus 100 may convert at least a part of the voice of the first speaker SPK1 into text and generate a first identifier SID1 corresponding to the converted text.
  • the voice processing apparatus 100 may convert at least a part of phrases included in the voice of the first speaker SPK1 as the first identifier SID1 .
  • the voice processing apparatus 100 generates identifiers SID2 to SID4 indicating the remaining speakers SPK2 to SPK4 in response to the voices of the remaining speakers SPK2 to SPK4.
  • the generated identifiers SID2 to SID4 may be matched and stored together with the sound source location information of the speakers SPK2 to SPK4.
  • FIG. 12 is a diagram illustrating an operation of a voice processing apparatus according to an embodiment of the present invention.
  • the voice processing apparatus 100 may operate in a voice separation mode.
  • the processor 130 may operate in a voice separation mode in response to an external input. According to embodiments, the processor 130 operates in a voice separation mode in response to a voice signal including a specific phrase, or to input through an input unit (eg, a button or a touch panel) formed in the voice processing device 100 . In response, it can operate in voice separation mode.
  • a voice separation mode in response to a voice signal including a specific phrase, or to input through an input unit (eg, a button or a touch panel) formed in the voice processing device 100 . In response, it can operate in voice separation mode.
  • the voice processing apparatus 100 separates the voice signals related to the voices of the speakers SPK1 to SPK4 based on the sound source positions of the voices, thereby separating the voices related to the voices of the speakers SPK1 to SPK4.
  • a signal may be generated and the generated separated voice signal may be stored.
  • the voice processing apparatus 100 may store a pre-stored (or registered) separated voice signal associated with a voice corresponding to a sound source location corresponding to a reference sound source location.
  • the voice processing apparatus 100 may store a separated voice signal associated with a voice corresponding to a sound source position within a reference range from a reference sound source position among the separated voice signals separated from the voice signal.
  • the processor 130 may operate in the location registration mode when the location of the sound source of the recognized voice does not correspond to the pre-stored (or registered) reference sound source location. For example, when the location of the sound source of the recognized voice is different from the pre-stored reference sound source location, the processor 130 may operate in the location registration mode, and thus may register a new sound source location.
  • the voice processing apparatus 100 may match and store the separated voice signals associated with the voices of the speakers SPK1 to SPK4 with corresponding identifiers. For example, as shown in FIG. 12 , the voice processing apparatus 100 provides the first separated voice signal and the first sound source location information indicating the first location P1 that is the location of the first speaker SPK1
  • the identifier SID1 may be matched and stored.
  • the voice processing apparatus 100 may refer to the reference sound source location information stored in the memory 140 , and match and store the first identifier SID1 corresponding to the first sound source location information with the first separated voice signal.
  • the voice processing apparatus 100 may additionally match and store the separated voice signal and a time point at which a voice corresponding to the separated voice signal is received.
  • the voice processing apparatus 100A may include a microphone 110 , a communication circuit 120 , a processor 130 , a memory 140 , and a trigger signal generating circuit 151 .
  • the voice processing apparatus 100A of FIG. 13 has a difference in that it additionally includes a trigger signal generating circuit 151 .
  • a trigger signal generating circuit 151 a circuit that generates a trigger signal.
  • the trigger signal generating circuit 151 may generate trigger signals in response to an external input.
  • the trigger signals may be signals that cause the processor 130 to perform a specific operation.
  • the trigger signals may include a speaker registration trigger signal and a speaker movement trigger signal. In this case, input conditions for generating the speaker registration trigger signal and the speaker movement trigger signal may be different.
  • the trigger signal generating circuit 151 may include an input unit capable of detecting a physical input from the outside, such as a touch panel or a button, and may generate trigger signals in response to the physical input.
  • the trigger signal generating circuit 151 may generate trigger signals when a user's touch is sensed.
  • the trigger signal generating circuit 151 may generate trigger signals by recognizing a start word included in the voice signals received by the voice processing apparatus 100A. For example, the trigger signal generating circuit 151 may generate trigger signals when a voice signal including a specific phrase such as “speaker registration” is received.
  • the trigger signal generation circuit 151 may transmit the generated trigger signals to the processor 130 .
  • the processor 130 may enter the speaker registration mode (or location registration mode) in response to the speaker identification trigger signal.
  • the speaker registration mode may be defined as a predetermined period from a time when the speaker registration trigger signal is received or as a period during which the speaker registration trigger signal is received, but is not limited thereto.
  • the voice processing device in the speaker registration mode, the voice processing device generates reference sound source location information and identifiers using the received voice signals, and also generates a separate voice signal, and reference sound source location information , the identifier and the separated voice signal can be matched and stored.
  • FIGS. 14 and 15 are diagrams for explaining a speaker movement mode according to embodiments of the present invention.
  • the speaker movement mode described with reference to FIGS. 14 and 15 may be performed by the voice processing apparatus 100A of FIG. 13 .
  • the memory 140 of the voice processing apparatus 100A contains an identifier (SID) for identifying Alice. may be stored, and Alice's location "P1" may be stored as a reference sound source location.
  • SID identifier
  • the voice processing apparatus 100A may newly generate sound source location information indicating the location "P5" of Alice after movement by using voice signals related to Alice's voice.
  • the voice processing apparatus 100A may update reference sound source location information stored by matching the speaker identifier SID with reference to the memory 140 .
  • the voice processing apparatus 100A may update the reference sound source location information "P1" previously matched to the speaker identifier (SID) "Alice” and stored to "P5", which is the reference sound source location information for the location after moving.
  • the voice processing apparatus 100A can update the speaker location information stored by matching the speaker identifier to the changed speaker location information even if the location of the speaker is changed due to the movement of the speaker. have.
  • the voice processing apparatus 100B may include a microphone 110 , a communication circuit 120 , a processor 130 , a memory 140 , and a motion sensor 153 .
  • the voice processing apparatus 100B of FIG. 16 has a difference in that it additionally includes a motion sensor 153 .
  • a motion sensor 153 Hereinafter, descriptions of overlapping parts will be omitted for convenience of description, and differences will be described.
  • the motion sensor 153 may measure a physical quantity related to the voice processing apparatus 100B and generate a detection signal corresponding to the measured physical quantity.
  • the motion sensor 153 may measure the position or movement of the voice processing apparatus 100B, and may generate and output a detection signal corresponding to the measured position or movement.
  • the motion sensor 153 may measure the position of the voice processing apparatus 100B and output a detection signal indicating the position of the voice processing apparatus 100B.
  • the motion sensor 153 may be a GPS sensor, LIDAR (Light Detection And Ranging) sensor, Radar (Radio Detection And Ranging) sensor, or UWB (Ultra Wide Band) sensor, but embodiments of the present invention are limited thereto. no.
  • the motion sensor 153 may measure the motion of the voice processing apparatus 100B and output a detection signal indicating the motion of the voice processing apparatus 100B.
  • the motion sensor 153 may be a gyro sensor, a speed sensor, or an acceleration sensor, but embodiments of the present invention are not limited thereto.
  • the motion sensor 153 has been described as a configuration for measuring the position or movement of the voice processing device 100B, but according to embodiments, the voice processing device is operated by the processor 130 and the motion sensor 153 .
  • the position or movement of 100B may be measured.
  • the motion sensor 153 generates and outputs a signal related to the position or movement of the voice processing device 100B, and the processor 130 performs the voice processing device 100B based on the signal output from the motion sensor 153 . You can create a value related to the position or movement of
  • FIGS. 17 and 18 are diagrams illustrating an operation of a voice processing apparatus according to an embodiment of the present invention. The operations described with reference to FIGS. 17 and 18 may be performed by the voice processing apparatus 100B described with reference to FIG. 16 .
  • the voice processing device 100B stores the sound source location for the voices of the changed speakers SPK1 to SPK4 as reference sound source location information.
  • the relative positions of the speakers SPK1 to SPK4 with respect to the voice processing device 100B are may vary. Furthermore, even if the position of the voice processing device 100B does not change, when movement (rotation, vibration, movement, etc.) of the voice processing device 100B occurs, the voice processing device 100B of the speakers SPK1 to SPK4 The relative position of . That is, in other words, the sound source positions of the voices of the speakers SPK1 to SPK4 may be different.
  • the position of the first speaker SPK1 may change from P1 to P5
  • the position of the second speaker SPK2 may change from P2 to P6
  • the position of the third speaker SPK3 may change from P3 to P7
  • the position of the fourth speaker SPK4 may be changed from P4 to P8.
  • the voice processing device 100B includes a motion sensor 153 capable of detecting a motion of the voice processing device 100B, and through the detection result of the motion sensor 153, the voice processing device ( 100B) can detect a change in position. Also, the voice processing apparatus 100B has an effect of determining the sound source location changed by the movement of the audio processing apparatus 100B and storing the changed sound source location as reference sound source location information.
  • the voice processing apparatus 100B may operate in a location registration mode.
  • the processor 130 may detect a motion of the voice processing apparatus 100B using the detection result of the motion sensor 153 and determine whether to operate in the location registration mode.
  • the sound source location of each of the speakers SPK1 to SPK4 (that is, the location of the speakers SPK1 to SPK4) according to the location registration mode is registered as the reference sound source location information. Even so, when the motion of the voice processing apparatus 100B is detected, it may operate in the location registration mode again.
  • the voice processing device 100B transmits the voice of the first speaker SPK1.
  • a voice signal may be generated in response to , and “P5” that is a changed sound source location (ie, a changed location of the first speaker SPK1) may be determined from the voice signal.
  • the voice processing apparatus 100B may generate sound source location information indicating the changed location "P5" and store the sound source location information as reference sound source location information.
  • the voice processing apparatus 100B newly stores sound source location information indicating the changed positions of the speakers SPK1 to SPK4 as reference sound source location information, or changes previously stored sound source location information to a changed location. It can be replaced with sound source location information indicating
  • FIG. 19 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • a method of operating a voice processing apparatus to be described with reference to FIG. 19 may be stored in a non-transitory storage medium and implemented as a program executable by a computing device.
  • the operation method to be described with reference to FIG. 19 may be performed by the voice processing apparatus 100B described with reference to FIG. 16 .
  • the voice processing apparatus 100B may generate sound source location information indicating the location of the sound source for the voices of the speakers SPK1 to SPK4 (S310).
  • the voice processing apparatus 100B generates a voice signal in response to the voices of the speakers SPK1 to SPK4, and a sound source indicating the location of the sound source for the voices of the speakers SPK1 to SPK4 from the voice signal You can create location information.
  • the location of the sound source indicates the location of each of the speakers SPK1 to SPK4.
  • the voice processing apparatus 100B may store the generated sound source location information as reference sound source location information (S320). According to embodiments, the voice processing apparatus 100B may store the generated sound source location information as reference sound source location information in the memory 140 .
  • the voice processing apparatus 100B may detect the movement of the voice processing apparatus 100B (S330). According to embodiments, the voice processing apparatus 100B may detect a motion of the voice processing apparatus 100B using the motion sensor 153 . For example, the voice processing apparatus 100B may detect a change in a position, an angle, or a change in speed and acceleration of the voice processing apparatus 100B by using the motion sensor 153 .
  • the voice processing apparatus 100B may determine whether the detected motion exceeds a reference motion (S340). According to embodiments, the voice processing apparatus 100B may determine whether a physical quantity sensed using the motion sensor 153 exceeds a predetermined reference physical quantity. For example, the voice processing device 100B determines whether the periodically measured change of the position of the voice processing device 100B exceeds a reference value, or determines whether the acceleration of the voice processing device 100B exceeds the reference value. , it may be determined whether the movement exceeds the reference movement.
  • the voice processing device 100B When the sensed motion exceeds the reference motion (Y in S340), the voice processing device 100B generates sound source location information in response to the voices of the speakers SPK1 to SPK4, and generates The obtained sound source location information may be stored as reference sound source location information. That is, when the detected motion exceeds the reference motion, the voice processing apparatus 100B determines the position of the sound source of the voices of the speakers SPK1 to SPK4 again, and uses the sound source location information indicating the changed sound source position as the reference sound source location information. can be saved again as Through this, even if the relative positions of the speakers SPK1 to SPK4 change due to the movement of the voice processing apparatus 100B, the reference sound source position information may be updated. Accordingly, an error due to a change in the relative positions of the speakers SPK1 to SPK4 due to the movement of the voice processing apparatus 100B may be minimized.
  • the voice processing device 100C may include a microphone 110 , a communication circuit 120 , a processor 130 , a memory 140 , and a light emitting device 155 .
  • the voice processing device 100C of FIG. 20 has a difference in that it additionally includes a light emitting device 155 .
  • a light emitting device 155 Hereinafter, descriptions of overlapping parts will be omitted for convenience of description, and differences will be described.
  • the light emitting device 150 may emit light under the control of the processor 130 .
  • the light emitting device 150 includes light emitting devices, and the light emitting devices may emit light of a specific wavelength according to an electrical signal.
  • the light emitting device 150 may be a light emitting diode, a liquid crystal display (LCD), an organic lighting emitting diode (OLED) light emitting device, a flexible light emitting device, a micro LED light emitting device, or a quantum dot light emitting device.
  • LCD liquid crystal display
  • OLED organic lighting emitting diode
  • a flexible light emitting device a micro LED light emitting device
  • quantum dot light emitting device a quantum dot light emitting device.
  • the light emitting device 150 may operate under the control of the processor 130 .
  • the light emitting device 150 may display a specific visual pattern based on a control signal transmitted from the processor 130 .
  • the voice processing device 100C may include a light emitting device 150 .
  • the light emitting device 150 may include a plurality of light emitting elements (LED1 to LEDn; n is a natural number equal to or greater than 2).
  • the plurality of light emitting elements LED1 to LEDn may be disposed on the surface of the voice processing device 100C, but embodiments of the present invention are not limited thereto, and the plurality of light emitting elements LED1 to LEDn) may be disposed on a part visible to the naked eye among parts of the voice processing device 100 .
  • the audio processing apparatus 100C is implemented in a form having a circular cross-section, and the plurality of light emitting elements LED1 to LEDn are formed along the periphery of the surface of the audio processing apparatus 100C. It may be continuously arranged, but is not limited thereto.
  • Each of the plurality of light emitting devices LED1 to LEDn may be disposed at different positions.
  • the voice processing apparatus 100C may determine the positions of the speakers SPK1 to SPK4 in response to the voices of the speakers SPK1 to SPK4, and display a visual pattern corresponding to the position of the uttering speaker. It can be displayed through the light emitting device 150 .
  • the voice processing apparatus 100C may turn on a light emitting element corresponding to the position of the igniting speaker among the plurality of light emitting elements LED1 to LEDn. Accordingly, there is an effect that the user can grasp the positions of the speakers SPK1 to SPK4 that are currently speaking through the positions of the light emitting elements among the light emitting elements LED1 to LEDn disposed in the light emitting device 100C. .
  • each of the light emitting devices LED1 to LEDn may indicate a specific position.
  • 22 and 23 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention. 22 and 23 , the voice processing apparatus 100C according to embodiments of the present invention determines the location of each of the voices of the speakers SPK1 to SPK4 in response to the voices of the speakers SPK1 to SPK4. And, according to the determined position, it is possible to output a visual pattern corresponding to each position.
  • the voice processing apparatus 100C uses a plurality of light emitting elements LED1 to LED8 to display a visual pattern corresponding to the positions of the speakers SPK1 to SPK4. It is assumed that the output is explained. However, according to embodiments, the voice processing apparatus 100C may output a visual pattern corresponding to the positions of the speakers SPK1 to SPK4 according to another visual expression method.
  • the voice processing apparatus 100C provides sound source positions of voices from the voices of the speakers SPK1 to SPK4 (that is, the positions of the speakers SPK1 to SPK4). can be decided
  • the voice processing apparatus 100C may store an identifier for distinguishing the light emitting elements LED1 to LED8 and information about a position corresponding to each of the light emitting elements LED1 to LED8. For example, as shown in FIGS. 22 and 23 , a position corresponding to the second light emitting element LED2 is a second position P2 . At this time, the position corresponding to each of the light emitting elements LED1 to LED8 may be an actual position of each of the light emitting elements LED1 to LED8, but may be a predetermined position independent of the actual position.
  • the voice processing apparatus 100C determines a sound source location associated with the voice of each of the speakers SPK1 to SPK4 in response to the voices of the speakers SPK1 to SPK4, and the light emitting device LED1 It is possible to operate a light emitting device disposed at a position corresponding to the determined sound source position among ⁇ LED8).
  • the speech processing apparatus 100C converts the first speaker SPK1 from the voice of the first speaker SPK1. It is possible to determine the position (ie, the position of the sound source) and operate the light emitting element corresponding to the first position P1 which is the position of the first speaker SPK1 . Since the light emitting element corresponding to the first position P1 is the eighth light emitting element LED8 , the voice processing apparatus 100C may turn on the eighth light emitting element LED8 . For example, the processor 130 may output a control signal for turning on the eighth light emitting element LED8 .
  • the voice processing apparatus 100C may turn on the second light emitting element LED2. .
  • the processor 130 may output a control signal for turning on the second light emitting element LED2 .
  • the voice processing apparatus 100C may turn on the light emitting element corresponding to the position of each of the speakers SPK1 to SPK4 at a point in time when the speech of each of the speakers SPK1 to SPK4 is recognized. According to embodiments, the voice processing apparatus 100C turns on the light emitting device while the respective voices of the speakers SPK1 to SPK4 are recognized, and emits light when the voices of the speakers SPK1 to SPK4 are not recognized. The device can be turned off.
  • the voice processing apparatus 100C may turn on a light emitting element corresponding to the position of the igniting speaker among the plurality of light emitting elements LED1 to LEDn. Accordingly, there is an effect that the user can grasp the positions of the speakers SPK1 to SPK4 that are currently speaking through the positions of the light emitting elements among the light emitting elements LED1 to LEDn disposed in the light emitting device 100C. .
  • FIG. 24 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • the operation method of the voice processing apparatus to be described with reference to FIG. 24 may be stored in a non-transitory storage medium and implemented as a program executable by a computing device.
  • the voice processing apparatus 100C may generate a voice signal in response to the voice ( S410 ). According to embodiments, the voice processing apparatus 100C may convert a voice sensed in space into a voice signal that is an electrical signal.
  • the voice processing apparatus 100C may determine the location of the sound source for each of the voices (that is, the positions of the speakers SPK1 to SPK4) by using the voice signals associated with the voices of the speakers SPK1 to SPK4 ( S420). According to embodiments, the voice processing apparatus 100C may generate sound source location information indicating the location of the sound source for each of the voices of the speakers SPK1 to SPK4 (that is, the location of the speakers SPK1 to SPK4). .
  • the voice processing apparatus 100C may display a visual pattern corresponding to the position of the sound source based on the position of the sound source for each of the voices (S430).
  • the voice processing device 100C includes a light emitting device 150 including a plurality of light emitting devices LED1 to LEDn, and is located at a position of a sound source among the plurality of light emitting devices LED1 to LEDn. A corresponding light emitting element may be turned on.
  • the voice processing device 100C may include a light emitting device 150 implemented as a display device, and the light emitting device 150 has a visual pattern indicating the sound source positions of the speakers SPK1 to SPK4. can be displayed.
  • the light emitting device 150 may display a visual pattern indicating the location of the sound source of the speakers SPK1 to SPK4 by displaying a figure such as an arrow, a straight line, or a finger.
  • the voice processing apparatus 100C may operate in a location registration mode.
  • the voice processing apparatus 100C may store the generated sound source location information as reference sound source location information in the memory 140 .
  • the voice processing apparatus 100C responds to the voices of the speakers SPK1 to SPK4, determines the sound source location of each of the speakers SPK1 to SPK4, and visually corresponds to the determined sound source location. You can print the pattern. According to embodiments, when the sound source location information is stored in the memory 140 as reference sound source location information, the voice processing apparatus 100C may output a visual pattern corresponding to the stored sound source location information.
  • the voice processing device 100C may select one of the plurality of light emitting devices LED1 to LED8.
  • the eighth light emitting element LED8 corresponding to the first position P1 may be turned on.
  • the voice processing apparatus 100C may select one of the plurality of light emitting elements LED1 to LED8.
  • the second light emitting element LED2 corresponding to the second position P2, the sixth light emitting element LED6 corresponding to the third position P3, and the fourth light emitting element LED4 corresponding to the fourth position P4. can be turned on.
  • 26 is a diagram illustrating an operation of a voice processing apparatus according to embodiments of the present invention.
  • the voice processing apparatus 100C may operate in a voice separation mode.
  • the voice processing apparatus 100C separates the voice signals associated with the voices of the speakers SPK1 to SPK4 based on the sound source positions of the voices, so that the speakers ( A separated voice signal related to the voices of SPK1 to SPK4) may be generated, and the generated separated voice signal may be stored.
  • the voice processing apparatus 100C responds to the voices of the speakers SPK1 to SPK4, determines the sound source position of each of the speakers SPK1 to SPK4, and corresponds to the sound source position of the recognized voice A visual pattern can be output.
  • the voice processing apparatus 100C includes a light emitting element (eighth light emitting element LED8, second light emitting element) corresponding to the speaker's position among the plurality of light emitting elements LED1 to LED8.
  • the device LED2 and the sixth light emitting device LED6 may be turned on.
  • the voice processing apparatus 100C may output a visual pattern corresponding to the location of the sound source in the voice separation mode, according to a display method different from that in the location registration mode.
  • the voice processing device 100C outputs a visual pattern corresponding to the position of the sound source according to the first display method in the position registration mode, and in the voice separation mode, the position of the sound source according to the second display method different from the first display method
  • Corresponding visual patterns can be output.
  • the display method may mean an output color of a visual pattern, an output time, an output period, and the like.
  • the voice processing device 100C may output a visual pattern corresponding to the stored sound source location information
  • the voice processing apparatus 100C may output a visual pattern corresponding to sound source location information of the recognized voice while the voices of the speakers SPK1 to SPK4 are recognized.
  • FIG. 27 is a diagram for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • the operation method of FIG. 27 may be performed by the voice processing apparatuses 100 , 100A, 100B, and 100C.
  • the voice processing apparatus 100 may generate the meeting minutes MIN by using the separated voice signals related to the voices of the speakers SPK1 to SPK4, respectively.
  • the generated meeting minutes MIN may be stored in the form of a document file, an image file, or a voice file, but is not limited thereto.
  • the voice processing apparatus 100 may generate data representing the voices of each of the speakers SPK1 to SPK4 based on the separated voice signals matched and stored with each other, and the generated voices of the speakers SPK1 to SPK4 It is possible to generate the minutes (MIN) using the data indicated. According to embodiments, the voice processing apparatus 100 may generate the minutes MIN by arranging data related to the voices of each speaker in chronological order according to the point in time when the voices of the speakers SPK1 to SPK4 are recognized. have.
  • the voice processing apparatus 100 displays identifiers indicating the speakers SPK1 to SPK4 who uttered a specific voice in the meeting minutes MIN using identifiers for identifying the speakers SPK1 to SPK4. can do. Through this, remarks in the minutes MIN can be distinguished for each speaker.
  • the speakers SPK1 to SPK4 sequentially utter “AAA1”, “BBB2”, “AAA3”, “CCC4”, “DDD5”, “CCC6” and “BBB7”.
  • the speech processing apparatus 100 matches and stores the first separated speech signal corresponding to "AAA1” and “AAA3” and the first identifier SID1 indicating the first speaker SPK1, and "BBB2"
  • the second separated voice signal corresponding to " and "BBB7” is matched with the second identifier (SID2) and stored, and the third separated voice signal corresponding to "CCC4" and "CCC6” is matched with the third identifier (SID3). to be stored, and the fourth separated voice signal corresponding to “DDD5” and the fourth identifier SID4 may be matched and stored.
  • Embodiments of the present invention relate to an apparatus for processing voice and a method of operating the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Machine Translation (AREA)

Abstract

음성 처리 장치가 개시된다. 음성 처리 장치는 화자들의 음성들과 연관된 음성 신호를 음성들 각각의 음원 위치에 기초하여 음원 분리를 수행하도록 구성되는 프로세서 및 메모리를 포함하고, 프로세서는, 음성들과 연관된 음성 신호를 이용하여 음성들 각각의 음원 위치를 나타내는 음원 위치 정보를 생성하고, 기 음원 위치 정보에 기초하여, 음성 신호로부터 화자들 각각의 음성과 연관된 분리 음성 신호를 생성하고, 분리 음성 신호와 음원 위치 정보를 서로 매칭하여 메모리에 저장하도록 구성된다.

Description

음성을 처리하기 위한 장치 및 이의 작동 방법
본 발명의 실시 예들은 음성을 처리하기 위한 장치 및 이의 작동 방법에 관한 것이다.
마이크(microphone)는 음성을 전기적인 신호인 음성 신호로 변환하는 장치이다. 회의실이나 교실과 같이 복수의 화자(speaker)들이 위치하는 공간 내에 마이크가 배치되는 경우, 상기 마이크는 복수의 화자들로부터 나온 음성들을 모두 수신하고, 복수의 화자들의 음성에 연관된 음성 신호들을 생성한다.
한편, 복수의 화자들이 동시에 발화하는 경우, 상기 복수의 화자들의 음성들이 모두 혼합될 수 있다. 이 때, 복수의 화자들의 음성들 중에서 특정 화자의 음성을 나타내는 음성 신호를 분리하는 것이 필요하다.
본 발명이 해결하고자 하는 과제는 입력된 복수의 음성 신호들을 이용하여 화자의 위치를 파악하고, 복수의 음성 신호들을 화자별로 분리 및 인식할 수 있는 장치 및 이의 작동 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 화자들의 음성들에 응답하여, 화자들의 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있는 장치 및 이의 작동 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 화자들의 각각의 음성과 연관된 분리 음성 신호를 이용하여, 화자들 각각의 음성에 대한 번역 결과를 생성하고, 생성된 번역 결과를 출력할 수 있는 장치 및 이의 작동 방법을 제공하는 것에 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는 화자들의 음성들과 연관된 음성 신호를 음성들 각각의 음원 위치에 기초하여 음원 분리를 수행하도록 구성되는 프로세서 및 메모리를 포함하고, 프로세서는, 음성들과 연관된 음성 신호를 이용하여 음성들 각각의 음원 위치를 나타내는 음원 위치 정보를 생성하고, 기 음원 위치 정보에 기초하여, 음성 신호로부터 화자들 각각의 음성과 연관된 분리 음성 신호를 생성하고, 분리 음성 신호와 음원 위치 정보를 서로 매칭하여 메모리에 저장하도록 구성된다.
본 발명의 실시 예들에 따른 장치는 음성 신호를 이용하여 화자 위치를 파악할 수 있고, 화자 위치를 통해 음성 신호가 어떤 화자의 음성에 대응하는 것인지 구별할 수 있다. 이에 따라, 다수의 화자가 동시에 음성을 발화하더라도, 음성 분리 장치는 음성을 화자 별로 구분하여 분리할 수 있는 효과가 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는 음성의 음원 위치에 기초하여 특정 음원 위치로부터의 음성과 연관된 분리 음성 신호를 생성할 수 있으므로, 주변 소음의 영향을 최소화된 음성 신호를 생성할 수 있는 효과가 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는 전송된 음성 신호로부터 화자들 각각의 음성을 추출할 수 있을 뿐만 아니라, 음성들의 음원 위치에 기초하여 음성들의 번역 전 언어인 출발 언어를 판단하고, 판단된 출발 언어에 기초하여 해당 음성을 번역하여 번역 결과를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예들에 따른 음성 처리 환경을 나타내는 도면이다.
도 2는 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 3 내지 도 5는 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예들에 따른 음성 처리 장치에 의한 음성 분리 방법을 나타내는 플로우 차트이다.
도 7은 본 발명의 실시 예들에 따른 음성 처리 장치의 번역 기능을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예들에 따른 음성 처리 장치의 번역 기능을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예들에 따른 음성 처리 장치에 의한 번역 결과의 제공 방법을 나타내는 플로우 차트이다.
도 10 및 도 11은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다.
도 13은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 14 및 도 15는 본 발명의 실시 예들에 따른 화자 이동 모드를 설명하기 위한 도면이다.
도 16은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 17 및 도 18은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다.
도 19는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다.
도 20 은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 21은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 22 및 도 23은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 24는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다.
도 25는 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 26은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다.
도 27은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 실시 예들에 따른 음성 처리 환경을 나타내는 도면이다. 도 1을 참조하면, 화자들(SPK1~SPK4)은 공간(예컨대, 회의실, 차량, 강의실 등)에 위치하여 음성을 발화(pronounce)할 수 있다. 실시 예들에 따라, 제1화자(SPK1)는 제1위치(P1)에서 음성을 발화할 수 있고, 제2화자(SPK2)는 제2위치(P2)에 위치에서 음성을 발화할 수 있고, 제3화자(SPK3)는 제3위치(P3)에 위치에서 음성을 발화할 수 있고, 제4화자(SPK4)는 제4위치(P4)에서 음성을 발화 위치할 수 있다.
음성 처리 장치(100)는 연산 처리 기능을 갖는 전자 장치일 수 있다. 예컨대, 음성 처리 장치(100)는 스마트폰(smartphone), 노트북(laptop), PDA(personal digital assistance), 웨어러블 디바이스(wearable device), 스마트 워치(smart watch) 또는 태블릿 컴퓨터(tablet computer)일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성들과 연관된 음성 신호를 처리함으로써, 화자들(SPK1~SPK4) 각각의 음성에 대한 음성 처리를 수행할 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성에 응답하여, 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를 생성할 수 있다. 상기 음성 신호는 특정 시간동안 발화된 음성들과 연관된 신호로서, 복수의 화자들의 음성을 나타내는 신호일 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를 이용하여, 화자들(SPK1~SPK4)의 음성들 각각의 음원 위치를 판단하고, 음원 위치에 기초하여 음원 분리를 수행함으로써, 음성 신호로부터 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 추출(또는 생성)할 수 있다.
즉, 음성 처리 장치(100)는 음성 신호들에 대응하는 음성들의 음원 위치에 기초하여, 각 위치(P1~P4)에 위치한 화자들(SPK1~SPK4)의 음성과 연관된 분리 음성 신호를 생성할 수 있다. 예컨대, 음성 처리 장치(100)는 음성 신호에 기초하여, 제1위치(P1)에서 발화한 제1화자(SPK1)의 음성과 연관된 제1분리 음성 신호를 생성할 수 있다. 이 때, 제1분리 음성 신호는 화자들(SPK1~SPK4)의 음성들 중 제1화자(SPK1)의 음성과 가장 높은 연관도를 가지는 음성 신호일 수 있다. 다시 말하면, 제1분리 음성 신호에 포함된 음성 성분 중에서 제1화자(SPK1)의 음성 성분의 비중이 가장 높을 수 있다.
또한, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성에 대한 번역을 제공할 수 있다. 예컨대, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성을 번역하기 위한 출발 언어(source language; 번역 대상 언어)와 도착 언어(target language; 번역 후 언어)를 결정하고, 분리 음성 신호를 이용하여 화자들 각각의 언어에 대한 번역을 제공할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 음성들 각각에 대한 번역 결과를 출력할 수 있다. 상기 번역 결과는 도착 언어로 표현된 화자들(SPK1~SPK4) 각각의 음성과 연관된 텍스트 데이터 또는 음성 신호일 수 있다.
즉, 본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성 각각의 음원 위치에 따라 출발 언어와 도착 언어를 결정하므로, 화자의 음성의 언어가 무엇인지 식별할 필요없이 적은 시간과 적은 리소스로 화자의 음성에 대한 번역을 제공할 수 있는 효과가 있다.
도 2는 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 2를 참조하면, 음성 처리 장치(100)는 마이크(110), 통신 회로(120), 프로세서(130) 및 메모리(140)를 포함할 수 있다. 실시 예들에 따라, 음성 처리 장치(100)는 스피커(150)를 더 포함할 수 있다.
마이크(110)는 발생한 음성에 응답하여 음성 신호를 생성할 수 있다. 실시 예들에 따라, 마이크(110)는 음성으로 인한 공기의 진동을 검출하고, 검출 결과에 따라 진동에 대응하는 전기적인 신호인 음성 신호를 생성할 수 있다.
실시 예들에 따라, 마이크(110)는 복수일 수 있고, 복수의 마이크들(110) 각각은 음성에 응답하여 음성 신호를 생성할 수 있다. 이 때, 복수의 마이크들(110) 각각이 배치된 위치는 서로 다를 수 있으므로, 마이크들(110) 각각으로부터 생성된 음성 신호들은 서로 위상 차(또는 시간 지연)을 가질 수 있다.
예컨대, 마이크(110)는 각 위치(P1~P4)에 위치한 화자(SPK1~SPK4)의 음성을 수신하고, 화자(SPK1~SPK4)의 음성을 전기적인 신호인 음성 신호들로 변환할 수 있다.통신 회로(120)는 무선 통신 방식에 따라 외부 장치와 데이터를 주고받을 수 있다. 실시 예들에 따라, 통신 회로(120)는 다양한 주파수의 전파를 이용하여, 외부 장치와 데이터를 주고받을 수 있다. 예컨대, 통신 회로(120)는 근거리 무선 통신, 중거리 무선 통신 및 장거리 무선 통신 중 적어도 하나의 무선 통신 방식에 따라, 외부 장치와 데이터를 주고받을 수 있다.
프로세서(130)는 음성 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 실시 예들에 따라, 프로세서(130)은 연산 처리 기능을 갖는 프로세서를 포함할 수 있다. 예컨대, 프로세서(130)는 CPU(central processing unit), MCU(micro controller unit), GPU(graphics processing unit), DSP(digital signal processor), ADC 컨버터(analog to digital converter) 또는 DAC 컨버터(digital to analog converter)를 포함할 수 있으나, 이에 한정되는 것은 아니다.
프로세서(130)는 마이크(110)에 의해 생성된 음성 신호들을 처리할 수 있다. 예컨대, 프로세서(130)는 마이크(110)에 의해 생성된 아날로그 타입의 음성 신호를 디지털 타입의 음성 신호로 변환하고, 변환된 디지털 타입의 음성 신호를 처리할 수 있다. 이 경우, 신호의 타입(아날로그 또는 디지털)이 바뀌는 것이므로, 본 발명의 실시 예들에 대한 설명에 있어서, 디지털 타입의 음성 신호와 아날로그 타입의 음성 신호를 혼용하여 설명하도록 한다.
실시 예들에 따라, 프로세서(130)는 마이크(110)에 의해 생성된 음성 신호를 이용하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 추출(또는 생성)할 수 있다. 실시 예들에 따라, 프로세서(130)는 각 위치(P1~P4)에 위치한 화자(SPK1~SPK4)의 음성과 연관된 분리 음성 신호를 생성할 수 있다.
프로세서(130)는 음성 신호들 사이의 시간 지연(또는 위상 지연)을 이용하여 음성들의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 결정할 수 있다. 예컨대, 프로세서(130)는 음성 처리 장치(100)에 대한 음원(즉, 화자들(SPK1~SPK4))의 상대적인 위치를 결정할 수 있다.
프로세서(130)는 결정된 음원 위치에 기초하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다. 예컨대, 프로세서(130)는 음성들의 음원 위치에 기초하여, 제1화자(SPK1)의 음성과 연관된 제1분리 음성 신호를 생성할 수 있다.
실시 예들에 따라, 프로세서(130)는 결정된 음원 위치를 나타내는 음원 위치 정보를 분리 음성 신호와 매칭하여 저장할 수 있다. 예컨대, 프로세서(130)는 제1화자(SPK1)의 음성과 연관된 제1분리 음성 신호 및 제1화자(SPK1)의 음성의 음원 위치를 나타내는 제1음원 위치 정보를 매칭하여 메모리(140)에 저장할 수 있다. 즉, 음원의 위치가 곧 화자들(SPK1~SPK4) 각각의 위치와 대응되므로, 음원 위치 정보는 화자들(SPK1~SPK4) 각각의 위치를 식별하기 위한 화자 위치 정보로 기능할 수도 있다.
본 명세서에서 설명되는 프로세서(130) 또는 음성 처리 장치(100)의 동작은 컴퓨팅 장치에 의해 실행 가능한 프로그램의 형태로 구현될 수 있다. 예컨대, 프로세서(130)는 메모리(140)에 저장된 애플리케이션을 실행하고, 애플리케이션의 실행에 따라 특정 작동들을 지시하는 명령어들에 대응하는 작동들을 수행할 수 있다.
메모리(140)는 음성 처리 장치(100)의 동작에 필요한 데이터를 저장할 수 있다. 예컨대, 메모리(140)는 비휘발성 메모리 및 휘발성 메모리 중 적어도 하나를 포함할 수 있다.
실시 예들에 따라, 메모리(140)는 공간 상의 각 위치(P1~P4)에 대응하는 식별자를 저장할 수 있다. 상기 식별자는 위치(P1~P4)를 구별하기 위한 데이터일 수 있다. 위치들(P1~P4) 각각에는 화자들(SPK1~SPK4) 각각이 위치하므로, 위치(P1~P4)에 대응하는 식별자를 이용하여 화자(SPK1~SPK4)들 각각을 구별할 수 있다. 예컨대, 제1위치(P1)를 나타내는 제1식별자는, 곧, 제1화자(SPK1)를 나타낼 수 있다. 이러한 관점에서, 공간 상의 각 위치(P1~P4)에 대응하는 식별자는 화자들(SPK1~SPK4) 각각을 식별하기 위한 화자 식별자로서 기능할 수도 있다.
상기 식별자는 음성 처리 장치(100)의 입력 장치(예컨대, 터치 패드)를 통해 입력될 수 있다.
실시 예들에 따라, 메모리(140)는 화자들(SPK1~SPK4) 각각의 위치와 관련됨 음원 위치 정보 및 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 저장할 수 있다.
스피커(150)는 프로세서(130)의 제어에 따라 진동할 수 있고, 상기 진동에 따라 음성이 생성될 수 있다. 실시 예들에 따라, 스피커(150)는 음성 신호에 대응하는 진동을 형성함으로써, 상기 음성 신호와 연관된 음성을 재생할 수 있다.
한편, 본 명세서에서는 음성 처리 장치(100)가 마이크(110)를 포함하고, 마이크(110)를 이용하여 화자들(SPK1~SPK4)의 음성들과 연관된 음성 신호를 직접 생성하는 것으로 설명하나, 실시 예들에 따라, 마이크는 음성 처리 장치(100)와 분리되어 외부에 구성될 수 있고, 음성 처리 장치(100)는 분리되어 구성된 마이크로부터 음성 신호를 수신하여, 수신된 음성 신호를 처리 또는 이용할 수 있다. 예컨대, 음성 처리 장치(100)는 분리된 마이크로부터 수신된 음성 신호로부터 분리 음성 신호를 생성할 수 있다.
다만, 설명의 편의상, 별도의 언급이 없는 한 음성 처리 장치(100)가 마이크(110)를 포함하는 것을 가정하고 설명한다.
도 3 내지 도 5는 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 3 내지 도 5를 참조하면, 각 위치(P1~P4)에 위치한 화자들(SPK1~SPK4) 각각이 발화할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성들로부터 각 화자들(SPK1~SPK4)의 음성과 연관된 분리 음성 신호를 생성할 수 있고, 분리 음성 신호와 화자들(SPK1~SPK4) 각각의 위치를 나타내는 위치 정보를 저장할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 음성 신호들 사이의 시간 지연(또는 위상 지연)을 이용하여 음성들의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 결정할 수 있다. 예컨대, 음성 처리 장치(100)는 음성 처리 장치(100)에 대한 음원(즉, 화자들(SPK1~SPK4))의 상대적인 위치를 결정할 수 있다.
음성 처리 장치(100)는 결정된 음원 위치에 기초하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다.
도 3에 도시된 바와 같이, 제1화자(SPK1)가 음성 "AAA"을 발화한다. 음성 "AAA"가 발화되면, 음성 처리 장치(100)는 음성 "AAA"에 응답하여, 음성 "AAA"와 연관된 음성 신호를 생성할 수 있다. 실시 예들에 따라, 음성 "AAA"와 연관된 음성 신호에는 음성 "AAA"이외의 소음들과 관련된 성분도 포함될 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 생성된 음성 신호를 이용하여, 제1화자(SPK1)의 음성 "AAA"과 연관된 분리 음성 신호를 생성할 수 있다. 이 때, 음성 처리 장치(100)는 제1화자(SPK1)의 음성 "AAA"와 연관된 제1분리 음성 신호와 제1화자(SPK1)의 위치인 제1위치(P1)를 나타내는 제1음원 위치 정보를 메모리(140)에 저장할 수 있다. 예컨대, 도 3에 도시된 바와 같이, 제1분리 음성 신호와 제1음원 위치 정보는 서로 매칭되어 저장될 수 있다.
도 4에 도시된 바와 같이, 제2화자(SPK2)가 음성 "BBB"를 발화한다. 음성 "BBB"가 발화되면, 음성 처리 장치(100)는 음성 "BBB"에 응답하여, 음성 "BBB"와 연관된 음성 신호를 생성할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 생성된 음성 신호를 이용하여, 제2화자(SPK2)의 음성 "BBB"와 연관된 제2분리 음성 신호를 생성할 수 있다. 이 때, 음성 처리 장치(100)는 제2화자(SPK2)의 음성 "BBB"와 연관된 제2분리 음성 신호와 제2화자(SPK2)의 위치인 제2위치(P2)를 나타내는 제2음원 위치 정보를 메모리(140)에 저장할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 제2분리 음성 신호와 제2음원 위치 정보는 서로 매칭되어 저장될 수 있다.
도 5에 도시된 바와 같이, 제3화자(SPK3)가 음성 "CCC"를 발화하고, 제4화자(SPK4)가 음성 "DDD"를 발화한다. 음성 처리 장치(100)는 음성 "CCC" 및 음성 "DDD"에 응답하여, 음성 "CCC" 및 음성 "DDD"와 연관된 음성 신호를 생성할 수 있다. 즉, 상기 음성 신호는 음성 "CCC" 및 음성 "DDD"과 연관된 성분을 포함하는 음성 신호이다.
실시 예들에 따라, 음성 처리 장치(100)는 생성된 음성 신호를 이용하여, 제3화자(SPK3)의 음성 "CCC"와 연관된 제3분리 음성 신호 및 제4화자(SPK4)의 음성 "DDD"와 연관된 제4분리 음성 신호를 생성할 수 있다.
이 때, 음성 처리 장치(100)는 제3화자(SPK3)의 음성 "CCC"와 연관된 제3분리 음성 신호와 제3화자(SPK3)의 위치인 제3위치(P3)를 나타내는 제3위치 정보를 메모리(140)에 저장할 수 있다. 또한, 음성 처리 장치(100)는 제4화자(SPK4)의 음성 "DDD"와 연관된 제4분리 음성 신호와 제4화자(SPK4)의 위치인 제4위치(P4)를 나타내는 제4위치 정보를 메모리(140)에 저장할 수 있다.
예컨대, 도 4에 도시된 바와 같이, 제3분리 음성 신호와 제3음원 위치 정보는 서로 매칭되어 저장될 수 있고, 제4분리 음성 신호와 제4음원 위치 정보는 서로 매칭되어 저장될 수 있다.
즉, 본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성들로부터 각 화자들(SPK1~SPK4)의 음성과 연관된 분리 음성 신호를 생성할 수 있고, 분리 음성 신호와 화자들(SPK1~SPK4) 각각의 위치를 나타내는 위치 정보를 저장할 수 있다.
도 6은 본 발명의 실시 예들에 따른 음성 처리 장치에 의한 음성 분리 방법을 나타내는 플로우 차트이다. 도 6을 참조하여 설명될 음성 처리 장치의 작동 방법은 비일시적인 저장 매체에 저장되어, 컴퓨팅 장치에 의해 실행 가능한 애플리케이션(예컨대, 음성 분리 애플리케이션)으로서 구현될 수 있다. 예컨대, 프로세서(130)는 메모리(140)에 저장된 애플리케이션을 실행하고, 애플리케이션의 실행에 따라 특정 작동들을 지시하는 명령어들에 대응하는 작동들을 수행할 수 있다.
도 6을 참조하면, 음성 처리 장치(100)는 음성에 응답하여, 음성 신호를 생성할 수 있다(S110). 실시 예들에 따라, 음성 처리 장치(100)는 공간에서 감지되는 음성을 전기적인 신호인 음성 신호로 변환할 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를 이용하여, 음성들 각각에 대한 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 판단할 수 있다(S120). 실시 예들에 따라, 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성들 각각에 대한 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 장치(100)는 음성들 각각에 대한 음원 위치에 기초하여, 화자들(SPK1~SPK4)의 음성들 각각과 연관된 분리 음성 신호를 생성할 수 있다(S130). 실시 예들에 따라, 음성 처리 장치(100)는 생성된 음성 신호를, 음성들 각각에 대한 음원 위치에 기초하여 분리함으로써 화자들(SPK1~SPK4)의 음성들 각각과 연관된 분리 음성 신호를 생성할 수 있다. 예컨대, 음성 처리 장치(100)는 음성 신호에 포함된 성분들을 음원 위치에 기초하여 분리함으로써 화자들(SPK1~SPK4)의 음성들 각각과 연관된 분리 음성 신호를 생성할 수 있다.
음성 처리 장치(100)는 음원의 위치를 나타내는 음원 위치 정보와 분리 음성 신호를 저장할 수 있다(S140). 실시 예들에 따라, 음성 처리 장치(100)는 음원의 위치를 나타내는 음원 위치 정보와, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 매칭하여 저장할 수 있다. 예컨대, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호에 해당하는 데이터와 음원 위치 정보를 매칭하여 저장할 수 있다.
실시 예들에 따라, 본 발명의 실시 예들에 따른 음성 처리 장치(100)(또는 프로세서(130))는 메모리(140)에 저장된 애플리케이션(예컨대, 음성 분리 애플리케이션)을 실행함으로써 화자들(SPK1~SPK4)의 음성들과 연관된 음성 신호로부터 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성(또는 분리)할 수 있다.
일반적으로, 음성 신호에 대한 처리를 수행하기 위해서는 마이크 및 음성 신호를 처리하도록 구성되는 프로세서 등의 하드웨어가 필요하다. 한편, 스마트폰과 같은 모바일 단말기는 스피커 및 프로세서를 기본적으로 포함하므로, 사용자들은 음성 처리 장치(100)를 이용하여 본 발명의 실시 예들에 따른 방법을 수행함으로써, 별도의 하드웨어를 구비하지 않더라도 화자들의 음성을 분리할 수 있는 효과가 있다. 예컨대, 음성 처리 장치(100)의 프로세서(130)는 음성 분리 애플리케이션을 실행하고, 음성 처리 장치(100)에 포함된 하드웨어(예컨대, 스피커)를 이용하여 음성 분리를 수행할 수 있다.
도 7은 본 발명의 실시 예들에 따른 음성 처리 장치의 번역 기능을 설명하기 위한 도면이다. 도 7을 참조하면, 제1화자(SPK1)는 음성 "AAA"를 한국어(KR)로 발화하고, 제2화자(SPK2)는 음성 "BBB"를 영어(EN)로 발화하고, 제3화자(SPK3)는 음성 "CCC"를 중국어(CN)로 발화하고, 제4화자(SPK4)는 음성 "DDD"를 일본어(JP)로 발화한다.
본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성들로부터 각 화자들(SPK1~SPK4)의 음성과 연관된 분리 음성 신호를 생성할 수 있고, 분리 음성 신호를 이용하여 화자들(SPK1~SPK4) 각각의 음성에 대한 번역을 제공할 수 있다. 이 때, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 위치와 대응하는 출발 언어 정보를 이용하여, 화자들(SPK1~SPK4)의 음성의 출발 언어를 결정하여, 음성에 대한 번역을 제공할 수 있다.
도 7에 도시된 바와 같이, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호, 화자들(SPK1~SPK4)의 위치를 나타내는 음원 위치 정보 및 화자들(SPK1~SPK4)의 음성의 출발 언어를 나타내는 출발 언어 정보를 저장할 수 있다. 이 때, 출발 언어는 음원 위치 별로 미리 결정되어 저장될 될 수 있다.
예컨대, 음성 처리 장치(100)는 제1위치(P1)에 대응하는 출발 언어가 "KR"임을 나타내는 제1출발 언어 정보를 메모리(140)에 저장할 수 있다. 또한, 음성 처리 장치(100)는 제1화자(SPK1)의 음성 "AAA"와 연관된 제1분리 음성 신호, 제1화자(SPK1)의 위치인 제1위치(P1)를 나타내는 제1음원 위치 정보 및 제1화자(SPK1)의 음성 "AAA (KR)"의 출발 언어인 "KR"을 나타내는 제1출발 언어 정보를 메모리(140)에 저장할 수 있다.
실시 예들에 따라, 화자들(SPK1~SPK4)이 음성을 발화하면, 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호 및 화자들(SPK1~SPK4)의 위치를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 장치(100)는 출발 언어 정보들을 이용하여, 각 분리 음성 신호에 대응하는 출발 언어를 결정하고, 결정된 출발 언어에 기초하여 화자들(SPK1~SPK4)의 음성에 대한 번역을 제공할 수 있다. 실시 예들에 따라, 음성 처리 장치(100)는 각 분리 음성 신호에 대응하는 음원 위치 정보를 이용하여, 각 음성의 음원 위치와 대응하는 출발 언어를 결정하고, 결정된 출발 언어에 기초하여 분리 음성 신호에 대한 번역 결과를 생성할 수 있다.
예컨대, 음성 처리 장치(100)는 분리 음성 신호를 텍스트 데이터로 변환하고(예컨대, STT(Speech-To-Text) 변환), 변환된 텍스트 데이터에 대해서 출발 언어로부터 도착 언어로의 번역 결과를 생성하고, 번역 결과를 음성 신호로서 변환(예컨대, TTS(Text-to-Speech) 변환)할 수 있다. 즉, 본 명세서에서 언급되는 번역 결과는 도착 언어로 표현된 화자들(SPK1~SPK4) 각각의 음성과 연관된 텍스트 데이터 또는 음성 신호를 모두 의미할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 생성된 번역 결과를 출력할 수 있다. 예컨대, 음성 처리 장치(100)는 생성된 번역 결과를 스피커(150)를 통해 출력하거나, 또는 다른 외부 장치로 전송할 수 있다.
도 8은 본 발명의 실시 예들에 따른 음성 처리 장치의 번역 기능을 설명하기 위한 도면이다. 도 8을 참조하면, 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 각각의 음성과 연관된 분리 음성 신호를 생성하고, 분리 음성 신호들을 이용하여 화자들(SPK1~SPK4)의 각각의 음성에 대한 번역 결과를 출력할 수 있다. 이 때, 번역 결과는 화자들(SPK1~SPK4)의 음성들의 언어가 출발 언어로부터 다른 언어(예컨대, 도착 언어)로 변환된 결과를 나타낸다.
도 8에 도시된 바와 같이, 제1화자(SPK1)는 음성 "AAA"를 한국어(KR)로 발화하고, 제2화자(SPK2)는 음성 "BBB"를 영어(EN)로 발화한다. 이 경우, 1화자(SPK1)의 음성 "AAA"의 출발 언어는 한국어(KR)이고, 제2화자(SPK2)의 음성 "BBB"의 출발 언어는 영어(EN)가 된다.
음성 처리 장치(100)는 제1화자(SPK1)의 음성 "AAA(KR)"에 응답하여, 제1화자(SPK1)의 음원 위치(예컨대, P1)를 결정하고, 음원 위치에 기초하여 제1화자(SPK1)의 음성 "AAA(KR)"과 연관된 제1분리 음성 신호를 생성할 수 있다. 마찬가지로, 음성 처리 장치(100)는 제2화자(SPK2)의 음성 "BBB(EN)"에 응답하여, 제2화자(SPK2)의 음원 위치(예컨대, P2)를 결정하고, 음원 위치에 기초하여 제2화자(SPK2)의 음성 "BBB(EN)"과 연관된 제2분리 음성 신호를 생성할 수 있다.
음성 처리 장치(100)는 생성된 분리 음성 신호를 이용하여, 화자들(SPK1~SPK4)의 음성의 언어에 대한 출발 언어로부터 도착 언어로의 번역을 제공할 수 있다. 실시 예들에 따라, 음성 처리 장치(100)는 메모리(140)에 저장된 출발 언어 정보를 이용하여, 화자들(SPK1~SPK4)의 음성의 음원 위치에 따라 결정되는 출발 언어를 결정하고, 결정된 출발 언어에 따라 화자들(SPK1~SPK4) 각각의 음성의 언어에 대한 출발 언어로부터 도착 언어로의 번역 결과를 출력할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 각 위치에 대한 도착 언어를 나타내는 도착 언어 정보를 저장할 수 있고, 저장된 도착 언어 정보를 이용하여 화자들(SPK1~SPK4) 각각의 음성의 음원 위치에 대응하는 도착 언어를 결정할 수 있다. 또한, 실시 예들에 따라, 음성 처리 장치(100)는 사용자로부터의 입력에 기초하여, 화자들(SPK1~SPK4) 각각의 음성에 대한 도착 언어를 결정할 수 있다.
예컨대, 음성 처리 장치(100)는 제1화자(SPK1)의 음성 "AAA(KR)"의 음원 위치인 제1위치(P1)를 나타내는 제1음원 위치 정보를 이용하여, 메모리(140)로부터 제1위치(P1)에 대응하는 제1출발 언어 정보를 리드할 수 있다. 리드 된 제1출발 언어 정보는 제1화자(SPK1)의 음성 "AAA'의 출발 언어가 한국어(KR)임을 지시할 수 있다.
상기 번역 결과는 스피커(150)를 통해 출력되거나, 메모리(140)에 저장되거나, 또는, 통신 회로(120)를 통해 외부 장치로 전송될 수 있다.
본 명세서에서, 음성 처리 장치(100)에 의해 출력되는 번역 결과는 도착 언어로 표현된 텍스트 데이터이거나 혹은 도착 언어로 발화된 음성과 연관된 음성 신호일 수 있으나, 이에 한정되는 것은 아니다.
본 명세서에서, 음성 처리 장치(100)가 번역 결과를 생성한다는 것은, 음성 처리 장치(100)의 프로세서(130) 자체의 연산을 통해 언어를 번역함으로써 번역 결과를 생성하는 것뿐만 아니라, 음성 처리 장치(100)가 번역 기능을 갖는 서버와의 통신을 통해, 상기 서버로부터 번역 결과를 수신함으로써 번역 결과를 생성하는 것을 포함한다.
예컨대, 프로세서(130)는 메모리(140)에 저장된 번역 애플리케이션을 실행함으로써, 화자들(SPK1~SPK4) 각각의 음성에 대한 번역 결과를 생성할 수 있다.
예컨대, 음성 처리 장치(100)는 분리 음성 신호, 출발 언어 정보 및 도착 언어 정보를 번역기(translator)로 전송하고, 번역기로부터 분리 음성 신호에 대한 번역 결과를 수신할 수 있다. 번역기는 언어에 대한 번역을 제공하는 환경 또는 시스템을 의미할 수 있다. 실시 예들에 따라, 번역기는 분리 음성 신호, 출발 언어 정보 및 도착 언어 정보를 이용하여, 화자들(SPK1~SPK4) 각각의 음성에 대한 번역 결과를 출력할 수 있다.
예컨대, 도 8에 도시된 바와 같이, 음성 처리 장치(100)는 제1화자(SPK1)의 음성 "AAA(KR)"에 대한 출발 언어(즉, 한국어(KR)) 및 도착 언어(즉, 영어(EN))를 결정하고, 결정된 출발 언어 및 도착 언어에 따라, 제1화자(SPK1)의 음성 "AAA(KR)"에 대한 번역 결과를 출력할 수 있다. 예컨대, 음성 "AAA(KR)"에 대한 번역 결과는 영어(EN)로 표현된 음성 "AAA(EN)"과 연관된 데이터(예컨대, 음성 데이터 또는 텍스트 데이터 등)일 수 있다. 한편, 비록 도 8에서는 음성 "AAA(KR)"에 대한 도착 언어가 영어(EN)인 것으로 설명되어 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
상술한 바와 같이, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 음성과 연관된 분리 음성 신호에 기초하여 번역을 제공하므로, 음성 처리 장치(100)는 특정 화자의 음성에 대한 번역 결과를 출력할 수 있는 효과가 있다.
마찬가지로, 음성 처리 장치(100)는 제2화자(SPK2)의 음성 "BBB(EN)"에 대한 출발 언어(즉, 영어(EN)) 및 도착 언어(즉, 한국어(KR))를 결정하고, 결정된 출발 언어 및 도착 언어에 따라, 제2화자(SPK2)의 음성 "BBB(EN)"에 대한 번역 결과를 출력할 수 있다. 또한, 음성 처리 장치(100)는 제3화자(SPK3)의 음성 "CCC(CN)" 및 제4화자(SPK4)의 음성 "DDD(CN)"에 대한 번역 결과 또한 출력할 수 있다.
도 9는 본 발명의 실시 예들에 따른 음성 처리 장치에 의한 번역 결과의 제공 방법을 나타내는 플로우 차트이다. 도 9를 참조하여 설명될 음성 처리 장치의 작동 방법은 비일시적인 저장 매체에 저장되어, 컴퓨팅 장치에 의해 실행 가능한 애플리케이션(예컨대, 번역 애플리케이션)으로서 구현될 수 있다. 예컨대, 프로세서(130)는 메모리(140)에 저장된 애플리케이션을 실행하고, 애플리케이션의 실행에 따라 특정 작동들을 지시하는 명령어들에 대응하는 작동들을 수행할 수 있다.
도 9를 참조하면, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다(S210). 실시 예들에 따라, 음성 처리 장치(100)는 음성에 응답하여 생성된 음성 신호를 음성들 각각의 음원 위치에 기초하여 분리함으로써, 분리 음성 신호를 생성할 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성을 번역하기 위한 출발 언어를 결정할 수 있다(S220). 실시 예들에 따라, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성의 음원 위치에 기초하여, 화자들(SPK1~SPK4) 각각의 음성을 번역하기 위한 출발 언어를 결정할 수 있다. 또한, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성의 음원 위치에 기초하여, 화자들(SPK1~SPK4) 각각의 음성이 번역될 도착 언어를 결정할 수 있다.
음성 처리 장치(100)는 분리 음성 신호를 이용하여, 출발 언어에 따라 화자들(SPK1~SPK4) 각각의 음성에 대한 번역 결과를 출력할 수 있다(S230). 실시 예들에 따라, 음성 처리 장치(100)는 결정된 출발 언어(및 도착 언어)에 기초하여, 화자들(SPK1~SPK4) 각각의 음성에 대한 출발 언어로부터의 도착 언어로의 번역 결과를 출력할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를 생성하고, 음성 신호들을 처리함으로써 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다.
또한, 본 발명의 실시 예들에 따른 음성 처리 장치(100)는 분리 음성 신호를 이용하여, 화자들(SPK1~SPK4)의 음성을 번역하고, 번역 결과를 출력할 수 있다. 이에 따라, 화자들(SPK1~SPK4)의 사용 언어가 다르더라도, 화자들(SPK1~SPK4) 각각은 자신이 사용하는 언어로 발화할 수 있고, 다른 언어를 사용하는 화자들의 음성을 자신이 사용하는 언어로 번역하여 들을 수 있는 효과가 있다.
일반적으로, 음성 신호에 대한 처리를 수행하기 위해서는 마이크 및 음성 신호를 처리하도록 구성되는 프로세서 등의 하드웨어가 필요하다. 한편, 스마트폰과 같은 모바일 단말기는 스피커 및 프로세서를 기본적으로 포함하므로, 음성 처리 장치(100)가 스마트폰과 같은 모바일 단말기에 구현된다면, 사용자들은 음성 처리 장치(100)를 이용하여 본 발명의 실시 예들에 따른 방법을 수행함으로써, 별도의 하드웨어를 구비하지 않더라도 화자들의 음성을 분리할 수 있고, 이들을 이용하여 음성에 대한 번역을 제공할 수 있는 효과가 있다.
도 10 및 도 11은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 10 및 도 11을 참조하면, 음성 처리 장치(100)는 위치 등록 모드(또는 화자 등록 모드)로 작동할 수 있다. 위치 등록 모드는 화자들(SPK1~SPK4)의 음성들의 음원 위치를 음성 처리 장치(100)에 기준 음원 위치로서 저장하는 모드를 의미한다. 이후, 음성 처리 장치(100)는 저장된 기준 음원 위치를 이용하여, 화자들(SPK1~SPK4)을 식별하여 분리 음성 신호를 생성하거나, 또는 특정 위치에서 발화된 음성과 연관된 분리 음성 신호만을 선택적으로 처리할 수도 있다.
프로세서(130)는 외부로부터의 입력에 응답하여, 위치 등록 모드로 작동할 수 있다. 실시 예들에 따라, 프로세서(130)는 특정 문구를 포함하는 음성 신호에 응답하여 위치 등록 모드로 작동하거나, 또는, 음성 처리 장치(100)에 형성된 입력부(예컨대, 버튼 또는 터치 패널)를 통한 입력에 응답하여 위치 등록 모드로 작동할 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성에 응답하여 화자들(SPK1~SPK4) 각각의 음성에 대한 음원 위치를 결정하고, 음원 위치를 나타내는 음원 위치 정보를 생성할 수 있다.
위치 등록 모드에서, 음성 처리 장치(100)는 생성된 음원 위치 정보를 기준 음원 위치 정보로서 메모리(140)에 저장할 수 있다.
예컨대, 도 10에 도시된 바와 같이, 위치 등록 모드에서, 제1화자(SPK1)가 "저는 Alice 입니다"라고 발화하면, 음성 처리 장치(100)는 제1화자(SPK1)의 음성에 응답하여 음성 신호를 생성하고, 음성 신호로부터 제1화자(SPK1)의 위치인 제1위치(P1)를 결정할 수 있다. 음성 처리 장치(100)는 제1위치(P1)를 나타내는 제1위치 정보를 생성하고, 제1음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있다.
마찬가지로, 예컨대, 도 11에 도시된 바와 같이, 음성 처리 장치(100)는 나머지 화자들(SPK2~SPK3)의 음성에 응답하여, 나머지 화자들(SPK2~SPK4)의 음성의 음원 위치(P2~P4)를 결정할 수 있다. 한편, 본 발명의 실시 예들에 따른 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성이 시간적으로 중첩되어 발화되더라도, 화자들(SPK1~SPK4) 각각의 음성의 음원 위치를 계산할 수 있다.
음성 처리 장치(100)는 제2화자(SPK2)의 위치인 제2위치(P2)를 나타내는 제2음원 위치 정보를 생성하고, 제2음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있고, 제3화자(SPK3)의 위치인 제3위치(P3)를 나타내는 제3음원 위치 정보를 생성하고, 제3음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있으며, 제4화자(SPK4)의 위치인 제4위치(P4)를 나타내는 제4음원 위치 정보를 생성하고, 제4음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 음원 위치 정보와, 음원 위치 정보에 대응하는 식별자를 저장할 수 있다. 상기 식별자는 음원 위치를 구별하기 위한 데이터로서, 예컨대, 해당하는 음원 위치에 위치한 화자를 나타내는 데이터(예컨대, 이름 등)일 수 있다.
예컨대, 도 10에 도시된 바와 같이, 음성 처리 장치(100)는 제1화자(SPK1)의 음성에 응답하여, 제1화자(SPK1)를 나타내는 제1식별자(SID1)를 생성하고, 생성된 제1식별자(SID1)를 제1음원 위치 정보와 함께 매칭하여 저장할 수 있다. 즉, 제1식별자(SID1)는 제1화자(SPK1)를 식별하기 위한 수단이 될 수 있다. 예컨대, 음성 처리 장치(100)는 제1화자(SPK1)의 음성의 적어도 일부를 텍스트로 변환하고, 변환된 텍스트에 대응하는 제1식별자(SID1)를 생성할 수 있다. 예컨대, 음성 처리 장치(100)는 제1화자(SPK1)의 음성에 포함된 문구 중 적어도 일부를 제1식별자(SID1)로서 변환할 수 있다.
예컨대, 도 11에 도시된 바와 같이, 음성 처리 장치(100)는 나머지 화자들(SPK2~SPK4)의 음성에 응답하여, 나머지 화자들(SPK2~SPK4)을 나타내는 식별자들(SID2~SID4)를 생성하고, 생성된 식별자들(SID2~SID4)을 화자들(SPK2~SPK4)의 음원 위치 정보와 함께 매칭하여 저장할 수 있다.
도 12는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다. 도 12를 참조하면, 음성 처리 장치(100)는 음성 분리 모드로 작동할 수 있다.
실시 예들에 따라, 프로세서(130)는 외부로부터의 입력에 응답하여, 음성 분리 모드로 작동할 수 있다. 실시 예들에 따라, 프로세서(130)는 특정 문구를 포함하는 음성 신호에 응답하여 음성 분리 모드로 작동하거나, 또는, 음성 처리 장치(100)에 형성된 입력부(예컨대, 버튼 또는 터치 패널)를 통한 입력에 응답하여 음성 분리 모드로 작동할 수 있다.
음성 분리 모드에서, 음성 처리 장치(100)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를, 음성들의 음원 위치에 기초하여 분리함으로써, 화자들(SPK1~SPK4)의 음성과 관련된 분리 음성 신호를 생성하고, 생성된 분리 음성 신호를 저장할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 미리 저장된(또는 등록된) 기준 음원 위치와 대응하는 음원 위치에 대응하는 음성과 연관된 분리 음성 신호를 저장할 수 있다. 예컨대, 음성 처리 장치(100)는 음성 신호로부터 분리된 분리 음성 신호들 중에서, 기준 음원 위치로부터 기준 범위 이내에 있는 음원 위치와 대응하는 음성과 연관된 분리 음성 신호를 저장할 수 있다.
실시 예들에 따라, 음성 분리 모드에서, 프로세서(130)는 인식되는 음성의 음원 위치가 미리 저장된(또는 등록된) 기준 음원 위치에 대응되지 않는 경우, 위치 등록 모드로 작동할 수 있다. 예컨대, 프로세서(130)는 인식되는 음성의 음원 위치가 미리 저장된 기준 음원 위치와 상이한 경우, 위치 등록 모드로 작동할 수 있고, 이에, 새로운 음원 위치를 등록할 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호와, 대응하는 식별자를 매칭하여 저장할 수 있다. 예컨대, 도 12에 도시된 바와 같이, 음성 처리 장치(100)는 제1화자(SPK1)의 위치인 제1위치(P1)를 나타내는 제1음원 위치 정보에 따라, 제1분리 음성 신호와 제1식별자(SID1)를 매칭하여 저장할 수 있다. 예컨대, 음성 처리 장치(100)는 메모리(140)에 저장된 기준 음원 위치 정보를 참조하여, 제1음원 위치 정보에 대응하는 제1식별자(SID1)를 제1분리 음성 신호와 매칭하여 저장할 수 있다.
또한, 음성 처리 장치(100)는 분리 음성 신호와, 분리 음성 신호에 대응하는 음성이 수신된 시점을 추가적으로 매칭하여 저장할 수 있다.
도 13은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 13을 참조하면, 음성 처리 장치(100A)는 마이크(110), 통신 회로(120), 프로세서(130), 메모리(140) 및 트리거 신호 생성 회로(151)를 포함할 수 있다.
도 2와 비교할 때, 도 13의 음성 처리 장치(100A)는 트리거 신호 생성 회로(151)를 추가적으로 포함하는 차이가 있다. 이하, 설명의 편의상 중복되는 부분의 설명은 생략하고, 차이점에 대해 설명한다.
트리거 신호 생성 회로(151)는 외부로부터의 입력에 응답하여 트리거 신호들을 생성할 수 있다. 트리거 신호들은 프로세서(130)로 하여금 특정 동작을 수행하게끔 하는 신호일 수 있다. 트리거 신호들은 화자 등록 트리거 신호 및 화자 이동 트리거 신호를 포함할 수 있다. 이 때, 화자 등록 트리거 신호 및 화자 이동 트리거 신호를 생성하기 위한 입력 조건은 다를 수 있다.
실시 예들에 따라, 트리거 신호 생성 회로(151)는 터치 패널 또는 버튼과 같은 외부로부터의 물리적인 입력을 감지할 수 있는 입력부를 포함하고, 물리적인 입력에 응답하여 트리거 신호들을 생성할 수 있다. 예컨대, 트리거 신호 생성 회로(151)는 사용자의 터치가 감지되었을 때, 트리거 신호들을 생성할 수 있다.
실시 예들에 따라, 트리거 신호 생성 회로(151)는 음성 처리 장치(100A)에 의해 수신된 음성 신호들에 포함된 기동어를 인식하여 트리거 신호들을 생성할 수 있다. 예컨대, 트리거 신호 생성 회로(151)는 "화자 등록" 등의 특정 문구를 포함하는 음성 신호가 수신되면, 트리거 신호들을 생성할 수 있다.
트리거 신호 생성 회로(151)는 생성된 트리거 신호들을 프로세서(130)로 전송할 수 있다.
실시 예들에 따라, 프로세서(130)는 화자 식별 트리거 신호에 응답하여 화자 등록 모드(또는 위치 등록 모드)로 진입할 수 있다. 실시 예들에 따라, 화자 등록 모드는 화자 등록 트리거 신호가 수신된 시점으로부터 소정의 구간으로 정의되거나 또는 화자 등록 트리거 신호가 수신되는 동안의 구간으로 정의될 수 있으나, 이에 한정되는 것은 아니다.
도 10 및 도 11을 참조하여 설명한 바와 같이, 음성 처리 장치는 화자 등록 모드에서, 수신된 음성 신호들을 이용하여 기준 음원 위치 정보와 식별자를 생성하고, 또한 분리 음성 신호를 생성하고, 기준음원 위치 정보, 식별자 및 분리 음성 신호를 서로 매칭하여 저장할 수 있다.
도 14 및 도 15는 본 발명의 실시 예들에 따른 화자 이동 모드를 설명하기 위한 도면이다. 도 14 및 도 15를 참조하여 설명되는 화자 이동 모드는 도 13의 음성 처리 장치(100A)에 의해 수행될 수 있다.
도 14 및 도 15를 참조하면, 이동 전의 앨리스(Alice)의 위치는 "P1"이고, 화자 등록 모드 이후, 음성 처리 장치(100A)의 메모리(140)에는 앨리스를 식별하기 위한 식별자(SID)가 저장될 수 있고, 앨리스의 위치 "P1"가 기준 음원 위치로서 저장될 수 있다.
이동 후, 앨리스(Alice)가 위치(P5)에서 "저는 Alice 입니다"라는 음성을 발화한다. 음성 처리 장치(100A)는 화자 이동 모드에서, 앨리스의 음성과 연관된 음성 신호들을 이용하여 이동 후 앨리스의 위치 "P5"를 나타내는 음원 위치 정보를 새롭게 생성할 수 있다.
음성 처리 장치(100A)는 메모리(140)를 참조하여 화자 식별자(SID)에 매칭되어 저장된 기준 음원 위치 정보를 갱신할 수 있다. 예컨대, 음성 처리 장치(100A)는 화자 식별자(SID) "Alice"에 기존 매칭되어 저장된 기준 음원 위치 정보 "P1"을 이동 후 위치에 대한 기준 음원 위치 정보인 "P5"로 갱신할 수 있다.
이에 따라, 본 발명의 실시 예들에 따른 음성 처리 장치(100A)는 화자의 이동으로 인해 화자의 위치가 변경되더라도, 화자 식별자에 매칭되어 저장된 화자 위치 정보를 변경된 화자 위치 정보를 갱신할 수 있는 효과가 있다.
도 16은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 16을 참조하면, 음성 처리 장치(100B)는 마이크(110), 통신 회로(120), 프로세서(130), 메모리(140) 및 모션 센서(153)를 포함할 수 있다.
도 2와 비교할 때, 도 16의 음성 처리 장치(100B)는 모션 센서(153)를 추가적으로 포함하는 차이가 있다. 이하, 설명의 편의상 중복되는 부분의 설명은 생략하고, 차이점에 대해 설명한다.
모션 센서(153)는 음성 처리 장치(100B)와 관련된 물리량을 측정하고, 측정된 물리량에 해당하는 감지 신호를 생성할 수 있다. 예컨대, 모션 센서(153)는 음성 처리 장치(100B)의 위치 또는 움직임을 측정하고, 측정된 위치 또는 움직임에 대응하는 감지 신호를 생성 및 출력할 수 있다.
실시 예들에 따라, 모션 센서(153)는 음성 처리 장치(100B)의 위치를 측정하고, 음성 처리 장치(100B)의 위치를 나타내는 감지 신호를 출력할 수 있다. 예컨대, 모션 센서(153)는 GPS 센서, LIDAR(LIght Detection And Ranging) 센서, 레이더(Radio Detection And Ranging) 센서 또는 UWB(Ultra Wide Band) 센서일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
실시 예들에 따라, 모션 센서(153)는 음성 처리 장치(100B)의 움직임을 측정하고, 음성 처리 장치(100B)의 움직임을 나타내는 감지 신호를 출력할 수 있다. 예컨대, 모션 센서(153)는 자이로 센서, 속도 센서, 또는 가속도 센서일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
한편, 본 명세서에서는 모션 센서(153)가 음성 처리 장치(100B)의 위치 또는 움직임을 측정하는 구성으로 설명되어 있으나, 실시 예들에 따라, 프로세서(130) 및 모션 센서(153)에 의해 음성 처리 장치(100B)의 위치 또는 움직임을 측정될 수도 있다. 예컨대, 모션 센서(153)는 음성 처리 장치(100B)의 위치 또는 움직임과 관련된 신호를 생성 및 출력하고, 프로세서(130)는 모션 센서(153)로부터 출력된 신호에 기초하여 음성 처리 장치(100B)의 위치 또는 움직임과 관련된 값을 생성할 수 있다.
도 17 및 도 18은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다. 도 17 및 도 18을 참조하여 설명되는 작동은, 도 16를 참조하여 설명된 음성 처리 장치(100B)에 의해 수행될 수 있다.
도 17 및 도 18을 참조하면, 음성 처리 장치(100B)는 음성 처리 장치(100B)의 움직임이 감지되는 경우, 변경된 화자들(SPK1~SPK4)의 음성에 대한 음원 위치를 기준 음원 위치 정보로서 저장할 수 있다.
도 17에 도시된 바와 같이, 음성 처리 장치(100B)의 움직임에 따라 음성 처리 장치(100B)의 위치가 변화하는 경우, 화자들(SPK1~SPK4)의 음성 처리 장치(100B)에 대한 상대적인 위치가 달라질 수 있다. 나아가, 음성 처리 장치(100B)의 위치가 변화하지 않더라도, 음성 처리 장치(100B)의 움직임(회전, 진동 및 이동 등)이 발생하는 경우, 화자들(SPK1~SPK4)의 음성 처리 장치(100B)에 대한 상대적인 위치가 달라질 수 있다. 즉, 다시 말하면, 화자들(SPK1~SPK4)의 음성들의 음원 위치가 달라질 수 있다.
예컨대, 제1화자(SPK1)의 위치는 P1에서 P5로 바뀔 수 있고, 제2화자(SPK2)의 위치는 P2에서 P6로 바뀔 수 있고, 제3화자(SPK3)의 위치는 P3에서 P7로 바뀔 수 있고, 제4화자(SPK4)의 위치는 P4에서 P8로 바뀔 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(100B)는 음성 처리 장치(100B)의 움직임을 감지할 수 있는 모션 센서(153)를 구비하고, 모션 센서(153)의 검출 결과를 통해 음성 처리 장치(100B)의 위치 변화를 감지할 수 있다. 또한, 음성 처리 장치(100B)는 음성 처리 장치(100B)의 움직임에 의해 변경된 음원 위치를 결정하고, 변경된 음원 위치를 기준 음원 위치 정보로서 저장할 수 있는 효과가 있다.
도 18을 참조하면, 음성 처리 장치(100B)는 음성 처리 장치(100B)의 움직임이 감지되면, 위치 등록 모드로 동작할 수 있다. 실시 예들에 따라, 프로세서(130)는 모션 센서(153)의 검출 결과를 이용하여, 음성 처리 장치(100B)의 움직임을 감지할 수 있고, 위치 등록 모드로 동작할지 여부를 결정할 수 있다.
즉, 음성 처리 장치(100B)는 위치 등록 모드에 따라 화자들(SPK1~SPK4) 각각의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치))가 기준 음원 위치 정보로서 등록이 완료된 이후라 하더라도, 음성 처리 장치(100B)의 움직임이 감지되면 다시 위치 등록 모드로 작동할 수 있다.
도 18에 도시된 바와 같이, 위치 갱신 모드에서, 제1화자(SPK1)가 변경된 위치 "P5"에서 "저는 Alice 입니다"라고 발화하면, 음성 처리 장치(100B)는 제1화자(SPK1)의 음성에 응답하여 음성 신호를 생성하고, 음성 신호로부터 변경된 음원 위치(즉, 제1화자(SPK1)의 변경된 위치)인 "P5"를 결정할 수 있다. 음성 처리 장치(100B)는 변경된 위치 "P5"를 나타내는 음원 위치 정보를 생성하고, 음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있다.
실시 예들에 따라, 음성 처리 장치(100B)는 화자들(SPK1~SPK4)의 각각의 변경된 위치를 나타내는 음원 위치 정보를 새롭게 기준 음원 위치 정보로서 저장하거나, 또는, 기존에 저장된 음원 위치 정보를 변경된 위치를 나타내는 음원 위치 정보로서 대체할 수 있다.
도 19는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다. 도 19를 참조하여 설명될 음성 처리 장치의 작동 방법은 비일시적인 저장 매체에 저장되어, 컴퓨팅 장치에 의해 실행 가능한 프로그램으로서 구현될 수 있다.
도 19를 참조하여 설명될 작동 방법은 도 16을 참조하여 설명된 음성 처리 장치(100B)에 의해 수행될 수 있다.
음성 처리 장치(100B)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성에 대한 음원 위치를 나타내는 음원 위치 정보를 생성할 수 있다(S310). 실시 예들에 따라, 음성 처리 장치(100B)는 화자들(SPK1~SPK4)의 음성에 응답하여 음성 신호를 생성하고, 음성 신호로부터 화자들(SPK1~SPK4) 각각의 음성에 대한 음원 위치를 나타내는 음원 위치 정보를 생성할 수 있다. 이 때, 음원 위치는 곧 화자들(SPK1~SPK4) 각각의 위치를 나타낸다.
음성 처리 장치(100B)는 생성된 음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있다(S320). 실시 예들에 따라, 음성 처리 장치(100B)는 생성된 음원 위치 정보를 메모리(140)에 기준 음원 위치 정보로서 저장할 수 있다.
음성 처리 장치(100B)는 음성 처리 장치(100B)의 움직임을 감지할 수 있다(S330). 실시 예들에 따라, 음성 처리 장치(100B)는 모션 센서(153)를 이용하여, 음성 처리 장치(100B)의 움직임을 감지할 수 있다. 예컨대, 음성 처리 장치(100B)는 모션 센서(153)를 이용하여, 음성 처리 장치(100B)의 위치의 변화, 각도의 변화 또는 속도 및 가속도의 변화를 감지할 수 있다.
음성 처리 장치(100B)는 감지된 움직임이 기준 움직임을 초과하는지 여부를 판단할 수 있다(S340). 실시 예들에 따라, 음성 처리 장치(100B)는 모션 센서(153)를 이용하여 감지된 물리량이, 미리 지정된 기준 물리량을 초과하는지 판단할 수 있다. 예컨대, 음성 처리 장치(100B)는 음성 처리 장치(100B)의 주기적으로 측정된 위치의 변화가 기준 값을 초과하는지 판단하거나, 또는, 음성 처리 장치(100B)의 가속도가 기준 값을 초과하는지 판단함으로써, 움직임이 기준 움직임을 초과하는지 여부를 판단할 수 있다.
음성 처리 장치(100B)는 감지된 움직임이 기준 움직임을 초과하는 경우(S340의 Y), 음성 처리 장치(100B)는 화자들(SPK1~SPK4)의 음성에 응답하여 음원 위치 정보를 생성하고, 생성된 음원 위치 정보를 기준 음원 위치 정보로서 저장할 수 있다. 즉, 감지된 움직임이 기준 움직임을 초과하는 경우, 음성 처리 장치(100B)는 화자들(SPK1~SPK4)의 음성의 음원 위치를 다시 결정하고, 변경된 음원 위치를 나타내는 음원 위치 정보를 기준 음원 위치 정보로서 다시 저장할 수 있다. 이를 통해, 음성 처리 장치(100B)의 움직임으로 인해 화자들(SPK1~SPK4)의 상대적인 위치가 변화하더라도, 기준 음원 위치 정보가 갱신될 수 있다. 이에 따라, 음성 처리 장치(100B)의 움직임으로 인한 화자들(SPK1~SPK4)의 상대적인 위치의 변화에 의한 오차가 최소화될 수 있다.
도 20은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 20를 참조하면, 음성 처리 장치(100C)는 마이크(110), 통신 회로(120), 프로세서(130), 메모리(140) 및 발광 장치(155)를 포함할 수 있다.
도 2와 비교할 때, 도 20의 음성 처리 장치(100C)는 발광 장치(155)를 추가적으로 포함하는 차이가 있다. 이하, 설명의 편의상 중복되는 부분의 설명은 생략하고, 차이점에 대해 설명한다.
발광 장치(150)는 프로세서(130)의 제어에 따라, 빛을 발광할 수 있다. 실시 예들에 따라, 발광 장치(150)는 발광 소자들을 포함하고, 발광 소자들은 전기적인 신호에 따라 특정 파장의 빛을 방출할 수 있다. 예컨대, 발광 장치(150)는 발광 다이오드, LCD(liquid crystal display), OLED(organic lighting emitting diode) 발광 장치, 플렉서블(flexible) 발광 장치, 마이크로 LED 발광 장치 또는 퀀텀닷(quantum dot) 발광 장치일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
실시 예들에 따라, 발광 장치(150)는 프로세서(130)의 제어에 따라 작동할 수 있다. 예컨대, 발광 장치(150)는 프로세서(130)로부터 전송되는 제어 신호에 기초하여, 특정한 시각적 패턴을 표시할 수 있다.
도 21은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 21을 참조하면, 음성 처리 장치(100C)는 발광 장치(150)를 포함할 수 있다.
본 발명의 실시 예들에 따르면, 발광 장치(150)는 복수의 발광 소자들(LED1~LEDn; n은 2이상의 자연수)을 포함할 수 있다. 실시 예들에 따라, 복수의 발광 소자들(LED1~LEDn)은 음성 처리 장치(100C)의 표면에 배치될 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니며, 복수의 발광 소자들(LED1~LEDn)은 음성 처리 장치(100)의 부분 중 육안으로 보이는 부분에 배치될 수 있다.
예컨대, 도 21에 도시된 바와 같이, 음성 처리 장치(100C)는 원형의 단면을 가지는 형태로 구현되고, 복수의 발광 소자들(LED1~LEDn)은 음성 처리 장치(100C)의 표면의 둘레를 따라 연속적으로 배치될 수 있으나, 이에 한정되는 것은 아니다.
복수의 발광 소자들(LED1~LEDn) 각각은 서로 다른 위치에 배치될 수 있다.
후술하는 바와 같이, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성에 응답하여 화자들(SPK1~SPK4)의 위치를 판단할 수 있고, 발화하는 화자의 위치에 대응하는 시각적 패턴을 발광 장치(150)를 통해 표시할 수 있다. 예컨대, 음성 처리 장치(100C)는 복수의 발광 소자들(LED1~LEDn) 중에서 발화하는 화자의 위치에 대응하는 발광 소자를 턴-온 할 수 있다. 이에 따라, 사용자는 발광 장치(100C)에 배치된 발광 소자들(LED1~LEDn) 중에서 발광하는 발광 소자들의 위치를 통해, 현재 발화하고 있는 화자(SPK1~SPK4)의 위치를 파악할 수 있는 효과가 있다.
예컨대, 발광 소자들(LED1~LEDn) 각각은 특정 위치를 나타낼 수 있다.
도 22 및 도 23은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 22 및 도 23을 참조하면, 본 발명의 실시 예들에 따른 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성의 위치를 판단하고, 판단된 위치에 따라 각 위치에 대응하는 시각적 패턴을 출력할 수 있다.
한편, 도 22 및 도 23을 참조하여 설명될 실시 예에서는 음성 처리 장치(100C)가 복수의 발광 소자들(LED1~LED8)을 이용하여 화자들(SPK1~SPK4)의 위치에 대응하는 시각적 패턴을 출력하는 것을 가정하고 설명한다. 다만, 실시 예들에 따라, 음성 처리 장치(100C)는 다른 시각적 표현 방식에 따라 화자들(SPK1~SPK4)의 위치에 대응하는 시각적 패턴을 출력할 수 있다.
음성 처리 장치(100C)는 도 3 내지 도 5를 참조하여 설명된 실시 에들에 따라, 화자들(SPK1~SPK4)의 음성으로부터 음성들의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 결정할 수 있다.
음성 처리 장치(100C)는 발광 소자들(LED1~LED8)를 구별하기 위한 식별자와, 발광 소자들(LED1~LED8) 각각에 대응하는 위치에 관한 정보를 저장할 수 있다. 예컨대, 도 22 및 도 23에 도시된 바와 같이, 제2발광 소자(LED2)에 대응하는 위치는 제2위치(P2)있다. 이 때, 발광 소자들(LED1~LED8) 각각에 대응하는 위치는 발광 소자들(LED1~LED8) 각각의 실제 위치일 수도 있지만, 실제 위치와 무관한 미리 지정된 위치일 수 있다.
본 발명의 실시 예들에 따르면, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 음원 위치를 결정하고, 발광 소자(LED1~LED8) 중 결정된 음원 위치에 대응하는 위치에 배치된 발광 소자를 작동할 수 있다.
예컨대, 도 22에 도시된 바와 같이, 제1위치(P1)에 위치한 제1화자(SPK1)가 발화하면, 음성 처리 장치(100C)는 제1화자(SPK1)의 음성으로부터 제1화자(SPK1)의 위치(즉, 음원 위치)를 판단하고, 제1화자(SPK1)의 위치인 제1위치(P1)에 대응하는 발광 소자를 작동시킬 수 있다. 제1위치(P1)에 대응하는 발광 소자는 제8발광 소자(LED8)이므로, 음성 처리 장치(100C)는 제8발광 소자(LED8)를 턴-온할 수 있다. 예컨대, 프로세서(130)는 제8발광 소자(LED8)을 턴-온시키기 위한 제어 신호를 출력할 수 있다.
마찬가지로, 예컨대, 도 23에 도시된 바와 같이, 제2위치(P2)에 위치한 제2화자(SPK2)가 발화하면, 음성 처리 장치(100C)는 제2발광 소자(LED2)를 턴-온할 수 있다. 예컨대, 프로세서(130)는 제2발광 소자(LED2)을 턴-온시키기 위한 제어 신호를 출력할 수 있다.
음성 처리 장치(100C)는 화자들(SPK1~SPK4) 각각의 음성이 인식되는 시점에, 화자들(SPK1~SPK4) 각각의 위치에 대응하는 발광 소자를 턴-온할 수 있다. 실시 예들에 따라, 음성 처리 장치(100C)는 화자들(SPK1~SPK4) 각각의 음성이 인식되는 동안 발광 소자를 턴-온하고, 화자들(SPK1~SPK4) 각각의 음성이 인식되지 않을 때 발광 소자를 턴-오프할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(100C)는 복수의 발광 소자들(LED1~LEDn) 중에서 발화하는 화자의 위치에 대응하는 발광 소자를 턴-온 할 수 있다. 이에 따라, 사용자는 발광 장치(100C)에 배치된 발광 소자들(LED1~LEDn) 중에서 발광하는 발광 소자들의 위치를 통해, 현재 발화하고 있는 화자(SPK1~SPK4)의 위치를 파악할 수 있는 효과가 있다.
도 24는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다. 도 24를 참조하여 설명될 음성 처리 장치의 작동 방법은 비일시적인 저장 매체에 저장되어, 컴퓨팅 장치에 의해 실행 가능한 프로그램으로서 구현될 수 있다.
도 24를 참조하면, 음성 처리 장치(100C)는 음성에 응답하여, 음성 신호를 생성할 수 있다(S410). 실시 예들에 따라, 음성 처리 장치(100C)는 공간에서 감지되는 음성을 전기적인 신호인 음성 신호로 변환할 수 있다.
음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를 이용하여, 음성들 각각에 대한 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 판단할 수 있다(S420). 실시 예들에 따라, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성들 각각에 대한 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 장치(100C)는 음성들 각각에 대한 음원 위치에 기초하여, 음원 위치에 대응하는 시각적 패턴을 표시할 수 있다(S430).
실시 예들에 따라, 음성 처리 장치(100C)는 복수의 발광 소자들(LED1~LEDn)을 포함하는 발광 장치(150)를 포함하고, 복수의 발광 소자들(LED1~LEDn) 중에서 음성의 음원 위치에 대응하는 발광 소자를 턴-온 할 수 있다.
또한, 실시 예들에 따라, 음성 처리 장치(100C)는 디스플레이 장치로 구현되는 발광 장치(150)를 포함할 수 있고, 발광 장치(150)는 화자들(SPK1~SPK4)의 음원 위치를 가리키는 시각적 패턴을 표시할 수 있다. 예컨대, 발광 장치(150)는 화살표, 직선 또는 손가락 등의 도형을 표시함으로써, 화자들(SPK1~SPK4)의 음원 위치를 가리키는 시각적 패턴을 표시할 수 있다.
도 25는 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 25를 참조하면, 음성 처리 장치(100C)는 위치 등록 모드로 작동할 수 있다.
도 10 및 도 11을 참조하여 설명된 바와 같이, 위치 등록 모드에서, 음성 처리 장치(100C)는 생성된 음원 위치 정보를 기준 음원 위치 정보로서 메모리(140)에 저장할 수 있다.
위치 등록 모드에서, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성의 음원 위치를 판단하고, 판단된 음원 위치에 대응하는 시각적 패턴을 출력할 수 있다. 실시 예들에 따라, 음성 처리 장치(100C)는 음원 위치 정보가 기준 음원 위치 정보로서 메모리(140)에 저장이 완료되면, 저장이 완료된 음원 위치 정보에 대응하는 시각적 패턴을 출력할 수 있다.
예컨대, 도 25에 도시된 바와 같이, 음성 처리 장치(100C)는 제1위치(P1)를 나타내는 제1음원 위치 정보가 기준 음원 위치 정보로서 저장되면, 복수의 발광 소자들(LED1~LED8) 중에서 제1위치(P1)에 대응하는 제8발광 소자(LED8)를 턴-온 할 수 있다. 또한, 음성 처리 장치(100C)는 나머지 화자들(SPK2~SPK4)의 위치들(P2~P4)을 나타내는 음원 위치 정보가 기준 음원 위치 정보로서 저장되면, 복수의 발광 소자들(LED1~LED8) 중에서 제2위치(P2)에 대응하는 제2발광 소자(LED2), 제3위치(P3)에 대응하는 제6발광 소자(LED6) 및 제4위치(P4)에 대응하는 제4발광 소자(LED4)를 턴-온 할 수 있다.
이에 따라, 화자들(SPK1~SPK4)은 기준 위치로서 등록된 음원 위치가 어디인지 쉽게 파악할 수 있는 효과가 있다.
도 26은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 도면이다. 도 26을 참조하면, 음성 처리 장치(100C)는 음성 분리 모드로 작동할 수 있다.
도 12를 참조하여 설명된 바와 같이, 음성 분리 모드에서, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성과 연관된 음성 신호를, 음성들의 음원 위치에 기초하여 분리함으로써, 화자들(SPK1~SPK4)의 음성과 관련된 분리 음성 신호를 생성하고, 생성된 분리 음성 신호를 저장할 수 있다.
음성 분리 모드에서, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성에 응답하여, 화자들(SPK1~SPK4) 각각의 음성의 음원 위치를 판단하고, 인식되는 음성의 음원 위치에 대응하는 시각적 패턴을 출력할 수 있다. 예컨대, 도 26에 도시된 바와 같이, 음성 처리 장치(100C)는 복수의 발광 소자들(LED1~LED8) 중에서 발화하는 화자의 위치에 대응하는 발광 소자(제8발광 소자(LED8), 제2발광 소자(LED2) 및 제6발광 소자(LED6))를 턴-온 할 수 있다.
이에 따라, 화자들(SPK1~SPK4)은 현재 발화되는 음성의 음원 위치가 어디인지 쉽게 파악할 수 있는 효과가 있다.
실시 예들에 따라, 음성 처리 장치(100C)는 음성 분리 모드에서, 위치 등록 모드에서와 다른 표시 방식에 따라 음원 위치에 대응하는 시각적 패턴을 출력할 수 있다. 예컨대, 음성 처리 장치(100C)는 위치 등록 모드에서 제1표시 방식에 따라 음원 위치에 대응하는 시각적 패턴을 출력하고, 음성 분리 모드에서 상기 제1표시 방식과 다른 제2표시 방식에 따라 음원 위치에 대응하는 시각적 패턴을 출력할 수 있다. 상기 표시 방식은 시각적 패턴의 출력 색상, 출력 시간, 출력 주기 등을 의미할 수 있다.
예컨대, 위치 등록 모드에서, 음성 처리 장치(100C)는 음원 위치 정보가 기준 음원 위치 정보로서 메모리(140)에 저장이 완료되면, 저장이 완료된 음원 위치 정보에 대응하는 시각적 패턴을 출력할 수 있고, 음성 분리 모드에서, 음성 처리 장치(100C)는 화자들(SPK1~SPK4)의 음성이 인식되는 동안, 인식된 음성의 음원 위치 정보에 대응하는 시각적 패턴을 출력할 수 있다.
도 27은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 27의 동작 방법은 음성 처리 장치(100, 100A, 100B, 100C)에 의해 수행될 수 있다.
음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호들을 이용하여 회의록(MIN)을 생성할 수 있다. 생성된 회의록(MIN)은 문서 파일, 이미지 파일 또는 음성 파일의 형태로 저장될 수 있으나, 이에 한정되는 것은 아니다.
음성 처리 장치(100)는 서로 매칭되어 저장된 분리 음성 신호에 기초하여, 화자들(SPK1~SPK4) 각각의 음성을 나타내는 데이터를 생성할 수 있고, 생성된 화자들(SPK1~SPK4) 각각의 음성을 나타내는 데이터를 이용하여 회의록(MIN)을 생성할 수 있다. 실시 예들에 따라, 음성 처리 장치(100)는 화자들(SPK1~SPK4) 각각의 음성이 인식된 시점에 따라, 각 화자의 음성과 연관된 데이터를 시간 순으로 정렬하여 회의록(MIN)을 생성할 수 있다.
실시 예들에 따라, 음성 처리 장치(100)는 화자들(SPK1~SPK4)을 식별하기 위한 식별자들을 이용하여, 회의록(MIN)에 특정 음성을 발화한 화자(SPK1~SPK4)를 나타내는 식별자를 함께 표시할 수 있다. 이를 통해, 회의록(MIN)에서의 발언들이 화자별로 구별될 수 있다.
도 27에 도시된 바와 같이, 화자들(SPK1~SPK4)가 순차적으로 "AAA1", "BBB2", "AAA3", "CCC4", "DDD5", "CCC6" 및 "BBB7"을 발화한다. 상술한 바와 같이, 음성 처리 장치(100)는 "AAA1" 및 "AAA3"에 대응하는 제1분리 음성 신호와 제1화자(SPK1)를 나타내는 제1식별자(SID1)를 매칭하여 저장하고, "BBB2" 및 "BBB7"에 대응하는 제2분리 음성 신호와 제2식별자(SID2)를 매칭하여 저장하고, "CCC4" 및 "CCC6"에 대응하는 제3분리 음성 신호와 제3식별자(SID3)를 매칭하여 저장하고, "DDD5"에 대응하는 제4분리 음성 신호와 제4식별자(SID4)를 매칭하여 저장할 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
본 발명의 실시 예들은 음성을 처리하기 위한 장치 및 이의 작동 방법에 관한 것이다.

Claims (15)

  1. 화자들의 음성들과 연관된 음성 신호를 상기 음성들 각각의 음원 위치에 기초하여 음원 분리를 수행하도록 구성되는 프로세서; 및
    메모리를 포함하고,
    상기 프로세서는,
    상기 음성들과 연관된 음성 신호를 이용하여 상기 음성들 각각의 음원 위치를 나타내는 음원 위치 정보를 생성하고,
    상기 음원 위치 정보에 기초하여, 상기 음성 신호로부터 상기 화자들 각각의 음성과 연관된 분리 음성 신호를 생성하고,
    상기 분리 음성 신호와 상기 음원 위치 정보를 서로 매칭하여 상기 메모리에 저장하도록 구성되는,
    음성 처리 장치.
  2. 제1항에 있어서, 상기 음성 처리 장치는,
    상기 화자들의 음성들에 응답하여 상기 음성 신호를 생성하도록 구성되는 마이크를 더 포함하는,
    음성 처리 장치.
  3. 제2항에 있어서,
    상기 마이크는 어레이를 이루도록 배치된 복수의 마이크들을 포함하고,
    상기 복수의 마이크들은 상기 음성들에 응답하여 상기 음성 신호를 생성하도록 구성되는,
    음성 처리 장치.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 복수의 마이크들로부터 생성된 복수의 음성 신호들 사이의 시간 지연에 기초하여, 상기 음성들 각각의 음원 위치를 판단하고,
    판단된 음원 위치에 기초하여, 상기 분리 음성 신호를 생성하는,
    음성 처리 장치.
  5. 제1항에 있어서,
    상기 메모리는 상기 화자들의 음성들의 발화된 언어인 출발 언어를 나타내는 출발 언어 정보를 저장하고,
    상기 프로세서는 상기 출발 언어 정보와 상기 분리 음성 신호에 기초하여, 상기 화자들의 음성의 언어가 상기 출발 언어로부터 번역될 언어인 도착 언어로 번역된 번역 결과를 출력하는,
    음성 처리 장치.
  6. 제5항에 있어서,
    상기 프로세서는 상기 출발 언어 정보에 기초하여, 상기 음성들 각각의 음원 위치에 따라 상기 음성들의 위치에 대응하는 출발 언어를 결정하고, 결정된 출발 언어에 따라 상기 음성들 각각에 대한 번역 결과를 출력하는,
    음성 처리 장치.
  7. 제1항에 있어서, 상기 프로세서는,
    위치 등록 모드에서,
    상기 음성 신호를 이용하여 상기 음성들 각각의 음원 위치를 나타내는 음원 위치 정보를 생성하고, 상기 음원 위치 정보를 기준 음원 위치 정보로서 상기 메모리에 저장하고,
    음성 분리 모드에서,
    상기 기준 음원 위치로부터 기준 범위 이내에 있는 음원 위치와 대응하는 음성과 연관된 분리 음성 신호를 상기 메모리에 저장하는,
    음성 처리 장치.
  8. 제7항에 있어서, 상기 음성 처리 장치는,
    화자 등록 트리거 신호를 생성하도록 구성되는 트리거 신호 생성 회로를 더 포함하고,
    상기 프로세서는 상기 화자 등록 트리거 신호에 응답하여, 상기 위치 등록 모드에서 작동하는,
    음성 처리 장치.
  9. 제7항에 있어서,
    상기 메모리는 상기 화자들 각각을 식별하기 위한 식별자를 저장하고,
    상기 식별자는 상기 기준 음원 위치 정보와 서로 매칭되어 저장된,
    음성 처리 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 분리 음성 신호와 대응하는 음원 위치 정보와 상기 기준 음원 위치 정보를 비교하고, 상기 분리 음성 신호와 대응하는 음원 위치 정보와 대응하는 식별자를 결정하고, 상기 분리 음성 신호와 상기 식별자를 서로 매칭하여 상기 메모리에 저장하는,
    음성 처리 장치.
  11. 제8항에 있어서,
    상기 트리거 신호 생성 회로는 화자 이동 트리거 신호를 생성하고,
    상기 프로세서는,
    상기 화자 이동 트리거 신호에 응답하여, 상기 음성 신호들을 이용하여 화자 위치 정보와 화자 식별자를 생성하고, 상기 화자 식별자와 매칭된 기준 화자 식별자를 결정하고, 상기 기준 화자 식별자와 매칭되어 저장된 기준 화자 위치 정보를 생성된 화자 위치 정보로 갱신하는,
    음성 처리 장치.
  12. 제8항에 있어서,
    상기 음성 처리 장치는 상기 음성 처리 장치의 움직임을 감지하도록 구성되는 모션 센서를 더 포함하고,
    상기 프로세서는,
    상기 센서에 의해 감지된 상기 음성 처리 장치의 움직임이 기준 움직임을 초과하는지 판단하고,
    상기 음성 처리 장치의 움직임이 기준 움직임을 초과할 때, 상기 화자들의 음성들에 기초하여, 상기 화자들의 음성들의 변경된 음원 위치를 나타내는 음원 위치 정보를 생성하고, 변경된 음원 위치를 나타내는 음원 위치 정보를 상기 기준 음원 위치 정보로서 상기 메모리에 저장하는,
    음성 처리 장치.
  13. 제1항에 있어서,
    상기 음성 처리 장치는 상기 프로세서의 제어에 따라 발광하도록 구성되는 발광 장치를 더 포함하고,
    상기 프로세서는,
    상기 발광 장치를 통해 상기 음원 위치에 대응하는 시각적 패턴이 표시되도록, 상기 발광 장치를 제어하기 위한 발광 제어 신호를 출력하는,
    음성 처리 장치.
  14. 제13항에 있어서,
    상기 발광 장치는 각각이 빛을 발광하도록 구성되는 복수의 발광 소자들을 포함하고,
    상기 프로세서는,
    상기 복수의 발광 소자들 중에서 결정된 음원 위치에 대응하는 발광 소자를 선택적으로 턴-온시키기 위한 상기 발광 제어 신호를 출력하는,
    음성 처리 장치.
  15. 제14항에 있어서,
    상기 메모리는 상기 발광 소자들 각각의 식별자 및 위치를 나타내는 정보를 저장하고,
    상기 프로세서는,
    상기 메모리를 참조하여, 상기 복수의 발광 소자들 중에서 결정된 음원 위치에 대응하는 발광 소자의 식별자를 리드하고, 리드된 식별자를 이용하여 결정된 음원 위치에 대응하는 발광 소자를 선택적으로 턴-온시키기 위한 상기 발광 제어 신호를 출력하는,
    음성 처리 장치.
PCT/KR2021/008826 2020-07-10 2021-07-09 음성을 처리하기 위한 장치 및 이의 작동 방법 Ceased WO2022010320A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023501279A JP7659341B2 (ja) 2020-07-10 2021-07-09 音声処理装置
US18/015,472 US12451139B2 (en) 2020-07-10 2021-07-09 Device for processing voice and operation method thereof

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020200085369A KR20220007302A (ko) 2020-07-10 2020-07-10 음성 신호들을 화자에 따라 분리하기 위한 음성 분리 장치 및 음성 분리 방법
KR10-2020-0085369 2020-07-10
KR1020200141311A KR20220056593A (ko) 2020-10-28 2020-10-28 음성을 처리할 수 있는 모바일 단말기 및 이의 작동 방법
KR10-2020-0141311 2020-10-28
KR1020200144534A KR20220059211A (ko) 2020-11-02 2020-11-02 음성을 처리하기 위한 장치 및 이의 작동 방법
KR10-2020-0144524 2020-11-02
KR10-2020-0144534 2020-11-02
KR1020200144524A KR20220059207A (ko) 2020-11-02 2020-11-02 음성을 처리하기 위한 장치 및 이의 작동 방법

Publications (1)

Publication Number Publication Date
WO2022010320A1 true WO2022010320A1 (ko) 2022-01-13

Family

ID=79553505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008826 Ceased WO2022010320A1 (ko) 2020-07-10 2021-07-09 음성을 처리하기 위한 장치 및 이의 작동 방법

Country Status (3)

Country Link
US (1) US12451139B2 (ko)
JP (1) JP7659341B2 (ko)
WO (1) WO2022010320A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118471247A (zh) * 2024-05-31 2024-08-09 Xg科技私人有限公司 音频处理方法、装置、计算机可读存储介质和电子设备
CN119741938A (zh) * 2025-03-03 2025-04-01 山东浪潮科学研究院有限公司 多人声源分离方法、装置、设备、介质和计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964204B2 (ja) * 2008-08-27 2012-06-27 日本電信電話株式会社 複数信号区間推定装置、複数信号区間推定方法、そのプログラムおよび記録媒体
JP5339501B2 (ja) * 2008-07-23 2013-11-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声収集方法、システム及びプログラム
JP5724125B2 (ja) * 2011-03-30 2015-05-27 株式会社国際電気通信基礎技術研究所 音源定位装置
KR101889809B1 (ko) * 2018-03-12 2018-08-20 미디어젠(주) 중요 화제 선별을 이용한 자동 방향 선택 음성인식시스템 및 음성인식방법
KR101983310B1 (ko) * 2017-07-07 2019-05-29 윤성용 다중 화자용 통번역기
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US20200217919A1 (en) * 2017-06-23 2020-07-09 Nokia Technologies Oy Sound source distance estimation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106298A (ja) 2011-11-16 2013-05-30 Sony Corp 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
US9972315B2 (en) * 2015-01-14 2018-05-15 Honda Motor Co., Ltd. Speech processing device, speech processing method, and speech processing system
US9749738B1 (en) * 2016-06-20 2017-08-29 Gopro, Inc. Synthesizing audio corresponding to a virtual microphone location
US10460746B2 (en) * 2017-10-31 2019-10-29 Motorola Solutions, Inc. System, method, and device for real-time language detection and real-time language heat-map data structure creation and/or modification
JP2019176332A (ja) 2018-03-28 2019-10-10 株式会社フュートレック 音声抽出装置及び音声抽出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339501B2 (ja) * 2008-07-23 2013-11-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声収集方法、システム及びプログラム
JP4964204B2 (ja) * 2008-08-27 2012-06-27 日本電信電話株式会社 複数信号区間推定装置、複数信号区間推定方法、そのプログラムおよび記録媒体
JP5724125B2 (ja) * 2011-03-30 2015-05-27 株式会社国際電気通信基礎技術研究所 音源定位装置
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US20200217919A1 (en) * 2017-06-23 2020-07-09 Nokia Technologies Oy Sound source distance estimation
KR101983310B1 (ko) * 2017-07-07 2019-05-29 윤성용 다중 화자용 통번역기
KR101889809B1 (ko) * 2018-03-12 2018-08-20 미디어젠(주) 중요 화제 선별을 이용한 자동 방향 선택 음성인식시스템 및 음성인식방법

Also Published As

Publication number Publication date
JP7659341B2 (ja) 2025-04-09
JP2023533047A (ja) 2023-08-01
US12451139B2 (en) 2025-10-21
US20230290355A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2020040595A1 (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
WO2020091248A1 (ko) 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2020050475A1 (ko) 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
EP3847641A1 (en) Electronic device and system which provides service based on voice recognition
WO2021075716A1 (en) Electronic device supporting improved speech recognition
WO2023048359A1 (ko) 음성 인식 장치 및 그 동작 방법
WO2022010320A1 (ko) 음성을 처리하기 위한 장치 및 이의 작동 방법
WO2020180000A1 (ko) 음성 인식 모델에서 사용되는 언어를 확장시키는 방법 및 음성 인식 모델을 포함하는 전자 장치
WO2020032381A1 (en) Electronic apparatus for processing user utterance and controlling method thereof
WO2020171545A1 (en) Electronic device and system for processing user input and method thereof
WO2019225997A1 (en) System including electronic device of processing speech of user and method of controlling speech recognition on electronic device
WO2020075998A1 (ko) 전자 장치 및 그 제어 방법
WO2020101174A1 (ko) 개인화 립 리딩 모델 생성 방법 및 장치
WO2022139420A1 (ko) 전자 장치 및 그의 연속성을 가지는 사용자 입력에 대한 실행 정보를 공유하는 방법
WO2011028051A2 (ko) 전자 기기 및 이를 이용한 음성인식 방법
WO2021086130A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2022177224A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2021020727A1 (ko) 대상의 언어 수준을 식별하는 전자 장치 및 방법
WO2021025280A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 방법
WO2020091187A1 (ko) 전자 장치 및 그 제어 방법
WO2022039486A1 (ko) 음성 신호를 처리하기 위한 음성 처리 장치 및 이를 포함하는 음성 처리 시스템
WO2022025448A1 (ko) 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837430

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023501279

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837430

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18015472

Country of ref document: US