WO2022039578A1 - 화자들의 음성을 처리하기 위한 음성 처리 장치 - Google Patents

화자들의 음성을 처리하기 위한 음성 처리 장치 Download PDF

Info

Publication number
WO2022039578A1
WO2022039578A1 PCT/KR2021/011205 KR2021011205W WO2022039578A1 WO 2022039578 A1 WO2022039578 A1 WO 2022039578A1 KR 2021011205 W KR2021011205 W KR 2021011205W WO 2022039578 A1 WO2022039578 A1 WO 2022039578A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
speaker
terminal
data
location
Prior art date
Application number
PCT/KR2021/011205
Other languages
English (en)
French (fr)
Inventor
김정민
Original Assignee
주식회사 아모센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200105331A external-priority patent/KR20220023511A/ko
Priority claimed from KR1020210070489A external-priority patent/KR20220162247A/ko
Application filed by 주식회사 아모센스 filed Critical 주식회사 아모센스
Priority to US18/022,498 priority Critical patent/US20230260509A1/en
Publication of WO2022039578A1 publication Critical patent/WO2022039578A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/41—Electronic components, circuits, software, systems or apparatus used in telephone systems using speaker recognition

Definitions

  • Embodiments of the present invention relate to a voice processing apparatus for processing the voices of speakers.
  • a microphone is a device for recognizing a voice and converting the recognized voice into an electrical signal, that is, a voice signal.
  • a microphone When a microphone is disposed in a space in which a plurality of speakers are located, such as a conference room or a classroom, the microphone receives all voices from the plurality of speakers and generates voice signals related to the voices of the plurality of speakers. Therefore, when a plurality of speakers speak at the same time, it is necessary to separate the voice signals of the plurality of speakers. Furthermore, it is necessary to determine which speaker each of the separated voice signals is from.
  • An object of the present invention is to provide a voice processing apparatus capable of determining a speaker's location using input voice data and separating the input voice data for each speaker.
  • the problem to be solved by the present invention is to determine the location of the speaker terminal, determine the location of the speaker of the input voice data, and identify the speaker terminal existing at the location corresponding to the location of the speaker, so that the speaker of the voice associated with the voice data
  • An object of the present invention is to provide a voice processing device that can easily identify .
  • An object of the present invention is to provide a voice processing apparatus capable of processing a separate voice signal according to an authority level corresponding to a speaker terminal possessed by speakers.
  • a voice processing apparatus includes a voice data receiving circuit configured to receive input voice data related to a speaker's voice, and a wireless signal receiving circuit configured to receive a radio signal including a terminal ID from the speaker's terminal.
  • a processor configured to generate terminal location data indicating the location of the speaker terminal based on the circuit, the memory and the wireless signal, and match the generated terminal location data with the terminal ID and store the generated terminal location data in the memory, the processor comprising: to generate first speaker position data indicating the first position and first output voice data associated with the first voice uttered at the first position, referring to the memory, and the first terminal ID corresponding to the first speaker position data reads, matches the first terminal ID with the first output voice data and stores it.
  • a voice processing apparatus includes a microphone configured to generate a voice signal in response to voices uttered by a plurality of speakers, and a voice signal by separating the sound source based on the sound source location of each voice, a voice processing circuit configured to generate a separate voice signal associated with each of the voices, a positioning circuit configured to measure a terminal position of the speaker terminals of the speakers, and a memory for storing permission level information indicative of a permission level for each of the speaker terminals; and, the voice processing circuit determines a speaker terminal having a terminal position corresponding to a sound source position of the separated voice signal, and refers to the permission level information, and processes the separated voice signal according to the permission level corresponding to the determined speaker terminal.
  • the voice processing apparatus has an effect of determining the position of a speaker using the input voice data and separating the input voice data for each speaker.
  • a voice processing apparatus determines a location of a speaker terminal, determines a speaker's location in input voice data, and identifies a speaker terminal existing at a location corresponding to the speaker's location, thereby relating to voice data. There is an effect that the speaker of the voice can be easily identified.
  • the voice processing apparatus is effective in processing the separated voice signal according to the permission level corresponding to the speaker terminal possessed by the speakers.
  • FIG. 1 illustrates a voice processing system according to embodiments of the present invention.
  • FIG. 2 illustrates a voice processing apparatus according to embodiments of the present invention.
  • FIG. 3 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • 4 to 6 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 7 is a flowchart illustrating an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIGS. 8 to 10 are diagrams for explaining an operation of a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 11 is a diagram for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 12 illustrates a voice processing apparatus according to embodiments of the present invention.
  • FIG. 13 illustrates a voice processing apparatus according to embodiments of the present invention.
  • FIG. 14 illustrates a speaker terminal according to embodiments of the present invention.
  • 15 to 17 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • FIG. 18 illustrates a permission level of a speaker terminal according to embodiments of the present invention.
  • FIG. 19 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • FIG. 20 is a diagram for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • the voice processing system 10 receives the voices of the speakers SPK1 to SPK4, and separates voice data corresponding to the voices of the speakers SPK1 to SPK4 for each speaker.
  • the voice processing system 10 determines the positions of the speakers SPK1 to SPK4 based on the voices of the speakers SPK1 to SPK4, and based on the determined positions, the voice data is stored for each speaker SPK1 to SPK4. can be separated
  • the voice processing system 10 includes the speaker terminals ST1 to ST4 of the speakers SPK1 to SPK4, and a plurality of microphones 100-1 to 100-n (n is natural number); collectively 100) and the voice processing device 200 .
  • the speakers SPK1 to SPK4 may be located at respective positions P1 to P4. According to exemplary embodiments, the speakers SPK1 to SPK4 located at each of the positions P1 to P4 may utter a voice. For example, the first speaker SPK1 located at the first position P1 may utter the first voice, and the second speaker SPK2 located at the second position P2 may utter the second voice, The third speaker SPK3 located at the third position P3 may utter the third voice, and the fourth speaker SPK4 located at the fourth position P4 may utter the fourth voice. Meanwhile, embodiments of the present invention are not limited to the number of speakers.
  • the speaker terminals ST1 to ST4 corresponding to each of the speakers SPK1 to SPK4 may transmit radio signals.
  • the talker terminals ST1 to ST4 may transmit a radio signal including a terminal ID for identifying each of the talker terminals ST1 to ST4.
  • the speaker terminals ST1 to ST4 may transmit wireless signals according to a wireless communication method such as ZigBee, Wi-Fi, Bluetooth low energy (BLE), or ultra-wideband (UWB).
  • the radio signals transmitted from the speaker terminals ST1 to ST4 may be used to calculate the positions of the speaker terminals ST1 to ST4.
  • the voices of the speakers SPK1 to SPK4 may be received by the plurality of microphones 100 .
  • the plurality of microphones 100 may be disposed in a space capable of receiving the voices of the speakers SPK1 to SPK4.
  • the plurality of microphones 100 may generate voice signals VS1 to VSn related to voice. According to embodiments, the plurality of microphones 100 receive the voices of the speakers SPK1 to SPK4 located at the respective positions P1 to P4, and convert the voices of the speakers SPK1 to SPK4 to the voice signal VS1 as an electrical signal. ⁇ VSn).
  • the first microphone 100-1 may receive the voices of the speakers SPK1 to SPK4 and generate a first voice signal VS1 related to the voices of the speakers SPK1 to SPK4.
  • the first voice signal VS1 generated by the first microphone 100-1 may correspond to the voices of at least one or more speakers SPK1 to SPK4.
  • the voice signal described herein may be an analog type signal or digital type data.
  • an analog-type signal and digital-type data may be converted to each other, and even if the signal type (analog or digital) is changed, the included information is substantially the same, so in the description of the embodiments of the present invention In this case, the digital type audio signal and the analog type audio signal will be mixed and described.
  • the plurality of microphones 100 may output voice signals VS1 to VSn. According to embodiments, the plurality of microphones 100 may transmit the voice signals VS1 to VSn to the voice processing apparatus 200 . For example, the plurality of microphones 100 may transmit the voice signals VS1 to VSn to the voice processing apparatus 200 according to a wired method or a wireless method.
  • the plurality of microphones 100 are configured as beamforming microphones, and may receive voice input from a multi-direction. According to embodiments, the plurality of microphones 100 may be disposed to be spaced apart from each other to constitute one microphone array, but embodiments of the present invention are not limited thereto.
  • Each of the plurality of microphones 100 may be a directional microphone configured to receive voices in any specific direction, or an omni-directional microphone configured to receive voices in all directions.
  • the voice processing device 200 may be a computing device having an arithmetic processing function. According to embodiments, the voice processing apparatus 200 may be implemented as a computer, a notebook computer, a mobile device, a smart phone, or a wearable device, but is not limited thereto. For example, the voice processing apparatus 200 may include at least one integrated circuit having an arithmetic processing function.
  • the voice processing apparatus 200 may receive a radio signal transmitted from the speaker terminals ST1 to ST4. According to embodiments, the voice processing apparatus 200 calculates spatial positions of the speaker terminals ST1 to ST4 based on the radio signals transmitted from the speaker terminals ST1 to ST4, and It is possible to generate terminal location data indicating the location.
  • the voice processing apparatus 200 may match and store the terminal location data and the corresponding terminal ID.
  • the voice processing device 200 receives input voice data related to the voices of the speakers SPK1 to SPK4, and separates (or generates) voice data representing individual voices of the speakers SPK1 to SPK4 from the input voice data. there is.
  • the voice processing apparatus 200 receives the voice signals VS1 to VSn transmitted from the plurality of microphones 100 , and receives the voice signals VS1 to VSn from the speaker SPK1 to SPK4 . It is possible to obtain input voice data related to the voice.
  • the voice processing apparatus 200 receives the voice signals VS1 to VSn from the plurality of microphones 100 to obtain input voice data related to the voices of the speakers SPK1 to SPK4.
  • the voice processing apparatus 200 may receive input voice data related to the voices of the speakers SPK1 to SPK4 from an external device.
  • the voice processing apparatus 200 may determine the positions of the speakers SPK1 to SPK4 (ie, the location of the sound source) by using input voice data related to the voices of the speakers SPK1 to SPK4 . According to embodiments, the voice processing apparatus 200 may determine a distance between the plurality of microphones 100 , a difference between time points at which each of the plurality of microphones 100 receives the voices of the speakers SPK1 to SPK4 , and the speaker Based on at least one of the loudness of the voices of (SPK1 to SPK4), from the input voice data related to the voices of the speakers (SPK1 to SPK4), speaker position data indicating the location of the sound source (that is, the position of the speaker) can be generated. there is.
  • the voice processing apparatus 200 separates the input voice data according to the position of the speaker (ie, the position of the sound source) based on the speaker position data indicating the position of the sound source of the voice (ie, the positions of the speakers SPK1 to SPK4). can do.
  • the voice processing apparatus 200 may generate output voice data related to a voice uttered from a specific position from the input voice data based on the speaker position data.
  • the speech processing apparatus 200 receives the first speaker SPK1 and the second speaker SPK2 from the input voice data associated with the first speaker SPK1 and the second speaker SPK2's voice, respectively.
  • the speaker position data indicating the position is generated, and based on the speaker position data, from the input voice data, first output voice data indicating the voice of the first speaker SPK1 and the second output indicating the voice of the second speaker SPK2 are generated from the input voice data.
  • Voice data can be generated.
  • the first output voice data may be voice data having the highest correlation with the voice of the first speaker SPK1 among the voices of the speakers SPK1 to SPK4.
  • the proportion of the voice component of the first speaker SPK1 among the voice components included in the first output voice data may be the highest.
  • the voice processing apparatus 200 generates speaker position data indicating the positions of the speakers SPK1 to SPK4 by using the input voice data, determines a terminal ID corresponding to the speaker position data, and determines the determined
  • the terminal ID and the output voice data associated with each voice of the speakers SPK1 to SPK4 may be matched and stored.
  • the voice processing apparatus 200 matches the voice data associated with the voices of each of the speakers SPK1 to SPK4 with the terminal IDs of the speaker terminals ST1 to ST4 of the speakers SPK1 to SPK4. , voice data related to the voices of the speakers SPK1 to SPK4 may be identified through the terminal ID. In other words, even if a plurality of speakers simultaneously utter a voice, the voice processing apparatus 200 has an effect of separating voice data for each speaker.
  • the voice processing system 10 may further include a server 300 , and the voice processing apparatus 200 outputs voice data related to the voices of the speakers SPK1 to SPK4. may be transmitted to the server 300 .
  • the server 300 converts the output voice data into text data, transmits the converted text data to the voice processing device 200 , and the voice processing device 200 converts the converted speakers SPK1 to SPK4.
  • Text data related to the voice of the user can be stored by matching the terminal ID.
  • the server 300 may convert the text data of the first language into text data of the second language and transmit the converted text data to the voice processing apparatus 200 .
  • the voice processing system 10 may further include a speaker 400 .
  • the voice processing apparatus 200 may transmit output voice data related to the voices of the speakers SPK1 to SPK4 to the speaker 400 .
  • the speaker 400 may output a voice corresponding to the voices of the speakers SPK1 to SPK4.
  • the voice processing apparatus 200 may include a wireless signal receiving circuit 210 , a voice data receiving circuit 220 , a memory 230 , and a processor 240 . In some embodiments, the voice processing apparatus 200 may further selectively include a voice data output circuit 250 .
  • the radio signal receiving circuit 210 may receive radio signals transmitted from the speaker terminals ST1 to ST4.
  • the wireless signal receiving circuit 210 may include an antenna, and may receive a wireless signal transmitted from the speaker terminals ST1 to ST4 through the antenna.
  • the voice receiving circuit 220 may receive input voice data related to the voices of the speakers SPK1 to SPK4 . According to embodiments, the voice receiving circuit 220 may receive input voice data related to the voices of the speakers SPK1 to SPK4 according to a wired communication method or a wireless communication method.
  • the voice receiving circuit 220 includes an analog to digital (ADC) converter, receives analog type voice signals VS1 to VSn from the plurality of microphones 100 , and receives the voice signals VS1 . ⁇ VSn) may be converted into digital type input voice data, and the converted input voice data may be stored.
  • ADC analog to digital
  • the voice receiving circuit 220 may include a communication circuit capable of communicating according to a wireless communication method, and may receive input voice data through the communication circuit.
  • the memory 230 may store data necessary for the operation of the voice processing apparatus 200 .
  • the memory 230 may include at least one of a non-volatile memory and a volatile memory.
  • the processor 240 may control the overall operation of the voice processing apparatus 200 . According to embodiments, the processor 240 generates a control command for controlling the operation of the wireless signal receiving circuit 210, the voice data receiving circuit 220, the memory 230, and the voice data output circuit 250, The wireless signal receiving circuit 210 , the voice data receiving circuit 220 , the memory 230 , and the voice data output circuit 250 may each transmit data.
  • the processor 240 may be implemented as an integrated circuit having an arithmetic processing function.
  • the processor 240 may include a central processing unit (CPU), a micro controller unit (MCU), a digital signal processor (DSP), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gate array (FPGA).
  • CPU central processing unit
  • MCU micro controller unit
  • DSP digital signal processor
  • GPU graphics processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the processor 240 described herein may be implemented with one or more devices.
  • the processor 240 may include a plurality of sub-processors.
  • the processor 240 may measure the positions of the speaker terminals ST1 to ST4 based on the radio signals of the speaker terminals ST1 to ST4 received by the wireless signal receiving circuit 210 .
  • the processor 240 measures the positions of the speaker terminals ST1 to ST4 based on the reception strength of the radio signals of the speaker terminals ST1 to ST4, and determines the positions of the speaker terminals ST1 to ST4. It is possible to generate the terminal location data indicating.
  • the processor 240 calculates a time of flight (TOF) of a radio signal using the time stamps included in the speaker terminals ST1 to ST4, and based on the calculated travel time, the speaker
  • the positions of the terminals ST1 to ST4 may be measured, and terminal position data indicating the positions of the speaker terminals ST1 to ST4 may be generated.
  • the processor 240 may store the generated terminal location data in the memory 230 .
  • the processor 240 may generate terminal location data indicating the location of the speaker terminals ST1 to ST4 based on a wireless signal according to various wireless communication methods, and embodiments of the present invention generate terminal location data It is not limited to a specific method for doing.
  • the processor 240 determines the positions of the speakers SPK1 to SPK using input voice data related to the voices of the speakers SPK1 to SPK4 (that is, the position of the sound source of the voice), and determines the positions of the speakers SPK1 to SPK4. Indicative speaker position data may be generated.
  • the processor 240 may store speaker location data in the memory 230 .
  • the processor 240 determines the positions of the speakers SPK1 to SPK using input voice data related to the voices of the speakers SPK1 to SPK4 (that is, the position of the sound source of the voice), and determines the positions of the speakers SPK1 to SPK4. Indicative speaker position data may be generated.
  • the processor 240 may store speaker location data in the memory 230 .
  • the processor 240 determines the distance between the plurality of microphones 100, the difference between the time points at which each of the plurality of microphones 100 receives the speaker's voice (SPK1 to SPK4), and the speaker's voice (SPK1 to SPK4).
  • Speaker position data indicating the positions of the speakers SPK1 to SPK4 may be generated from the input voice data related to the voices of the speakers SPK1 to SPK4 based on at least one of the sizes of .
  • the processor 240 may separate the input voice data according to the position of the speaker (ie, the position of the sound source) based on the speaker position data indicating the positions of the speakers SPK1 to SPK4 .
  • the voice processing apparatus 200 may generate output voice data related to the voice of each speaker SPK1 to SPK4 from the input voice data based on the input voice data and the speaker position data, and the output voice data and corresponding The speaker location data can be matched and stored.
  • the processor 240 may be configured to perform each of the first speaker SPK1 and the second speaker SPK2 from the superimposed input voice data associated with the first speaker SPK1 voice and the second speaker SPK2 voice. Generate speaker location data indicating the location, and based on the speaker location data, based on the superimposed input speech data, first output speech data associated with the first speaker SPK1's voice and the second speaker location data associated with the second speaker's speech SPK2 Output audio data can be generated. For example, the processor 240 may match and store the first output voice data and the first speaker location data, and may match and store the second output voice data and the second speaker location data.
  • the processor 240 may determine a terminal ID corresponding to the voice data. According to embodiments, the processor 240 may determine terminal location data indicating a location identical to or adjacent to a location indicated by the speaker location data corresponding to the voice data, and may determine a terminal ID corresponding to the terminal location data. Since the speaker location data and the terminal location data indicate the same or adjacent locations, the terminal ID corresponding to the speaker location data becomes the terminal ID of the speaker terminal of the speaker who has uttered the corresponding voice. Accordingly, the speaker corresponding to the voice data may be identified through the terminal ID.
  • the voice data output circuit 250 may output output voice data related to the voices of the speakers SPK1 to SPK4 . According to embodiments, the voice data output circuit 250 may output output voice data related to the voices of the speakers SPK1 to SPK4 according to a wired communication method or a wireless communication method.
  • the voice data output circuit 250 may output output voice data related to the voices of the speakers SPK1 to SPK4 to the server 300 or the speaker 400 .
  • the voice data output circuit 250 includes a digital to analog (DAC) converter, converts digital type output voice data into an analog type voice signal, and converts the converted voice signal to the speaker 400 . can be printed out.
  • DAC digital to analog
  • the audio signal output circuit 250 may include a communication circuit and transmit output audio data to the server 300 or the speaker 400 .
  • Input voice data related to the voices of the speakers SPK1 to SPK4 received by the voice data receiving circuit 220 and output voice data related to the voices of the speakers SPK1 to SPK4 output by the voice data output circuit 250 may be different in terms of data, but may represent the same voice.
  • FIG. 3 is a flowchart illustrating a method of operating a voice processing apparatus according to an embodiment of the present invention.
  • the operation method described with reference to FIG. 3 may be implemented in the form of a program stored in a computer-readable storage medium.
  • the voice processing apparatus 200 may receive a radio signal including the terminal IDs of the speaker terminals ST1 to ST4 from the speaker terminals ST1 to ST4 ( S110 ). According to embodiments, the voice processing apparatus 200 may receive a radio signal including the terminal ID of the speaker terminals ST1 to ST4 and the speaker identifier from the speaker terminals ST1 to ST4 ( S110 ).
  • the voice processing apparatus 200 may generate terminal location data indicating the locations of the speaker terminals ST1 to ST4 based on the received radio signal (S120).
  • the voice processing apparatus 200 may generate terminal location data indicating the location of the speaker terminals ST1 to ST4 based on the reception strength of the radio signal.
  • the voice processing apparatus 200 may generate terminal location data indicating the locations of the speaker terminals ST1 to ST4 based on the time stamp included in the radio signal. For example, the voice processing apparatus 200 may communicate with the speaker terminals ST1 to ST4 according to the UWB method, and may generate terminal location data indicating the positions of the speaker terminals ST1 to ST4 using the UWB positioning technology.
  • the voice processing apparatus 200 may match the generated terminal location data TPD with the terminal ID TID and store them in the memory 230 ( S130 ). For example, the voice processing apparatus 200 may match and store the first terminal location data indicating the location of the first speaker terminal ST1 with the first terminal ID of the first speaker terminal ST1 .
  • 4 to 6 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • the voice processing apparatus 200 uses radio signals from the speaker terminals ST1 to ST4 to obtain the terminal IDs of the speaker terminals ST1 to ST4 and By storing the terminal location data indicating the location, it is possible to register and store the locations of the speaker terminals ST1 to ST4 in advance.
  • the first speaker SPK1 is located at the first position P1, the second speaker SPK2 is located at the second position P2, the third speaker SPK3 is located at the third position P3, and the fourth speaker SPK2 is located at the third position P3.
  • the speaker SPK4 is located at the fourth position P4 .
  • the voice processing apparatus 200 may receive a radio signal transmitted from the speaker terminals ST1 to ST4.
  • the radio signal may include a terminal ID (TID).
  • the wireless signal may further include a speaker identifier (SID) for identifying the corresponding speaker SPK1 to SPK4.
  • the speaker identifier SID may be data generated by the speaker terminals TS1 to TS4 according to input by the speakers SPK1 to SPK4.
  • the voice processing apparatus 200 may generate terminal location data TPD indicating the positions of the speaker terminals ST1 to ST4 by using the radio signal, and obtain the terminal location data TPD and the corresponding terminal ID TID. Matching can be saved.
  • the voice processing apparatus 200 receives the wireless signal of the first speaker terminal ST1, Based on the received radio signal, the first terminal location data TPD1 indicating the location of the first speaker terminal ST1 may be generated, and the first terminal location data TPD1 and the first terminal ID TID1 may be matched. can be saved.
  • the wireless signal from the first speaker terminal ST1 may further include a first speaker terminal SID1 indicating the first speaker SPK1, and the voice processing apparatus 200 determines the location of the first terminal.
  • the data TPD1, the first terminal ID TID1, and the first speaker identifier SID1 may be matched and stored.
  • the voice processing apparatus 200 receives the radio signal of the second talker terminal ST2
  • the second terminal location data TPD2 indicating the location of the second speaker terminal ST2 may be generated based on the received radio signal, and the second terminal location data TPD2 and the second terminal ID TID2 may be matched. can be saved.
  • the radio signal from the second speaker terminal ST2 may further include a second speaker terminal SID2 indicating the second speaker SPK2, and the voice processing apparatus 200 is located at the location of the second terminal.
  • the data TPD2, the second terminal ID TID2, and the second speaker identifier SID2 may be matched and stored.
  • the voice processing apparatus 200 receives the radio signals of the third talker terminal ST3 and the fourth talker terminal ST4, and the third terminal location data TPD3 indicating the location of the third talker terminal ST3 based on the received radio signal;
  • the fourth terminal location data TPD4 indicating the location of the fourth speaker terminal ST4 may be generated.
  • the voice processing apparatus 200 may match and store the third terminal location data TPD3 and the third terminal ID TID3, and store the fourth terminal location data TPD4 by matching the fourth terminal ID TID4.
  • FIG. 7 is a flowchart illustrating an operation of a voice processing apparatus according to embodiments of the present invention.
  • the operation method described with reference to FIG. 7 may be implemented in the form of a program stored in a computer-readable storage medium.
  • the voice processing apparatus 200 may receive input voice data related to the voices of the speakers SPK1 to SPK4 ( S120 ).
  • the voice processing apparatus 200 may store the received input voice data.
  • the voice processing apparatus 200 may receive analog-type voice signals from the plurality of microphones 100 and obtain input voice data from the voice signals.
  • the voice processing apparatus 200 may receive input voice data according to a wireless communication method.
  • the voice processing apparatus 200 may generate speaker position data indicating the positions of the speakers SPK1 to SPK4 and output voice data related to each speaker's voice by using the input voice data ( S220 ).
  • the voice processing apparatus 200 may use the input voice data to calculate a location of a sound source of a voice related to the input voice data. At this time, the position of the sound source of the voice data becomes the position of the speakers SPK1 to SPK4. The voice processing apparatus 200 may generate speaker position data indicating the calculated position of the sound source.
  • the voice processing apparatus 200 may generate output voice data related to the voices of the speakers SPK1 to SPK4 by using the input voice data.
  • the voice processing apparatus 200 may generate output voice data corresponding to the speaker position data from the input voice data based on the speaker position data.
  • the voice processing apparatus 200 may generate first output voice data corresponding to the first position from the input voice data based on the speaker position data. That is, the first output voice data may be voice data related to the voice of the speaker located at the first position.
  • the voice processing apparatus 200 may separate the input voice data for each position and generate output voice data corresponding to each position.
  • the voice processing apparatus 200 may match and store the speaker location data and output voice data corresponding to the speaker location data.
  • the voice processing apparatus 200 may determine a terminal ID corresponding to the speaker location data (S230). According to embodiments, the voice processing apparatus 200 may determine terminal location data corresponding to the speaker location data from among the stored terminal location data, and determine the terminal ID stored by matching the determined terminal location data. For example, the voice processing apparatus 200 may determine, from among the terminal location data stored in the memory 230 , terminal location data indicating the same or adjacent location as the location indicated by the speaker location data, as the terminal location data corresponding to the speaker location data. there is.
  • the terminal ID corresponding to the speaker location data is It may indicate a speaker located at a location corresponding to the location data.
  • the terminal ID corresponding to the first speaker location data is the first speaker terminal ST1 of the first speaker SPK1 located at the first location P1. ) of the first terminal ID.
  • the voice processing apparatus 200 may match and store the terminal ID corresponding to the speaker location data and the output voice data corresponding to the speaker location data (S240). For example, the voice processing apparatus 200 may determine a first terminal ID corresponding to the first speaker location data, match the first terminal ID with the first output voice data corresponding to the first speaker location data, and store the matching.
  • the terminal ID corresponding to the speaker location data may indicate the speaker terminal of the speaker located at the location corresponding to the speaker location data.
  • the output voice data corresponding to the speaker position data is associated with the voice at the position corresponding to the speaker position data. Accordingly, the speaker terminal of the speaker of the output voice data corresponding to the speaker location data can be identified through the terminal ID corresponding to the speaker location data.
  • the first speaker position data indicates the first position P1
  • the first output voice data corresponding to the first speaker position data is voice data associated with the voice of the first speaker SPK1
  • the first speaker position The first terminal ID corresponding to the data is the terminal ID of the first speaker terminal ST1.
  • a speaker (or speaker of the output voice data) is generated by generating the speaker position data and output voice data corresponding to the speaker position data from the input voice data, and comparing the speaker position data and the terminal position data. There is an effect that can identify the terminal).
  • the voice processing apparatus 200 may store terminal location data TPD and a terminal ID (TID) corresponding to the terminal location data TPD.
  • the first terminal location data TPD may indicate the first location P1
  • the first terminal ID TID1 may be data for identifying the first speaker terminal ST1 .
  • the first speaker SPK1 utters the first voice “ ⁇ ”.
  • the voice processing apparatus 200 may receive input voice data related to the first voice “ ⁇ ”.
  • the plurality of microphones 100 may generate voice signals VS1 to VSn corresponding to the first voice “ ⁇ ”, and the voice processing device 200 may generate the voice of the first speaker SPK1. It is possible to receive the voice signals VS1 to VSn corresponding to " ⁇ ", and generate input voice data from the voice signals VS1 to VSn.
  • the voice processing apparatus 200 uses the input voice data associated with the first voice " ⁇ " to determine the location of the sound source of the voice " ⁇ ", that is, the first location P1 of the first speaker SPK1. It is possible to generate first speaker location data representing
  • the voice processing apparatus 200 may generate the first output voice data OVD1 associated with the voice uttered at the first position P1 from the input voice data by using the first speaker position data.
  • the first output voice data OVD1 may be associated with a voice “ ⁇ ”.
  • the voice processing apparatus 200 may determine the first terminal location data TPD1 corresponding to the first speaker location data from among the terminal location data TPD stored in the memory 230 . For example, the distance between the position indicated by the first speaker position data and the position indicated by the first terminal position data TPD1 may be less than the reference distance.
  • the voice processing apparatus 200 may determine the first terminal ID TID1 stored by matching the first terminal location data TPD1. For example, the voice processing apparatus 200 may read the first terminal ID TID1.
  • the voice processing apparatus 200 may match and store the first output voice data OVD1 and the first terminal ID TID1. According to embodiments, the voice processing apparatus 200 matches the reception time (eg, t1) of the input voice data associated with the voice “ ⁇ ”, the first output voice data OVD1 and the first terminal ID TID1. can be saved.
  • the voice processing device 200 may match and store the first output voice data OVD1 and the first terminal ID TID1 associated with the voice “ ⁇ ” uttered at the first location P1, and Since the first terminal ID (TID1) represents the first speaker terminal (ST1), when the user uses the first terminal ID (TID1), the voice " ⁇ " can be identified as being uttered by the first speaker SPK1. there is.
  • the voice processing device 200 receives input voice data associated with the second voice “ ⁇ ” uttered by the second speaker SPK2, and uses the input voice data. Accordingly, second speaker position data indicating the position of the sound source of the voice “ ⁇ ”, that is, the second position P2 of the second speaker SPK2, may be generated.
  • the voice processing apparatus 200 may generate second output voice data OVD2 associated with the voice “ ⁇ ” uttered at the second position P2 from the input voice data using the second speaker position data.
  • the voice processing device 200 determines the second terminal location data TPD2 corresponding to the second speaker location data from among the terminal location data TPD stored in the memory 230 , and matches the second terminal location data TPD2 The stored second terminal ID TID2 may be determined, and the second terminal ID TID2 may be read. The voice processing apparatus 200 may match and store the second output voice data OVD2 associated with the voice “ ⁇ ” and the second terminal ID TID2.
  • the voice processing apparatus 200 detects the third voice “ ⁇ ” uttered by the third speaker SPK3 and the fourth voice “ ⁇ ” uttered by the fourth speaker SPK4 . may receive input voice data associated with the .
  • the voice processing device 200 receives (overlapping) input voice data associated with a voice in which the voice “ ⁇ ” of the third speaker SPK3 and the voice “ ⁇ ” of the fourth speaker SPK4 are superimposed, and , using the superimposed input voice data, the third speaker position data indicating the third position P3 of the third speaker SPK3 and the fourth speaker position indicating the fourth position P4 of the fourth speaker SPK4 are used. data can be created.
  • the voice processing device 200 uses the third and fourth speaker position data to generate a third output associated with (only) the voice “ ⁇ ” uttered at the third position P3 from the superimposed input voice data.
  • the fourth output voice data OVD4 associated with (only) the voice data OVD3 and the voice “ ⁇ ” uttered at the fourth position P4 may be generated.
  • the voice processing device 200 receives the third output voice data OVD3 associated with the voice “ ⁇ ” and the voice “ ⁇ The fourth output voice data OVD4 associated with ⁇ ” may be separated and generated.
  • the voice processing apparatus 200 determines the third terminal location data TPD3 corresponding to the third speaker location data from among the terminal location data TPD stored in the memory 230 , and matches the third terminal location data TPD3 The stored third terminal ID TID3 may be determined, and the third terminal ID TID3 may be read. The voice processing apparatus 200 may match and store the third output voice data OVD3 associated with the voice “ ⁇ ” uttered by the third speaker SPK3 and the third terminal ID TID3 .
  • the voice processing apparatus 200 determines the fourth terminal location data TPD4 corresponding to the fourth speaker location data from among the terminal location data TPD stored in the memory 230 , and the fourth terminal location data TPD4 It is possible to determine the fourth terminal ID (TID4) that is matched and stored, and read the fourth terminal ID (TID4).
  • the voice processing apparatus 200 may match and store the fourth output voice data OVD4 associated with the voice “ ⁇ ” uttered by the fourth speaker SPK4 and the fourth terminal ID TID4 .
  • the voice processing apparatus 200 may separate output voice data related to a voice uttered by a speaker at each location from the input voice data related to the superimposed voice, as well as the voice of each speaker and There is an effect that the related output voice data can be matched with the speaker terminal ID of the corresponding speaker and stored.
  • the voice processing apparatus 200 receives input voice data, generates speaker position data and output voice data corresponding to the speaker position data using the input voice data, and uses the output voice data to record a meeting. (MIN) can be created.
  • the generated meeting minutes MIN may be stored in the form of a document file, an image file, or a voice file, but is not limited thereto.
  • the voice processing device 200 compares the terminal location data with the speaker location data to determine a terminal ID corresponding to the speaker location data, and outputs audio data corresponding to the speaker location data and a terminal ID corresponding to the speaker location data. Matching can be saved.
  • the voice processing apparatus 200 may separately store a speaker identifier for identifying a speaker corresponding to each speaker terminal ID. For example, the voice processing apparatus 200 may obtain the first terminal ID of the first speaker terminal ST1 of the first speaker SPK1 at the first location P1 and the first speaker identifier indicating the first speaker SPK1. Matching can be saved. Accordingly, the voice processing apparatus 200 may identify the speaker of the output voice data by reading the speaker identifier for identifying the speaker through the terminal ID matched with the output voice data.
  • the voice processing apparatus 200 may use the output voice data of each speaker (SPK1 to SPK40) and a terminal ID (or speaker identifier) matching the output voice data to generate the meeting minutes MIN. For example, voice processing The apparatus 200 may generate the minutes MIN by arranging the voices of each speaker in chronological order using a time point at which the input voice data is received.
  • the first speaker SPK1 utters “ ⁇ ”
  • the second speaker SPK2 utters the voice “ ⁇ ”
  • the third speaker SPK3 utters a voice.
  • s utter a voice “ ⁇ ”
  • the fourth speaker SPK4 utters a voice “ ⁇ ”.
  • the utterances of the first speaker SPK1 to the fourth speaker SPK4 may overlap in time.
  • the voice processing device 200 receives input voice data associated with voices “ ⁇ ”, “ ⁇ ”, “ ⁇ ” and “ ⁇ ”, and receives voices “ ⁇ ", “ ⁇ Speaker location data for each of ⁇ ", “ ⁇ ” and “ ⁇ ”, and output associated with each of the voices “ ⁇ ”, “ ⁇ ”, “ ⁇ ” and “ ⁇ ” Voice data can be generated.
  • the voice processing apparatus 200 may match and store the output voice data associated with each of the voices “ ⁇ ”, “ ⁇ ”, “ ⁇ ” and “ ⁇ ” and a terminal ID corresponding to it. .
  • the voice processing apparatus 200 may generate the meeting minutes MIN by using the output voice data stored by matching with each other and the terminal ID. For example, the voice processing apparatus 200 may record the speaker corresponding to the output voice data as the speaker corresponding to the terminal ID.
  • the voice processing apparatus 200 converts each output voice data into text data, and uses the text data and the matched terminal ID to generate the minutes (MIN) in which the speaker for each text data is recorded. can do.
  • the text data of the minutes MIN may be arranged in chronological order.
  • the voice processing apparatus 500 may perform a function of the voice processing apparatus 200 of FIG. 1 .
  • the voice processing apparatus 500 may be disposed in the vehicle 700 to process the voices of the speakers SPK1 to SPK4 located in the vehicle 700 .
  • the voice processing apparatus can distinguish the voices of each of the speakers SPK1 to SPK4 through the terminal IDs of the speaker terminals ST1 to ST4 of each of the speakers SPK1 to SPK4.
  • the voice processing apparatus may process the voice signals of each of the speakers SPK1 to SPK4 according to the authority level corresponding to each speaker terminal.
  • the voice processing device 500 may exchange data with the vehicle 700 (or a controller of the vehicle 700 (eg, an electronic controller unit (ECU), etc.)). According to embodiments, the voice processing apparatus 500 may transmit a command for controlling the controller of the vehicle 700 to the controller. According to embodiments, the voice processing apparatus 500 may be integrally formed with the controller of the vehicle 700 to control the operation of the vehicle 700 . However, in the present specification, it is assumed that the controller of the vehicle 700 and the voice processing device 500 are separated.
  • ECU electronic controller unit
  • a plurality of speakers SPK1 to SPK4 may be located in each seat in the vehicle 700 .
  • the first speaker SPK1 may be located in a left seat of a front row
  • the second speaker SPK2 may be located in a right seat of the front row
  • the third speaker SPK3 may be It may be located in the left seat of the back row
  • the fourth speaker SPK4 may be located in the right seat of the back row.
  • the voice processing apparatus 500 may receive the voices of the speakers SPK1 to SPK4 in the vehicle 700 and generate a separate voice signal associated with the voices of each of the speakers. For example, the voice processing apparatus 500 may generate a first separated voice signal related to the voice of the first speaker. In this case, the proportion of the voice component of the first speaker SPK1 may be the highest among the voice components included in the first separated voice signal. That is, the separated voice signal described herein below corresponds to the output voice data described with reference to FIGS. 1 to 11 .
  • the voice processing apparatus 500 may process the separated voice signal.
  • the operation of the voice processing device 500 to process the separated voice signal means that the voice processing device 500 transmits the separated voice signal to the vehicle 700 (or a controller for controlling the vehicle 700 ).
  • an operation of recognizing a command for controlling the vehicle 700 from the separated voice signal, determining an operation command corresponding to the recognized command, and transmitting the determined operation command to the vehicle 700, or the voice processing device 500 It may refer to a motion to control the vehicle 700 according to an operation command corresponding to the separated voice signal.
  • the voice processing apparatus 500 determines the positions of the speaker terminals ST1 to ST4 possessed by the speakers SPK1 to SPK4, and the authority granted to the speaker terminals ST1 to ST4. Depending on the level, it is possible to process separate voice signals from each sound source location. That is, the voice processing device 500 may process the separated voice signals associated with the voices of each of the speakers SPK1 to SPK4 according to the authority level of the speaker terminals ST1 to ST4 located in the same (or related) location. there is. For example, the voice processing apparatus 500 may process the separated voice signal of the voice uttered at the first sound source location according to the authority level assigned to the speaker terminal at the first sound source location.
  • the vehicle 700 when the vehicle 700 is controlled through voice, it is necessary to set the authority level for the voices of the speakers SPK1 to SPK4 for operational stability of the vehicle 700 .
  • the voice of the owner of the vehicle 700 may be assigned a higher privilege level, while the voices of children present may be assigned a lower privilege level.
  • the speaker corresponding to the position of the sound source from which each voice is uttered through the positions of the speaker terminals ST1 to ST4 possessed by each of the speakers SPK1 to SPK4.
  • the terminals ST1 to ST4 may be identified, and the voice may be processed according to the authority level corresponding to the identified speaker terminal.
  • each voice of the speakers SPK1 to SPK4 can be easily identified, so that the processing speed of the voice is improved, and since the voice is processed according to the authority level, stability (or security) is improved.
  • the voice processing apparatus 500 may determine the position of each of the speaker terminals ST1 to ST4 by using signals transmitted from each of the speaker terminals ST1 to ST4.
  • the vehicle 700 may be defined as a vehicle, a train, a motorcycle, a ship, an aircraft, etc., as a transportation or transportation means that travels on a road, a sea route, a track, and a route.
  • the vehicle 700 may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source. .
  • the vehicle 700 may receive a voice signal from the voice processing device 500 and may perform a specific operation in response to the received voice signal. Also, according to embodiments, the vehicle 700 may perform a specific operation according to an operation command transmitted from the voice processing apparatus 500 .
  • the voice processing apparatus 500 may include a microphone 510 , a voice processing circuit 520 , a memory 530 , a communication circuit 540 , and a positioning circuit 550 . According to some embodiments, the voice processing apparatus 500 may selectively further include a speaker 560 .
  • the function and structure of the microphone 510 may correspond to the function and structure of the microphones 100
  • the function and structure of the voice processing circuit 520 and the positioning circuit 550 may correspond to the function and structure of the processor 240
  • the functions and structures of the communication circuit 540 may correspond to the functions and structures of the wireless signal receiving circuit 210 and the voice receiving circuit 220 . That is, even if there is no separate description below, it should be understood that each of the components of the voice processing apparatus 500 can perform the functions of the respective components of the voice processing apparatus 200 , and only differences will be described below.
  • the voice processing circuit 520 may extract (or generate) a separate voice signal associated with the voices of each of the speakers SPK1 to SPK4 by using the voice signal generated by the microphone 510 .
  • the voice processing circuit 520 may determine a sound source position (ie, a position of the speakers SPK1 to SPK4 ) of each of the voice signals by using a time delay (or a phase delay) between the voice signals. For example, the voice processing circuit 520 may generate sound source location information indicating the location of each of the audio signals (ie, the locations of the speakers SPK1 to SPK4).
  • the voice processing circuit 520 may generate a separate voice signal associated with each of the voices of the speakers SPK1 to SPK4 from the voice signal based on the determined sound source location. For example, the speech processing circuit 520 may generate a separate speech signal associated with speech uttered at a specific location (or direction). According to embodiments, the voice processing circuit 520 may match and store the separated voice signal and sound source location information.
  • the memory 530 may store data necessary for the operation of the voice processing apparatus 500 . According to embodiments, the memory 530 may store the separated voice signal and sound source location information.
  • the communication circuit 540 may transmit data to or receive data from the vehicle 700 .
  • the communication circuit 540 may transmit the separated voice signal to the vehicle 700 under the control of the voice processing circuit 520 . According to embodiments, the communication circuit 540 may transmit sound source location information together with the separated voice signal.
  • the positioning circuit 550 may measure the positions of the speaker terminals ST1 to ST4 and generate terminal position information indicating the positions. According to some embodiments, the positioning circuit 550 may measure the positions of the speaker terminals ST1 to ST4 by using the wireless signals output from the speaker terminals ST1 to ST4.
  • the positioning circuit 550 measures the positions of the speaker terminals ST1 to ST4 according to an ultra-wide band (UWB), wireless local area network (WLAN), ZigBee, Bluetooth, or radio frequency identification (RFID) method.
  • UWB ultra-wide band
  • WLAN wireless local area network
  • ZigBee ZigBee
  • Bluetooth Bluetooth
  • RFID radio frequency identification
  • the positioning circuit 550 may include an antenna 551 for transmitting and receiving a wireless signal.
  • the speaker 560 may output a voice corresponding to the voice signal.
  • the speaker 560 may generate vibration based on a (combined or separated) voice signal, and a voice may be reproduced according to the vibration of the speaker 560 .
  • the speaker terminal 600 illustrated in FIG. 3 represents the speaker terminals ST1 to ST4 illustrated in FIG. 1 .
  • the speaker terminal 600 may include an input unit 610 , a communication unit 620 , a control unit 630 , and a storage unit 640 .
  • the input unit 610 may detect a user's input (eg, push, touch, click, etc.) and generate a detection signal.
  • a user's input e.g, push, touch, click, etc.
  • the input unit 610 may be a touch panel or a keyboard, but is not limited thereto.
  • the communication unit 620 may communicate with an external device. According to embodiments, the communication unit 620 may receive data from or transmit data to an external device.
  • the communication unit 620 may transmit and receive wireless signals to and from the voice processing device 500 to measure the location of the speaker terminal 600 .
  • the communication unit 620 receives a wireless signal received from the voice processing device 500 and performs voice processing on data related to variables (reception time, reception angle, reception strength, etc.) representing reception characteristics of the wireless signal. may be transmitted to the device 500 .
  • the communication unit 620 transmits a wireless signal to the voice processing device 500, and the communication unit 620 transmits a wireless signal to a variable (transmission time, transmission angle, transmission strength, etc.) indicating the transmission characteristics of the wireless signal.
  • Related data may be transmitted to the voice processing device 500 .
  • the communication unit 620 is configured to measure the position of the speaker terminal 600 according to time of flight (ToF), time difference of arrival (TDoA), angle of arrival (AoA), and received signal strength indicator (RSSI) methods.
  • a wireless signal may be exchanged with the voice processing device 500 .
  • the communication unit 620 may include an antenna 321 for transmitting and receiving a wireless signal.
  • the controller 630 may control the overall operation of the speaker terminal 600 . According to embodiments, the controller 630 may load a program (or application) stored in the storage 640 , and perform an operation of the corresponding program according to the loading.
  • the controller 630 may control the communication unit 620 to measure a location between the voice processing device 500 and the speaker terminal 600 .
  • the controller 630 may include a processor having an arithmetic processing function.
  • the controller 630 may include, but is not limited to, a central processing unit (CPU), a micro controller unit (MCU), a graphics processing unit (GPU), an application processor (AP), and the like.
  • CPU central processing unit
  • MCU micro controller unit
  • GPU graphics processing unit
  • AP application processor
  • the storage unit 640 may store data necessary for the operation of the speaker terminal 600 . According to embodiments, the storage unit 640 may store setting values and applications necessary for the operation of the speaker terminal 600 .
  • 15 to 17 are diagrams for explaining an operation of a voice processing apparatus according to embodiments of the present invention.
  • each of the speakers SPK1 to SPK4 positioned at each position FL, FR, BL, and BR may speak.
  • the voice processing device 500 determines the sound source positions of the voices (that is, the positions of the speakers SPK1 to SPK4) using a time delay (or phase delay) between the voice signals, and based on the determined sound source positions, Separate voice signals associated with the voices of each of the speakers SPK1 to SPK4 may be generated.
  • the first speaker SPK1 utters the voice 'AAA'.
  • the voice processing apparatus 500 may generate a separate voice signal associated with the voice 'AAA' of the first speaker SPK1 in response to the voice 'AAA'.
  • the voice processing apparatus 500 generates a separate voice signal associated with the voice 'AAA' uttered at the position of the first speaker SPK1 among the received voices based on the sound source positions of the received voices. can do.
  • the voice processing apparatus 500 may configure the first separated voice signal associated with the voice 'AAA' of the first speaker SPK1 and the sound source location of the voice 'AAA' (ie, the position of the first speaker SPK1)
  • the first sound source location information indicating 'FL (left of the previous line)' may be stored in the memory 530 .
  • the first separated voice signal and the first sound source location information may be matched and stored.
  • the second speaker SPK2 utters the voice 'BBB'.
  • the voice processing apparatus 500 may generate a second separated voice signal associated with the voice 'BBB' of the second speaker SPK2 based on sound source locations of the received voices.
  • the voice processing apparatus 500 may configure the second separated voice signal associated with the voice 'BBB' of the second speaker SPK2 and the sound source location of the voice 'BBB' (ie, the position of the second speaker SPK2).
  • the second sound source location information indicating 'FR (right of previous line)' may be stored in the memory 530 .
  • the third speaker SPK3 utters the voice 'CCC'
  • the fourth speaker SPK4 utters the voice 'DDD'.
  • the speech processing apparatus 500 may generate a third separated voice signal associated with the voice 'CCC' of the third speaker SPK3 and the voice 'DDD' associated with the voice 'DDD' of the fourth speaker SPK4 based on the sound source locations of the received voices. Each of the fourth separated voice signals may be generated.
  • the voice processing apparatus 500 may configure the third separated voice signal associated with the voice 'CCC' of the third talker SPK3 and the sound source location of the voice 'CCC' (ie, the position of the third speaker SPK3).
  • the third sound source location information indicating 'BL (trailing left)' may be stored in the memory 530, and the fourth separated voice signal associated with the voice 'DDD' of the fourth speaker SPK4 and the sound source of the voice 'DDD'
  • the fourth sound source location information indicating 'BR (trailing right)' that is a location (ie, the location of the fourth speaker SPK4) may be stored in the memory 530 .
  • the voice processing apparatus 500 may store a terminal ID for identifying the speaker terminals ST1 to ST4 and permission level information indicating the permission level of the speaker terminals ST1 to ST4 . According to embodiments, the voice processing apparatus 500 may match and store the terminal ID and permission level information. For example, the voice processing apparatus 500 may store the terminal ID and permission level information in the memory 530 .
  • the authority level of the speaker terminals ST1 to ST4 may be for determining whether to process the separated voice signal uttered at the sound source location corresponding to the terminal location of the speaker terminals ST1 to ST4. That is, the voice processing apparatus 500 may determine a speaker terminal corresponding to the divided voice signal and process the divided voice signal according to the authority level assigned to the speaker terminal.
  • the voice processing apparatus 500 may process the split voice signal. For example, when the reference level is 2, the voice processing apparatus 500 may not process the fourth split voice signal corresponding to the fourth talker terminal ST4 having an authority level less than the reference level '2'. Meanwhile, information on the unprocessed separated voice signal may be stored in the voice processing apparatus 500 .
  • the voice processing apparatus 500 may prioritize the split voice signal. For example, since the authority level of the first speaker terminal ST1 is the highest at '4', the voice processing apparatus 500 may preferentially process the first separated voice signal corresponding to the first speaker terminal ST1. there is.
  • the level of authority may be two levels. That is, the permission level may include two levels: a first level in which processing is permitted and a second level in which processing is not allowed.
  • the voice processing apparatus 500 may generate a separate voice signal and sound source location information in response to the voices of the speakers SPK1 to SPK4 ( S210 ). According to embodiments, the voice processing apparatus 500 may generate a separate voice signal associated with each voice of the speakers SPK1 to SPK4 and sound source location information indicating a sound source location of each voice.
  • the voice processing apparatus 500 may determine the positions of the speaker terminals ST1 to ST4 of the speakers SPK1 to SPK4 ( S220 ). According to embodiments, the voice processing apparatus 500 may determine the positions of the speaker terminals ST1 to ST4 by using a wireless signal transmitted from the speaker terminals ST1 to ST4.
  • the voice processing apparatus 500 may determine the speaker terminals ST1 to ST4 corresponding to the separated voice signal (S230). According to embodiments, the voice processing apparatus 500 may determine the speaker terminals ST1 to ST4 having positions corresponding to the sound source positions of the separated voice signals.
  • the voice processing apparatus 500 may match the separated voice signal corresponding to the same zone with the speaker terminal based on the zones FL, FR, BL, and BR in the vehicle 700 .
  • the voice processing apparatus 500 may match the first speaker terminal ST1 corresponding to the left 'FL' of the vehicle 700 and the first separated voice signal.
  • the voice processing apparatus 500 may process the separated voice signal according to the permission level assigned to the corresponding speaker terminal ( S240 ). According to embodiments, the voice processing device 500 reads permission level information from the memory 530 , and processes each separated voice signal according to the permission level of the speaker terminal corresponding to (or matched with) each separated voice signal. can do.
  • the authority level of the first speaker terminal ST1 corresponding to 'FL (Left Leading Lead)' can be processed according to
  • the first speaker (SPK1) utters the voice 'Open the door' at the sound source location 'FL (left of the previous lead)'
  • the third speaker (SPK3) changes the voice 'Play music' at the sound source location ' BL (trailing left)'
  • the fourth speaker (SPK4) utters the voice 'Turn off' at the sound source location 'BR (trailing right)'.
  • the voice processing apparatus 500 may process only the separated voice signal corresponding to the speaker terminal having the authority level equal to or greater than the reference level (eg, '2').
  • the voice processing apparatus 500 may generate a separate voice signal corresponding to each of the voices in response to the voices of the speakers ('open the door', 'play music', and 'turn off the engine').
  • the voice processing device 500 is a sound source representing the sound source positions ('FL', 'BL' and 'BR') of the speakers' voices ('open the door', 'play music', and 'turn off the ignition'), respectively. You can create location information.
  • the voice processing apparatus 500 may determine the terminal positions of the speaker terminals ST1 to ST4. According to embodiments, the voice processing apparatus 500 may determine the terminal location of each of the speaker terminals ST1 to ST4 by exchanging a wireless signal with each of the speaker terminals ST1 to ST4. The voice processing apparatus 500 may store terminal location information indicating terminal locations of the speaker terminals ST1 to ST4. In this case, the terminal location information may be stored by matching the terminal IDs of the speaker terminals ST1 to ST4.
  • the voice processing apparatus 500 may process the separated voice signal related to the voice of each of the speakers SPK1 to SPK4 according to the authority level assigned to the speaker terminals ST1 to ST4 corresponding to the separated voice signal. According to embodiments, the voice processing apparatus 500 may process only the separated voice signals corresponding to the speaker terminals ST1 to ST4 to which the permission level equal to or higher than the reference level is assigned, but embodiments of the present invention are not limited thereto. .
  • the voice processing apparatus 500 determines whether to process the first divided voice signal related to the voice 'open the door' of the first speaker SPK1, and determines whether the first separated voice signal and the first divided voice signal are processed. It may be determined according to the permission level '4' of the speaker terminal ST1. According to embodiments, the voice processing apparatus 500 identifies the first speaker terminal ST1 having a terminal location corresponding to the location 'FL' of the first separated voice signal, and the authority level of the first speaker terminal ST1 may be read, and the first separated voice signal may be processed according to the read permission level. For example, since the reference level is 2, the voice processing apparatus 500 may process the first separated voice signal, and accordingly, the vehicle 700 may perform an operation corresponding to the voice 'open the door' (eg, open the door) ) can be done.
  • the voice processing apparatus 500 may process the first separated voice signal, and accordingly, the vehicle 700 may perform an operation corresponding to the voice 'open the door' (eg, open the door) ) can be done.
  • the voice processing apparatus 500 determines whether to process the fourth divided voice signal related to the voice 'turn off the ignition' of the fourth speaker SPK4, and determines whether to process the fourth divided voice signal corresponding to the fourth divided voice signal. It may be determined according to the permission level '1' of the 4-talker terminal ST4. According to embodiments, the voice processing apparatus 500 identifies the fourth talker terminal ST4 having a terminal location corresponding to the location 'BR' of the fourth separated voice signal, and the authority level of the fourth talker terminal ST4 can be read, and a fourth separated voice signal can be processed according to the read permission level. For example, since the reference level is 2, the voice processing apparatus 500 may not process the fourth separated voice signal. That is, in this case, the vehicle 700 may not perform an operation corresponding to 'Turn off the ignition' even though the fourth speaker SPK4 has uttered the voice 'Turn off the ignition'.
  • Embodiments of the present invention relate to a voice processing apparatus for processing the voices of speakers.

Abstract

음성 처리 장치가 개시된다. 음성 처리 장치는 화자의 음성과 연관된 입력 음성 데이터를 수신하도록 구성되는 음성 데이터 수신 회로, 화자의 화자 단말로부터 단말 ID를 포함하는 무선 신호를 수신하도록 구성되는 무선 신호 수신 회로, 메모리 및 무선 신호에 기초하여 화자 단말의 위치를 나타내는 단말 위치 데이터를 생성하고, 생성된 단말 위치 데이터와 단말 ID를 매칭하여 메모리에 저장하도록 구성되는 프로세서를 포함하고, 프로세서는, 입력 음성 데이터를 이용하여 제1위치를 나타내는 제1화자 위치 데이터 및 제1위치에서 발화된 제1음성과 연관된 제1출력 음성 데이터를 생성하고, 메모리를 참조하여 제1화자 위치 데이터에 대응하는 제1단말 ID를 리드하고, 제1단말 ID와 제1출력 음성 데이터를 매칭하여 저장한다.

Description

화자들의 음성을 처리하기 위한 음성 처리 장치
본 발명의 실시 예들은 화자들의 음성을 처리하기 위한 음성 처리 장치에 관한 것이다.
마이크(microphone)는 음성을 인식하고, 인식된 음성을 전기적인 신호인 음성 신호로 변환하는 장치이다. 회의실이나 교실과 같이 복수의 화자(speaker)들이 위치하는 공간 내에 마이크가 배치되는 경우, 상기 마이크는 복수의 화자들로부터 나온 음성들을 모두 수신하고, 복수의 화자들의 음성에 연관된 음성 신호들을 생성한다. 따라서, 복수의 화자들이 동시에 발언하는 경우, 복수의 화자들의 음성 신호들을 분리하는 것이 필요하다. 나아가, 분리된 음성 신호들 각각이 어느 화자에 의한 것인지 파악할 필요가 있다.
본 발명이 해결하고자 하는 과제는 입력 음성 데이터를 이용하여 화자의 위치를 판단하고, 입력 음성 데이터를 화자별로 분리할 수 있는 음성 처리 장치를 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 화자 단말의 위치를 결정하고, 입력 음성 데이터의 화자의 위치를 판단하고, 화자의 위치와 대응하는 위치에 존재하는 화자 단말을 식별함으로써, 음성 데이터와 연관된 음성의 화자를 쉽게 식별할 수 있는 음성 처리 장치를 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 화자들이 소지하는 화자 단말기에 대응하는 권한 수준에 따라 분리 음성 신호를 처리할 수 있는 음성 처리 장치를 제공하는 것에 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는, 화자의 음성과 연관된 입력 음성 데이터를 수신하도록 구성되는 음성 데이터 수신 회로, 화자의 화자 단말로부터 단말 ID를 포함하는 무선 신호를 수신하도록 구성되는 무선 신호 수신 회로, 메모리 및 무선 신호에 기초하여 화자 단말의 위치를 나타내는 단말 위치 데이터를 생성하고, 생성된 단말 위치 데이터와 단말 ID를 매칭하여 메모리에 저장하도록 구성되는 프로세서를 포함하고, 프로세서는, 입력 음성 데이터를 이용하여 제1위치를 나타내는 제1화자 위치 데이터 및 제1위치에서 발화된 제1음성과 연관된 제1출력 음성 데이터를 생성하고, 메모리를 참조하여 제1화자 위치 데이터에 대응하는 제1단말 ID를 리드하고, 제1단말 ID와 제1출력 음성 데이터를 매칭하여 저장한다.
본 발명의 실시 예들에 따른 음성 처리 장치는, 복수의 화자들에 의해 발화된 음성들에 응답하여 음성 신호를 생성하도록 구성되는 마이크, 음성 신호를 음성들 각각의 음원 위치에 기초하여 음원 분리함으로써, 음성들 각각과 연관된 분리 음성 신호를 생성하도록 구성되는 음성 처리 회로, 화자들의 화자 단말기들의 단말 위치를 측정하도록 구성되는 측위 회로 및 화자 단말기들 각각에 대한 권한 수준을 나타내는 권한 수준 정보를 저장하는 메모리를 포함하고, 음성 처리 회로는, 분리 음성 신호의 음원 위치와 대응하는 단말 위치를 갖는 화자 단말기를 결정하고, 권한 수준 정보를 참조하여, 결정된 화자 단말기에 대응하는 권한 수준에 따라 분리 음성 신호를 처리한다.
본 발명의 실시 예들에 따른 음성 처리 장치는 입력 음성 데이터를 이용하여 화자의 위치를 판단하고, 입력 음성 데이터를 화자별로 분리할 수 있는 효과가 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는 화자 단말의 위치를 결정하고, 입력 음성 데이터의 화자의 위치를 판단하고, 화자의 위치와 대응하는 위치에 존재하는 화자 단말을 식별함으로써, 음성 데이터와 연관된 음성의 화자를 쉽게 식별할 수 있는 효과가 있다.
본 발명의 실시 예들에 따른 음성 처리 장치는 화자들이 소지하는 화자 단말기에 대응하는 권한 수준에 따라 분리 음성 신호를 처리할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예들에 따른 음성 처리 시스템을 나타낸다.
도 2는 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 3은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다.
도 4 내지 도 6은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 플로우 차트이다.
도 8 내지 도 10은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 12은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 13은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다.
도 14는 본 발명의 실시 예들에 따른 화자 단말기를 나타낸다.
도 15 내지 도 17은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 실시 예들에 따른 화자 단말기의 권한 수준을 나타낸다.
도 19는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다.
도 20은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 실시 예들에 따른 음성 처리 시스템을 나타낸다. 도 1을 참조하면, 본 발명의 실시 예들에 따른 음성 처리 시스템(10)은 화자(SPK1~SPK4)의 음성을 수신하고, 화자(SPK1~SPK4)의 음성에 대응하는 음성 데이터를 화자 별로 분리할 수 있다. 실시 예들에 따라, 음성 처리 시스템(10)은 화자(SPK1~SPK4)의 음성에 기초하여 화자(SPK1~SPK4)의 위치를 결정하고, 결정된 위치에 기초하여 음성 데이터를 화자(SPK1~SPK4) 별로 분리할 수 있다.
음성 처리 시스템(10)은 화자(SPK1~SPK4)의 화자 단말기들(ST1~ST4), 화자(SPK1~SPK4)의 음성을 수신하도록 구성되는 복수의 마이크로폰(100-1~100-n (n은 자연수); 집합적으로 100) 및 음성 처리 장치(200)를 포함할 수 있다.
화자(SPK1~SPK4)는 각 위치(P1~P4)에 위치할 수 있다. 실시 예들에 따라, 각 위치(P1~P4)에 위치한 화자(SPK1~SPK4)는 음성을 발화(pronounce)할 수 있다. 예컨대, 제1위치(P1)에 위치한 제1화자(SPK1)는 제1음성을 발화할 수 있고, 제2위치(P2)에 위치한 제2화자(SPK2)는 제2음성을 발화할 수 있고, 제3위치(P3)에 위치한 제3화자(SPK3)는 제3음성을 발화할 수 있고, 제4위치(P4)에 위치한 제4화자(SPK4)는 제4음성을 발화할 수 있다. 한편, 본 발명의 실시 예들이 화자의 수에 한정되는 것은 아니다.
화자(SPK1~SPK4) 각각에 대응하는 화자 단말(ST1~ST4)은 무선 신호를 송신할 수 있다. 실시 예들에 따라, 화자 단말(ST1~ST4)은 화자 단말(ST1~ST4) 각각을 식별하기 위한 단말 ID를 포함하는 무선 신호를 송신할 수 있다. 예컨대, 화자 단말(ST1~ST4)는 ZigBee, Wi-Fi, BLE(bluetooth low energy), UWB(ultra-wideband) 등의 무선 통신 방식에 따라, 무선 신호를 송신할 수 있다.
후술하는 바와 같이, 화자 단말(ST1~ST4)로부터 전송된 무선 신호는 화자 단말(ST1~ST4)의 위치를 계산하는 데 사용될 수 있다.
화자(SPK1~SPK4)의 음성은 복수의 마이크로폰(100)에 의해 수신될 수 있다. 복수의 마이크로폰(100)은 화자(SPK1~SPK4)의 음성을 수신할 수 있는 공간에 배치될 수 있다.
복수의 마이크로폰(100)은 음성과 연관된 음성 신호(VS1~VSn)를 생성할 수 있다. 실시 예들에 따라, 복수의 마이크로폰(100)은 각 위치(P1~P4)에 위치한 화자(SPK1~SPK4)의 음성을 수신하고, 화자(SPK1~SPK4)의 음성을 전기적인 신호인 음성 신호(VS1~VSn)로 변환할 수 있다. 예컨대, 제1마이크로폰(100-1)은 화자(SPK1~SPK4)의 음성을 수신하고, 화자(SPK1~SPK4)의 음성과 연관된 제1음성 신호(VS1)를 생성할 수 있다. 제1마이크로폰(100-1)에 의해 생성된 제1음성 신호(VS1)는 적어도 하나 이상의 화자(SPK1~SPK4)의 음성에 대응할 수 있다.
한편, 본 명세서에서 설명되는 음성 신호는 아날로그 타입의 신호 또는 디지털 타입의 데이터일 수 있다. 실시 예들에 따라, 아날로그 타입의 신호와 디지털 타입의 데이터는 상호 변환될 수 있고, 신호의 타입(아날로그 또는 디지털)이 바뀌더라도 포함된 정보는 실질적으로 동일하므로, 본 발명의 실시 예들에 대한 설명에 있어서, 디지털 타입의 음성 신호와 아날로그 타입의 음성 신호를 혼용하여 설명하도록 한다.
복수의 마이크로폰(100)은 음성 신호들(VS1~VSn)을 출력할 수 있다. 실시 예들에 따라, 복수의 마이크로폰(100)은 음성 신호들(VS1~VSn)을 음성 처리 장치(200)로 전송할 수 있다. 예컨대, 복수의 마이크로폰(100)은 유선 방식 또는 무선 방식에 따라 음성 신호들(VS1~VSn)을 음성 처리 장치(200)로 전송할 수 있다.
복수의 마이크로폰(100)은 빔포밍(beamforming) 마이크로 구성되어, 다방향(multi-direction)으로부터 음성을 입력받을 수 있다. 실시 예들에 따라, 복수의 마이크로폰(100)은 서로 이격되어 배치되어, 하나의 마이크 어레이를 구성할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
복수의 마이크로폰(100) 각각은 임의의 특정 방향의 음성을 수신하도록 구성되는 지향성 마이크이거나, 또는, 모든 방향의 음성을 수신하도록 구성되는 무지향성 마이크일 수 있다.
음성 처리 장치(200)는 연산 처리 기능을 갖는 컴퓨팅 장치일 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 컴퓨터, 노트북, 모바일 디바이스, 스마트폰 또는 웨어러블 디바이스로 구현될 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 음성 처리 장치(200)는 연산 처리 기능을 갖는 적어도 하나의 집적 회로를 포함할 수 있다.
음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터 전송된 무선 신호를 수신할 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터 전송된 무선 신호에 기초하여, 화자 단말(ST1~ST4)의 공간적 위치를 계산하고, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다.
음성 처리 장치(200)는 단말 위치 데이터와 대응하는 단말 ID를 매칭하여 저장할 수 있다.
음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 수신하고, 입력 음성 데이터로부터 화자(SPK1~SPK4) 각각의 개별적인 음성을 나타내는 음성 데이터를 분리(또는 생성)할 수 있다.
실시 예들에 따라, 음성 처리 장치(200)는 복수의 마이크로폰(100)으로 부터 전송되는 음성 신호들(VS1~VSn)을 수신하고, 음성 신호들(VS1~VSn)로부터 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 획득할 수 있다.
한편, 본 명세서에서는 음성 처리 장치(200)가 복수의 마이크로폰(100)으로부터 음성 신호들(VS1~VSn)을 수신하여 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 획득하는 것을 가정하고 설명하나, 실시 예들에 따라, 음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 외부 장치로부터 수신하는 것도 가능하다.
음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 이용하여 화자(SPK1~SPK4)의 위치(즉, 음원의 위치)를 결정할 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 복수의 마이크로폰들(100) 사이의 거리, 복수의 마이크로폰들(100) 각각이 화자(SPK1~SPK4)의 음성을 수신한 시점들 사이의 차이, 화자(SPK1~SPK4)의 음성의 크기 중 적어도 하나에 기초하여, 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터로부터, 음원의 위치(즉, 화자의 위치)를 나타내는 화자 위치 데이터를 생성할 수 있다.
음성 처리 장치(200)는 음성의 음원의 위치(즉, 화자(SPK1~SPK4)의 위치)를 나타내는 화자 위치 데이터에 기초하여, 입력 음성 데이터를 화자의 위치(즉, 음원의 위치)에 따라 분리할 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 화자 위치 데이터에 기초하여, 입력 음성 데이터로부터 특정 위치로부터 발화된 음성과 연관된 출력 음성 데이터를 생성할 수 있다.
예컨대, 제1화자(SPK1)와 제2화자(SPK2)가 시간적으로 중첩해서 발화하는 경우, 제1화자(SPK1)와 제2화자(SPK2)의 음성은 중첩되므로, 입력 음성 데이터 또한 제1화자(SPK1)의 음성과 연관된 음성 데이터와 제2화자(SPK2)의 음성관 연관된 음성 데이터를 포함할 수 있다. 상술한 바와 같이, 음성 처리 장치(200)는 제1화자(SPK1)의 음성 및 제2화자(SPK2)의 음성과 연관된 입력 음성 데이터로부터 제1화자(SPK1) 및 제2화자(SPK2) 각각의 위치를 나타내는 화자 위치 데이터를 생성하고, 화자 위치 데이터에 기초하여 입력 음성 데이터로부터 제1화자(SPK1)의 음성을 나타내는 제1출력 음성 데이터와, 제2화자(SPK2)의 음성을 나타내는 제2출력 음성 데이터를 생성할 수 있다. 이 때, 제1출력 음성 데이터는 화자들(SPK1~SPK4)의 음성들 중 제1화자(SPK1)의 음성과 가장 높은 연관도를 가지는 음성 데이터일 수 있다. 다시 말하면, 제1출력 음성 데이터에 포함된 음성 성분 중에서 제1화자(SPK1)의 음성 성분의 비중이 가장 높을 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(200)는 입력 음성 데이터를 이용하여 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터를 생성하고, 화자 위치 데이터에 대응하는 단말 ID를 결정하고, 결정된 단말 ID와 화자(SPK1~SPK4) 각각의 음성과 연관된 출력 음성 데이터를 서로 매칭하여 저장할 수 있다.
즉, 음성 처리 장치(200)는 화자(SPK1~SPK4) 각각의 음성과 연관된 음성 데이터를, 화자(SPK1~SPK4)의 화자 단말(ST1~ST4)의 단말 ID와 매칭시켜 저장할 수 있고, 이에 따라, 화자(SPK1~SPK4)의 음성과 연관된 음성 데이터는 단말 ID를 통해 식별될 수 있다. 다시 말하면, 다수의 화자가 동시에 음성을 발화하더라도, 음성 처리 장치(200)는 음성 데이터를 화자 별로 분리할 수 있는 효과가 있다.
실시 예들에 따라, 본 발명의 실시 예들에 따른 음성 처리 시스템(10)은 서버(300)를 더 포함할 수 있고, 음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 서버(300)로 전송할 수 있다.
실시 예들에 따라, 서버(300)는 출력 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 음성 처리 장치(200)로 전송하고, 음성 처리 장치(200)는 변환된 화자(SPK1~SPK4)의 음성과 연관된 텍스트 데이터를 단말 ID와 매칭하여 저장할 수 있다. 또한, 서버(300)는 제1언어의 텍스트 데이터를 제2언어의 텍스트 데이터로 변환하여 음성 처리 장치(200)로 전송할 수 있다.
실시 예들에 따라, 본 발명의 실시 예들에 따른 음성 처리 시스템(10)은 스피커(400)를 더 포함할 수 있다. 음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 스피커(400)로 전송할 수 있다. 스피커(400)는 화자(SPK1~SPK4)의 음성에 대응하는 음성을 출력할 수 있다.
도 2는 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 2를 참조하면, 음성 처리 장치(200)는 무선 신호 수신 회로(210), 음성 데이터 수신 회로(220), 메모리(230) 및 프로세서(240)를 포함할 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 음성 데이터 출력 회로(250)를 선택적으로 더 포함할 수 있다.
무선 신호 수신 회로(210)는 화자 단말(ST1~ST4)로부터 전송된 무선 신호를 수신할 수 있다. 실시 예들에 따라, 무선 신호 수신 회로(210)는 안테나를 포함할 수 있고, 안테나를 통해 화자 단말(ST1~ST4)로부터 전송된 무선 신호를 수신할 수 있다.
음성 수신 회로(220)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 수신할 수 있다. 실시 예들에 따라, 음성 수신 회로(220)는 유선 통신 방식 또는 무선 통신 방식에 따라 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 수신할 수 있다.
실시 예들에 따라, 음성 수신 회로(220)는 ADC(analog to digital) 컨버터를 포함하고, 복수의 마이크로폰(100)으로부터 아날로그 타입의 음성 신호들(VS1~VSn)을 수신하고, 음성 신호들(VS1~VSn)을 디지털 타입의 입력 음성 데이터로 변환하고, 변환된 입력 음성 데이터를 저장할 수 있다.
실시 예들에 따라, 음성 수신 회로(220)는 무선 통신 방식에 따라 통신 가능한 통신 회로를 포함하고, 통신 회로를 통해 입력 음성 데이터를 수신할 수 있다.
메모리(230)는 음성 처리 장치(200)의 작동에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 메모리(230)는 비휘발성 메모리 및 휘발성 메모리 중 적어도 하나를 포함할 수 있다.
프로세서(240)는 음성 처리 장치(200)의 전반적인 동작을 제어할 수 있다. 실시 예들에 따라, 프로세서(240)는 무선 신호 수신 회로(210), 음성 데이터 수신 회로(220), 메모리(230) 및 음성 데이터 출력 회로(250)의 동작을 제어하기 위한 제어 명령을 생성하고, 무선 신호 수신 회로(210), 음성 데이터 수신 회로(220), 메모리(230) 및 음성 데이터 출력 회로(250) 각각으로 전송할 수 있다.
프로세서(240)는 연산 처리 기능을 갖는 집적회로로 구현될 수 있다. 예컨대, 프로세서(240)는 CPU(central processing unit), MCU(micro controller unit), DSP(digital signal processor), GPU(graphics processing unit), ASIC(application specific integrated circuit) 또는 FPGA(field programmable gate array)를 포함할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
본 명세서에서 설명되는 프로세서(240)는 하나 또는 그 이상의 소자로 구현될 수 있다. 예컨대, 프로세서(240)는 복수의 서브 프로세서들을 포함할 수 있다.
프로세서(240)는 무선 신호 수신 회로(210)에 의해 수신된 화자 단말(ST1~ST4)의 무선 신호에 기초하여, 화자 단말(ST1~ST4)의 위치를 측정할 수 있다.
실시 예들에 따라, 프로세서(240)는 화자 단말(ST1~ST4)의 무선 신호의 수신 강도에 기초하여, 화자 단말(ST1~ST4)의 위치를 측정하고, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다.
실시 예들에 따라, 프로세서(240)는 화자 단말(ST1~ST4)에 포함된 타임 스탬프를 이용하여 무선 신호의 이동 시간(time of flight (TOF))을 계산하고, 계산된 이동 시간에 기초하여 화자 단말(ST1~ST4)의 위치를 측정하고, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다. 프로세서(240)는 생성된 단말 위치 데이터를 메모리(230)에 저장할 수 있다.
이 외에도, 프로세서(240)는 다양한 무선 통신 방식에 따라 무선 신호에 기초하여 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있으며, 본 발명의 실시 예들이 단말 위치 데이터를 생성하기 위한 구체적인 방식에 한정되는 것은 아니다.
프로세서(240)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 이용하여 화자(SPK1~SPK)의 위치(즉, 음성의 음원 위치)를 판단하고, 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터를 생성할 수 있다. 예컨대, 프로세서(240)는 화자 위치 데이터를 메모리(230)에 저장할 수 있다.
프로세서(240)는 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터를 이용하여 화자(SPK1~SPK)의 위치(즉, 음성의 음원 위치)를 판단하고, 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터를 생성할 수 있다. 예컨대, 프로세서(240)는 화자 위치 데이터를 메모리(230)에 저장할 수 있다.
프로세서(240)는 복수의 마이크로폰들(100) 사이의 거리, 복수의 마이크로폰들(100) 각각이 화자(SPK1~SPK4)의 음성을 수신한 시점들 사이의 차이, 화자(SPK1~SPK4)의 음성의 크기 중 적어도 하나에 기초하여, 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터로부터 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터를 생성할 수 있다.
프로세서(240)는 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터에 기초하여, 입력 음성 데이터를 화자의 위치(즉, 음원의 위치)에 따라 분리할 수 있다. 예컨대, 음성 처리 장치(200)는 입력 음성 데이터와 화자 위치 데이터에 기초하여, 입력 음성 데이터로부터 각 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 생성할 수 있고, 출력 음성 데이터와 해당하는 화자 위치 데이터를 매칭하여 저장할 수 있다.
실시 예들에 따라, 프로세서(240)는 제1화자(SPK1)의 음성 및 제2화자(SPK2)의 음성과 연관된 중첩된 입력 음성 데이터로부터 제1화자(SPK1) 및 제2화자(SPK2) 각각의 위치를 나타내는 화자 위치 데이터를 생성하고, 화자 위치 데이터에 기초하여 중첩된 입력 음성 데이터로부터 제1화자(SPK1)의 음성과 연관된 제1출력 음성 데이터와 제2화자(SPK2)의 음성과 연관된 제2출력 음성 데이터를 생성할 수 있다. 예컨대, 프로세서(240)는 제1출력 음성 데이터와 제1화자 위치 데이터를 매칭하여 저장하고, 제2출력 음성 데이터와 제2화자 위치 데이터를 매칭하여 저장할 수 있다.
프로세서(240)는 음성 데이터에 대응하는 단말 ID를 결정할 수 있다. 실시 예들에 따라, 프로세서(240)는 음성 데이터와 대응하는 화자 위치 데이터가 나타내는 위치와 동일 또는 인접한 위치를 나타내는 단말 위치 데이터를 결정하고, 단말 위치 데이터에 대응하는 단말 ID를 결정할 수 있다. 화자 위치 데이터와 단말 위치 데이터가 동일 또는 인접한 위치를 나타내므로, 화자 위치 데이터에 대응하는 단말 ID는 해당 음성을 발언한 화자의 화자 단말의 단말 ID가 된다. 따라서, 단말 ID를 통해 음성 데이터에 대응하는 화자를 식별할 수 있다.
음성 데이터 출력 회로(250)는 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 출력할 수 있다. 실시 예들에 따라, 음성 데이터 출력 회로(250)는 유선 통신 방식 또는 무선 통신 방식에 따라 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 출력할 수 있다.
음성 데이터 출력 회로(250)는 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 서버(300) 또는 스피커(400)로 출력할 수 있다.
실시 예들에 따라, 음성 데이터 출력 회로(250)는 DAC(digital to analog) 컨버터를 포함하고, 디지털 타입의 출력 음성 데이터를 아날로그 타입의 음성 신호로 변환하고, 변환된 음성 신호를 스피커(400)로 출력할 수 있다.
실시 예들에 따라, 음성 신호 출력 회로(250)는 통신 회로를 포함하고, 출력 음성 데이터를 서버(300) 또는 스피커(400)로 전송할 수 있다.
음성 데이터 수신 회로(220)에 의해 수신된 화자(SPK1~SPK4)의 음성과 연관된 입력 음성 데이터와, 음성 데이터 출력 회로(250)에 의해 출력되는 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터는 데이터 관점에서 상이할 수 있으나, 동일한 음성을 나타낼 수 있다.
도 3은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다. 도 3을 참조하여 설명되는 작동 방법은 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램의 형태로 구현될 수 있다.
도 3을 참조하면, 음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터 화자 단말(ST1~ST4)의 단말 ID를 포함하는 무선 신호를 수신할 수 있다(S110). 실시 예들에 따라, 음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터 화자 단말(ST1~ST4)의 단말 ID를 및 화자 식별자를 포함하는 무선 신호를 수신할 수 있다(S110).
음성 처리 장치(200)는 수신된 무선 신호에 기초하여, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다(S120).
실시 예들에 따라, 음성 처리 장치(200)는 무선 신호의 수신 강도에 기초하여, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다.
또한, 실시 예들에 따라, 음성 처리 장치(200)는 무선 신호에 포함된 타임 스탬프에 기초하여, 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다. 예컨대, 음성 처리 장치(200)는 화자 단말(ST1~ST4)와 UWB 방식에 따라 통신하고, UWB 측위 기술을 이용하여 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 생성할 수 있다.
음성 처리 장치(200)는 생성된 단말 위치 데이터(TPD)와 단말 ID(TID)를 매칭하여 메모리(230)에 저장할 수 있다(S130). 예컨대, 음성 처리 장치(200)는 제1화자 단말(ST1)의 위치를 나타내는 제1단말 위치 데이터와, 제1화자 단말(ST1)의 제1단말 ID를 매칭하여 저장할 수 있다.
도 4 내지 도 6은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 4 내지 도 6을 참조하면, 음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터의 무선 신호를 이용하여, 화자 단말(ST1~ST4)의 단말 ID와 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터를 저장함으로써, 화자 단말(ST1~ST4)의 위치를 사전에 등록 및 저장할 수 있다.
제1화자(SPK1)는 제1위치(P1)에 위치하고, 제2화자(SPK2)는 제2위치(P2)에 위치하고, 제3화자(SPK3)는 제3위치(P3)에 위치하고, 제4화자(SPK4)는 제4위치(P4)에 위치한다. 음성 처리 장치(200)는 화자 단말(ST1~ST4)로부터 전송된 무선 신호를 수신할 수 있다. 무선 신호는 단말 ID(TID)를 포함할 수 있다. 실시 예들에 따라, 무선 신호는 대응하는 화자(SPK1~SPK4)를 식별하기 위한 화자 식별자(SID)를 더 포함할 수 있다. 예컨대, 화자 식별자(SID)는 화자(SPK1~SPK4)에 의한 입력에 따라 화자 단말(TS1~TS4)에 의해 생성된 데이터일 수 있다.
음성 처리 장치(200)는 무선 신호를 이용하여 화자 단말(ST1~ST4)의 위치를 나타내는 단말 위치 데이터(TPD)를 생성할 수 있고, 단말 위치 데이터(TPD)와 대응하는 단말 ID(TID)를 매칭하여 저장할 수 있다.
도 4에 도시된 바와 같이, 제1화자(SPK1)의 제1화자 단말(ST1)로부터 무선 신호가 출력되면, 음성 처리 장치(200)는 제1화자 단말(ST1)의 무선 신호를 수신하고, 수신된 무선 신호에 기초하여 제1화자 단말(ST1)의 위치를 나타내는 제1단말 위치 데이터(TPD1)를 생성할 수 있고, 제1단말 위치 데이터(TPD1)와 제1단말 ID(TID1)를 매칭하여 저장할 수 있다. 실시 예들에 따라, 제1화자 단말(ST1)로부터 무선 신호는 제1화자(SPK1)를 나타내는 제1화자 단말자(SID1)를 더 포함할 수 있고, 음성 처리 장치(200)는 제1단말 위치 데이터(TPD1), 제1단말 ID(TID1) 및 제1화자 식별자(SID1)를 매칭하여 저장할 수 있다.
도 5에 도시된 바와 같이, 제2화자(SPK2)의 제2화자 단말(ST2)로부터 무선 신호가 출력되면, 음성 처리 장치(200)는 제2화자 단말(ST2)의 무선 신호를 수신하고, 수신된 무선 신호에 기초하여 제2화자 단말(ST2)의 위치를 나타내는 제2단말 위치 데이터(TPD2)를 생성할 수 있고, 제2단말 위치 데이터(TPD2)와 제2단말 ID(TID2)를 매칭하여 저장할 수 있다. 실시 예들에 따라, 제2화자 단말(ST2)로부터 무선 신호는 제2화자(SPK2)를 나타내는 제2화자 단말자(SID2)를 더 포함할 수 있고, 음성 처리 장치(200)는 제2단말 위치 데이터(TPD2), 제2단말 ID(TID2) 및 제2화자 식별자(SID2)를 매칭하여 저장할 수 있다.
도 6에 도시된 바와 같이, 제3화자(SPK3)의 제3화자 단말(ST3) 및 제4화자(SPK4)의 제4화자 단말(ST4)로부터 무선 신호가 출력되면, 음성 처리 장치(200)는 제3화자 단말(ST3) 및 제4화자 단말(ST4)의 무선 신호를 수신하고, 수신된 무선 신호에 기초하여 제3화자 단말(ST3)의 위치를 나타내는 제3단말 위치 데이터(TPD3) 및 제4화자 단말(ST4)의 위치를 나타내는 제4단말 위치 데이터(TPD4)를 생성할 수 있다.
음성 처리 장치(200)는 제3단말 위치 데이터(TPD3)와 제3단말 ID(TID3)를 매칭하여 저장할 수 있고, 제4단말 위치 데이터(TPD4)와 제4단말 ID(TID4)를 매칭하여 저장할 수 있다.
도 7은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 나타내는 플로우 차트이다. 도 7을 참조하여 설명되는 작동 방법은 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램의 형태로 구현될 수 있다.
도 7을 참조하면, 음성 처리 장치(200)는 화자(SPK1~SPK4)의 음성에 관련된 입력 음성 데이터를 수신할 수 있다(S120). 음성 처리 장치(200)는 수신된 입력 음성 데이터를 저장할 수 있다.
예컨대, 음성 처리 장치(200)는 복수의 마이크로폰(100)으로부터 아날로그 타입의 음성 신호들을 수신하고, 음성 신호들로부터 입력 음성 데이터를 획득할 수 있다. 예컨대, 음성 처리 장치(200)는 무선 통신 방식에 따라 입력 음성 데이터를 수신할 수 있다.
음성 처리 장치(200)는 입력 음성 데이터를 이용하여, 화자(SPK1~SPK4)의 위치를 나타내는 화자 위치 데이터 및 각 화자의 음성과 연관된 출력 음성 데이터를 생성할 수 있다(S220).
음성 처리 장치(200)는 입력 음성 데이터를 이용하여, 입력 음성 데이터와 연관된 음성의 음원의 위치를 계산할 수 있다. 이 때, 음성 데이터의 음원의 위치는 곧 화자(SPK1~SPK4)의 위치가 된다. 음성 처리 장치(200)는 계산된 음원의 위치를 나타내는 화자 위치 데이터를 생성할 수 있다.
음성 처리 장치(200)는 입력 음성 데이터를 이용하여, 화자(SPK1~SPK4)의 음성과 연관된 출력 음성 데이터를 생성할 수 있다.
*80실시 예들에 따라, 음성 처리 장치(200)는 화자 위치 데이터에 기초하여, 입력 음성 데이터로부터 화자 위치 데이터에 대응하는 출력 음성 데이터를 생성할 수 있다. 예컨대, 음성 처리 장치(200)는 화자 위치 데이터에 기초하여, 입력 음성 데이터로부터 제1위치에 대응하는 제1출력 음성 데이터를 생성할 수 있다. 즉, 제1출력 음성 데이터는 제1위치에 위치한 화자의 음성과 연관된 음성 데이터일 수 있다. 다시 말하면, 음성 처리 장치(200)는 입력 음성 데이터를 위치 별로 분리하여, 각 위치에 대응하는 출력 음성 데이터를 생성할 수 있다.
예컨대, 음성 처리 장치(200)는 화자 위치 데이터와, 화자 위치 데이터에 대응하는 출력 음성 데이터를 매칭하여 저장할 수 있다.
음성 처리 장치(200)는 화자 위치 데이터에 대응하는 단말 ID를 결정할 수 있다(S230). 실시 예들에 따라, 음성 처리 장치(200)는 저장된 단말 위치 데이터 중에서 화자 위치 데이터에 대응하는 단말 위치 데이터를 결정하고, 결정된 단말 위치 데이터와 매칭되어 저장된 단말 ID를 결정할 수 있다. 예컨대, 음성 처리 장치(200)는 메모리(230)에 저장된 단말 위치 데이터 중에서, 화자 위치 데이터가 나타내는 위치와 동일 또는 인접한 위치를 나타내는 단말 위치 데이터를, 화자 위치 데이터에 대응하는 단말 위치 데이터로서 결정할 수 있다.
예컨대, 단말 ID는 화자 단말(ST1~ST4)를 식별하기 위한 데이터이고, 화자 단말(ST1~ST4) 각각은 화자(SPK1~SPK4)에 대응하는 것이므로, 화자 위치 데이터에 대응하는 단말 ID는, 화자 위치 데이터에 대응하는 위치에 위치한 화자를 나타낼 수 있다. 예컨대, 제1화자 위치 데이터가 제1위치(P1)를 나타내는 경우, 제1화자 위치 데이터에 대응하는 단말 ID는 제1위치(P1)에 위치한 제1화자(SPK1)의 제1화자 단말(ST1)의 제1단말 ID일 수 있다.
음성 처리 장치(200)는 화자 위치 데이터에 대응하는 단말 ID와, 화자 위치 데이터에 대응하는 출력 음성 데이터를 매칭하여 저장할 수 있다(S240). 예컨대, 음성 처리 장치(200)는 제1화자 위치 데이터에 대응하는 제1단말 ID를 결정하고, 제1단말 ID와 제1화자 위치 데이터에 대응하는 제1출력 음성 데이터를 매칭하여 저장할 수 있다.
예컨대, 상술한 바와 같이, 화자 위치 데이터에 대응하는 단말 ID는, 화자 위치 데이터에 대응하는 위치에 위치한 화자의 화자 단말을 나타낼 수 있다. 또한, 화자 위치 데이터에 대응하는 출력 음성 데이터는 화자 위치 데이터에 대응하는 위치에서의 음성과 연관된다. 따라서, 화자 위치 데이터에 대응하는 단말 ID를 통해, 화자 위치 데이터에 대응하는 출력 음성 데이터의 화자의 화자 단말을 식별할 수 있다. 예컨대, 제1화자 위치 데이터가 제1위치(P1)를 나타내는 경우, 제1화자 위치 데이터에 대응하는 제1출력 음성 데이터는 제1화자(SPK1)의 음성과 연관된 음성 데이터이고, 제1화자 위치 데이터에 대응하는 제1단말 ID는 제1화자 단말(ST1)의 단말 ID이다.
따라서, 본 발명의 실시 예들에 따르면, 입력 음성 데이터로부터 화자 위치 데이터와 화자 위치 데이터에 대응하는 출력 음성 데이터를 생성하고, 화자 위치 데이터와 단말 위치 데이터를 비교하여, 출력 음성 데이터의 화자(또는 화자 단말)을 식별할 수 있는 효과가 있다.
도 8 내지 도 10은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 설명하기 위한 도면이다. 도 8 내지 도 10을 참조하면, 음성 처리 장치(200)는 단말 위치 데이터(TPD) 및 단말 위치 데이터(TPD)에 대응하는 단말 ID(TID)를 저장할 수 있다. 예컨대, 제1단말 위치 데이터(TPD)는 제1위치(P1)를 나타낼 수 있고, 제1단말 ID(TID1)은 제1화자 단말(ST1)을 식별하기 위한 데이터일 수 있다.
도 8에 도시된 바와 같이, 제1화자(SPK1)가 제1음성 "◎◎◎"을 발화한다. 음성 처리 장치(200)는 제1음성 "◎◎◎"과 연관된 입력 음성 데이터를 수신할 수 있다. 예컨대, 복수의 마이크로폰(100)은 제1음성 "◎◎◎"에 대응하는 음성 신호들(VS1~VSn)을 생성할 수 있고, 음성 처리 장치(200)는 제1화자(SPK1)의 음성 "◎◎◎"에 대응하는 음성 신호들(VS1~VSn)을 수신하고, 음성 신호들(VS1~VSn)로부터 입력 음성 데이터를 생성할 수 있다.
음성 처리 장치(200)는 제1음성 "◎◎◎"과 연관된 입력 음성 데이터를 이용하여, 음성 "◎◎◎"의 음원의 위치, 즉, 제1화자(SPK1)의 제1위치(P1)를 나타내는 제1화자 위치 데이터를 생성할 수 있다.
또한, 음성 처리 장치(200)는 제1화자 위치 데이터를 이용하여, 입력 음성 데이터로부터 제1위치(P1)에서 발화된 음성과 연관된 제1출력 음성 데이터(OVD1)를 생성할 수 있다. 예컨대, 제1출력 음성 데이터(OVD1)는 음성 "◎◎◎"과 연관될 수 있다.
음성 처리 장치(200)는 메모리(230)에 저장된 단말 위치 데이터(TPD) 중에서 제1화자 위치 데이터와 대응하는 제1단말 위치 데이터(TPD1)를 결정할 수 있다. 예컨대, 제1화자 위치 데이터가 나타내는 위치와 제1단말 위치 데이터(TPD1)가 나타내는 위치 사이의 거리는, 기준 거리 미만일 수 있다.
음성 처리 장치(200)는 제1단말 위치 데이터(TPD1)에 매칭되어 저장된 제1단말 ID(TID1)을 결정할 수 있다. 예컨대, 음성 처리 장치(200)는 제1단말 ID(TID1)를 리드할 수 있다.
음성 처리 장치(200)는 제1출력 음성 데이터(OVD1)와 제1단말 ID(TID1)를 매칭하여 저장할 수 있다. 실시 예들에 따라, 음성 처리 장치(200)는 음성 "◎◎◎"과 연관된 입력 음성 데이터의 수신 시점(예컨대, t1), 제1출력 음성 데이터(OVD1) 및 제1단말 ID(TID1)을 매칭하여 저장할 수 있다.
즉, 음성 처리 장치(200)는 제1위치(P1)에서 발화된 음성 "◎◎◎"과 연관된 제1출력 음성 데이터(OVD1)와 제1단말 ID(TID1)을 매칭하여 저장할 수 있고, 제1단말 ID(TID1)은 제1화자 단말(ST1)을 나타내므로, 사용자는 제1단말 ID(TID1)를 이용하면, 음성 "◎◎◎"은 제1화자(SPK1)로부터 발화되었음을 식별할 수 있다.
도 9을 참조하면, 도 8과 마찬가지로, 음성 처리 장치(200)는 제2화자(SPK2)에 의해 발화된 제2음성 "☆☆☆"과 연관된 입력 음성 데이터를 수신하고, 입력 음성 데이터를 이용하여, 음성 "☆☆☆"의 음원의 위치, 즉, 제2화자(SPK2)의 제2위치(P2)를 나타내는 제2화자 위치 데이터를 생성할 수 있다.
또한, 음성 처리 장치(200)는 제2화자 위치 데이터를 이용하여, 입력 음성 데이터로부터 제2위치(P2)에서 발화된 음성 "☆☆☆"과 연관된 제2출력 음성 데이터(OVD2)를 생성할 수 있다.
음성 처리 장치(200)는 메모리(230)에 저장된 단말 위치 데이터(TPD) 중에서 제2화자 위치 데이터와 대응하는 제2단말 위치 데이터(TPD2)를 결정하고, 제2단말 위치 데이터(TPD2)에 매칭되어 저장된 제2단말 ID(TID2)을 결정하고, 제2단말 ID(TID2)를 리드할 수 있다. 음성 처리 장치(200)는 음성 "☆☆☆"과 연관된 제2출력 음성 데이터(OVD2)와 제2단말 ID(TID2)를 매칭하여 저장할 수 있다.
도 10을 참조하면, 음성 처리 장치(200)는 제3화자(SPK3)에 의해 발화된 제3음성 "□□□" 및 제4화자(SPK4)에 의해 발화된 제4음성 "△△△"과 연관된 입력 음성 데이터를 수신할 수 있다.
음성 처리 장치(200)는 제3화자(SPK3)의 음성 "□□□"과 제4화자(SPK4)의 음성 "△△△"이 중첩된 음성과 연관된 (중첩된) 입력 음성 데이터를 수신하고, 중첩된 입력 음성 데이터를 이용하여, 제3화자(SPK3)의 제3위치(P3)를 나타내는 제3화자 위치 데이터 및 제4화자(SPK4)의 제4위치(P4)를 나타내는 제4화자 위치 데이터를 생성할 수 있다.
또한, 음성 처리 장치(200)는 제3 및 제4화자 위치 데이터를 이용하여, 중첩된 입력 음성 데이터로부터 제3위치(P3)에서 발화된 음성 "□□□"과(만) 연관된 제3출력 음성 데이터(OVD3) 및 제4위치(P4)에서 발화된 음성 "△△△"과(만) 연관된 제4출력 음성 데이터(OVD4)를 생성할 수 있다.
즉, 음성 처리 장치(200)는 음성 "□□□"과 음성 "△△△"이 중첩된 입력 음성 데이터로부터, 음성 "□□□"과 연관된 제3출력 음성 데이터(OVD3) 및 음성 "△△△"과 연관된 제4출력 음성 데이터(OVD4)를 분리 및 생성할 수 있다.
음성 처리 장치(200)는 메모리(230)에 저장된 단말 위치 데이터(TPD) 중에서 제3화자 위치 데이터와 대응하는 제3단말 위치 데이터(TPD3)를 결정하고, 제3단말 위치 데이터(TPD3)에 매칭되어 저장된 제3단말 ID(TID3)을 결정하고, 제3단말 ID(TID3)를 리드할 수 있다. 음성 처리 장치(200)는 제3화자(SPK3)에 의해 발화된 음성 "□□□"과 연관된 제3출력 음성 데이터(OVD3)와 제3단말 ID(TID3)를 매칭하여 저장할 수 있다.
또한, 음성 처리 장치(200)는 메모리(230)에 저장된 단말 위치 데이터(TPD) 중에서 제4화자 위치 데이터와 대응하는 제4단말 위치 데이터(TPD4)를 결정하고, 제4단말 위치 데이터(TPD4)에 매칭되어 저장된 제4단말 ID(TID4)을 결정하고, 제4단말 ID(TID4)를 리드할 수 있다. 음성 처리 장치(200)는 제4화자(SPK4)에 의해 발화된 음성 "△△△"과 연관된 제4출력 음성 데이터(OVD4)와 제4단말 ID(TID4)를 매칭하여 저장할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(200)는 중첩된 음성과 연관된 입력 음성 데이터로부터, 각 위치의 화자로부터 발화된 음성과 연관된 출력 음성 데이터를 분리할 수 있을 뿐만 아니라, 각 화자의 음성과 연관된 출력 음성 데이터를 해당하는 화자의 화자 단말 ID와 매칭하여 저장할 수 있는 효과가 있다.
도 11은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 11을 참조하면, 음성 처리 장치(200)는 입력 음성 데이터를 수신하고, 입력 음성 데이터를 이용하여 화자 위치 데이터 및 화자 위치 데이터에 대응하는 출력 음성 데이터를 생성하고, 출력 음성 데이터를 이용하여 회의록(MIN)을 생성할 수 있다. 생성된 회의록(MIN)은 문서 파일, 이미지 파일 또는 음성 파일의 형태로 저장될 수 있으나, 이에 한정되는 것은 아니다.
음성 처리 장치(200)는 단말 위치 데이터와 화자 위치 데이터를 비교하여, 화자 위치 데이터에 대응하는 단말 ID를 결정하고, 화자 위치 데이터에 대응하는 출력 음성 데이터와, 화자 위치 데이터에 대응하는 단말 ID를 매칭하여 저장할 수 있다.
또한, 음성 처리 장치(200)는 각 화자 단말 ID에 대응하는 화자를 식별하기 위한 화자 식별자를 별도로 저장할 수 있다. 예컨대, 음성 처리 장치(200)는 제1위치(P1)의 제1화자(SPK1)의 제1화자 단말(ST1)의 제1단말 ID과, 제1화자(SPK1)를 나타내는 제1화자 식별자를 매칭하여 저장할 수 있다. 따라서, 음성 처리 장치(200)는 출력 음성 데이터와 매칭된 단말 ID를 통해, 화자를 식별하기 위한 화자 식별자를 리드함으로써 출력 음성 데이터의 화자를 식별할 수 있다.
음성 처리 장치(200)는 각 화자(SPK1~SPK40의 출력 음성 데이터와, 출력 음성 데이터에 매칭되는 단말 ID(또는 화자 식별자)를 이용하여, 회의록(MIN)을 생성할 수 있다. 예컨대, 음성 처리 장치(200)는 입력 음성 데이터가 수신된 시점을 이용하여, 각 화자의 음성을 시간 순으로 정렬하여 회의록(MIN)을 생성할 수 있다.
도 11에 도시된 바와 같이, 순차적으로, 제1화자(SPK1)가 "◎◎◎"를 발화하고, 제2화자(SPK2)가 음성 "☆☆☆"를 발화하고, 제3화자(SPK3)가 음성 "□□□"을 발화하고, 제4화자(SPK4)가 음성 "△△△"을 발화한다. 제1화자(SPK1) 내지 제4화자(SPK4)의 발화는 시간적으로 중첩될 수 있다.
음성 처리 장치(200)는 음성 "◎◎◎", "☆☆☆", "□□□" 및 "△△△"과 연관된 입력 음성 데이터를 수신하고, 음성 "◎◎◎", "☆☆☆", "□□□" 및 "△△△" 각각에 대한 화자 위치 데이터, 그리고 음성 "◎◎◎", "☆☆☆", "□□□" 및 "△△△" 각각과 연관된 출력 음성 데이터를 생성할 수 있다. 또한, 음성 처리 장치(200)는 음성 "◎◎◎", "☆☆☆", "□□□" 및 "△△△" 각각과 연관된 출력 음성 데이터와 대응하는 단말 ID를 매칭하여 저장할 수 있다.
음성 처리 장치(200)는 서로 매칭되어 저장된 출력 음성 데이터와 단말 ID를 이용하여, 회의록(MIN)을 생성할 수 있다. 예컨대, 음성 처리 장치(200)는 출력 음성 데이터에 대응하는 화자를, 단말 ID에 대응하는 화자로서 기록할 수 있다.
실시 예들에 따라, 음성 처리 장치(200)는 각각의 출력 음성 데이터를 텍스트 데이터로 변환하고, 텍스트 데이터 및 매칭된 단말 ID를 이용하여, 각 텍스트 데이터에 대한 화자가 기록된 회의록(MIN)을 생성할 수 있다. 회의록(MIN)의 텍스트 데이터는 시간 순으로 정렬되어 배치될 수 있다.
도 12는 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 12를 참조하면, 음성 처리 장치(500)는 도 1의 음성 처리 장치(200)의 기능을 수행하 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 차량(700) 내에 배치되어 차량(700) 내에 위치한 화자들(SPK1~SPK4)의 음성을 처리할 수 있다.
상술한 바와 같이, 본 발명의 실시 예들에 따른 음성 처리 장치는 화자들(SPK1~SPK4) 각각의 화자 단말(ST1~ST4)의 단말 ID를 통해 화자들(SPK1~SPK4) 각각의 음성을 구별할 수 있다. 나아가, 본 발명의 실시 예들에 따른 음성 처리 장치는 각 화자 단말에 대응하는 권한 수준에 따라 화자들(SPK1~SPK4) 각각의 음성 신호를 처리할 수 있다.
음성 처리 장치(500)는 차량(700)(또는 차량(700)의 컨트롤러(예컨대, ECU(electronic controller unit) 등))과 데이터를 주고받을 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 차량(700)의 컨트롤러를 제어하기 위한 명령어를 컨트롤러로 전송할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 차량(700)의 컨트롤러와 일체로 형성되어 차량(700)의 동작을 제어할 수 있다. 다만, 본 명세서에는 차량(700)의 컨트롤러와 음성 처리 장치(500)가 분리된 것으로 가정하고 설명한다.
차량(700) 내의 각 좌석에는 복수의 화자들(SPK1~SPK4)이 위치할 수 있다. 실시 예들에 따라, 제1화자(SPK1)는 전행(front row)의 왼쪽 좌석에 위치할 수 있고, 제2화자(SPK2)는 전행의 오른쪽 좌석에 위치할 수 있고, 제3화자(SPK3)는 후행(back row)의 왼쪽 좌석에 위치할 수 있고, 제4화자(SPK4)는 후행의 오른쪽 좌석에 위치할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(500)는 차량(700) 내의 화자들(SPK1~SPK4)의 음성들을 수신하고, 화자들 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다. 예컨대, 음성 처리 장치(500)는 제1화자의 음성과 연관된 제1분리 음성 신호를 생성할 수 있다. 이 때, 제1분리 음성 신호에 포함된 음성 성분 중에서 제1화자(SPK1)의 음성 성분의 비중이 가장 높을 수 있다. 즉, 이하 본 명세서에서 설명되는 분리 음성 신호는 도 1 내지 도 11을 참조하여 설명된 출력 음성 데이터에 대응한다.
음성 처리 장치(500)는 분리 음성 신호를 처리할 수 있다. 본 명세서에서, 음성 처리 장치(500)가 분리 음성 신호를 처리한다는 것은, 음성 처리 장치(500)가 분리 음성 신호를 차량(700)(또는 차량(700)을 제어하기 위한 컨트롤러)로 전송하는 동작, 분리 음성 신호로부터 차량(700)을 제어하기 위한 명령어를 인식하고 인식된 명령어에 대응하는 동작 명령을 결정하고, 결정된 동작 명령을 차량(700)으로 전송하는 동작, 또는 음성 처리 장치(500)가 분리 음성 신호에 대응하는 동작 명령에 따라 차량(700)을 제어하는 동장을 의미할 수 있다.
본 발명의 실시 예들에 따른 음성 처리 장치(500)는 화자들(SPK1~SPK4)이 소지하는 화자 단말기들(ST1~ST4)의 위치를 결정하고, 화자 단말기들(ST1~ST4)에 허용된 권한 수준에 따라 각 음원 위치의 분리 음성 신호를 처리할 수 있다. 즉, 음성 처리 장치(500)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를, 동일한(혹은 연관된) 위치에 있는 화자 단말기(ST1~ST4)의 권한 수준에 따라, 처리할 수 있다. 예컨대, 음성 처리 장치(500)는 제1음원 위치에서 발화된 음성의 분리 음성 신호를, 상기 제1음원 위치에 있는 화자 단말기에 할당된 권한 수준에 따라 처리할 수 있다.
한편, 차량(700)을 음성을 통해 제어하는 경우, 차량(700)의 동작 안정성을 위해 화자들(SPK1~SPK4)의 음성에 대한 권한 수준을 설정할 필요가 있다. 예를 들어, 차량(700)의 소유주의 음성은 높은 권한 수준이 할당될 수 있는 반면, 동석하는 아이들의 음성은 낮은 권한 수준이 할당될 수 있다.
한편, 이 경우, 음성 처리 장치(500)에 의해 인식된 각 음성이 어떤 화자의 것인지 구별하는 것이 필요한데, 음성 자체의 특징으로부터 화자를 구별하는 것은 처리 과정이 복잡하며 처리 시간이 오래 걸릴 뿐만 아니라, 정확도가 낮다.
반면, 본 발명의 실시 예들에 따른 음성 처리 장치(500)는 화자들(SPK1~SPK4) 각각이 소지하는 화자 단말기(ST1~ST4)의 위치를 통해, 각 음성이 발화된 음원 위치에 대응하는 화자 단말기(ST1~ST4)를 식별하고, 식별된 화자 단말기에 대응하는 권한 수준에 따라 음성을 처리할 수 있다.
따라서, 본 발명의 실시 예들에 따르면 화자들(SPK1~SPK4)의 각 음성을 쉽게 식별할 수 있어 음성의 처리 속도가 향상될 뿐만 아니라, 권한 수준에 따라 음성을 처리하므로 음성 제어에 대한 안정성(또는 보안성)이 향상되는 효과가 있다.
실시 예들에 따라, 음성 처리 장치(500)는 화자 단말기(ST1~ST4) 각각으로부터 전송되는 신호를 이용하여, 화자 단말기(ST1~ST4) 각각의 위치를 결정할 수 있다.
차량(700)은 자동차, 기차, 오토바이, 선박, 항공기 등 도로, 해로, 선로 및 항로 상을 주행하는 수송 또는 운송 수단으로서 정의될 수 있다. 실시 예들에 따라, 차량(700)은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
차량(700)은 음성 처리 장치(500)로부터 음성 신호를 수신하고, 수신된 음성 신호에 응답하여 특정 동작을 수행할 수 있다. 또한, 실시 예들에 따라, 차량(700)은 음성 처리 장치(500)로부터 전송된 동작 명령에 따라 특정 동작을 수행할 수 있다.
도 13은 본 발명의 실시 예들에 따른 음성 처리 장치를 나타낸다. 도 13을 참조하면, 음성 처리 장치(500)는 마이크(510), 음성 처리 회로(520), 메모리(530), 통신 회로(540), 측위 회로(550)를 포함할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 스피커(560)를 선택적으로 더 포함할 수 있다.
마이크(510)의 기능 및 구조는 마이크로폰들(100)의 기능 및 구조와 대응하고, 음성 처리 회로(520) 및 측위 회로(550)의 기능 및 구조는 프로세서(240)의 기능 및 구조와 대응할 수 있고, 통신 회로(540)의 기능 및 구조는 무선 신호 수신 회로(210) 및 음성 수신 회로(220)의 기능 및 구조와 대응할 수 있다. 즉, 이하 별도의 설명이 없더라도, 음성 처리 장치(500)의 각 구성들은 음성 처리 장치(200)의 각 구성들의 기능을 수행할 수 있는 것으로 이해되어야 하며, 이하에서는 차이점에 대해서만 설명한다.
음성 처리 회로(520)는 마이크(510)에 의해 생성된 음성 신호를 이용하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 추출(또는 생성)할 수 있다.
음성 처리 회로(520)는 음성 신호들 사이의 시간 지연(또는 위상 지연)을 이용하여 음성 신호들 각각의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 결정할 수 있다. 예컨대, 음성 처리 회로(520)는 음성 신호들 각각의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 회로(520)는 결정된 음원 위치에 기초하여, 음성 신호로부터 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다. 예컨대, 음성 처리 회로(520)는 특정 위치(또는 방향)에서 발화된 음성과 연관된 분리 음성 신호를 생성할 수 있다. 실시 예들에 따라, 음성 처리 회로(520)는 분리 음성 신호 및 음원 위치 정보를 매칭하여 저장할 수 있다.
메모리(530)는 음성 처리 장치(500)의 동작에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 메모리(530)는 분리 음성 신호 및 음원 위치 정보를 저장할 수 있다.
통신 회로(540)는 차량(700)으로 데이터를 전송하거나, 또는, 차량(700)으로부터 데이터를 수신할 수 있다.
통신 회로(540)는 음성 처리 회로(520)의 제어에 따라, 분리 음성 신호를 차량(700)으로 전송할 수 있다. 실시 예들에 따라, 통신 회로(540)는 분리 음성 신호와 함께 음원 위치 정보를 함께 전송할 수 있다.
측위 회로(550)는 화자 단말기들(ST1~ST4)의 위치를 측정하고, 위치를 나타내는 단말 위치 정보를 생성할 수 있다. 실시 예들에 따라, 측위 회로(550)는 화자 단말기들(ST1~ST4)로부터 출력된 무선 신호를 이용하여 화자 단말기들(ST1~ST4)의 위치를 측정할 수 있다.
예컨대, 측위 회로(550)는 UWB(ultra-wide band), WLAN(wireless local area network), ZigBee, Bluetooth 또는 RFID(radio frequency identification) 방식에 따라 화자 단말기들(ST1~ST4)의 위치를 측정할 수 있으나, 본 발명의 실시 예들이 위치 측정 방식 자체에 한정되는 것은 아니다.
실시 예들에 따라, 측위 회로(550)는 무선 신호를 송수신하기 위한 안테나(551)를 포함할 수 있다.
스피커(560)는 음성 신호에 해당하는 음성을 출력할 수 있다. 실시 예들에 따라, 스피커(560)는 (결합 또는 분리) 음성 신호에 기초하여 진동을 발생할 수 있고, 스피커(560)의 진동에 따라 음성이 재생될 수 있다.
도 14는 본 발명의 실시 예들에 따른 화자 단말기를 나타낸다. 도 3에 도시된 화자 단말기(600)는 도 1에 도시된 화자 단말기들(ST1~ST4)을 나타낸다. 도 3을 참조하면, 화자 단말기(600)는 입력부(610), 통신부(620), 제어부(630) 및 저장부(640)를 포함할 수 있다.
입력부(610)는 사용자의 입력(예컨대, 푸시, 터치, 클릭 등)을 검출하고, 검출 신호를 생성할 수 있다. 예컨대, 입력부(610)는 터치 패널 또는 키보드일 수 있으나, 이에 한정되는 것은 아니다.
통신부(620)는 외부 장치와 통신을 수행할 수 있다. 실시 예들에 따라, 통신부(620)는 외부 장치로부터 데이터를 수신하거나, 또는 외부 장치로 데이터를 전송할 수 있다.
통신부(620)는 화자 단말기(600)의 위치 측정을 위해, 음성 처리 장치(500)와 무선 신호를 주고받을 수 있다. 실시 예들에 따라, 통신부(620)는 음성 처리 장치(500)로부터 수신된 무선 신호를 수신하고, 무선 신호의 수신 특성을 나타내는 변수(수신 시점, 수신 각도, 수신 세기 등)와 관련된 데이터를 음성 처리 장치(500)로 전송할 수 있다. 또한, 실시 예들에 따라, 통신부(620)는 통신부(620)는 음성 처리 장치(500)로 무선 신호를 전송하고, 무선 신호의 전송 특성을 나타내는 변수(전송 시점, 전송 각도, 전송 세기 등)과 관련된 데이터를 음성 처리 장치(500)로 전송할 수 있다.
예컨대, 통신부(620)는 ToF(time of flight), TDoA(time difference of arrival), AoA(angle of arrival), RSSI(received signal strength indicator) 방식에 따라 화자 단말기(600)의 위치를 측정하기 위해, 음성 처리 장치(500)와 무선 신호를 주고받을 수 있다.
실시 예들에 따라, 통신부(620)는 무선 신호를 송수신하기 위한 안테나(321)를 포함할 수 있다.
제어부(630)는 화자 단말기(600)의 전반적인 동작을 제어할 수 있다. 실시 예들에 따라, 제어부(630)는 저장부(640)에 저장된 프로그램(또는 애플리케이션)을 로딩하고, 로딩에 따라 해당 프로그램의 동작을 수행할 수 있다.
실시 예들에 따라, 제어부(630)는 음성 처리 장치(500)와 화자 단말기(600) 사이의 위치 측정을 수행하도록, 통신부(620)를 제어할 수 있다.
제어부(630)는 연산 처리 기능을 갖는 프로세서를 포함할 수 있다. 예컨대, 제어부(630)는 CPU(central processing unit), MCU(micro controller unit), GPU(graphics processing unit), AP(application processor) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
저장부(640)는 화자 단말기(600)의 동작에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 저장부(640)는 화자 단말기(600)의 동작에 필요한 설정 값들 및 애플리케이션들을 저장할 수 있다.
도 15 내지 도 17은 본 발명의 실시 예들에 따른 음성 처리 장치의 동작을 설명하기 위한 도면이다. 도 15 내지 도 17을 참조하면, 각 위치(FL, FR, BL, BR)에 위치한 화자들(SPK1~SPK4) 각각이 발화할 수 있다.
음성 처리 장치(500)는 음성 신호들 사이의 시간 지연(또는 위상 지연)을 이용하여 음성들의 음원 위치(즉, 화자들(SPK1~SPK4)의 위치)를 결정하고, 결정된 음원 위치에 기초하여, 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호를 생성할 수 있다.
도 15에 도시된 바와 같이, 제1화자(SPK1)가 음성 'AAA'을 발화한다. 음성 'AAA'가 발화되면, 음성 처리 장치(500)는 음성 'AAA'에 응답하여, 제1화자(SPK1)의 음성 'AAA'과 연관된 분리 음성 신호를 생성할 수 있다. 상술한 바와 같이, 음성 처리 장치(500)는 수신되는 음성들의 음원 위치들에 기초하여, 수신되는 음성들 중에서 제1화자(SPK1)의 위치에서 발화된 음성 'AAA'와 연관된 분리 음성 신호를 생성할 수 있다.
실시 예들에 따라, 음성 처리 장치(500)는 제1화자(SPK1)의 음성 'AAA'와 연관된 제1분리 음성 신호와 음성 'AAA'의 음원 위치(즉, 제1화자(SPK1)의 위치)인 'FL(전행 왼쪽)'을 나타내는 제1음원 위치 정보를 메모리(530)에 저장할 수 있다. 예컨대, 도 15에 도시된 바와 같이, 제1분리 음성 신호와 제1음원 위치 정보는 서로 매칭되어 저장될 수 있다.
도 16에 도시된 바와 같이, 제2화자(SPK2)가 음성 'BBB'를 발화한다. 음성 'BBB'가 발화되면, 음성 처리 장치(500)는 수신되는 음성들의 음원 위치들에 기초하여, 제2화자(SPK2)의 음성 'BBB'와 연관된 제2분리 음성 신호를 생성할 수 있다.
실시 예들에 따라, 음성 처리 장치(500)는 제2화자(SPK2)의 음성 'BBB'와 연관된 제2분리 음성 신호와 음성 'BBB'의 음원 위치(즉, 제2화자(SPK2)의 위치)인 'FR(전행 오른쪽)'을 나타내는 제2음원 위치 정보를 메모리(530)에 저장할 수 있다.
도 17에 도시된 바와 같이, 제3화자(SPK3)가 음성 'CCC'를 발화하고, 제4화자(SPK4)가 음성 'DDD'를 발화한다. 음성 처리 장치(500)는 수신되는 음성들의 음원 위치들에 기초하여, 제3화자(SPK3)의 음성 'CCC'와 연관된 제3분리 음성 신호 및 제4화자(SPK4)의 음성 'DDD'와 연관된 제4분리 음성 신호 각각을 생성할 수 있다.
실시 예들에 따라, 음성 처리 장치(500)는 제3화자(SPK3)의 음성 'CCC'와 연관된 제3분리 음성 신호와 음성 'CCC'의 음원 위치(즉, 제3화자(SPK3)의 위치)인 'BL(후행 왼쪽)'을 나타내는 제3음원 위치 정보를 메모리(530)에 저장할 수 있고, 제4화자(SPK4)의 음성 'DDD'와 연관된 제4분리 음성 신호와 음성 'DDD'의 음원 위치(즉, 제4화자(SPK4)의 위치)인 'BR(후행 오른쪽)'을 나타내는 제4음원 위치 정보를 메모리(530)에 저장할 수 있다.
도 18은 본 발명의 실시 예들에 따른 화자 단말기의 권한 수준을 나타낸다. 도 18을 참조하면, 음성 처리 장치(500)는 화자 단말기(ST1~ST4)를 식별하기 위한 단말 ID, 및 화자 단말기(ST1~ST4)의 권한 수준을 나타내는 권한 수준 정보를 저장할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 단말 ID 및 권한 수준 정보를 서로 매칭하여 저장할 수 있다. 예컨대, 음성 처리 장치(500)는 단말 ID 및 권한 수준 정보를 메모리(530)에 저장할 수 있다.
화자 단말기(ST1~ST4)의 권한 수준은, 화자 단말기(ST1~ST4)의 단말 위치와 대응하는 음원 위치에서 발화된 분리 음성 신호의 처리 여부를 결정하기 위한 것일 수 있다. 즉, 음성 처리 장치(500)는 분리 음성 신호와 대응하는 화자 단말기를 결정하고, 화자 단말기에 할당된 권한 수준에 따라 분리 음성 신호를 처리할 수 있다.
특히, 차량(700)을 음성으로 제어하는 경우, 본 발명의 실시 예들에 따르면, 일정 수준 이상의 권한 수준을 갖는 화자(또는 화자 단말기)의 음성만 처리할 수 있어, 차량 제어의 안정성이 훨씬 더 향상되는 효과가 있다.
실시 예들에 따라, 음성 처리 장치(500)는 분리 음성 신호와 대응하는 화자 단말기의 권한 수준이 기준 수준 이상일 때, 해당하는 분리 음성 신호를 처리할 수 있다. 예컨대, 기준 수준이 2인 경우, 음성 처리 장치(500)는 기준 수준 '2' 미만의 권한 수준을 갖는 제4화자 단말기(ST4)와 대응하는 제4분리 음성 신호를 처리하지 않을 수 있다. 한편, 미처리된 분리 음성 신호에 대한 정보는 음성 처리 장치(500)에 저장될 수 있다.
또한, 실시 예들에 따라, 음성 처리 장치(500)는 분리 음성 신호와 대응하는 화자 단말기의 권한 수준이 높을수록, 해당하는 분리 음성 신호를 우선 순위로 처리할 수 있다. 예컨대, 제1화자 단말기(ST1)의 권한 수준이 '4'로 가장 높으므로, 음성 처리 장치(500)는 제1화자 단말기(ST1)에 대응하는 제1분리 음성 신호를 가장 우선적으로 처리할 수 있다.
한편, 비록 도 18에는 4가지 수준의 권한 수준이 나타나 있으나, 실시 예들에 따라, 권한 수준은 2가지 수준일 수 있다. 즉, 권한 수준은 처리가 허용된 제1수준 및 처리가 허용되지 않는 제2수준의 2가지 수준을 포함할 수도 있다.
도 19는 본 발명의 실시 예들에 따른 음성 처리 장치의 작동 방법을 나타내는 플로우 차트이다. 도 19를 참조하면, 음성 처리 장치(500)는 화자들(SPK1~SPK4)의 음성에 응답하여 분리 음성 신호 및 음원 위치 정보를 생성할 수 있다(S210). 실시 예들에 따라, 음성 처리 장치(500)는 화자들(SPK1~SPK4) 각각의 음성과 연관된 분리 음성 신호, 그리고 각 음성의 음원 위치를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 장치(500)는 화자들(SPK1~SPK4)의 화자 단말기(ST1~ST4)의 위치를 결정할 수 있다(S220). 실시 예들에 따라, 음성 처리 장치(500)는 화자 단말기(ST1~ST4)로부터 전송되는 무선 신호를 이용하여, 화자 단말기(ST1~ST4)의 위치를 결정할 수 있다.
음성 처리 장치(500)는 분리 음성 신호에 대응하는 화자 단말기(ST1~ST4)를 결정할 수 있다(S230). 실시 예들에 따라, 음성 처리 장치(500)는 분리 음성 신호의 음원 위치와 대응하는 위치를 갖는 화자 단말기(ST1~ST4)를 결정할 수 있다.
실시 예들에 따라, 음성 처리 장치(500)는 차량(700) 내의 각 구역들(FL, FR, BL, BR)을 기준으로, 동일 구역에 대응하는 분리 음성 신호와 화자 단말기를 매칭할 수 있다. 예컨대, 음성 처리 장치(500)는 차량(700)의 전행 왼쪽 'FL'에 대응하는 제1화자 단말기(ST1)와 제1분리 음성 신호를 매칭할 수 있다.
음성 처리 장치(500)는 분리 음성 신호를 대응하는 화자 단말기에 할당된 권한 수준에 따라 처리할 수 있다(S240). 실시 예들에 따라, 음성 처리 장치(500)는 메모리(530)로부터 권한 수준 정보를 리드하고, 각 분리 음성 신호를, 각 분리 음성 신호에 대응하는(또는 매칭된) 화자 단말기의 권한 수준에 따라 처리할 수 있다.
예컨대, 제1화자(SPK1)의 음성에 대응하는 제1분리 음성 신호는 'FL(전행 왼쪽)'에서 발화되었으므로, 'FL(전행 왼쪽)'에 대응하는 제1화자 단말기(ST1)의 권한 수준에 따라 처리할 수 있다.
도 20은 본 발명의 실시 예들에 따른 음성 처리 장치의 작동을 설명하기 위한 도면이다. 도 20을 참조하면, 제1화자(SPK1)는 음성 '문 열어줘'를 음원 위치 'FL(전행 왼쪽)'에서 발화하고, 제3화자(SPK3)는 음성 '음악 틀어줘'를 음원 위치 'BL(후행 왼쪽)'에서 발화하고, 제4화자(SPK4)는 음성 '시동 꺼줘'를 음원 위치 'BR(후행 오른쪽)'에서 발화한다.
한편, 음성 처리 장치(500)에 저장된 권한 수준 정보에 따르면, 제1화자 단말기(ST1)에 대한 권한 수준은 '4'이고, 제2화자 단말기(ST2)에 대한 권한 수준은 '2'이고, 제3화자 단말기(ST3)에 대한 권한 수준은 '2'이고, 제4화자 단말기(ST4)에 대한 권한 수준은 '1'이다. 이 때, 음성 처리 장치(500)는 권한 수준이 기준 수준(예컨대, '2') 이상인 화자 단말기와 대응하는 분리 음성 신호만을 처리할 수 있다.
음성 처리 장치(500)는 화자들의 음성('문 열어줘', '음악 틀어줘' 및 '시동 꺼줘')에 응답하여, 음성들 각각에 대응하는 분리 음성 신호를 생성할 수 있다. 또한, 음성 처리 장치(500)는 화자들의 음성('문 열어줘', '음악 틀어줘' 및 '시동 꺼줘') 각각의 음원 위치('FL', 'BL' 및 'BR')를 나타내는 음원 위치 정보를 생성할 수 있다.
음성 처리 장치(500)는 화자들의 음성이 입력되면, 화자 단말기들(ST1~ST4) 각각의 단말 위치를 결정할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 화자 단말기들(ST1~ST4) 각각과 무선 신호를 주고받음으로써, 화자 단말기들(ST1~ST4) 각각의 단말 위치를 결정할 수 있다. 음성 처리 장치(500)는 화자 단말기들(ST1~ST4)의 단말 위치를 나타내는 단말 위치 정보를 저장할 수 있다. 이 때, 단말 위치 정보는 화자 단말기들(ST1~ST4)의 단말 ID와 매칭되어 저장될 수 있다.
음성 처리 장치(500)는 화자들(SPK1~SPK4) 각각의 음성과 관련된 분리 음성 신호를, 분리 음성 신호와 대응하는 화자 단말기(ST1~ST4)에 할당된 권한 수준에 따라 처리할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 기준 수준 이상의 권한 수준이 할당된 화자 단말기(ST1~ST4)와 대응하는 분리 음성 신호만을 처리할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
도 20에 도시된 바와 같이, 음성 처리 장치(500)는 제1화자(SPK1)의 음성 '문 열어줘'와 관련된 제1분리 음성 신호의 처리 여부를, 제1분리 음성 신호와 대응하는 제1화자 단말기(ST1)의 권한 수준 '4'에 따라 결정할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 제1분리 음성 신호의 위치 'FL'와 대응하는 단말 위치를 갖는 제1화자 단말기(ST1)를 식별하고, 제1화자 단말기(ST1)의 권한 수준을 리드하고, 리드된 권한 수준에 따라 제1분리 음성 신호를 처리할 수 있다. 예컨대, 기준 수준이 2이므로, 음성 처리 장치(500)는 제1분리 음성 신호를 처리할 수 있고, 이에 따라, 차량(700)은 음성 '문 열어줘'에 대응하는 동작(예컨대, 문 열림 동작)을 수행할 수 있다.
또한, 도 20에 도시된 바와 같이, 음성 처리 장치(500)는 제4화자(SPK4)의 음성 '시동 꺼줘'와 관련된 제4분리 음성 신호의 처리 여부를, 제4분리 음성 신호와 대응하는 제4화자 단말기(ST4)의 권한 수준 '1'에 따라 결정할 수 있다. 실시 예들에 따라, 음성 처리 장치(500)는 제4분리 음성 신호의 위치 'BR'와 대응하는 단말 위치를 갖는 제4화자 단말기(ST4)를 식별하고, 제4화자 단말기(ST4)의 권한 수준을 리드하고, 리드된 권한 수준에 따라 제4분리 음성 신호를 처리할 수 있다. 예컨대, 기준 수준이 2이므로, 음성 처리 장치(500)는 제4분리 음성 신호를 처리하지 않을 수 있다. 즉, 이 경우 차량(700)은 제4화자(SPK4)가 '시동 꺼줘'라는 음성을 발화했음에도, '시동 꺼줘'에 대응하는 동작을 수행하지 않을 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
본 발명의 실시 예들은 화자들의 음성을 처리하기 위한 음성 처리 장치에 관한 것이다.

Claims (13)

  1. 화자의 음성과 연관된 입력 음성 데이터를 수신하도록 구성되는 음성 데이터 수신 회로;
    상기 화자의 화자 단말로부터 단말 ID를 포함하는 무선 신호를 수신하도록 구성되는 무선 신호 수신 회로;
    메모리; 및
    상기 무선 신호에 기초하여 상기 화자 단말의 위치를 나타내는 단말 위치 데이터를 생성하고, 생성된 단말 위치 데이터와 상기 단말 ID를 매칭하여 상기 메모리에 저장하도록 구성되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 입력 음성 데이터를 이용하여 제1위치를 나타내는 제1화자 위치 데이터 및 상기 제1위치에서 발화된 제1음성과 연관된 제1출력 음성 데이터를 생성하고,
    상기 메모리를 참조하여 상기 제1화자 위치 데이터에 대응하는 제1단말 ID를 리드하고,
    상기 제1단말 ID와 상기 제1출력 음성 데이터를 매칭하여 저장하는,
    음성 처리 장치.
  2. 제1항에 있어서,
    상기 입력 음성 데이터는 복수의 마이크로폰들에 의해 생성된 음성 신호들로부터 생성된 것인,
    음성 처리 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 복수의 마이크로폰들 사이의 거리 및 상기 음성 신호가 상기 복수의 마이크로폰에 의해 수신되는 시점에 기초하여, 상기 제1화자 위치 데이터를 생성하는,
    음성 처리 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 무선 신호의 수신 강도에 기초하여 상기 화자 단말의 위치를 나타내는 단말 위치 데이터를 생성하는,
    음성 처리 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 무선 신호에 포함된 타임 스탬프를 이용하여 상기 무선 신호의 이동 시간(time of flight)을 계산하고, 이동 시간에 기초하여 상기 화자 단말의 위치를 나타내는 단말 위치 데이터를 생성하는,
    음성 처리 장치.
  6. 제1항에 있어서, 상기 프로세서는,
    상기 메모리를 참조하여, 상기 단말 위치 데이터 중에서 상기 제1화자 위치 데이터와 인접한 위치를 나타내는 제1단말 위치 데이터를 결정하고,
    상기 메모리를 참조하여, 상기 단말 ID 중에서 제1단말 위치 데이터와 매칭되어 저장된 상기 제1단말 ID를 리드하는,
    음성 처리 장치.
  7. 제1항에 있어서, 상기 프로세서는,
    상기 입력 음성 데이터를 이용하여, 제2위치를 나타내는 제2화자 위치 데이터 및 상기 제2위치에서 발화된 제2음성과 연관된 제2출력 음성 데이터를 생성하고,
    상기 메모리를 참조하여, 상기 단말 ID 중 상기 제2화자 위치 데이터에 대응하는 제2단말 ID를 리드하고,
    상기 제2단말 ID와 상기 제2출력 음성 데이터를 매칭하여 저장하는,
    음성 처리 장치.
  8. 제1항에 있어서,
    상기 메모리는 화자 단말에 대한 권한 수준을 나타내는 권한 수준 정보를 저장하고,
    상기 프로세서는,
    상기 권한 수준 정보를 참조하여, 상기 제1단말 ID에 대응하는 권한 수준에 따라 상기 제1출력 음성 데이터를 처리하는,
    음성 처리 장치.
  9. 제8항에 있어서,
    상기 음성 처리 장치는 차량 내에 설치되고,
    상기 프로세서에 의한 상기 제1출력 음성 데이터의 처리는,
    상기 제1출력 음성 데이터로부터 상기 차량을 제어하기 위한 명령어를 인식하고, 인식된 명령어에 대응하는 동작 명령을 결정하는 것을 포함하는,
    음성 처리 장치.
  10. 제8항에 있어서, 상기 프로세서는,
    상기 제1단말 ID에 대응하는 권한 수준이 기준 수준 이상이면 상기 제1출력 음성 데이터를 처리하고,
    상기 제1단말 ID에 대응하는 권한 수준이 상기 기준 수준 미만이면 상기 제1출력 음성 데이터를 처리하지 않는,
    음성 처리 장치.
  11. 복수의 화자들에 의해 발화된 음성들에 응답하여 음성 신호를 생성하도록 구성되는 마이크;
    상기 음성 신호를 상기 음성들 각각의 음원 위치에 기초하여 음원 분리함으로써, 상기 음성들 각각과 연관된 분리 음성 신호를 생성하도록 구성되는 음성 처리 회로;
    상기 화자들의 화자 단말기들의 단말 위치를 측정하도록 구성되는 측위 회로; 및
    상기 화자 단말기들 각각에 대한 권한 수준을 나타내는 권한 수준 정보를 저장하는 메모리를 포함하고,
    상기 음성 처리 회로는,
    상기 분리 음성 신호의 음원 위치와 대응하는 단말 위치를 갖는 화자 단말기를 결정하고,
    상기 권한 수준 정보를 참조하여, 결정된 화자 단말기에 대응하는 권한 수준에 따라 상기 분리 음성 신호를 처리하는,
    음성 처리 장치.
  12. 제11항에 있어서,
    상기 음성 처리 장치는 차량 내에 설치되고,
    상기 음성 처리 회로에 의한 상기 분리 음성 신호의 처리는,
    상기 분리 음성 신호로부터 상기 차량을 제어하기 위한 명령어를 인식하고, 인식된 명령어에 대응하는 동작 명령을 결정하는 것을 포함하는,
    음성 처리 장치.
  13. 제11항에 있어서, 상기 음성 처리 회로는,
    결정된 화자 단말기에 대응하는 권한 수준이 기준 수준 이상이면 상기 분리 음성 신호를 처리하고,
    결정된 화자 단말기에 대응하는 권한 수준이 기준 수준 미만이면 상기 분리 음성 신호를 처리하지 않는,
    음성 처리 장치.
PCT/KR2021/011205 2020-08-21 2021-08-23 화자들의 음성을 처리하기 위한 음성 처리 장치 WO2022039578A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/022,498 US20230260509A1 (en) 2020-08-21 2021-08-23 Voice processing device for processing voices of speakers

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020200105331A KR20220023511A (ko) 2020-08-21 2020-08-21 음성 처리 장치 및 음성 처리 장치의 작동 방법
KR10-2020-0105331 2020-08-21
KR1020210070489A KR20220162247A (ko) 2021-06-01 2021-06-01 권한 수준에 따라 화자의 음성을 처리하기 위한 음성 처리 장치
KR10-2021-0070489 2021-06-01

Publications (1)

Publication Number Publication Date
WO2022039578A1 true WO2022039578A1 (ko) 2022-02-24

Family

ID=80322899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011205 WO2022039578A1 (ko) 2020-08-21 2021-08-23 화자들의 음성을 처리하기 위한 음성 처리 장치

Country Status (2)

Country Link
US (1) US20230260509A1 (ko)
WO (1) WO2022039578A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060119655A (ko) * 2005-05-19 2006-11-24 주식회사 에이로직스 와이브로 네트워크에서의 단말 위치 측정 방법 및 그 장치,이를 포함한 중계기
KR20140011881A (ko) * 2012-07-20 2014-01-29 트랜스지보강 주식회사 제어권 이동을 통한 원격제어시스템 및 방법
KR20140138782A (ko) * 2012-03-27 2014-12-04 마이크로소프트 코포레이션 모바일 장치의 위치 식별 기법
KR20170111450A (ko) * 2016-03-28 2017-10-12 삼성전자주식회사 보청장치, 휴대장치 및 그 제어방법
KR20170136718A (ko) * 2016-06-02 2017-12-12 주식회사 더더더 음성 제보 처리 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060119655A (ko) * 2005-05-19 2006-11-24 주식회사 에이로직스 와이브로 네트워크에서의 단말 위치 측정 방법 및 그 장치,이를 포함한 중계기
KR20140138782A (ko) * 2012-03-27 2014-12-04 마이크로소프트 코포레이션 모바일 장치의 위치 식별 기법
KR20140011881A (ko) * 2012-07-20 2014-01-29 트랜스지보강 주식회사 제어권 이동을 통한 원격제어시스템 및 방법
KR20170111450A (ko) * 2016-03-28 2017-10-12 삼성전자주식회사 보청장치, 휴대장치 및 그 제어방법
KR20170136718A (ko) * 2016-06-02 2017-12-12 주식회사 더더더 음성 제보 처리 시스템

Also Published As

Publication number Publication date
US20230260509A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
WO2017047884A1 (en) Voice recognition server and control method thereof
WO2015178600A1 (en) Speech recognition method and apparatus using device information
WO2020050509A1 (en) Voice synthesis device
WO2014157757A1 (ko) 이동식 입력 장치 및 그를 이용한 명령 입력 방법
WO2019156339A1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
WO2021172642A1 (ko) 장치 간 연동에 기초한 장치 제어 기능을 제공하는 인공 지능 장치 및 그 방법
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2014163231A1 (ko) 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
WO2022039578A1 (ko) 화자들의 음성을 처리하기 위한 음성 처리 장치
WO2021025515A1 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
WO2016167508A1 (ko) 모바일 음향 기기의 소음 제거 방법 및 장치
WO2018030668A1 (ko) 단말기, 단말기의 위치 판단 방법 및 단말기의 위치 판단 시스템
WO2022039486A1 (ko) 음성 신호를 처리하기 위한 음성 처리 장치 및 이를 포함하는 음성 처리 시스템
WO2021096281A1 (en) Voice input processing method and electronic device supporting same
WO2018105965A1 (en) Vehicle operating method and vehicle operating apparatus
WO2022124493A1 (ko) 전자 장치 및 전자 장치에서 기억 서비스를 제공하는 방법
WO2011028051A2 (ko) 전자 기기 및 이를 이용한 음성인식 방법
WO2020075998A1 (ko) 전자 장치 및 그 제어 방법
WO2022010320A1 (ko) 음성을 처리하기 위한 장치 및 이의 작동 방법
WO2022039310A1 (ko) 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
WO2023075399A1 (ko) 위치 측위를 수행하는 전자 장치 및 이의 동작 방법
WO2022119056A1 (ko) 오디오 신호를 출력하는 전자 장치 및 오디오 신호의 출력 방법
WO2022186440A1 (ko) 사용자 발화를 처리하기 위한 전자 장치 및 그 동작 방법
WO2022186471A1 (ko) 그룹 통화 서비스를 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2024053886A1 (ko) 피드백을 위한 신호를 송신하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21858665

Country of ref document: EP

Kind code of ref document: A1