WO2020027061A1 - 会話サポートシステム、その方法、およびプログラム - Google Patents

会話サポートシステム、その方法、およびプログラム Download PDF

Info

Publication number
WO2020027061A1
WO2020027061A1 PCT/JP2019/029685 JP2019029685W WO2020027061A1 WO 2020027061 A1 WO2020027061 A1 WO 2020027061A1 JP 2019029685 W JP2019029685 W JP 2019029685W WO 2020027061 A1 WO2020027061 A1 WO 2020027061A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
sound collection
seat
passenger
support system
Prior art date
Application number
PCT/JP2019/029685
Other languages
English (en)
French (fr)
Inventor
小林　和則
翔一郎 齊藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2020533542A priority Critical patent/JP7020554B2/ja
Priority to ES19844912T priority patent/ES2966500T3/es
Priority to US17/264,174 priority patent/US11425517B2/en
Priority to EP19844912.6A priority patent/EP3833045B1/en
Priority to CN201980050857.5A priority patent/CN112514414B/zh
Publication of WO2020027061A1 publication Critical patent/WO2020027061A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H04R5/023—Spatial or constructional arrangements of loudspeakers in a chair, pillow
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present invention relates to a sound collection and loudspeaker technology for smooth conversation in a car using a microphone and a speaker.
  • Non-Patent Document 1 Functions called in-car communication and conversation assistance are being installed in automobiles (see Non-Patent Document 1). This is intended to facilitate conversation by collecting voices of a person riding in a front seat and reproducing the voice in a rear seat. In some cases, the sound of the rear seat is collected and reproduced in the front seat.
  • the incar communication function does not need to be operated at all times, but is sufficient if it is possible to have a conversation partner who only wants to have a conversation. Therefore, it should be possible to change the operation when a passenger in an arbitrary seat wants to talk or stop talking.
  • the present invention is not limited to the positions of seats and rows, and provides a conversation support system, a method, and a program that can change the operation when a passenger in an arbitrary seat wants to have a conversation or wants to stop. Aim.
  • a conversation support system supports conversation of a passenger in an automobile.
  • the car has seats arranged in at least two rows, and the conversation support system uses voice distribution control to specify the desired sound collection and loudness area based on the designation of the first passenger sitting in the first seat.
  • a first target sound emphasizing unit that outputs a signal in which a sound emitted from the designated sound collection area is emphasized to a speaker corresponding to the first seat, and a sound collected by a microphone corresponding to the first seat.
  • a second target sound emphasizing unit that outputs a signal obtained by emphasizing a sound emitted from the first seat to a speaker corresponding to the sound collection and sound enhancement area.
  • the operation is not limited to the position of the seat or the row and can be changed when the occupant of the arbitrary seat wants to talk or stop.
  • FIG. 2 is a functional block diagram of the conversation support system according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a processing flow of the conversation support system according to the first embodiment.
  • FIG. 3 is a functional block diagram of a target sound emphasizing unit according to the first embodiment.
  • FIG. 3 is a functional block diagram of a sound distribution unit according to the first embodiment.
  • FIG. 3 is a functional block diagram of a voice distribution control unit according to the first embodiment.
  • FIG. 5 is a diagram illustrating a display example of a display unit according to the first embodiment.
  • FIG. 5 is a diagram illustrating a display example of a display unit according to the first embodiment.
  • FIG. 2 is a functional block diagram of the echo canceller according to the first embodiment.
  • ⁇ Points of the first embodiment> According to the sound path of the three-row seat loudspeakers, filter coefficients corresponding to the loudspeakers are prepared, and the loudspeakers are operated in conjunction with the operation of the incar communication, thereby realizing a stable loudspeaker conversation.
  • the acoustic path referred to here is a sound path determined from the relationship between the sound pickup and sound emission of the microphone and the loudspeaker corresponding to each of the two columns (for example, the front row and the rear row) for which the inker communication is to be assisted. It is.
  • FIG. 2 is a functional block diagram of the conversation support system according to the first embodiment, and FIG. 3 shows a processing flow thereof.
  • the conversation support system includes six target sound emphasizing units 110-X, a sound distribution unit 120, a sound distribution control unit 130, and three addition units 140-p.
  • A, B, C, D, E, and F are indices indicating the respective seats, and are added to the traveling direction of the automobile, respectively, in the first row right, the first row left, the second row right, and the second row left.
  • p is an index indicating a row of seats.
  • the vehicle on which the conversation support system is mounted has a structure as shown in FIGS. Further, the vehicle according to the present embodiment has one seat on each of the left and right sides of each row, and mainly includes a microphone 91F that collects the voice of the speaker in the first row and a microphone 91F that mainly captures the voice of the speaker in the second row. A microphone 91S for collecting sound and a microphone 91R for collecting mainly the voice of the speaker in the third row are provided.
  • the microphones 91F, 91S, and 91R each include M microphones.
  • F, S, and R are indices indicating the first, second, and third rows of the vehicle, respectively.
  • the vehicle of the present embodiment includes one speaker on each of the left and right sides of each seat.
  • a speaker that emits sound for the first row speaker is 92F
  • a speaker that emits sound for the second row speaker is 92S
  • a speaker that emits sound for the third row speaker is 92R. I do.
  • the microphones constituting the microphones 91F, 91S, 91R may be at least one for each sound collection and loudspeaking area.
  • the conversation support system includes, for example, a special or special computer configured by reading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. Device.
  • the conversation support system executes each process under the control of a central processing unit, for example.
  • the data input to the conversation support system and the data obtained in each process are stored in, for example, a main storage device, and the data stored in the main storage device is read out to a central processing unit as needed, and is stored in another storage device. Used for processing.
  • At least a part of each processing unit of the conversation support system may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the conversation support system can be configured by, for example, a main storage device such as a random access memory (RAM) or a middleware such as a relational database or a key value store.
  • a main storage device such as a random access memory (RAM) or a middleware such as a relational database or a key value store.
  • each storage unit does not necessarily need to be provided in the conversation support system, and is constituted by an auxiliary storage device composed of a semiconductor memory device such as a hard disk, an optical disk, or a flash memory. It is good also as composition provided outside.
  • the target sound emphasis unit 110-X in the p-th column includes M sound collection signals y pm (signals obtained from the m-th microphone in the p-th column), the reference signals s q and s r , It emphasized reproduced signal m l reproduced by speaker 92M1,92M2, and m r, and inputs the voice allocation control value c, the target sound from M collected sound signal y pm (the sound emitted from the seat X) of the enhanced signal z X was calculated, and output.
  • X A, B, C, D, E, F, A and B are in the first column
  • C and D are in the second column
  • E and F are in the third column.
  • the reference signals s 1 , s 2 , and s 3 are signals in which the voices of the speakers in the first , second , and third columns are emphasized (sum of the emphasized signals of the speakers in each column).
  • FIG. 6 is a functional block diagram of the target sound emphasizing unit 110-X.
  • the target sound emphasis unit 110-X includes a directional sound collection unit 110-X-1, an echo canceller unit 110-X-2, and a howling suppression unit 110-X-3. Hereinafter, each unit will be described.
  • the directional sound collection unit 110-X-1 receives the M sound collection signals ypm as input, and emphasizes the target sound (sound emitted from the seat X) from the M sound collection signals ypm. x is obtained (S110-X-1) and output.
  • the enhancement signal may be obtained by any method.
  • the emphasis technology of JP-A-2004-078021 can be used.
  • Echo canceller unit 110-X-2 is a enhanced signal y 'x, the reference signal s q, and s r, reproduced signals m l to be reproduced by the speaker 92M1,92M2 the vehicle audio device, and m r, sound vibration as input and the divided control value c, are reproduced q contained in emphasis signal y 'x, r-th column of the speaker in the sound components and speakers 92M1,92M2 to be reproduced respectively (92F, 92S, either 92R)
  • the sound component is eliminated, and the enhanced signal y " x from which the echo component is eliminated is obtained (S110-X-2) and output.
  • the processing contents of the echo canceller unit 110-X-2 are referred to as reference signals s 1 and s 2. It is described in detail after describing how to get s 3.
  • Howling suppression unit 110-X-3 inputs the enhancement signal y "x, suppress howling component (S110-X-3), and outputs the signal after the howling component suppressing the enhanced signal z x.
  • the howling component may be suppressed by any method.
  • a howling suppression technique disclosed in Japanese Patent Application Laid-Open No. 2007-221219 can be used.
  • Sound sorting unit 120 based on the audio distribution control value c, by combining the enhanced signal z x (S120), obtains the reproduction signal z 12, z 13, z 21 , z 23, z 31, z 32,
  • the reproduced signals z pq and z pr are output to the adder 140-p.
  • the reproduced signals z pq and z pr are signals corresponding to utterances from the passengers in the q and r columns to the passenger in the p column.
  • the audio distribution unit 120 synthesizes the emphasized signal z x emphasizing sound of p-th column of the speaker, obtains a reference signal s p, the target sound enhancement unit corresponding to the seat of the p-th column 110- outputs the reference signal s p a target sound enhancement unit other than X.
  • the target sound is emphasized portion corresponding to the first column the reference signal s 2 and a reference signal s 3 is input.
  • FIG. 7 is a functional block diagram of the sound distribution unit 120.
  • the audio distribution unit 120 includes three addition units 121-p and three audio switching units 122-p.
  • the sound switching unit 122-p allows signals z qr and z rq coming from both directions to pass if the value of c qr is 1, and does not allow the signals to pass if it is 0.
  • the adding unit 121-p adds the emphasized signals z x corresponding to the seats in the p-th column, obtains reproduced signals z qp , z rp and outputs the signals.
  • the audio distribution unit 120 outputs the enhanced signal z x to the voice allocation control unit 130.
  • adding unit 121-p is, p-th column by adding the enhancement signal z x corresponding to the seat, obtains a reference signal s p, p-th column purposes other than sound enhancement unit 110-X corresponding to the seat outputs the reference signal s p the sound enhancement unit. Therefore, the reference signal is
  • a reference signal s p a reproduction signal z qp match if the value of c pq is 1. That is, the reproduction signal is a signal that the seat of the p-th column by adding the enhancement signal z x corresponding to p-th column of the seat only when busy, the reference signal is p-th column regardless of whether a call the enhancement signal z x a sum signal corresponding to the seat. This is because it is necessary to input a reference signal in order to perform appropriate processing on the sound output from the speakers in the other columns even for the target sound emphasizing unit in the column that is not the output target.
  • the sound collected by the microphone in the first row (the row that is not the output target) has a speaker in the second row. Since the third row of sounds emitted from the first row and the second row of sounds emitted from the third row of speakers are included, the echoes of the target sound enhancers 110-A and 110-B corresponding to the first row are included. In the canceller units 110-A-2 and 110-B-2, these sounds need to be used as reference signals (inputs) and eliminated from the sounds collected by the microphones in the first row.
  • the voice distribution control unit 130 specifies a desired sound collection and sound enhancement area based on the designation of the passenger seated in a certain seat (S130), and the desired sound collection and sound increase area and the passenger seated in the certain seat communicate with each other.
  • a voice distribution control value c indicating whether or not it is medium is obtained and output.
  • the voice distribution control value c is Is controlled.
  • a desired sound collection area is designated by a switch installed in an automobile using a result of recognizing a voice emitted by a passenger sitting in a certain seat.
  • the voice distribution control unit 130 receives six emphasis voices z x as input, acquires the specified content of the occupant using the six emphasis voices z x , specifies a desired sound collection and sound enhancement area, and Obtain the distribution control value c.
  • FIG. 8 is a functional block diagram of the voice distribution control unit 130.
  • the voice distribution control unit 130 includes six voice recognition units 131-X and a call determination unit 132.
  • the voice recognition unit 131-X receives the emphasized voice z x as input, performs voice recognition on the emphasized voice z x , and outputs a determination value f x corresponding to a case where it is recognized that a specific voice has been spoken.
  • the determination value f x takes a value of either 0, 1, 2, 3.
  • X determination value f x indicates speaker (the passenger), the determination value f x itself exhibits a call destination. For example, if the speech recognition result corresponding to one utterance includes a row of the callee corresponding to the sound collection area and a word indicating that conversation is to be started, the speaker may start talking with the callee's row. sets a determination value f x shown.
  • Call determination unit 132 inputs the six judgment values f x, based on the six judgment value f x,
  • a method of determining the voice distribution control value c using a physical switch or the like of each seat without using voice recognition may be used.
  • the sound collection area designated by the occupant looking at the display unit that can display a plurality of sound collection areas is designated as a desired sound collection area (start of a call). Further, the sound collection area designated as the sound collection area is removed from the designation by the passenger watching the display unit (end of the call).
  • the voice distribution control unit 130 calculates and outputs the voice distribution control value c based on a value input by a switch or the like. For example, a switch as shown in FIG. 9 (corresponding to the display unit described above) and a touch panel for displaying a diagram as shown in FIG.
  • an input unit 133 indicated by a broken line corresponds to a switch or a touch panel.
  • the call determination unit 132 When the occupant of a certain seat presses (in the case of a switch) or touches (in the case of a touch panel) a portion indicating another seat, the call determination unit 132 indicates the seat of the occupant and the seat that has been pressed or the like. Take the signal as input.
  • f x 1
  • f x 2
  • ⁇ Adder 140-p> Adding unit 140-p, the reproduction signal z pq, as input z pr, by adding the two reproduced signal (S140), and outputs the sum as a reproduced signal k p.
  • the reproduced signals k 1 , k 2 , and k 3 are output to the speakers 92F, 92S, and 92R, respectively.
  • the adding section 140-p outputs a signal in which the sound emitted from the designated sound collection area is emphasized to the speaker corresponding to the seat of the designated passenger, and the adding section 140-p ' Then, a signal, which is collected by the microphone corresponding to the seat of the designated passenger and emphasizes the sound emitted from the seat of the designated passenger, is output to the speaker corresponding to the sound collection area.
  • p ′ is an index indicating the designated sound collection area, where p ⁇ p ′.
  • control based on the audio distribution control value c it is possible to perform control so that sound collected by the microphones other than the seat of the designated passenger is not output to the speaker corresponding to the desired sound collection area.
  • FIG. 11 is a functional block diagram of the echo canceller unit 110-X-2.
  • the echo canceller section 110-X-2 includes adaptive filter sections 110-X-2-1, 110-X-2-2, 110-X-2-3, 110-X-2-4, and an adder section 110-X. -2-5, 110-X-2-6, subtraction units 110-X-2-7, 110-X-2-8, and a filter holding unit 110-X-2-9.
  • emphasis signal y 'x is the input signal of the echo canceller unit 110-X-2.
  • the emphasized signal y ′ x input to the echo canceller unit 110-X-2 in the p-th column is represented using the received voice distribution control value c, it is expressed as follows. However, each signal is represented by a complex number of a certain frequency component of each signal.
  • w xm in order to emphasize the voice of x-th seat, a filter coefficient for multiplying the collected sound signal y pm.
  • a method of determining the filter coefficient for example, there is a method of determining a delay-and-sum beamformer.
  • h ppm , h qpm , and h rpm represent the spatial transfer characteristics from the speakers in the p-th, q-, and r-th rows to the m-th microphone in the p-th row, respectively.
  • h ' qp , h' rp , h ' pp are the product sums of the filter coefficients and the spatial transfer characteristics
  • the term corresponding to the transfer function of these signals can be read from the equation that the transfer function can be changed in three ways (excluding 0) according to the value of the sound distribution control value c. Therefore, in filter holding section 110-X-2-9, for example, regarding a filter coefficient of adaptive filter section 110-X-2-1 corresponding to the q-th column, a filter to be updated using reference signal s q is provided.
  • the following three buffers are prepared, and the filter is loaded and stored according to the value of the audio distribution control value c.
  • the filter coefficient h ⁇ q at the original time is stored in the filter holding unit 110-X-9 as h ⁇ q, 2.
  • the value h ⁇ q used for the filter coefficient is replaced with h ⁇ q, 3 in the filter holding unit 110-X-9, and the pseudo echo signal generation and update are restarted.
  • the adaptive filter in the q-th column is a transfer function (h) between the loudspeaker corresponding to the occupant in the p-th row and the M microphones that collect the voice of the occupant in the p-th seat. and 'a transfer characteristic corresponding to pp), the transfer function (h between the speaker and the M microphones corresponding to passenger seats r th column' transfer characteristics corresponding to rp), both of which are added And the transfer function (transfer characteristic corresponding to h ′ pp + h ′ rp ).
  • the filter holding unit 110-X-9 in the p-th column includes filters h ⁇ q, 1 , h ⁇ q, 2 , h ⁇ q, 3 for the adaptive filter unit 110-X-2-1 and the adaptive filter unit 110 -Holds filters h ⁇ r, 1 , h ⁇ r, 2 , h ⁇ r, 3 for X-2-2.
  • the filter holding unit 110-X-9 in the p-th column receives the filter h corresponding to the stored voice distribution control value c. ⁇ q, and outputs the h ⁇ r, the filter h ⁇ q that was used up to that point, to receiving and storing h ⁇ r.
  • the correspondence is as follows.
  • the timing for receiving the audio distribution control value c may be set as appropriate. For example, it may be received each time the voice distribution control value c is changed.
  • the filter holding unit 110-X-9 in the p-th row is used when the passenger sitting in the q-th row talks only with the passenger in the p-row seat, and when the passenger in the q-th row seats. And the passenger sitting in the r-row seat only talks with the passenger sitting in the p-row seat and the passenger sitting in the r-row seat.
  • the adaptive filter used to cancel the echo is made different. The intention is that, for example, the interior of the vehicle may have the same sound field, but the sound collected differs depending on the seat and the row.
  • the characteristics of the sounds collected differ depending on the position of the speaker from which the sounds are emitted (that is, the acoustic path). . For this reason, even with the same signal, an echo may remain in the same echo canceller depending on “from which speaker the signal is reproduced”, and it is necessary to switch the filter according to the acoustic path.
  • the adaptive filter units 110-X-2-1 and 110-X-2-2 receive the filters h ⁇ q and h ⁇ r , respectively, and set them as those used for filtering.
  • Adaptive filter unit 110-X-2-1,110-X- 2-2 respectively reference signal s q, and s r as input, respectively adaptive filter h ⁇ q, referenced using h ⁇ r signal s q, Filter s r to generate and output pseudo echoes Y q, 1 , Y r, 1 .
  • the adder 110-X-2-5 receives the pseudo echoes Y q, 1 and Y r, 1 and outputs the sum of these values as a pseudo echo Y 1 .
  • Subtraction unit 110-X-2-7 is' as input x and the pseudo echo Y 1, emphasis signal y 'emphasis signal y a pseudo echo Y 1 is subtracted from x, to obtain an enhanced signal y' x, 1, Output.
  • Adaptive filter unit 110-X-2-3,110-X- 2-4 respectively reproduced signal m l, as input m r, filtering the reproduced signal m l, m r with each adaptive filter, the pseudo Generate and output echoes Y l, 2 and Y r, 2 .
  • the adder 110-X-2-5 receives the pseudo echoes Y l, 2 , Y r, 2, and outputs the sum of these values as a pseudo echo Y 2 .
  • Subtraction unit 110-X-2-7 is 'as input x, 1 and the pseudo echo Y 2, emphasis signal y' enhanced signal y subtracts the pseudo echo Y 2 from x, 1, the enhanced signal y "x Get and output.
  • the adaptive filter units 110-X-2-1, 110-X-2-2, 110-X-2-3, and 110-X-2-4 output the enhanced signal y " x (error ), And the adaptive filter is updated using the reference signals sq , sr , the reproduced signals ml , mr, and the enhancement signal y " x , respectively.
  • the adaptive filters updated in the adaptive filter units 110-X-2-1 and 110-X-2-2 are not stored in the filter storage unit 110-X-2-9, but are emphasized signals y " x Is an adaptive filter used to obtain
  • the filter can be updated using the NLMS algorithm described in Reference 1.
  • Reference 1 Toshiro Oga, Yoshio Yamazaki, Yutaka Kaneda, "Acoustic Systems and Digital Processing", edited by IEICE, Corona, 1995, p140,141
  • the operation is not limited to the position of the seat or row, and when the passenger of any seat wants to talk or want to stop, the operation can be changed, and processing such as echo cancellation can be executed appropriately. it can.
  • the reproduced signal reproduced by the speaker of the vehicle-mounted acoustic device is a two-channel signal.
  • the signal may be one or three or more channels in accordance with the speaker of the vehicle-mounted audio device.
  • the directional sound collecting unit 110-X-1 is provided.
  • a target sound emitted from the seat is emphasized by using a directional microphone having directivity with respect to the seat to be collected. If a signal can be obtained, the output value of the directional microphone may be output to the echo canceller unit 110-X-2 without using the directional sound collection unit 110-X-1.
  • a three-row seat is applied to a vehicle, but the present invention is not limited to a three-row seat but may be applied to a vehicle having two-row seats, four-row seats or more.
  • the point is that, in a common sound field in a vehicle, the sound volume of a general conversation due to running sound, car audio reproduction sound, and other noise outside the vehicle, etc., has a positional relationship in which it is difficult to hear each other's voices. It should be applied to the case.
  • the control between the rows of seats in the vehicle has been described, but the same control may be performed between the seats in the vehicle.
  • the desired sound pickup area means not a desired row but a desired seat.
  • the desired sound collection area is a row of seats in the vehicle, but may be an area outside the vehicle.
  • an area defined by a speaker and a microphone of the call destination may be set as a desired sound collection and loudspeaker area.
  • the other party talks with the earpiece placed on the receiver, the other party is also referred to as a sound collection target.
  • the voice allocation control unit 130 sends the enhanced speech z x to the speech recognition unit provided outside the conversation support system
  • an external voice recognition unit may perform voice recognition processing, and the conversation support system may receive the recognition result.
  • the six voice recognition unit 131-X by using the speech recognition result, obtains a determination value f x, outputs.
  • the audio switching unit 122-p in the audio distribution unit 120 if the value of c qr is 1, signals z qr and z rq coming from both directions are passed, and if 0, the signals are not passed.
  • the signals z qr , z rq are always passed without providing the voice switching unit 122-p, and the signals z qr and z rq are used as reference signals in the target sound emphasizing unit 110-X.
  • the distribution control value c whether or not to be added by the adding unit 140-p may be controlled.
  • a program describing this processing content can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • This program is distributed by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage unit. Then, when executing the processing, the computer reads the program stored in its own storage unit and executes the processing according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program. Further, each time a program is transferred from the server computer to the computer, processing according to the received program may be sequentially performed.
  • ASP Application ⁇ Service ⁇ Provider
  • the program includes information to be used for processing by the computer and which is similar to the program (such as data that is not a direct command to the computer but has properties that define the processing of the computer).
  • each device is configured by executing a predetermined program on a computer, at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

会話サポートシステムは、自動車における搭乗者の会話をサポートする。自動車は少なくとも2以上の列に座席が配置されており、会話サポートシステムは、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御部と、指定された集音拡声エリアから発せられる音声を強調した信号を第一の座席に対応するスピーカに出力する第一目的音強調部と、第一の座席に対応するマイクロホンにより集音された、第一の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、を有する。

Description

会話サポートシステム、その方法、およびプログラム
　本発明は、マイクロホンとスピーカを用いて自動車内の会話を円滑に行う集音拡声技術に関する。
　インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献１参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。
"「インテリジェントマイク for car」の技術について"、［online］、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
　インカーコミュニケーションにおいては、前列と後列の会話をアシストするシステムが主流であり、３列シート車において２列目の搭乗者の会話には効果を与えることができない（図１参照）。しかしながら、１列目と２列目であっても会話が聞き取りにくい状況は容易に発生し得る。例えば、特にカーオーディオなどが鳴っている場合が考えられる。そのため、座席の位置に限定されず、任意の座席で拡声機能を利用できるようにすることが課題である。
　また、インカーコミュニケーション機能は、常時動作させておく必要はなく、会話をしたいときだけしたい会話相手とできれば十分である、という性質のものである。そのため、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思った時に動作を変更できるべきである。
　本発明は、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更できる会話サポートシステム、その方法、およびプログラムを提供することを目的とする。
　上記の課題を解決するために、本発明の一態様によれば、会話サポートシステムは、自動車における搭乗者の会話をサポートする。自動車は少なくとも2以上の列に座席が配置されており、会話サポートシステムは、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御部と、指定された集音拡声エリアから発せられる音声を強調した信号を第一の座席に対応するスピーカに出力する第一目的音強調部と、第一の座席に対応するマイクロホンにより集音された、第一の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、を有する。
　本発明によれば、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更できるという効果を奏する。
インカーコミュニケーションを説明するための図。 第一実施形態に係る会話サポートシステムの機能ブロック図。 第一実施形態に係る会話サポートシステムの処理フローの例を示す図。 第一実施形態に係る会話サポートシステムが搭載される車両の構造を説明するための図。 第一実施形態に係る会話サポートシステムが搭載される車両の構造を説明するための図。 第一実施形態に係る目的音強調部の機能ブロック図。 第一実施形態に係る音声振分部の機能ブロック図。 第一実施形態に係る音声振分制御部の機能ブロック図。 第一実施形態に係る表示部の表示例を示す図。 第一実施形態に係る表示部の表示例を示す図。 第一実施形態に係るエコーキャンセラの機能ブロック図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態のポイント＞
　３列シートの拡声スピーカの音響パスに応じて、各拡声スピーカに対応するフィルタ係数を用意し、インカーコミュニケーションの動作と連動させて動作させることにより、安定的な拡声会話を実現する。なお、ここでいう音響パスとは、インカ―コミュニケーションのアシストを行いたい２つの列（例えば前列と後列）それぞれに対応するマイクロホンと拡声スピーカの収音と放音の関係から定まる音の経路のことである。
＜第一実施形態＞
　図２は第一実施形態に係る会話サポートシステムの機能ブロック図を、図３はその処理フローを示す。
　会話サポートシステムは、６つの目的音強調部１１０－Ｘと、音声振分部１２０と、音声振分制御部１３０と、３つの加算部１４０－ｐとを含む。ただし、X=A,B,C,D,E,F、p=1,2,3とする。なお、A,B,C,D,E,Fはそれぞれ各座席を示すインデックスであり、それぞれ自動車の進行方向に足して1列目右側、1列目左側、2列目右側、2列目左側、3列目右側、3列目左側の座席のインデックスである。pは座席の列を示すインデックスである。
　本実施形態では、会話サポートシステムが搭載される車両は、図４、図５のような構造とし、３列シートを備える。さらに、本実施形態の車両は、各列の左右にそれぞれ１つの座席を持ち、主に１列目の話者の音声を集音するマイク９１Ｆと、主に２列目の話者の音声を集音するマイク９１Ｓと、主に３列目の話者の音声を集音するマイク９１Ｒとを備える。マイク９１Ｆ、９１Ｓ、９１Ｒは、それぞれM個のマイクロホンで構成される。なお、Ｆ，Ｓ，Ｒはそれぞれ車両の1列目、2列目、3列目を示すインデックスである。さらに、本実施形態の車両は、各座席の左右に１つずつスピーカを備える。１列目の話者を対象として放音するスピーカを９２Ｆとし、２列目の話者を対象として放音するスピーカを９２Ｓとし、３列目の話者を対象として放音するスピーカを９２Ｒとする。
　会話サポートシステムは、３つのマイク９１Ｆ，９１Ｓ，マイク９１Ｒの集音信号y1=[y1,1,y1,2,…,y1,M],y2=[y2,1,y2,2,…,y2,M],y3=[y3,1,y3,2,…,y3,M]と、車載用音響装置（例えば、カーオーディオ等）のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号(例えば、オーディオ信号)ml,mrとを入力とし、指定されたエリア(以下、集音拡声エリアともいう)から発せられる音声を強調し、ある座席に対応するスピーカに出力し、かつ、その座席に対応するマイクロホンにより集音された音からその座席から発せられる音声を強調し、集音拡声エリアに対応するスピーカに出力し、自動車における搭乗者の会話をサポートする。なお、マイク９１Ｆ、９１Ｓ、９１Ｒを構成するマイクロホンは、集音拡声エリア毎に少なくとも１個あればよい。
　会話サポートシステムは、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。会話サポートシステムは、例えば、中央演算処理装置の制御のもとで各処理を実行する。会話サポートシステムに入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。会話サポートシステムの各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。会話サポートシステムが備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも会話サポートシステムがその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、会話サポートシステムの外部に備える構成としてもよい。
　以下、各部について説明する。
＜目的音強調部１１０－Ｘ＞
　p列目の目的音強調部１１０－Ｘは、M個の集音信号ypm（p列目のm番目のマイクから得られる信号）と、参照信号sq,srと、車載用音響装置のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号ml,mrと、音声振分制御値cとを入力とし、M個の集音信号ypmから目的音(座席Xから発せられる音)を強調した強調信号zXを求め、出力する。ただし、前述の通りX=A,B,C,D,E,Fであり、A,Bは1列目であり、C,Dは2列目であり、E,Fは3列目である。p=1,2,3、q=1,2,3、r=1,2,3であり、q≠p、r≠p、q≠rである。参照信号s1,s2,s3は、それぞれ１，２，３列目の話者の音声を強調した信号（各列の話者の強調信号の和）である。
　図６は目的音強調部１１０－Ｘの機能ブロック図を示す。
　目的音強調部１１０－Ｘは、指向性集音部１１０－Ｘ－１と、エコーキャンセラ部１１０－Ｘ－２と、ハウリング抑圧部１１０－Ｘ－３とを含む。以下、各部について説明する。
(指向性集音部１１０－Ｘ－１)
　指向性集音部１１０－Ｘ－１は、M個の集音信号ypmを入力とし、M個の集音信号ypmから目的音（座席Xから発せられる音）を強調した強調信号y'xを求め（Ｓ１１０－Ｘ－１）、出力する。
　なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
(エコーキャンセラ部１１０－Ｘ－２)
　エコーキャンセラ部１１０－Ｘ－２は、強調信号y'xと、参照信号sq,srと、車載用音響装置のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号ml,mrと、音声振分制御値cとを入力とし、強調信号y'xに含まれるq,r列目のスピーカ（９２Ｆ，９２Ｓ，９２Ｒの何れか）でそれぞれ再生される音成分やスピーカ９２Ｍ１，９２Ｍ２で再生される音成分を消去し、エコー成分を消去した強調信号y"xを求め（Ｓ１１０－Ｘ－２）、出力する。エコーキャンセラ部１１０－Ｘ－２の処理内容については、参照信号s1,s2,s3をどのように取得するのかを説明した後に詳細に説明する。
(ハウリング抑圧部１１０－Ｘ－３)
　ハウリング抑圧部１１０－Ｘ－３は、強調信号y"xを入力とし、ハウリング成分を抑圧し（Ｓ１１０－Ｘ－３）、ハウリング成分抑圧後の信号を強調信号zxとして出力する。
　なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
＜音声振分部１２０＞
　音声振分部１２０は、6つの強調信号zxと、音声振分制御値c=(c12,c23,c31)を入力とする。c12,c23,c31はそれぞれ0か1をとり、例えば、c12=1であれば１列目と２列目が通話中であることを、c12=0であれば１列目と２列目が通話中ではないことを意味する。
　音声振分部１２０は、音声振分制御値cに基づき、強調信号zxを合成して(Ｓ１２０)、再生信号z12,z13,z21,z23,z31,z32を求め、再生信号zpq,zprを加算部１４０－ｐに出力する。再生信号zpq,zprはそれぞれq,r列目の搭乗者からp列目の搭乗者への発話に対応する信号である。
　また、音声振分部１２０は、p列目の話者の音声を強調した強調信号zxを合成して、参照信号spを求め、p列目の座席に対応する目的音強調部１１０－Ｘ以外の目的音強調部に参照信号spを出力する。例えば、1列目に対応する目的音強調部には参照信号s2と参照信号s3が入力される。
　図７は、音声振分部１２０の機能ブロック図を示す。
　音声振分部１２０は、３つの加算部１２１－ｐと３つの音声切替部１２２－ｐとを含む。
　音声切替部１２２－ｐは、cqrの値が1であれば双方向から来る信号zqr,zrqを通過させ、0であれば通過させない。
　加算部１２１－ｐは、p列目の座席に対応する強調信号zxを加算し、再生信号zqp,zrpを求め、出力する。
　よって、再生信号は、
Figure JPOXMLDOC01-appb-M000001
と書ける。また、音声振分部１２０は、音声振分制御部１３０へ強調信号zxを出力する。
　さらに、加算部１２１－ｐは、p列目の座席に対応する強調信号zxを加算し、参照信号spを求め、p列目の座席に対応する目的音強調部１１０－Ｘ以外の目的音強調部に参照信号spを出力する。よって、参照信号は、
Figure JPOXMLDOC01-appb-M000002
と書ける。なお、cpqの値が1であれば参照信号spと再生信号zqpとが一致する。つまり、再生信号はp列目の座席が通話中の場合のみp列目の座席に対応する強調信号zxを加算した信号となるが、参照信号は通話中か否かに関わらずp列目の座席に対応する強調信号zxを加算した信号となる。これは、出力対象ではない列の目的音強調部についても他の列のスピーカから出力された音について適切な処理を行うため、参照信号を入力する必要があるためである。例えば、2列目と3列目でパスを設定している場合（通話中の場合）でも、1列目(出力対象ではない列)のマイクロホンで集音された音には2列目のスピーカから放音された3列目の音や3列目のスピーカから放音された2列目の音が含まれるため、1列目に対応する目的音強調部１１０－Ａ，１１０－Ｂのエコーキャンセラ部１１０－Ａ－２，１１０－Ｂ－２では、これらの音を参照信号（入力）とし、1列目のマイクロホンで集音された音から消去する必要がある。
＜音声振分制御部１３０＞
　音声振分制御部１３０は、ある座席に着席した搭乗者の指定に基づき、所望の集音拡声エリアを指定し（Ｓ１３０）、所望の集音拡声エリアとある座席に着席した搭乗者とが通話中か否かを示す音声振分制御値cを求め、出力する。通話中であれば所望の集音拡声エリアとある座席に着席した搭乗者との間でパスを繋ぎ、通話中でなければパスを繋がないようにするため、音声振分制御値cは、音声の振分を制御しているとも言える。
　この例では、ある座席に着席した搭乗者が発した音声を認識した結果を用いて、自動車に設置されたスイッチにより所望の集音拡声エリアを指定する。この場合、音声振分制御部１３０は、6つの強調音声zxを入力とし、6つの強調音声zxを用いて搭乗者の指定内容を取得し、所望の集音拡声エリアを指定し、音声振分制御値cを求める。
　図８は、音声振分制御部１３０の機能ブロック図である。
　音声振分制御部１３０は、6つの音声認識部１３１－Ｘと通話判定部１３２とを含む。
　音声認識部１３１－Ｘは、強調音声zxを入力とし、強調音声zxを音声認識し、特定の音声が話されたと認識した場合に対応する判定値fxを出力する。例えば、判定値fxは、0,1,2,3のいずれかの値をとる。判定値fxのxが発話者(搭乗者)を示し、判定値fx自体が通話先を示す。例えば、集音拡声エリアに相当する通話先の列と、会話を始めることを示す単語が１発話に対応する音声認識結果に含まれる場合、発話者が通話先の列との会話を始めることを示す判定値fxを設定する。例えば、音声振分制御部１３０は、強調音声zxの音声認識の結果が「１列目と会話」の場合はfx=1、「２列目と会話」の場合はfx=2、「３列目と会話」の場合はfx=3、それ以外の認識結果や無音時はfx=0とし、出力する。
　通話判定部１３２は、6つの判定値fxを入力とし、6個の判定値fxを元に、
Figure JPOXMLDOC01-appb-M000003
として音声振分制御値c=(c12,c23,c31)を求め、出力する。
　例えば、全てのfxについて初期値を0としておき、一度、0以外の値となった後は、会話が終わるまで、集音拡声処理を行ってもよい。例えば、会話を終えることを示す単語が１発話に対応する音声認識結果に含まれる場合、発話者が通話先の列との会話を終えることを示す判定値fxを設定する。例えば、強調音声zxの音声認識の結果が「会話終了」の場合、fx=0とし、出力する。
　なお、より簡単な方法として、音声認識を使用せず、各座席の物理的なスイッチなどで音声振分制御値cを決定する方法もとりうる。この例では、複数の集音拡声エリアを表示しうる表示部を見た搭乗者により指定される集音拡声エリアを所望の集音拡声エリアとして指定する（通話の開始）。また、集音拡声エリアとして指定されている集音拡声エリアは、表示部を見た搭乗者により指定を外される（通話の終了）。この場合、音声振分制御部１３０は、スイッチなどで入力された値を元に音声振分制御値cを求め、出力する。例えば、図９のようなスイッチ（上述の表示部に相当）や図１０のような図を表示するタッチパネル（上述の表示部に相当）を各座席に設ける。なお、図１０は、列毎に通話の開始・終了を制御するように記載されているものの、席毎に制御してもよい。図８中、破線で示す入力部１３３は、スイッチやタッチパネルに対応する。
　ある座席の搭乗者が他の座席を示す部分を（スイッチの場合）押下、または、（タッチパネルの場合）タッチすると、通話判定部１３２は、搭乗者の座席と、押下等された座席とを示す信号を入力として得る。この入力された信号を、その搭乗者が会話先の列との会話を始めることを示す判定値fxとして用いる。例えば、1列目の座席A,Bを示す部分を押下等した場合はfx=1、2列目の座席C,Dを示す部分を押下等した場合はfx=2、3列目の座席E,Fを示す部分を押下等した場合はfx=3、何れの座席を示す部分も押下等されていない場合や集音拡声処理中に集音拡声処理対象の座席を示す部分を再度押下等した場合はfx=0を入力として得る。なお、fxのxが押下等されたスイッチ等が設けられた座席を示す。6つの判定値fxから音声振分制御値c=(c12,c23,c31)を求める方法は音声認識を利用した場合と同様である。
＜加算部１４０－ｐ＞
　加算部１４０－ｐは、再生信号zpq,zprを入力とし、二つの再生信号を加算して（Ｓ１４０）、和を再生信号kpとして出力する。再生信号k1,k2,k3をそれぞれスピーカ９２Ｆ，９２Ｓ，９２Ｒに出力する。
　このような構成により、加算部１４０－ｐは、指定された集音拡声エリアから発せられる音声を強調した信号を指定した搭乗者の座席に対応するスピーカに出力し、加算部１４０－ｐ’は、指定した搭乗者の座席に対応するマイクロホンにより集音された、指定した搭乗者の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する。なお、p'は、指定された集音拡声エリアを示すインデックスであり、p≠p'である。
　また、音声振分制御値cによる制御により、指定した搭乗者の座席以外に対応するマイクロホンにより集音された音を所望の集音拡声エリアに対応するスピーカに出力しないように制御することができる。
(エコーキャンセラ部１１０－Ｘ－２の詳細)
　p列目のエコーキャンセラ部１１０－Ｘ－２の詳細について説明する。
　図１１はエコーキャンセラ部１１０－Ｘ－２の機能ブロック図である。エコーキャンセラ部１１０－Ｘ－２は、適応フィルタ部１１０－Ｘ－２－１、１１０－Ｘ－２－２、１１０－Ｘ－２－３、１１０－Ｘ－２－４、加算部１１０－Ｘ－２－５、１１０－Ｘ－２－６、減算部１１０－Ｘ－２－７、１１０－Ｘ－２－８、フィルタ保持部１１０－Ｘ－２－９を含む。
　まず、エコーキャンセラ部１１０－Ｘ－２の入力信号である強調信号y'xについて説明する。受信した音声振分制御値cを用いて、p列目のエコーキャンセラ部１１０－Ｘ－２に入力される強調信号y'xを表すと、以下のようにあらわされる。ただし、各信号は、それぞれの信号のある周波数成分の複素数表示とする。
Figure JPOXMLDOC01-appb-M000004
ここで、wxmはx番目の座席の音声を強調するために、集音信号ypmに乗算するためのフィルタ係数である。フィルタ係数の決定方法としては、例えば遅延和ビームフォーマなどの決定方法がある。また、hppm,hqpm,hrpmは、それぞれp列目、q列目、r列目のスピーカから、p列目のm番目のマイクまでの空間伝達特性を表す。h'qp,h'rp,h'ppはそれぞれ前式のフィルタ係数と空間伝達特性の積和
Figure JPOXMLDOC01-appb-M000005
を別の文字として置き換えたものである。
　なお、spに係わる項に関しては集音すべき音声であり、エコーキャンセラを動作させることで集音したい音声まで消去してしまうことを避ける目的でエコーキャンセラ部１１０－Ｘ－２での消去対象から外れ、sq,srに係わる項を消去することを考える。これらの信号の伝達関数にあたる項は、音声振分制御値cの値に応じて伝達関数が（0の場合は除外して）３通りに変化しうることが式から読み取れる。そこでフィルタ保持部１１０－Ｘ－２－９では、たとえばq列目に対応する適応フィルタ部１１０－Ｘ－２－１のフィルタ係数に関し、参照信号sqを用いて更新するフィルタを
Figure JPOXMLDOC01-appb-M000006
のように3通りのバッファを用意し、音声振分制御値cの値に応じてフィルタをロード・ストアを実施する。例えばcpq=1,cqr=0からcpq=1,cqr=1に変わった時、元時刻のフィルタ係数h^qをh^q,2としてフィルタ保持部１１０－Ｘ－９に保存し、代わりにフィルタ係数に用いる値h^qをフィルタ保持部１１０－Ｘ－９にあるh^q,3に置き換えて擬似エコー信号生成、更新を再開する。このとき、q列目の適応フィルタは、p列目の座席の搭乗者に対応するスピーカとp列目の座席の搭乗者の音声を集音するM個のマイクロホンとの間の伝達関数(h'ppに対応する伝達特性)と、r列目の座席の搭乗者に対応するスピーカとM個のマイクロホンとの間の伝達関数(h'rpに対応する伝達特性)と、その両方が加算された伝達関数(h'pp+h'rpに対応する伝達特性)と、に基づき更新される。以下、各部の処理を説明する。
　p列目のフィルタ保持部１１０－Ｘ－９は、適応フィルタ部１１０－Ｘ－２－１用のフィルタh^q,1,h^q,2,h^q,3と、適応フィルタ部１１０－Ｘ－２－２用のフィルタh^r,1,h^r,2,h^r,3とを保持する。p列目のフィルタ保持部１１０－Ｘ－９は、音声振分制御値c=(cpq,cqr,crp)を受け取ると、保持している音声振分制御値cに対応するフィルタh^q,h^rを出力し、その時点まで使われていたフィルタh^q,h^rを受け取り保持する。対応関係は以下の通りである。
Figure JPOXMLDOC01-appb-M000007
　なお、音声振分制御値cを受け取るタイミングは、適宜設定してよい。例えば、音声振分制御値cが変更される度に受け取ってもよい。
　要するに、p列目のフィルタ保持部１１０－Ｘ－９は、q列目の座席に座る搭乗者がp列の座席に座る搭乗者のみと会話する場合と、q列目の座席に座る搭乗者がr列の座席に座る搭乗者のみと会話する場合と、q列目の座席に座る搭乗者がp列の座席に座る搭乗者とr列の座席に座る搭乗者の両方と会話する場合とでエコーをキャンセルするために用いる適応フィルタを異ならせる。その意図としては、例えば車内は同一の音場であるとも考えられるが、実際には座席や列に応じて集音される音は異なる。例えば１列目の搭乗者の音を集音しやすいように設置したマイクロホンであっても、音が放音されるスピーカの位置（つまり音響パス）の違いにより集音される音の特性は異なる。そのため、同一の信号であっても「どのスピーカから再生されたか」により、同一のエコーキャンセラではエコーが残留する場合があるため、音響パスに応じたフィルタの切り替えが必要となる。
　適応フィルタ部１１０－Ｘ－２－１、１１０－Ｘ－２－２は、それぞれフィルタh^q,h^rを受け取り、フィルタリングに用いるものとして設定しておく。
　適応フィルタ部１１０－Ｘ－２－１、１１０－Ｘ－２－２は、それぞれ参照信号sq,srを入力とし、それぞれ適応フィルタh^q,h^rを用いて参照信号sq,srをフィルタリングし、擬似エコーYq,1,Yr,1を生成し、出力する。
　加算部１１０－Ｘ－２－５は、擬似エコーYq,1,Yr,1を入力とし、これらの値の和を擬似エコーY1とし、出力する。
　減算部１１０－Ｘ－２－７は、強調信号y'xと擬似エコーY1とを入力とし、強調信号y'xから擬似エコーY1を減算し、強調信号y'x,1を得、出力する。
　適応フィルタ部１１０－Ｘ－２－３、１１０－Ｘ－２－４は、それぞれ再生信号ml,mrを入力とし、それぞれ適応フィルタを用いて再生信号ml,mrをフィルタリングし、擬似エコーYl,2,Yr,2を生成し、出力する。
　加算部１１０－Ｘ－２－５は、擬似エコーYl,2,Yr,2を入力とし、これらの値の和を擬似エコーY2とし、出力する。
　減算部１１０－Ｘ－２－７は、強調信号y'x,1と擬似エコーY2とを入力とし、強調信号y'x,1から擬似エコーY2を減算し、強調信号y"xを得、出力する。
　さらに、適応フィルタ部１１０－Ｘ－２－１、１１０－Ｘ－２－２、１１０－Ｘ－２－３、１１０－Ｘ－２－４は、エコー成分を消去した強調信号y"x(誤差信号に相当)を入力とし、それぞれ参照信号sq,sr、再生信号ml,mrと強調信号y"xとを用いて適応フィルタを更新する。なお、適応フィルタ部１１０－Ｘ－２－１、１１０－Ｘ－２－２において更新する適応フィルタはフィルタ保持部１１０－Ｘ－２－９に保持されているものではなく、強調信号y"xを得る際に利用した適応フィルタである。
　適応フィルタの更新方法としては様々な方法がある。例えば、参考文献１記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
（参考文献１）大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
＜効果＞
　以上の構成により、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更でき、適切にエコー消去等の処理を実行することができる。
＜変形例＞
　本実施形態では、車載用音響装置のスピーカで再生される再生信号を2チャネルの信号としたが、車載用音響装置のスピーカに合わせて1チャネルまたは３チャネル以上の信号としてもよい。
　本実施形態では、指向性集音部１１０－Ｘ－１を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、指向性集音部１１０－Ｘ－１を用いずに指向性マイクの出力値をエコーキャンセラ部１１０－Ｘ－２に出力してもよい。
　本実施形態では、3列シートの自動車を対象としたが、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえづらい位置関係にある場合に適用すればよい。
　また、本実施形態では自動車内の座席の列間の制御について説明したが、自動車内の座席間において同様の制御を行ってもよい。この場合、所望の集音拡声エリアは、所望の列ではなく、所望の座席を意味する。
　また、本実施形態では、所望の集音拡声エリアを車内のある列の座席としたが、車外のエリアであってもよい。例えば、車外の電話とハンズフリー通話する場合には、通話先のスピーカとマイクロホンによって規定されるエリアを所望の集音拡声エリアとしてもよい。また、通話相手が受話機に耳を当てて通話する場合には、その通話相手を集音拡声対象ともいう。
　本実施形態では、音声振分制御部１３０内の6つの音声認識部１３１－Ｘで音声認識処理を行っているが、会話サポートシステムの外部に設けた音声認識部に強調音声zxを送信し、外部の音声認識部で音声認識処理を行い、会話サポートシステムが認識結果を受け取る構成としてもよい。この場合、6つの音声認識部１３１－Ｘでは、音声認識結果を用いて、判定値fxを求め、出力する。
　本実施形態では、音声振分部１２０内の音声切替部１２２－ｐにおいて、cqrの値が1であれば双方向から来る信号zqr,zrqを通過させ、0であれば通過させないという制御を行っているが、音声切替部１２２－ｐを設けずに常に信号zqr,zrqを通過させ、目的音強調部１１０－Ｘにおいて参照信号として用い、加算部１４０－ｐの直前で音声振分制御値cに基づき、加算部１４０－ｐでの加算対象とするか否かを制御してもよい。
＜その他の変形例＞
　本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　自動車における搭乗者の会話をサポートする会話サポートシステムであって、
    　前記自動車は少なくとも2以上の列に座席が配置されており、
    　第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声対象または集音拡声エリアを指定する音声振分制御部と、
    　指定された前記集音拡声対象または前記集音拡声エリアから発せられる音声を強調した信号を前記第一の座席に対応するスピーカに出力する第一目的音強調部と、
    　前記第一の座席に対応するマイクロホンにより集音された、前記第一の座席から発せられる音声を強調した信号を前記集音拡声対象または前記集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、
    　を有する会話サポートシステム。
  2. 　請求項１の会話サポートシステムであって、
    　前記音声振分制御部において、前記集音拡声対象または前記集音拡声エリアは、
    　前記第一の搭乗者が発した音声を認識した結果を用いて、前記自動車に設置されたスイッチにより指定される、若しくは
    　複数の集音拡声対象または集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定される、
    　会話サポートシステム。
  3. 　請求項１の会話サポートシステムであって、
    　前記音声振分制御部において、
    　前記集音拡声対象または前記集音拡声エリアは、複数の集音拡声対象または集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定され、
    　所望の集音拡声対象または集音拡声エリアとして指定されている集音拡声対象または集音拡声エリアは、前記表示部を見た前記第一の搭乗者により指定を外され、
    　集音拡声対象または集音拡声エリアは、前記自動車の座席または列毎に設定される、
    　会話サポートシステム。
  4. 　請求項１から請求項３の何れかの会話サポートシステムであって、
    　前記第二目的音強調部は、
    　前記第一の座席以外に対応するマイクロホンにより集音された音を前記所望の集音拡声対象または集音拡声エリアに対応するスピーカに出力しない、
    　会話サポートシステム。
  5. 　請求項１から請求項４の何れかの会話サポートシステムであって、
    　さらにエコーキャンセル部を有し、
    　第二の搭乗者が前記第一の搭乗者のみと会話する場合と、
    　前記第二の搭乗者が前記第一の搭乗者以外の第三の搭乗者のみと会話する場合と、
    　前記第二の搭乗者が前記第一の搭乗者と前記第三の搭乗者の両方と会話をする場合と、
    　でエコーをキャンセルするために用いるフィルタを異ならせ、
    　前記フィルタは、前記第一の搭乗者に対応するスピーカと前記第一の搭乗者の音声を集音するマイクロホンとの間の伝達関数と、前記第三の搭乗者に対応するスピーカと前記マイクロホンとの間の伝達関数と、その両方が加算された伝達関数と、に基づき更新される、
    　会話サポートシステム。
  6. 　自動車における搭乗者の会話をサポートする会話サポートシステムを用いる会話サポート方法であって、
    　前記自動車は少なくとも2以上の列に座席が配置されており、
    　前記会話サポートシステムが、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御ステップと、
    　前記会話サポートシステムが、指定された前記集音拡声エリアから発せられる音声を強調した信号を前記第一の座席に対応するスピーカに出力する第一目的音強調ステップと、
    　前記会話サポートシステムが、前記第一の座席に対応するマイクロホンにより集音された、前記第一の座席から発せられる音声を強調した信号を前記集音拡声エリアに対応するスピーカに出力する第二目的音強調ステップと、
    　を有する会話サポート方法。
  7. 　請求項６の会話サポート方法であって、
    　前記音声振分制御ステップにおいて、前記集音拡声エリアは、
    　前記第一の搭乗者が発した音声を認識した結果を用いて、前記自動車に設置されたスイッチにより指定される、若しくは
    　複数の集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定される、
    　会話サポート方法。
  8. 　請求項１から請求項５の何れかの会話サポートシステムとしてコンピュータを機能させるためのプログラム。
PCT/JP2019/029685 2018-08-02 2019-07-29 会話サポートシステム、その方法、およびプログラム WO2020027061A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020533542A JP7020554B2 (ja) 2018-08-02 2019-07-29 会話サポートシステム、その方法、およびプログラム
ES19844912T ES2966500T3 (es) 2018-08-02 2019-07-29 Sistema de ayuda a la conversación, método para el mismo, y programa
US17/264,174 US11425517B2 (en) 2018-08-02 2019-07-29 Conversation support system, method and program for the same
EP19844912.6A EP3833045B1 (en) 2018-08-02 2019-07-29 Conversation assistance system, method therefor, and program
CN201980050857.5A CN112514414B (zh) 2018-08-02 2019-07-29 对话支持系统、其方法以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-145951 2018-08-02
JP2018145951 2018-08-02

Publications (1)

Publication Number Publication Date
WO2020027061A1 true WO2020027061A1 (ja) 2020-02-06

Family

ID=69232246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029685 WO2020027061A1 (ja) 2018-08-02 2019-07-29 会話サポートシステム、その方法、およびプログラム

Country Status (6)

Country Link
US (1) US11425517B2 (ja)
EP (1) EP3833045B1 (ja)
JP (1) JP7020554B2 (ja)
CN (1) CN112514414B (ja)
ES (1) ES2966500T3 (ja)
WO (1) WO2020027061A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4129766A4 (en) * 2020-03-25 2023-04-19 Nissan Motor Co., Ltd. DEVICE AND METHOD FOR PROCESSING SOUND DATA

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230122420A1 (en) * 2021-10-15 2023-04-20 Gulfstream Aerospace Corporation Directional array intercom for internal communication on aircraft

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11342799A (ja) * 1998-06-03 1999-12-14 Mazda Motor Corp 車両用会話支援装置
JP2004078021A (ja) 2002-08-21 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 収音方法、収音装置、および収音プログラム
JP2007221219A (ja) 2006-02-14 2007-08-30 Nippon Telegr & Teleph Corp <Ntt> ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体
WO2017038727A1 (ja) * 2015-08-28 2017-03-09 旭化成株式会社 伝達装置、伝達システム、伝達方法、およびプログラム
JP2018116130A (ja) * 2017-01-18 2018-07-26 アルパイン株式会社 車内音声処理装置および車内音声処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938158C1 (de) * 1999-08-16 2001-01-11 Daimler Chrysler Ag Verfahren und Vorrichtung sowie ihre Verwendung zur Kompensation von Verlusten eines akustischen Signals
DE19958836A1 (de) * 1999-11-29 2001-05-31 Deutsche Telekom Ag Verfahren und Anordnung zur Verbesserung der Kommunikation in einem Fahrzeug
JP4232617B2 (ja) * 2003-11-28 2009-03-04 株式会社デンソー 車室内音場制御システム
EP2211564B1 (en) * 2009-01-23 2014-09-10 Harman Becker Automotive Systems GmbH Passenger compartment communication system
DE102010009888A1 (de) * 2010-03-02 2011-09-08 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Kommunikationsverbesserung in Fahrzeugen
US9305555B2 (en) * 2012-06-25 2016-04-05 Mitsubishi Electric Corporation Onboard information device
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
US9743213B2 (en) * 2014-12-12 2017-08-22 Qualcomm Incorporated Enhanced auditory experience in shared acoustic space
US9672805B2 (en) 2014-12-12 2017-06-06 Qualcomm Incorporated Feedback cancelation for enhanced conversational communications in shared acoustic space
EP3312839B1 (en) 2015-10-16 2020-08-05 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
JP2017083600A (ja) * 2015-10-27 2017-05-18 パナソニックＩｐマネジメント株式会社 車載収音装置及び収音方法
US10002601B2 (en) * 2015-12-30 2018-06-19 Qualcomm Incorporated In-vehicle communication signal processing
US10390136B2 (en) * 2016-12-13 2019-08-20 Yamaha Corporation Howling suppression device and howling suppression method
US9881632B1 (en) * 2017-01-04 2018-01-30 2236008 Ontario Inc. System and method for echo suppression for in-car communications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11342799A (ja) * 1998-06-03 1999-12-14 Mazda Motor Corp 車両用会話支援装置
JP2004078021A (ja) 2002-08-21 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 収音方法、収音装置、および収音プログラム
JP2007221219A (ja) 2006-02-14 2007-08-30 Nippon Telegr & Teleph Corp <Ntt> ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体
WO2017038727A1 (ja) * 2015-08-28 2017-03-09 旭化成株式会社 伝達装置、伝達システム、伝達方法、およびプログラム
JP2018116130A (ja) * 2017-01-18 2018-07-26 アルパイン株式会社 車内音声処理装置および車内音声処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Technology of 'Intelligent microphone for car", 24 May 2018, NIPPON TELEGRAPH AND TELEPHONE CORPORATION
JURO OGAYOSHIO YAMAZAKIYUTAKA KANEDA: "Acoustic System and Digital Processing", 1995, CORONA PUBLISHING CO., LTD, pages: 140 - 141

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4129766A4 (en) * 2020-03-25 2023-04-19 Nissan Motor Co., Ltd. DEVICE AND METHOD FOR PROCESSING SOUND DATA
JP7456490B2 (ja) 2020-03-25 2024-03-27 日産自動車株式会社 音データ処理装置および音データ処理方法

Also Published As

Publication number Publication date
EP3833045B1 (en) 2023-10-25
US11425517B2 (en) 2022-08-23
EP3833045A4 (en) 2022-04-20
ES2966500T3 (es) 2024-04-22
JP7020554B2 (ja) 2022-02-16
CN112514414B (zh) 2022-10-28
CN112514414A (zh) 2021-03-16
EP3833045A1 (en) 2021-06-09
JPWO2020027061A1 (ja) 2021-08-10
US20210314714A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP6580758B2 (ja) 車両の音声プラットホームにおける電話および娯楽オーディオの管理
US20160127827A1 (en) Systems and methods for selecting audio filtering schemes
JP7049803B2 (ja) 車載装置および音声出力方法
WO2020017284A1 (ja) 集音拡声装置、その方法、およびプログラム
WO2020027061A1 (ja) 会話サポートシステム、その方法、およびプログラム
US20220189450A1 (en) Audio processing system and audio processing device
JP6984559B2 (ja) 集音拡声装置、その方法、およびプログラム
JP6995254B2 (ja) 音場制御装置及び音場制御方法
CN115039419A (zh) 信息处理装置、信息处理方法、信息处理程序和信息处理系统
CN112544088B (zh) 拾音扩音装置、其方法以及记录介质
US11894013B2 (en) Sound collection loudspeaker apparatus, method and program for the same
JP7474548B2 (ja) オーディオデータの再生の制御
JP7211498B2 (ja) 音響処理装置、音響処理方法、およびプログラム
JP7255324B2 (ja) 周波数特性変更装置、その方法、およびプログラム
Every et al. An Acoustic Front-End to Speech Recognition in a Vehicle
JP2021135310A (ja) 音声処理装置および音声処理方法
JP2023036332A (ja) 音響システム
JP2020022115A (ja) 集音装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19844912

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020533542

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019844912

Country of ref document: EP

Effective date: 20210302