JP2024026716A - 信号処理装置及び信号処理方法 - Google Patents

信号処理装置及び信号処理方法 Download PDF

Info

Publication number
JP2024026716A
JP2024026716A JP2024002391A JP2024002391A JP2024026716A JP 2024026716 A JP2024026716 A JP 2024026716A JP 2024002391 A JP2024002391 A JP 2024002391A JP 2024002391 A JP2024002391 A JP 2024002391A JP 2024026716 A JP2024026716 A JP 2024026716A
Authority
JP
Japan
Prior art keywords
signal
delay
unit
microphone
delayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024002391A
Other languages
English (en)
Inventor
慎一 杠
Shinichi Yuzuriha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2024002391A priority Critical patent/JP2024026716A/ja
Publication of JP2024026716A publication Critical patent/JP2024026716A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mechanical Engineering (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】ターゲットでない混入音を抑圧し、かつ、ターゲットである音声が抑圧されることを防止することができる信号処理装置を提供する。【解決手段】信号処理装置１は、第１のマイクロホン１１から出力される第１の信号を取得する第１取得部１５と、第２のマイクロホン１２から出力される第２の信号を取得する第２取得部１６と、第３のマイクロホン１３から出力される第３の信号を取得する第３取得部１７と、第２の信号を遅延させる遅延部４ａと、第３の信号を、第１遅延部が第２の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる遅延部４ｂと、遅延部４ａにより遅延させた第２の信号、及び、遅延部４ｂにより遅延させた第３の信号に基づいて、第１の信号に混入する第１のノイズを推定する混入音推定部２と、第１のノイズを第１の信号から消去する消去部３とを備える。【選択図】図１

Description

本開示は、信号処理装置及び信号処理方法に関する。
車載機器として、車両内での運転者等の音声を取得する目的で、主に運転席等に収音装置が設けられることが多い。これにより、運転者等が、インフォテインメント等を利用する際に、音声による操作等を行うことができる。例えば、特許文献１には、例えば、運転者等の音声等である、ターゲットである音声に混入した、運転者以外の音声等であるノイズを推定し、抑圧することができる車載収音装置及び収音方法が開示されている。
特開２０１７－０８３６００号公報
しかしながら、特許文献１に開示された技術では、ターゲットである音声の一部を消去すると、ターゲットである音声を抑圧してしまうことがあった。
本開示の目的は、ターゲットである音声に混入したノイズを抑圧すること、かつ、ターゲットである音声の抑圧を防止することである。
例えば、本開示にかかる信号処理装置は、車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得部と、前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得部と、前記第２の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延部と、前記第３の信号を、前記第１遅延部が前記第２の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、前記第１遅延部により遅延させた前記第２の信号、及び、前記第２遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理装置は、車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得部と、前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得部と、前記第１の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延部と、前記第２の信号を、前記第１遅延部が前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、前記第３の信号を前記同一の遅延時間で遅延させる第３遅延部と、前記第２遅延部により遅延させた前記第２の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第２遅延部により遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定部で推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定部で推定された前記第３のノイズを、前記第３の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理装置は、第１のマイクロホンから出力される第１の信号を取得する第１取得部と、前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、前記第１のマイクロホン及び前記第２のマイクロホンと異なる位置に設置される第３のマイクロホンから出力される第３の信号を取得する第２取得部と、前記第１の信号を遅延させる第１遅延部と、前記第２の信号を、前記第１遅延部が前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、前記第３の信号を前記同一の遅延時間で遅延させる第３遅延部と、前記第２遅延部により遅延させた前記第２の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第２遅延部により遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定部で推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定部で推定された前記第３のノイズを、前記第３の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理方法は、車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得ステップと、前記第２の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延ステップと、前記第３の信号を、前記第１遅延ステップにより前記第２の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、前記第１遅延ステップにより遅延させた前記第２の信号、及び、前記第２遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去する、消去ステップと、を含む。
また、例えば、本開示にかかる信号処理方法は、車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得ステップと、前記第１の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延ステップと、前記第２の信号を、前記第１遅延ステップにより前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、前記第３の信号を前記同一の遅延時間で遅延させる第３遅延ステップと、前記第２遅延ステップにより遅延させた前記第２の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第２遅延ステップにより遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定ステップで推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定ステップで推定された前記第３のノイズを、前記第３の信号から消去する、消去ステップと、を含む。
また、例えば、本開示にかかる信号処理方法は、第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、前記第１のマイクロホン及び前記第２のマイクロホンと異なる位置に設置される第３のマイクロホンから出力される第３の信号を取得する第２取得ステップと、前記第１の信号を遅延させる第１遅延ステップと、前記第２の信号を、前記第１遅延ステップにより前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、前記第３の信号を前記同一の遅延時間で遅延させる第３遅延ステップと、前記第２遅延ステップにより遅延させた前記第２の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第２遅延ステップにより遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定ステップで推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定ステップで推定された前記第３のノイズを、前記第３の信号から消去する、消去ステップと、を含む。
本開示にかかる信号処理装置及び信号処理方法は、ターゲットである音声に混入した、ターゲットでない音声等の混入音を抑圧すること、かつ、ターゲットである音声が抑圧されることを防止することができる。
図１は、本開示の実施の形態における信号処理装置の構成図である。 図２は、本開示の実施の形態における信号処理装置の動作を表すフローチャートである。 図３は、本開示の実施の形態における、遅延部が信号を０ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。 図４は、本開示の実施の形態における、遅延部が信号を２ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後との周波数特性を表した図である。 図５は、本開示の実施の形態における、遅延部において信号を６ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後との周波数特性を表した図である。 図６は、本開示の実施の形態における、遅延部において信号を０ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後との周波数特性を表した図である。 図７は、本開示の実施の形態における、遅延部において信号を２ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後との周波数特性を表した図である。 図８は、本開示の実施の形態における、遅延部において信号を６ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後との周波数特性を表した図である。 図９は、本開示の変形例における、信号処理システムを適用した翻訳システムの図である。
（本開示の基礎となった知見）
従来、ターゲットである音声からノイズを推定するために、ターゲットである音声を取得するマイクロホンと離れた位置に置かれたマイクロホンから取得した信号を用いて、ターゲットである音声を取得するマイクロホンに混入したノイズを推定し、ターゲットである音声に混入したノイズを抑圧する手法が利用されていた。例えば、運転席に設置されたマイクから運転者の音声を取得したい場合に、運転席に設置されたマイクが取得した音声に含まれる運転席以外の座席の搭乗者の音声を特定する必要がある。そのため、運転席以外の座席に設置されたマイクロホンからそれぞれ取得された音声を用いて、運転席に設置されたマイクロホンから取得された音声に混入した運転席以外の座席の搭乗者の音声を特定することが行われていた。ただし、この手法を用いるためには、各座席に設置されているマイクロホン等の収音装置の運転を、各搭乗者の発話のタイミングに合わせて制御することが必要であった。しかし、各座席の搭乗者が発話しているか否かの判定は困難であり、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声を抑圧してしまうという問題がある。また、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声に混入した、他の搭乗者の音声等のノイズを抑圧する性能が低下するという課題もあった。
そこで、本開示の一態様に係る信号処理装置は、第１のマイクロホンから出力される第１の信号を取得する第１取得部と、前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、前記第２の信号を遅延させる遅延部と、前記遅延部により遅延させた前記第２の信号に基づいて、前記第１の信号に混入するノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記ノイズを、前記第１の信号から消去する消去部と、を備えてもよい。
これにより、本開示の一態様に係る信号処理装置は、ターゲットである音声を表す信号を抑圧することなく、ターゲットである音声に混入したノイズである音声を表す信号を抑圧することができる。よって、本開示の一態様における信号処理装置は、ターゲットである音声をより正確に認識することができる。
また、例えば、前記遅延部は、前記第１のマイクロホン及び前記第２のマイクロホンの位置関係に基づいて決定される時間分だけ、前記第２の信号を遅延させてもよい。
これにより、本開示の一態様に係る信号処理装置は、ノイズを表す第２の信号が、ターゲットである音声を表す第１の信号よりも遅く、消去部に到達することを防ぐことができる。よって、本開示の一態様に係る信号処理装置は、既に消去部に到着した第２の信号を用いて、第１の信号を処理することができる。
また、例えば、前記遅延部は、前記第２の信号に含まれる周波数成分に基づいて、前記第２の信号を遅延させてもよい。
これにより、本開示の一態様に係る信号処理装置は、ノイズを表す第２の信号に対して、より適切な遅延時間を設定することができる。よって、本開示の一態様に係る信号処理装置は、より効果的に、ターゲットである音声を表す第１の信号に混入したノイズを抑圧することができる。
また、本開示の一態様に係る信号処理方法は、第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、前記第２の信号を遅延させる遅延ステップと、前記遅延ステップにより遅延させた前記第２の信号に基づいて、前記第１の信号に混入するノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記ノイズを、前記第１の信号から消去する、消去ステップと、を含んでもよい。
これにより、本開示の一態様に係る信号処理方法は、ターゲットである音声を表す信号を抑圧することなく、ターゲットである音声に混入したノイズである音声を表す信号を抑圧することができる。よって、本開示の一態様における信号処理装置は、ターゲットである音声をより正確に認識することができる。
（実施の形態）
以下、実施の形態について、図面を参照しながら具体的に説明する。
図１は、本開示の実施の形態における信号処理装置の構成図である。本開示の実施の形態における信号処理装置１は、マイクロホン１１、マイクロホン１２、マイクロホン１３、マイクロホン１４、第１取得部１５、第２取得部１６、第３取得部１７、第４取得部１８、遅延部４ａ、遅延部４ｂ、遅延部４ｃ、適応フィルタ２ａと適応フィルタ２ｂと適応フィルタ２ｃとを含む混入音推定部２、及び、消去部３から構成される。
マイクロホン１１、マイクロホン１２、マイクロホン１３及びマイクロホン１４は、音声等を取得して、信号に変換する。マイクロホンは、ムービングコイル式マイクロホンでもよいし、リボンマイクロホンでもよい。また、マイクロホンは、コンデンサマイクロホンでもよいし、レーザ光学式マイクロホン等でもよい。
第１取得部１５は、マイクロホン１１と有線または無線で電気的に接続されている。第１取得部１５は、マイクロホン１１から、マイクロホン１１が取得した音声を変換した信号を受信する。第１取得部１５は、遅延部を持たない。
第２取得部１６は、マイクロホン１２と有線または無線で電気的に接続されている。第２取得部１６は、マイクロホン１２から、マイクロホン１２が取得した音声を変換した信号を受信する。
第３取得部１７は、マイクロホン１３と有線または無線で電気的に接続されている。第３取得部１７は、マイクロホン１３から、マイクロホン１３が取得した音声を変換した信号を受信する。
第４取得部１８は、マイクロホン１４と有線または無線で電気的に接続されている。第４取得部１８は、マイクロホン１４から、マイクロホン１４が取得した音声を変換した信号を受信する。
第１取得部１５、第２取得部１６、第３取得部１７、第４取得部１８、遅延部４ａ、遅延部４ｂ、遅延部４ｃ、適応フィルタ２ａと適応フィルタ２ｂと適応フィルタ２ｃとを含む混入音推定部２、及び、消去部３は、プロセッサ及びメモリによって実現される。プロセッサ及びメモリの機能は、クラウドコンピューティングによって提供されるものを利用してもよい。また、第１取得部１５、第２取得部１６、第３取得部１７、第４取得部１８、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃは、それぞれ専用の回路によって実現されてもよい。
遅延部４ａは第２取得部１６と、遅延部４ｂは第３取得部１７と、遅延部４ｃは第４取得部１８と、それぞれ、有線または無線で電気的に接続されている。遅延部４ａ、遅延部４ｂ及び遅延部４ｃは、第２取得部１６、第３取得部１７及び第４取得部１８がそれぞれ取得した第２の信号、第３の信号及び第４の信号を、それぞれ受信し、受信した信号を所定時間遅延させる。ここで、信号を遅延させるとは、遅延部４ａ、遅延部４ｂ、遅延部４ｃが受信した信号を、一定時間経ってから、混入音推定部２に送信することを指す。また、例えば、遅延部４ａ、遅延部４ｂ及び遅延部４ｃは、信号を所定時間遅延させるための、連続的に接続された複数のメモリによってスタックを実現するメモリ群である。当該メモリ群は、信号を遅延させるために、取得した信号を、Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ（ＦＩＦＯ）で出力してもよい。また、例えば、遅延部４ａ、遅延部４ｂ及び遅延部４ｃが信号を出力させる時間は、マイクロホン１１と、マイクロホン１２、マイクロホン１３及びマイクロホン１４とのそれぞれの距離を音速で除した値以下である。
混入音推定部２は、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃを備える。混入音推定部２は、遅延部４ａ、遅延部４ｂ及び遅延部４ｃと有線または無線で電気的に接続されている。混入音推定部２は、遅延部４ａ、遅延部４ｂ及び遅延部４ｃが遅延させた第２の信号、第３の信号及び第４の信号を受信する。混入音推定部２は、第２の信号、第３の信号及び第４の信号に基づいて、第１取得部１５が取得した第１の信号に混入したノイズを推定する。
具体的には、混入音推定部２は、消去部３から出力される信号ＳＯ（出力信号の一例）が、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃの入力と無相関または独立となるように、所定の適応アルゴリズムを用いて、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃのフィルタ係数を補正する。信号ＳＯは、マイクロホン１１が取得した信号Ｓ１（第１の信号の一例）から混入音信号Ｓ２′が減じられた信号である。よって、信号ＳＯが適応フィルタ２ａの入力と無相関または独立となるように適応フィルタ２ａのフィルタ係数が補正されると、適応フィルタ２ａから出力される信号は、信号Ｓ１に含まれる、搭乗者Ｐ２が発する音声が、搭乗者Ｐ１が発生した音声に混入した音である混入音を示す混入音信号Ｓ２′を示すことになる。
なお、混入音推定部２は、フィルタ係数の補正処理を定期的に実行してもよいし、マイクロホン１２、マイクロホン１３及びマイクロホン１４が一定レベル以上の信号を取得する都度、実行してもよい。ここで、所定の適応アルゴリズムとしては、ＬＭＳ（Ｔｈｅ ｌｅａｓｔ－ｍｅａｎ－ｓｑｕａｒｅ）アルゴリズム、または、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｉｓｙｓ）アルゴリズム等が採用できる。
適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃは、係数が可変である数学的なフィルタを通して、受信した信号から、必要な信号を取り出す。具体的には、上述した通り、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃは、随時、計算によって新たな係数を算出し、フィルタに使用する係数を変更することができる。係数の計算には、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃそれぞれの出力をフィードバックして使用する動的非線形フィードバック制御等を行うことができる。また、適応フィルタ２ａ、適応フィルタ２ｂ及び適応フィルタ２ｃは、受信した信号の出力の大きさ（ゲイン）を変更することができる。適応フィルタとしては、ＬＭＳフィルタ等が採用できる。
消去部３は、第１取得部１５及び混入音推定部２と、有線または無線で電気的に接続されている。消去部３は、第１取得部１５が取得した第１の信号における、混入音推定部２が推定したノイズを、抑圧する。
例えば、信号処理装置１において、自動車の運転席にマイクロホン１１が、自動車の助手席にマイクロホン１２が、自動車の後部座席にマイクロホン１３及びマイクロホン１４が設置されてもよい。この場合、信号処理装置１は、自動車の運転席の搭乗者（運転者）の音声から、ノイズを抑圧するために作動する。自動車の運転席以外の座席の搭乗者の音声から、ノイズを抑圧するために、上記の構成要素と対称な信号処理システムが自動車に搭載されてもよい。例えば、自動車の助手席の搭乗者の音声からノイズを抑圧するために、自動車の助手席にマイクロホン１１が、自動車の運転席にマイクロホン１２が、自動車の後部座席にマイクロホン１３及びマイクロホン１４が設置されてもよい。また、例えば、自動車の左側の後部座席の搭乗者の音声からノイズを抑圧するために、自動車の左側の後部座席にマイクロホン１１が、自動車の運転席にマイクロホン１２が、自動車の助手席にマイクロホン１３が、自動車の右側の後部座席にマイクロホン１４が設置されてもよい。また、例えば、自動車の右側の後部座席の搭乗者の音声からノイズを抑圧するために、自動車の右側の後部座席にマイクロホン１１が、自動車の運転席にマイクロホン１２が、自動車の助手席にマイクロホン１３が、自動車の左側の後部座席にマイクロホン１４が設置されてもよい。また、これらの対称な信号処理システムは複数設置されてもよい。
マイクロホン１１、マイクロホン１２、マイクロホン１３及びマイクロホン１４の、信号処理装置１の他の構成要素との接続関係は、上記に説明したものと同一とする。また、マイクロホン１１、マイクロホン１２、マイクロホン１３及びマイクロホン１４の設置場所は、上記に示した場所に限らない。また、マイクロホンが設置される自動車の座席は４つに限らない。４つ以上の場所に４つ以上のマイクロホンが設置されてもよい。例えば、３列シートの乗用車等における６つの座席であってもよいし、６つ以上の数の場所であってもよい。また、マイクロホンの設置場所は３つ以下であってもよい。
また、ここで述べた各構成要素は、信号処理装置１に複数設置されてもよい。
図２は、本開示の実施の形態における信号処理装置の動作を表すフローチャートである。以下では、フローチャートを使って、システム全体の流れを説明する。
まず、信号処理装置１において、第１取得部１５及び第２取得部１６が、マイクロホン１１及びマイクロホン１２から、それぞれ第１の信号及び第２の信号を取得する（ステップＳ１０１）。このとき、さらに、第３取得部１７及び第４取得部１８が、マイクロホン１３及びマイクロホン１４から、それぞれ第３の信号及び第４の信号を取得してもよい。
次に、信号処理装置１において、遅延部４ａが、第２取得部１６から受信した第２の信号を所定時間遅延させる（ステップＳ１０２）。このとき、さらに、遅延部４ｂ及び遅延部４ｃは、第３取得部１７から受信した第３の信号及び第４取得部１８から受信した第４の信号を所定時間遅延させてもよい。
遅延部４ａ、遅延部４ｂ及び遅延部４ｃが、第２の信号、第３の信号及び第４の信号を遅延させる時間は、すべて同一でもよいし、それぞれ異なってもよい。遅延部４ａ、遅延部４ｂ及び遅延部４ｃが、第２の信号、第３の信号及び第４の信号を遅延させる時間は、マイクロホン１１と、マイクロホン１２、マイクロホン１３及びマイクロホン１４、とのそれぞれの位置関係から決定されてもよい。ここで、位置関係とは、例えば、マイクロホン１１との距離等のことである。例えば、マイクロホン１１との距離が長いほど、信号を遅延させる時間を長くしてもよい。
また、遅延部４ａ、遅延部４ｂ及び遅延部４ｃが、第２の信号、第３の信号及び第４の信号を遅延させる時間は、第２の信号、第３の信号及び第４の信号それぞれの周波数に応じて、個別に決定されてもよい。例えば、遅延部４ａが、周波数解析によって第２の信号の周波数を特定する。そして、遅延部４ａは，あらかじめ用意された、周波数に応じた遅延時間を定めたテーブルに基づいて、信号を遅延させる時間を決定してもよい。また、遅延部４ａは、同一の信号内でも、周波数成分に応じて、信号を遅延させる時間を決定してもよい。低周波数の信号では、波長が長いため、信号の遅延が有効に作用しにくい。例えば、低周波数の信号を遅延させる時間を一定時間以上に設定すると、第１の信号を抑圧する程度が低減することが実験から判明している。よって、例えば、低周波数成分の信号を遅延させる時間を一定時間以上長く設定し、高周波数成分の信号を遅延させる時間を一定時間より短く設定してもよい。
また、遅延部４ａ、遅延部４ｂ及び遅延部４ｃが、第２の信号、第３の信号及び第４の信号を遅延させる時間は、車室内等の温度によって決定されてもよい。
遅延部４ａ、遅延部４ｂ及び遅延部４ｃが、第２の信号、第３の信号及び第４の信号を遅延させる時間は、マイクロホン１１と、マイクロホン１２、マイクロホン１３及びマイクロホン１４との間を音声が進むのにかかる時間を超えないように、遅延部４ａ、遅延部４ｂ及び遅延部４ｃによって設定される。例えば、マイクロホン１１と、マイクロホン１２との間の距離が１ｍで、マイクロホン１１と、マイクロホン１２との間を音声が進むためにかかる時間が３ｍｓｅｃである場合、遅延部４ａは、第２の信号に、３ｍｓｅｃ以内の遅延時間を設定する。
続いて、信号処理装置１において、混入音推定部２が、遅延部４ａによって遅延させられた第２の信号に基づいて、第１取得部１５が取得した第１の信号に混入したノイズを推定する（ステップＳ１０３）。このとき、混入音推定部２が、さらに、遅延部４ｂ及び遅延部４ｃによって遅延させられた第３の信号及び第４の信号に基づいて、第１取得部１５が取得した第１の信号に混入したノイズを推定してもよい。
そして、信号処理装置１において、消去部３が、第１の信号において、混入音推定部２によって推定されたノイズを抑圧する（ステップＳ１０４）。
次に、図３から図８を用いて信号処理装置１において処理された信号の様子について説明する。
信号処理装置１において、第２取得部１６、第３取得部１７及び第４取得部１８が取得した信号を適切な時間遅延させることによって、第２取得部１６、第３取得部１７及び第４取得部１８から取得された音声等を表す信号に含まれるターゲットとなる音声を表す信号をノイズとして推定することを防止できる。第２取得部１６、第３取得部１７及び第４取得部１８が取得した音声等を表す信号に含まれるターゲットとなる音声を表す信号が、第１取得部１５から取得されたターゲットとなる音声を表す信号より遅れて、消去部３に到達する。このため、消去部３が、第２取得部１６、第３取得部１７及び第４取得部１８から取得された音声等の信号に含まれるターゲットとなる音声を表す信号に基づいて、第１取得部１５が取得したターゲットとなる音声を抑圧することが起きない。
図３は、本開示の実施の形態における、遅延部が信号を０ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１００は、遅延部４ａが第２の信号を０ｍｓｅｃ遅延させたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１０１は、遅延部４ａが第２の信号を０ｍｓｅｃ遅延させたときの、消去部３による処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１０１は、線１００よりも低い値を示している。つまり、遅延部４ａにおいて第２の信号に０ｍｓｅｃの遅延を加えたとき、消去部３を作動させると、消去部３が第１の信号を抑圧してしまう。これは、第２の信号に、第１の信号と同じ波形の信号が含まれているため、第２の信号を用いて推定されたノイズを消去することによって、第１の信号が抑圧されてしまうためである。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン１２によって取得される音声に、車室内での反射等を経て、混入する。助手席に設置されたマイクロホン１２によって取得された音声に混入した運転者の音声に基づいて、運転席に設置されたマイクロホン１１によって取得された音声に含まれる運転者の音声が抑圧されてしまう。
図４は、本開示の実施の形態における、遅延部が信号を２ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１０２は、遅延部４ａが第２の信号を２ｍｓｅｃ遅延させたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１０３は、遅延部４ａが第２の信号に２ｍｓｅｃ遅延させたときの、適応フィルタ２ａによる処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１０２は、線１０３よりも低い値を示しているが、図３に示された線１００と線１０１との差よりも、差が縮小している。
つまり、遅延部４ａにおいて第２の信号を２ｍｓｅｃ遅延させたとき、消去部３を作動させると、消去部３が第１の信号を抑圧してしまう量が削減される。これは、第２の信号を２ｍｓｅｃ遅延させたことによって、第２の信号に含まれる第１の信号と同じ波形の信号が減少したことによる。よって、第２の信号を用いて推定されたノイズを消去することによって、第１の信号が抑圧されてしまうことが、図３で示された場合よりも低減される。
ここで、２ｍｓｅｃの遅延は、空気中の音速が約３４０ｍ／秒であるため、音声が進む距離にして、約６０ｃｍから約７０ｃｍに相当する。つまり、マイクロホン１１及びマイクロホン１２が約６０ｃｍから約７０ｃｍ離れて設置されている場合、運転者の音声がマイクロホン１２に到達するのにかかる時間が、約２ｍｓｅｃである。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン１２によって取得される音声に、車室内での反射等を経て、混入する。しかしながら、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を２ｍｓｅｃ遅延させることで、助手席に設置されたマイクロホン１２によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン１１によって取得された音声に含まれる運転者の音声が抑圧される程度が低減される。消去部３が、助手席に設置されたマイクロホン１２によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン１１によって取得された音声に含まれる運転者の音声を抑圧するためには、助手席に設置されたマイクロホン１２によって取得された音声が、運転席に設置されたマイクロホン１１によって取得された音声よりも先に消去部３に到着していなければならない。しかし、助手席に設置されたマイクロホン１２によって取得された音声を遅延させることで、助手席に設置されたマイクロホン１２によって取得された音声が、運転席に設置されたマイクロホン１１によって取得された音声よりも先に消去部３に到着できなくなる。よって、消去部３が、助手席に設置されたマイクロホン１２によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン１１によって取得された音声に含まれる運転者の音声を抑圧する程度が低減する。
図５は、本開示の実施の形態における、遅延部において信号を６ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１０４は、第１の信号を６ｍｓｅｃ遅延させたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１０５は、第１の信号を６ｓｅｃ遅延させたときの、適応フィルタ２ａによる処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１０４は、線１０５よりも低い値を示しているが、図４に示された線１０２と線１０３との差よりも、線１０４と線１０５との差が縮小している。
つまり、遅延部４ａにおいて第２の信号を６ｍｓｅｃ遅延させたとき、消去部３を作動させると、消去部３が第１の信号を抑圧してしまう量が削減される。これは、第２の信号を６ｍｓｅｃ遅延させたことによって、第２の信号に含まれる第１の信号と同じ波形の信号が減少したことによる。よって、第２の信号を用いて推定されたノイズを消去することによって、第１の信号が抑圧されてしまうことが、図４で示された線１０２と線１０３との差よりも低減される。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン１２によって取得された音声に、車室内での反射等を経て、混入する。しかしながら、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を６ｍｓｅｃ遅延させることで、助手席に設置されたマイクロホン１２によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン１１によって取得された音声に含まれる運転者の音声が抑圧される程度が、２ｍｓｅｃ遅延させたときよりも、さらに低減される。
図３、図４及び図５から分かるように、ターゲットとなる音声を表す信号は、遅延部において遅延させることで、抑圧される程度が低減される。
図６は、本開示の実施の形態における、遅延部において信号を０ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１０６は、第１の信号を０ｍｓｅｃ遅延させたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１０７は、第１の信号を０ｍｓｅｃ遅延させたときの、適応フィルタ２ａによる処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１０４は、線１０５よりも２０ｄＢほど低い値を示している。つまり、運転席に設置されたマイクロホン１１に混入した助手席の搭乗者の音声が抑圧されている。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン１１によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン１２によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン１１によって取得された音声からノイズを取り除く。図６に示されるように、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を０ｍｓｅｃ遅延させた場合、運転席に設置されたマイクロホン１１によって取得された音声は、約２０ｄＢ抑圧される。
図７は、本開示の実施の形態における、遅延部において信号を２ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１０８は、第１の信号を２ｍｓｅｃ遅延させたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１０９は、第１の信号に２ｍｓｅｃの遅延を加えたときの、適応フィルタ２ａによる処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１０８は、線１０９よりも低い値を示している。しかしながら、図６に示された第１の信号の抑圧量よりも、図７に示された第１の信号の抑圧量が低減している。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。上述したように、助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン１１によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン１２によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン１１によって取得された音声からノイズを取り除く。図７に示されるように、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を２ｍｓｅｃ遅延させた場合、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を０ｍｓｅｃ遅延させた場合に比べて、運転席に設置されたマイクロホン１１によって取得された音声が抑圧される程度が低減する。運転席に設置されたマイクロホン１１から取得された音声に混入した助手席の搭乗者の音声をノイズとして推定し、運転席に設置されたマイクロホン１１から取得された音声から抑圧するという観点からは、助手席に設置されたマイクロホン１２から取得された音声を表す信号を遅延させない方が望ましい。
図８は、本開示の実施の形態における、遅延部において信号を６ｍｓｅｃ遅延させたときの、運転席に設置されたマイクロホン１１から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線１１０は、第１の信号に６ｍｓｅｃの遅延を加えたときの、消去部３による処理を施していない第１の信号の周波数特性である。線１１１は、第１の信号を６ｍｓｅｃ遅延させたときの、適応フィルタ２ａによる処理を施した第１の信号の周波数特性である。約１００Ｈｚから約１００００Ｈｚの間にわたって、線１１０は、線１１１よりも低い値を示している。しかしながら、図７に示された抑圧量よりも、図８で示された抑圧量が低減している。
例えば、運転席に設置されたマイクロホン１１によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン１２によって取得された音声を用いる場合を考える。上述したように、助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン１１によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン１２によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン１１によって取得された音声からノイズを取り除く。図７に示されるように、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を６ｍｓｅｃ遅延させた場合、助手席に設置されたマイクロホン１２によって取得された音声を表す信号を０ｍｓｅｃ遅延させた場合及び助手席に設置されたマイクロホン１２によって取得された音声を表す信号を２ｍｓｅｃ遅延させた場合に比べて、運転席に設置されたマイクロホン１１によって取得された音声が抑圧される程度が低減する。運転席に設置されたマイクロホン１１から取得された音声に混入した助手席の搭乗者の音声をノイズとして推定し、運転席に設置されたマイクロホン１１から取得された音声からノイズを抑圧するという観点からは、助手席に設置されたマイクロホン１２から取得された音声を表す信号を遅延させない方が望ましい。
図６、図７及び図８から分かるように、ノイズである音声を表す信号は、遅延部４ａにおいて遅延させることで、抑圧される程度が低減されてしまう。よって、ノイズである音声を表す信号を抑圧するためには、遅延部４ａにおいて、所定時間より遅延させない方が望ましい。
逆に、図３、図４及び図５に示されるように、ターゲットである音声を抑圧しないようにするには、所定時間以上、信号を遅延させる方が望ましい。ただし、前述のように、信号を遅延させる時間は、マイクロホン１１と、マイクロホン１２、マイクロホン１３及びマイクロホン１４との間を音声が進むのにかかる時間を超えないように、遅延部４ａ、遅延部４ｂ及び遅延部４ｃによって設定される。
遅延部４ａ、遅延部４ｂ及び遅延部４ｃによって設定される信号の遅延時間は、図３から図８に示されるような、信号処理装置１における音声の抑圧の傾向に基づいて、決定されてもよい。
（変形例）
上記の信号処理装置１は、発話者の音声を認識し、他言語に翻訳して出力する翻訳システム２０にも適用できる。図９は、本開示の変形例における、信号処理システムを適用した翻訳システムの図である。図９に示されるように、翻訳システム２０は、マイクロホン２１ａ、マイクロホン２１ｂ、第１取得部２５、第２取得部２６、適応フィルタ２２を含む遅延部２４及び消去部２３から構成される。翻訳システム２０は、さらに、ノイズが抑圧された音声を認識して翻訳を行う情報処理部、及び、翻訳結果を出力する出力部を備えていてもよい。
第１取得部２５は、マイクロホン２１ａと有線または無線で電気的に接続されている。第１取得部２５は、マイクロホン２１ａから、音声等の第１の信号を取得する。第１取得部２５は、マイクロホン２１ａから、マイクロホン２１ａが取得した音声を変換した信号を受信する。
第２取得部２６は、マイクロホン２１ｂと有線または無線で電気的に接続されている。第２取得部２６は、マイクロホン２１ｂから、音声等の第２の信号を取得する。第２取得部２６は、マイクロホン２１ｂから、マイクロホン２１ｂが取得した音声を変換した信号を受信する。
第１取得部２５、第２取得部２６、適応フィルタ２２を含む遅延部２４及び消去部２３は、プロセッサ及びメモリによって実現される。プロセッサ及びメモリの機能は、クラウドコンピューティングによって提供されるものを利用してもよい。また、第１取得部２５、第２取得部２６及び適応フィルタ２２は、それぞれ専用の回路によって実現されてもよい。
遅延部２４は、第２取得部２６と、有線または無線で電気的に接続されている。遅延部２４は、第２取得部２６が取得した第５の信号を受信し、受信した信号を所定時間遅延させる。
適応フィルタ２２は、遅延部２４と有線または無線で電気的に接続されている。適応フィルタ２２は、遅延部２４が遅延させた第５の信号を受信する。適応フィルタ２２は、第５の信号に基づいて、第１取得部２５が取得した第５の信号に混入したノイズを推定する。
適応フィルタ２２は、係数が可変である数学的なフィルタを通して、受信した信号から、必要な信号を取り出す。適応フィルタ２２は、随時、計算によって新たな係数を算出し、フィルタに使用する係数を変更することができる。
消去部２３は、第１取得部２５と、適応フィルタ２２と、有線または無線で電気的に接続されている。消去部２３は、適応フィルタ２２が推定したノイズを、第１取得部２５が取得した第５の信号から抑圧する。
本開示の変形例における翻訳システム２０は、人物３０ａ及び人物３０ｂが対面で使用することが想定されている。翻訳システム２０において、人物３０ａが発した音声を、マイクロホン２１ａを通じて第１取得部２５が取得する。また、翻訳システム２０において、人物３０ｂが発した音声を、マイクロホン２１ｂを通じて第２取得部２６が取得する。第２取得部２６が取得した音声信号は、遅延部２４で一定時間遅延させられ、適応フィルタ２２で処理される。そして、適応フィルタ２２で推定されたノイズの情報が消去部２３に到着する。消去部２３は、第１取得部２５が取得した音声信号から、適応フィルタ２２で推定されたノイズを抑圧する。
ノイズが抑圧された音声信号に対して、翻訳処理が行われ、翻訳結果が出力される。以上のようにして、翻訳システム２０は、人物３０ａの発した音声から人物３０ｂの発した音声等のノイズを抑圧することができる。なお、翻訳システム２０に含まれる各構成要素の数は、上記に示したものより増やされてもよい。本開示の変形例における翻訳システム２０では、２人の人物が使用することが想定されているが、使用する人数は２人に限らない。本開示の変形例における翻訳システム２０は、３人以上で使用されうる構成であってもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以上、信号処理装置１及び信号処理方法について、実施の形態に基づいて説明したが、信号処理システム及び信号処理方法は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、車載収音システムまたは翻訳システムに適用可能である。
１ 信号処理装置
２ 混入音推定部
２ａ、２ｂ、２ｃ、２２ 適応フィルタ
３、２３ 消去部
４ａ、４ｂ、４ｃ、２４ 遅延部
１１、１２、１３、１４、２１ａ、２１ｂ マイクロホン
１５、２５ 第１取得部
１６、２６ 第２取得部
１７ 第３取得部
１８ 第４取得部
２０ 翻訳システム
３０ａ、３０ｂ 人物
１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１０、１１１ 線

Claims (8)

  1. 車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得部と、
    前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、
    前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得部と、
    前記第２の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延部と、
    前記第３の信号を、前記第１遅延部が前記第２の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、
    前記第１遅延部により遅延させた前記第２の信号、及び、前記第２遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定する、混入音推定部と、
    前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去する消去部と、を備える、
    信号処理装置。
  2. さらに、前記第１の信号を前記同一の遅延時間で遅延させる第３遅延部を備え、
    前記混入音推定部は、前記第３遅延部により遅延させた前記第１の信号、及び、前記第２遅延部により遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、
    前記消去部は、前記混入音推定部で推定された前記第２のノイズを、前記第２の信号から消去する、
    請求項１に記載の信号処理装置。
  3. 前記混入音推定部は、前記第３遅延部により遅延させた前記第１の信号、及び、前記第１遅延部により遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定し、
    前記消去部は、前記混入音推定部で推定された前記第３のノイズを、前記第３の信号から消去する、
    請求項２に記載の信号処理装置。
  4. 車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得部と、
    前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、
    前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得部と、
    前記第１の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延部と、
    前記第２の信号を、前記第１遅延部が前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、
    前記第３の信号を前記同一の遅延時間で遅延させる第３遅延部と、
    前記第２遅延部により遅延させた前記第２の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第２遅延部により遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定部と、
    前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定部で推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定部で推定された前記第３のノイズを、前記第３の信号から消去する消去部と、を備える、
    信号処理装置。
  5. 第１のマイクロホンから出力される第１の信号を取得する第１取得部と、
    前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得部と、
    前記第１のマイクロホン及び前記第２のマイクロホンと異なる位置に設置される第３のマイクロホンから出力される第３の信号を取得する第２取得部と、
    前記第１の信号を遅延させる第１遅延部と、
    前記第２の信号を、前記第１遅延部が前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延部と、
    前記第３の信号を前記同一の遅延時間で遅延させる第３遅延部と、
    前記第２遅延部により遅延させた前記第２の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第３遅延部により遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延部により遅延させた前記第１の信号、及び、前記第２遅延部により遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定部と、
    前記混入音推定部で推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定部で推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定部で推定された前記第３のノイズを、前記第３の信号から消去する消去部と、を備える、
    信号処理装置。
  6. 車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、
    前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、
    前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得ステップと、
    前記第２の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延ステップと、
    前記第３の信号を、前記第１遅延ステップにより前記第２の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、
    前記第１遅延ステップにより遅延させた前記第２の信号、及び、前記第２遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定する、混入音推定ステップと、
    前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去する、消去ステップと、を含む、
    信号処理方法。
  7. 車両の運転席に設置される第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、
    前記車両の助手席に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、
    前記車両の後部座席に設置される第３のマイクロホンから出力される第３の信号を取得する第３取得ステップと、
    前記第１の信号を２ｍｓｅｃ以内の遅延時間で遅延させる第１遅延ステップと、
    前記第２の信号を、前記第１遅延ステップにより前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、
    前記第３の信号を前記同一の遅延時間で遅延させる第３遅延ステップと、
    前記第２遅延ステップにより遅延させた前記第２の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第２遅延ステップにより遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定ステップと、
    前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定ステップで推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定ステップで推定された前記第３のノイズを、前記第３の信号から消去する、消去ステップと、を含む、
    信号処理方法。
  8. 第１のマイクロホンから出力される第１の信号を取得する第１取得ステップと、
    前記第１のマイクロホンと異なる位置に設置される第２のマイクロホンから出力される第２の信号を取得する第２取得ステップと、
    前記第１のマイクロホン及び前記第２のマイクロホンと異なる位置に設置される第３のマイクロホンから出力される第３の信号を取得する第２取得ステップと、
    前記第１の信号を遅延させる第１遅延ステップと、
    前記第２の信号を、前記第１遅延ステップにより前記第１の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第２遅延ステップと、
    前記第３の信号を前記同一の遅延時間で遅延させる第３遅延ステップと、
    前記第２遅延ステップにより遅延させた前記第２の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第１の信号に混入する第１のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第３遅延ステップにより遅延させた前記第３の信号に基づいて、前記第２の信号に混入する第２のノイズを推定し、前記第１遅延ステップにより遅延させた前記第１の信号、及び、前記第２遅延ステップにより遅延させた前記第２の信号に基づいて、前記第３の信号に混入する第３のノイズを推定する、混入音推定ステップと、
    前記混入音推定ステップで推定された前記第１のノイズを、前記第１の信号から消去し、前記混入音推定ステップで推定された前記第２のノイズを、前記第２の信号から消去し、前記混入音推定ステップで推定された前記第３のノイズを、前記第３の信号から消去する、消去ステップと、を含む、
    信号処理方法。
JP2024002391A 2019-03-06 2024-01-11 信号処理装置及び信号処理方法 Pending JP2024026716A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024002391A JP2024026716A (ja) 2019-03-06 2024-01-11 信号処理装置及び信号処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019040131A JP2020144204A (ja) 2019-03-06 2019-03-06 信号処理装置及び信号処理方法
JP2024002391A JP2024026716A (ja) 2019-03-06 2024-01-11 信号処理装置及び信号処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019040131A Division JP2020144204A (ja) 2019-03-06 2019-03-06 信号処理装置及び信号処理方法

Publications (1)

Publication Number Publication Date
JP2024026716A true JP2024026716A (ja) 2024-02-28

Family

ID=69845074

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019040131A Pending JP2020144204A (ja) 2019-03-06 2019-03-06 信号処理装置及び信号処理方法
JP2024002391A Pending JP2024026716A (ja) 2019-03-06 2024-01-11 信号処理装置及び信号処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019040131A Pending JP2020144204A (ja) 2019-03-06 2019-03-06 信号処理装置及び信号処理方法

Country Status (4)

Country Link
US (1) US11323802B2 (ja)
EP (1) EP3706124A1 (ja)
JP (2) JP2020144204A (ja)
CN (1) CN111667845A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD691112S1 (en) 2012-01-09 2013-10-08 Beats Electronics, Llc Gaming headset
CN114464203B (zh) * 2022-01-18 2022-10-25 小米汽车科技有限公司 噪声过滤方法、装置、系统、车辆及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3301445B2 (ja) * 1992-08-25 2002-07-15 ソニー株式会社 音声入力装置
US7146013B1 (en) * 1999-04-28 2006-12-05 Alpine Electronics, Inc. Microphone system
US6584203B2 (en) * 2001-07-18 2003-06-24 Agere Systems Inc. Second-order adaptive differential microphone array
WO2007106399A2 (en) * 2006-03-10 2007-09-20 Mh Acoustics, Llc Noise-reducing directional microphone array
FR2898209B1 (fr) * 2006-03-01 2008-12-12 Parrot Sa Procede de debruitage d'un signal audio
JP2008022515A (ja) * 2006-06-14 2008-01-31 Matsushita Electric Works Ltd 通話装置
US7983428B2 (en) * 2007-05-09 2011-07-19 Motorola Mobility, Inc. Noise reduction on wireless headset input via dual channel calibration within mobile phone
US9473850B2 (en) * 2007-07-19 2016-10-18 Alon Konchitsky Voice signals improvements in compressed wireless communications systems
WO2014062152A1 (en) * 2012-10-15 2014-04-24 Mh Acoustics, Llc Noise-reducing directional microphone array
FR2976111B1 (fr) * 2011-06-01 2013-07-05 Parrot Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres"
WO2016114988A2 (en) * 2015-01-12 2016-07-21 Mh Acoustics, Llc Reverberation suppression using multiple beamformers
US10028051B2 (en) * 2015-08-31 2018-07-17 Panasonic Intellectual Property Management Co., Ltd. Sound source localization apparatus
JP2017083600A (ja) 2015-10-27 2017-05-18 パナソニックＩｐマネジメント株式会社 車載収音装置及び収音方法

Also Published As

Publication number Publication date
US20200288239A1 (en) 2020-09-10
JP2020144204A (ja) 2020-09-10
US11323802B2 (en) 2022-05-03
EP3706124A1 (en) 2020-09-09
CN111667845A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
US20140112496A1 (en) Microphone placement for noise cancellation in vehicles
EP3346683B1 (en) System and method for echo supression for in-car communication
JP2024026716A (ja) 信号処理装置及び信号処理方法
CN108281156B (zh) 语音界面和声乐娱乐系统
JP5694063B2 (ja) 車両用キャビンのための屋内通信システム
EP2850611B1 (en) Noise dependent signal processing for in-car communication systems with multiple acoustic zones
JP4283212B2 (ja) 雑音除去装置、雑音除去プログラム、及び雑音除去方法
US8705753B2 (en) System for processing sound signals in a vehicle multimedia system
JP5156260B2 (ja) 雑音を除去して目的音を抽出する方法、前処理部、音声認識システムおよびプログラム
US8165310B2 (en) Dereverberation and feedback compensation system
CN108235187B (zh) 啸声抑制设备和啸声抑制方法
EP3188181A1 (en) Active noise-control system with source-separated reference signal
CN108550370B (zh) 用于车内通信的反馈控制的系统和方法
WO2016103709A1 (ja) 音声処理装置
US20200245066A1 (en) Sound processing apparatus and sound processing method
US20120155674A1 (en) Sound processing apparatus and recording medium storing a sound processing program
WO2019181758A1 (ja) 会話支援装置
EP2490218B1 (en) Method for interference suppression
JP2020134566A (ja) 音声処理システム、音声処理装置及び音声処理方法
GB2553571A (en) Apparatus and method for privacy enhancement
CN113519169B (zh) 用于音频啸叫衰减的方法和装置
CN113841198B (zh) 使用相干性的信号分量估计
CN113450818A (zh) 提高人声品质方法以及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240111