JP7124532B2 - 集音拡声装置、その方法、およびプログラム - Google Patents

集音拡声装置、その方法、およびプログラム Download PDF

Info

Publication number
JP7124532B2
JP7124532B2 JP2018145950A JP2018145950A JP7124532B2 JP 7124532 B2 JP7124532 B2 JP 7124532B2 JP 2018145950 A JP2018145950 A JP 2018145950A JP 2018145950 A JP2018145950 A JP 2018145950A JP 7124532 B2 JP7124532 B2 JP 7124532B2
Authority
JP
Japan
Prior art keywords
sound
signal
vehicle
collected
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018145950A
Other languages
English (en)
Other versions
JP2020022113A (ja
Inventor
和則 小林
翔一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018145950A priority Critical patent/JP7124532B2/ja
Priority to PCT/JP2019/027245 priority patent/WO2020026725A1/ja
Priority to US17/263,522 priority patent/US11894013B2/en
Publication of JP2020022113A publication Critical patent/JP2020022113A/ja
Application granted granted Critical
Publication of JP7124532B2 publication Critical patent/JP7124532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/34—Muting amplifier when no signal is present or when only weak signals are present, or caused by the presence of noise signals, e.g. squelch systems
    • H03G3/344—Muting responsive to the amount of noise (noise squelch)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、マイクとスピーカを用いて車両内で会話を円滑に行う集音拡声技術に関する。
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献１参照)。これは前席に乗車している人の声をマイク９１Ｆで集音して後席のスピーカ９２Ｒで再生することで会話を行いやすくするものである（図１参照）。さらに後席の音声をマイク９１Ｒで集音して前席のスピーカ９２Ｆで再生するものもある（図２参照）。
"「インテリジェントマイク for car」の技術について"、［online］、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
マイク９１Ｆ，９１Ｒで集音した音をそれぞれスピーカ９２Ｒ，９２Ｆから再生するが、マイク９１Ｆ，９１Ｒに風があたっていたり、手でこすったりした場合、非常に大きなノイズがスピーカ９２Ｒ，９２Ｆから再生されてしまうため、利用者が不快になる場合がある。
本発明は、拡声すべきでない状況を検出し、スピーカからの拡声を停止する仕組みを持つ集音拡声装置、その方法、およびプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には少なくとも集音位置と拡声位置とが想定され、集音位置から発せられる音を集音するマイクから得られる集音信号に含まれる雑音成分の大きさの推定値である雑音レベルを求める雑音レベル推定部と、(i)雑音レベルが所定の閾値以下または閾値よりも小さいときに、集音信号に基づく音響信号が、スピーカから拡声位置において再生されるように制御し、(ii)雑音レベルが閾値よりも大きいまたは閾値以上のときに、音響信号がスピーカから再生されないように制御する制御部とを含む。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には少なくとも集音位置と拡声位置とが想定され、(i)車両に搭載される車載用音響装置から出力される音楽信号のレベルが所定の閾値以下または閾値よりも小さいときに、集音位置から発せられる音を集音するマイクから得られる集音信号に基づく音響信号が、スピーカから拡声位置において再生されるように制御し、(ii)音楽信号のレベルが閾値よりも大きいまたは閾値以上のときに、音響信号がスピーカから再生されないように制御する制御部を含む。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には少なくとも集音位置と拡声位置とが想定され、(i)車両の開口部に配置される開閉手段が開口部を閉じている場合には集音位置から発せられる音を集音するマイクから得られる集音信号に基づく音響信号が、スピーカから拡声位置において再生されるように制御し、(ii)開口部を開いている場合には音響信号がスピーカから再生されないように制御する制御部とを含む。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には少なくとも集音位置と拡声位置とが想定され、集音位置から発せられる音を集音するM個のマイクから得られるM個の集音信号間の相関を求める相関取得部と、(i)相関が高い場合、集音信号に基づく音響信号がスピーカから拡声位置において再生されるように制御し、(ii)それ以外の場合、音響信号がスピーカから再生されないように制御する制御部とを含む。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には少なくとも集音位置と拡声位置とが想定され、集音位置から発せられる音を集音するマイクから得られる集音信号のレベルを求める集音信号レベル計算部と、(i)集音信号のレベルが所定の閾値以下または閾値よりも小さいときに、集音信号に基づく音響信号が、スピーカから拡声位置において再生されるように制御し、(ii)集音信号のレベルが閾値よりも大きいまたは閾値以上のときに、音響信号がスピーカから再生されないように制御する制御部とを含む。
本発明によれば、拡声すべきでない状況を検出し、スピーカからの拡声を停止し、利用者が不快になることを防ぐことができるという効果を奏する。
本実施形態の車両の説明をするための図。 インカーコミュニケーションと呼ばれる機能が搭載された自動車の例を示す図。 第一実施形態に係る集音拡声装置の機能ブロック図。 第一実施形態に係る集音拡声装置の処理フローの例を示す図。 第一実施形態に係る雑音レベル推定部の機能ブロック図。 第二実施形態に係る集音拡声装置の機能ブロック図。 第二実施形態に係る集音拡声装置の処理フローの例を示す図。 第三実施形態に係る集音拡声装置の機能ブロック図。 第三実施形態に係る集音拡声装置の処理フローの例を示す図。 第四実施形態に係る集音拡声装置の機能ブロック図。 第四実施形態に係る集音拡声装置の処理フローの例を示す図。 第五実施形態に係る集音拡声装置の機能ブロック図。 第五実施形態に係る集音拡声装置の処理フローの例を示す図。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態＞
図３は第一実施形態に係る集音拡声装置の機能ブロック図を、図４はその処理フローを示す。
集音拡声装置は、雑音レベル推定部１１１と制御部１２０とを含む。
集音拡声装置は、マイク９１Ｆから得られる集音信号XFを入力とし、スピーカ９２Ｒに出力する。なお、信号XFは、ある周波数成分の複素数表示である。ここで、周波数領域の信号XFをそのまま入出力としてもよいし、時間領域の信号を入力とし図示しない周波数領域変換部において周波数領域の信号XFに変換(例えばフーリエ変換等)して用いてもよいし、周波数領域の信号XFを図示しない時間領域変換部において時間領域の信号に変換(例えば逆フーリエ変換等)して出力してもよい。
本実施形態では、集音拡声装置が搭載される車両は、図２のような構造とし、３列シートを備える。さらに、本実施形態の車両は、主に１列目の話者の音声を集音するマイク９１Ｆを備える。マイク９１Ｆは、M個のマイクで構成される。Mは１以上の整数の何れかである。さらに、本実施形態の車両は、３列目の座席の聴取者に対して音を再生するスピーカ９２Ｒを備える。なお、本実施形態では、マイク９１Ｒ、スピーカ９２Ｆを備えないものとする。スピーカ９２ＲはM個のスピーカで構成される。なお、本実施形態では、M個のマイクで集音された音を、M個のスピーカでそれぞれ再生する構成としているが、M個のマイクで集音された音に対して何らかの信号処理（例えばビームフォーミング、雑音抑圧、エコー消去等）を行い、N個の再生信号を生成し、P個のスピーカで再生する構成としてもよい。N,Pはそれぞれ１以上の整数の何れかある。例えば、2個(N=2)の再生信号（ステレオ信号）を生成し、それぞれ受聴者の左右に配置された2個(P=2)のスピーカで再生してもよいし、1個(N=1)の再生信号（モノラル信号）を生成し、それを受聴者の左右に配置された2個(P=2)のスピーカで再生してもよい。スピーカでは集音信号自体、または、集音信号に基づく音響信号(集音信号に対してビームフォーミング処理や雑音抑圧処理、エコー消去処理を施した信号)を再生する。
集音拡声装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。
以下、各部について説明する。
＜雑音レベル推定部１１１＞
雑音レベル推定部１１１は、集音信号XFを入力とし、集音信号XFに含まれる雑音成分の大きさの推定値である雑音レベルNFを求め（Ｓ１１１）、出力する。以下では、周波数毎、フレーム毎の処理であることを明示するために集音信号XF、雑音レベルNFをそれぞれXF(ω,n),NF(ω,n)と表す。なお、ωは周波数を表し、nはフレーム番号を表す。
図５に、雑音レベル推定部１１１のより具体的な機能構成例を示す。雑音レベル推定部１１１は、レベル計算手段１１１－１と、時間平滑手段１１１－２と、ディップホールド手段１１１－３とを備える。
レベル計算手段１１１－１は、集音信号XF(ω,n)の大きさを求める。大きさとは、集音信号XF(ω,n)の絶対値｜XF(ω,n)｜、又は、そのパワー｜XF(ω,n)｜2であり、レベル計算手段１１１－１は、少なくとも何れかの値を計算により求める。大きさとはレベルと称しても良い値である。
そして、時間平滑手段１１１－２は、絶対値若しくはパワーで表される集音信号のレベルを時間平滑化した集音信号レベルZF(ω,n)を計算する（式（１）または式（２））。式（１），（２）のαは平滑化係数であり、０以上１未満の値を取る。１に近いほど長い時間での平滑化が行われる。
ZF(ω,n)=αZF(ω,n-1)+(1-α)｜XF(ω,n)｜ (1)
または
ZF(ω,n)=αZF(ω,n-1)+(1-α)｜XF(ω,n)｜2 (2)
ディップホールド手段１１１－３は、時間平滑後の集音信号レベルZF(ω,n)に対して、例えば次式に示す最小値を保持するディップホールド処理を行い、雑音レベルNF(ω,n)を求める。
NF(ω,n)=Z(ω,n) for NF(ω,n-1)≧Z(ω,n)
NF(ω,n)=uZ(ω,n-1) for NF(ω,n-1)<Z(ω,n)
１フレーム前の雑音レベルNF(ω,n-1)が、時間平滑化した集音信号レベルZ(ω,n)よりも大きい場合は、推定する雑音レベルNF(ω,n)に時間平滑化した集音信号レベルZ(ω,n)を代入し、それ以外の場合は、1フレーム前の雑音レベルNF(ω,n-1)に1以上の定数uを乗じて僅かにノイズレベルを上昇させる。定数uは予め設定しておく。uは雑音レベルの上昇係数であり、1に近いほど穏やかなノイズレベルの上昇となる。
＜制御部１２０＞
制御部１２０は、集音信号XFと雑音レベルNFとを入力とし、(i)雑音レベルNFが所定の閾値以下または閾値よりも小さいときに、集音信号XFをスピーカ９２Ｒに出力する(Ｓ１２０－１のＹＥＳ、Ｓ１２０－２)。
一方、(ii)雑音レベルが閾値よりも大きいまたは閾値以上のときは、集音信号XFをスピーカ９２Ｒに出力しない(Ｓ１２０－１のＮＯ)。マイク９１Ｆからスピーカ９２Ｒへの音の経路を遮断するといってもよい。言い換えると、(i)雑音レベルNFが所定の閾値以下または閾値よりも小さいときに、集音信号XFが、スピーカ９２Ｒから拡声位置において再生されるように制御し、(ii)雑音レベルが閾値よりも大きいまたは閾値以上のときに、集音信号XFが、スピーカ９２Ｒから再生されないように制御する。
なお、全く再生されないように制御することに代えて、利用者が不快にならない程度まで十分に音量を下げるように制御してもよい。例えば20db音量を下げるよう制御してもよい。ここで、「集音信号XFが、スピーカ９２Ｒから再生されないように制御する」とは、全く再生されないように制御することを意味してもよいし、利用者が不快になる音量で再生されないように制御することを意味してもよい。この点は、他の実施形態においても同様である。
＜効果＞
以上の構成により、スピーカ９２Ｒから音を再生すべきでないほど騒音が大きい場合に、拡声機能を停止できる。
＜変形例＞
本実施形態では、前席の音声をマイク９１Ｆで集音して後席のスピーカ９２Ｒで再生する構成について説明したが、図２の後席の音声をマイク９１Ｒで集音して前席のスピーカ９２Ｆで再生する構成においても同様に適用してもよい。なお、以降で説明する実施形態においても同様である。
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
図６は第二実施形態に係る集音拡声装置の機能ブロック図を、図７はその処理フローを示す。
集音拡声装置は、制御部２２０を含む。
集音拡声装置は、マイク９１Ｆから得られる集音信号XFと音楽信号のレベルとを入力とし、集音信号XFをスピーカ９２Ｒに出力する。本実施形態の車両には図示しない車載用音響装置(カーオーディオ等)が搭載されており、上述の音楽信号は、車載用音響装置のスピーカから再生される。本実施形態では、車載用音響装置が音楽信号のレベル(音量情報等)を出力し、集音拡声装置の入力とする。
＜制御部２２０＞
制御部２２０は、集音信号XFと音楽信号のレベルを入力とし、(i)音楽信号のレベルが所定の閾値以下または閾値よりも小さいときに、集音信号XFをスピーカ９２Ｒに出力する(Ｓ２２０－１のＹＥＳ、Ｓ２２０－２)。
一方、(ii)音楽信号のレベルが閾値よりも大きいまたは閾値以上のときは、集音信号XFをスピーカ９２Ｒに出力しない(Ｓ２２０－１のＮＯ)。マイク９１Ｆからスピーカ９２Ｒへの音の経路を遮断するといってもよい。言い換えると、(i)音楽信号のレベルが所定の閾値以下または閾値よりも小さいときに、集音信号XFが、スピーカ９２Ｒから拡声位置において再生されるように制御し、(ii)音楽信号のレベルが閾値よりも大きいまたは閾値以上のときに、集音信号XFが、スピーカ９２Ｒから再生されないように制御する。
なお、本実施形態では、音楽信号のレベルを入力としているが、音楽信号そのものを入力とし、集音拡声装置内でそのレベル（絶対値またはパワー、それらを時間平滑化したもの等）を求めてもよい。
＜効果＞
以上の構成により、オーディオを大音量で聞いている場合など、明らかに車内の同乗者と会話する環境でない場合に、拡声機能を自動でＯＦＦすることができる。
＜第三実施形態＞
第一実施形態と異なる部分を中心に説明する。
図８は第三実施形態に係る集音拡声装置の機能ブロック図を、図９はその処理フローを示す。
集音拡声装置は、制御部３２０を含む。
集音拡声装置は、マイク９１Ｆから得られる集音信号XFとドアや窓、バックドアの開閉状態を示す情報とを入力とし、集音信号XFをスピーカ９２Ｒに出力する。本実施形態の車両には図示しない車載システムが搭載されており、上述の開閉状態を示す情報は、車載システムから出力される。車載システムは、車両の開口部に配置される開閉手段（ドアや窓、バックドア等）を制御する。
＜制御部３２０＞
制御部３２０は、集音信号XFと開閉状態を示す情報を入力とし、(i)車両の開口部に配置される開閉手段が開口部を閉じている場合には、集音信号XFをスピーカ９２Ｒに出力する(Ｓ３２０－１のＹＥＳ、Ｓ３２０－２)。
一方、(ii)開口部を開いている場合は、集音信号XFをスピーカ９２Ｒに出力しない(Ｓ３２０－１のＮＯ)。マイク９１Ｆからスピーカ９２Ｒへの音の経路を遮断するといってもよい。言い換えると、(i)開閉手段が開口部を閉じている場合に、集音信号XFが、スピーカ９２Ｒから拡声位置において再生されるように制御し、(ii)開閉手段が開口部を開いている場合に、集音信号XFが、スピーカ９２Ｒから再生されないように制御する。
なお、本実施形態では、車載システムの出力値である開閉状態を示す情報を入力としているが、開閉手段の開閉状態を検知するセンサ等を設け、センサの出力値を開閉状態を示す情報として用いてもよい。
＜効果＞
以上の構成により、マイクに風があたることによる大音量のノイズがスピーカから出るのを防止できる。そのため、スピーカから再生するか否かの判断に利用する開閉手段は、その開閉手段が開いていることで、マイクに風があたるものを利用すればよい。また、複数の開閉手段の開閉状態を利用する場合には、各開閉手段が開いていることで大音量のノイズがスピーカから出るのであれば論理和を用いればよいし(複数の開閉手段の何れか一つが開いている場合、音の経路を遮断する)、２つ以上の開閉手段が同時に開いている場合にのみ大音量のノイズがスピーカから出るのであれば、論理積を用いればよい(所定の複数の開閉手段が同時に開いている場合、音の経路を遮断する)。
＜第四実施形態＞
第一実施形態と異なる部分を中心に説明する。
本実施形態では、複数のマイクを使い、マイク間の信号の相関を観測することで、風がマイクにあたっているかを検出する。より詳しく説明すると、通常、車両内での人の発話はマイク間で相関（正の相関）が高いが、風があたることによるノイズはマイク間で無相関であるため、この性質を利用して風がマイクにあたっているかを検出する。つまり、マイク間の相関を計算し、相関が低い場合は風がマイクにあたっていると検出する。
図１０は第四実施形態に係る集音拡声装置の機能ブロック図を、図１１はその処理フローを示す。
集音拡声装置は、相関取得部４１１と制御部４２０とを含む。
集音拡声装置は、マイク９１Ｆから得られる集音信号XF=[XF,1,XF,2,…,XF,M]を入力とし、集音信号XFをスピーカ９２Ｒに出力する。なお、前述の通り、マイク９１Ｆは、M個のマイクで構成されるが、本実施形態では、Mは２以上の整数の何れかである。
＜相関取得部４１１＞
相関取得部４１１は、集音信号XF=[XF,1,XF,2,…,XF,M]を入力とし、M個の集音信号XF,m間の相関を求め、出力する。m=1,2,…,Mである。例えば、M個の集音信号XF,m間の相関係数を計算し、出力する。
＜制御部４２０＞
制御部４２０は、集音信号XFとM個の集音信号XF,m間の相関を入力とし、(i)相関が高い場合、集音信号XFをスピーカ９２Ｒに出力する(Ｓ４２０－１のＹＥＳ、Ｓ４２０－２)。
一方、(ii)それ以外の場合、集音信号XFをスピーカ９２Ｒに出力しない(Ｓ４２０－１のＮＯ)。マイク９１Ｆからスピーカ９２Ｒへの音の経路を遮断するといってもよい。言い換えると、(i)相関が高い場合、M個の集音信号がスピーカから拡声位置において再生されるように制御し、(ii)それ以外の場合、M個の集音信号がスピーカから再生されないように制御する。例えば、M個の集音信号XF,m間の相関係数の全てが、所定の閾値よりも大きい場合に相関が高いと判断し、相関係数の何れかが、所定の閾値以下の場合に相関が低いと判断する。
＜効果＞
以上の構成により、マイクに風があたることによる大音量のノイズがスピーカから出るのを防止できる。
＜第五実施形態＞
第一実施形態と異なる部分を中心に説明する。
本実施形態では、マイクを手でこすったり、風があたったり、ドアの開け閉めの音など、マイクに入力される音が非常に大きい場合に、マイクからスピーカへの音の経路を遮断する。
図１２は第五実施形態に係る集音拡声装置の機能ブロック図を、図１３はその処理フローを示す。
集音拡声装置は、レベル計算部５１１と制御部５２０とを含む。
集音拡声装置は、マイク９１Ｆから得られる集音信号XFを入力とし、集音信号XFをスピーカ９２Ｒに出力する。
＜レベル計算部５１１＞
雑音レベル推定部５１１は、集音信号XFを入力とし、集音信号XFのレベルを求め（Ｓ５１１）、出力する。集音信号XFのレベルとしては、集音信号XFの絶対値またはパワー、それらを時間平滑化したもの等が考えられる。
＜制御部４２０＞
制御部４２０は、集音信号XFとそのレベルを入力とし、(i)集音信号のレベルが所定の閾値以下または閾値よりも小さいときに、集音信号XFをスピーカ９２Ｒに出力する(Ｓ５２０－１のＹＥＳ、Ｓ５２０－２)。
一方、(ii)集音信号のレベルが閾値よりも大きいまたは閾値以上のときに、集音信号XFをスピーカ９２Ｒに出力しない(Ｓ５２０－１のＮＯ)。言い換えると、(i)集音信号のレベルが所定の閾値以下または閾値よりも小さいときに、スピーカから拡声位置において集音信号が再生されるように制御し、(ii)集音信号のレベルが閾値よりも大きいまたは閾値以上のときに、集音信号がスピーカから再生されないように制御する。
＜効果＞
以上の構成により、マイクを手でこすったり、風があたったり、ドアの開け閉めの音など、マイクに入力される音が非常に大きい場合に、マイクからスピーカへの音の経路を遮断し、大音量のノイズがスピーカから出るのを防止できる。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 車両に搭載される集音拡声装置であって、
    前記車両内には少なくとも集音位置と拡声位置とが想定され、
    (i)前記車両の開口部に配置される開閉手段が前記開口部を閉じている場合には前記集音位置から発せられる音を集音するマイクから得られる集音信号に基づく音響信号が、スピーカから前記拡声位置において再生されるように制御し、(ii)前記開口部を開いている場合には前記音響信号が前記スピーカから再生されないように制御することで拡声機能を停止させる制御部とを含む、
    集音拡声装置。
  2. 車両に搭載される集音拡声装置であって、
    前記車両内には少なくとも集音位置と拡声位置とが想定され、
    前記集音位置から発せられる音を集音するマイクから得られる集音信号のレベルを求める集音信号レベル計算部と、
    (i)前記集音信号のレベルが所定の閾値以下または前記閾値よりも小さいときに、前記集音信号に基づく音響信号が、スピーカから前記拡声位置において再生されるように制御し、(ii)前記集音信号のレベルが前記閾値よりも大きいまたは前記閾値以上のときに、前記音響信号が前記スピーカから再生されないように制御することで拡声機能を停止させる制御部とを含む、
    集音拡声装置。
  3. 車両に搭載される集音拡声装置を用いる集音拡声方法であって、
    前記車両内には少なくとも集音位置と拡声位置とが想定され、
    前記集音拡声装置が、(i)前記車両の開口部に配置される開閉手段が前記開口部を閉じている場合には前記集音位置から発せられる音を集音するマイクから得られる集音信号に基づく音響信号が、スピーカから前記拡声位置において再生されるように制御し、(ii)前記開口部を開いている場合には前記音響信号が前記スピーカから再生されないように制御することで拡声機能を停止させる制御ステップとを含む、
    集音拡声方法。
  4. 車両に搭載される集音拡声装置を用いる集音拡声方法であって、
    前記車両内には少なくとも集音位置と拡声位置とが想定され、
    前記集音拡声装置が、前記集音位置から発せられる音を集音するマイクから得られる集音信号のレベルを求める集音信号レベル計算ステップと、
    前記集音拡声装置が、(i)前記集音信号のレベルが所定の閾値以下または前記閾値よりも小さいときに、前記集音信号に基づく音響信号が、スピーカから前記拡声位置において再生されるように制御し、(ii)前記集音信号のレベルが前記閾値よりも大きいまたは前記閾値以上のときに、前記音響信号が前記スピーカから再生されないように制御することで拡声機能を停止させる制御ステップとを含む、
    集音拡声方法。
  5. 請求項１から請求項２の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
JP2018145950A 2018-08-02 2018-08-02 集音拡声装置、その方法、およびプログラム Active JP7124532B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018145950A JP7124532B2 (ja) 2018-08-02 2018-08-02 集音拡声装置、その方法、およびプログラム
PCT/JP2019/027245 WO2020026725A1 (ja) 2018-08-02 2019-07-10 集音拡声装置、その方法、およびプログラム
US17/263,522 US11894013B2 (en) 2018-08-02 2019-07-10 Sound collection loudspeaker apparatus, method and program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018145950A JP7124532B2 (ja) 2018-08-02 2018-08-02 集音拡声装置、その方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020022113A JP2020022113A (ja) 2020-02-06
JP7124532B2 true JP7124532B2 (ja) 2022-08-24

Family

ID=69230731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145950A Active JP7124532B2 (ja) 2018-08-02 2018-08-02 集音拡声装置、その方法、およびプログラム

Country Status (3)

Country Link
US (1) US11894013B2 (ja)
JP (1) JP7124532B2 (ja)
WO (1) WO2020026725A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047671A (ja) 1998-07-28 2000-02-18 Alpine Electronics Inc 車載オーディオ装置
JP2012195801A (ja) 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置
JP2016051038A (ja) 2014-08-29 2016-04-11 株式会社Ｊｖｃケンウッド ノイズゲート装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298989A (ja) * 1998-04-09 1999-10-29 Sony Corp 再生装置
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
JP2019068237A (ja) 2017-09-29 2019-04-25 株式会社デンソーテン 会話支援装置、会話支援システムおよび会話支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047671A (ja) 1998-07-28 2000-02-18 Alpine Electronics Inc 車載オーディオ装置
JP2012195801A (ja) 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置
JP2016051038A (ja) 2014-08-29 2016-04-11 株式会社Ｊｖｃケンウッド ノイズゲート装置

Also Published As

Publication number Publication date
US20210233552A1 (en) 2021-07-29
JP2020022113A (ja) 2020-02-06
WO2020026725A1 (ja) 2020-02-06
US11894013B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
US11017799B2 (en) Method for processing voice in interior environment of vehicle and electronic device using noise data based on input signal to noise ratio
WO2018188282A1 (zh) 回声消除方法、装置、会议平板及计算机存储介质
WO2020017284A1 (ja) 集音拡声装置、その方法、およびプログラム
EP4021011B1 (en) Method and apparatus for recognizing wind noise of earphone, and earphone
WO2019160006A1 (ja) ハウリング抑圧装置、その方法、およびプログラム
JP7124532B2 (ja) 集音拡声装置、その方法、およびプログラム
JP7020554B2 (ja) 会話サポートシステム、その方法、およびプログラム
JP6537997B2 (ja) エコー抑圧装置、その方法、プログラム、及び記録媒体
JP6984559B2 (ja) 集音拡声装置、その方法、およびプログラム
JP7147849B2 (ja) 集音拡声装置、その方法、およびプログラム
WO2023013019A1 (ja) 発話フィードバック装置、発話フィードバック方法、プログラム
JP7255324B2 (ja) 周波数特性変更装置、その方法、およびプログラム
JP4504891B2 (ja) 反響消去方法、反響消去装置、プログラム、記録媒体
JP4094522B2 (ja) 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体
WO2023013020A1 (ja) マスキング装置、マスキング方法、プログラム
US20230108565A1 (en) Reproduction apparatus, method and program for the same
JP4094523B2 (ja) 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体
JP2012195756A (ja) 音響再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220627

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R150 Certificate of patent or registration of utility model

Ref document number: 7124532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150