JPWO2016059878A1 - 信号処理装置、信号処理方法及びコンピュータプログラム - Google Patents

信号処理装置、信号処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JPWO2016059878A1
JPWO2016059878A1 JP2016554004A JP2016554004A JPWO2016059878A1 JP WO2016059878 A1 JPWO2016059878 A1 JP WO2016059878A1 JP 2016554004 A JP2016554004 A JP 2016554004A JP 2016554004 A JP2016554004 A JP 2016554004A JP WO2016059878 A1 JPWO2016059878 A1 JP WO2016059878A1
Authority
JP
Japan
Prior art keywords
signal
audio signal
noise
unit
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016554004A
Other languages
English (en)
Inventor
慎平 土谷
慎平 土谷
一敦 大栗
一敦 大栗
徹徳 板橋
徹徳 板橋
宏平 浅田
宏平 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016059878A1 publication Critical patent/JPWO2016059878A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823Reference signals, e.g. ambient acoustic environment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17873General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/105Appliances, e.g. washing machines or dishwashers
    • G10K2210/1053Hi-fi, i.e. anything involving music, radios or loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3016Control strategies, e.g. energy minimization or intensity measurements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3028Filtering, e.g. Kalman filters or special analogue or digital filters

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】ノイズキャンセル信号を生成するリソースを有効に使用することが可能な信号処理装置を提供する。【解決手段】入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析する信号解析部と、前記第2音声信号をキャンセルするためのキャンセル信号を生成するキャンセル処理部と、前記信号解析部の解析の結果に基づいて前記キャンセル処理部で用いられる制御パラメータを生成するパラメータ生成部と、を備える、信号処理装置が提供される。【選択図】図1

Description

本開示は、信号処理装置、信号処理方法及びコンピュータプログラムに関する。
携帯型のオーディオプレーヤの普及に伴い、当該携帯型のオーディオプレーヤ用のヘッドホンやイヤホンを対象として、外部環境のノイズ(騒音)を低減して、リスナに対して、外部ノイズを低減して良好な再生音場空間を提供するようにしたノイズ低減システムが普及し始めている。
例えば特許文献1には、周囲のノイズを集音するためのマイクで集音されたノイズ信号を用いて、リスナの耳元でノイズの音圧が最小となるような逆位相のノイズキャンセル信号を生成し、ノイズを打ち消すことが可能なノイズ低減システムの技術が開示されている。
特開2008−193421号公報
ノイズキャンセル信号は、ヘッドホンやイヤホンに供給されるオーディオ信号には依存せず、リスナの周囲のノイズに基づいて生成される。ノイズキャンセル信号を、オーディオ信号に基づいて効果的に生成することが出来れば、処理のためのリソースを有効に使用できる。
そこで本開示では、ノイズキャンセル信号を生成するリソースを有効に使用することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提案する。
本開示によれば、入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析する信号解析部と、前記第2音声信号をキャンセルするためのキャンセル信号を生成するキャンセル処理部と、前記信号解析部の解析の結果に基づいて前記キャンセル処理部で用いられる制御パラメータを生成するパラメータ生成部と、を備える、信号処理装置が提供される。
また本開示によれば、入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、を含む、信号処理方法が提供される。
また本開示によれば、入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、をコンピュータに実行させる、コンピュータプログラムが提供される。
以上説明したように本開示によれば、ノイズキャンセル信号を生成するリソースを有効に使用することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。 本開示の一実施形態に係る信号処理装置100の動作例を示す流れ図である。 オーディオ信号、ノイズキャンセル前のノイズ信号、及びノイズキャンセル後のノイズ信号の周波数特性の例を示す説明図である。 オーディオ信号、ノイズキャンセル前のノイズ信号、及びノイズキャンセル後のノイズ信号の周波数特性の例を示す説明図である。 本開示の一実施形態に係る信号処理装置100の構成例を示す説明図である。 本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。 本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。 リミッタ112の機能構成例を示す説明図である。 リミッタ112に入力されてくる信号とリミッタ112から出力される信号との間の関係の例をグラフで示す説明図である。 リミッタ112の内部における信号の時間推移をグラフで示す説明図である。 リミッタ112による制限をかけない場合の信号の時間推移をグラフで示す説明図である。 リミッタ112による制限をかけた場合の信号の時間推移をグラフで示す説明図である。 本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。 従来のノイズキャンセル機能を実行する信号処理装置10の構成例を示す説明図である。 マスキング効果を説明する説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態
1.1.概要
1.2.機能構成例
1.3.動作例
1.4.適用例
2.まとめ
<1.本開示の一実施形態>
[1.1.概要]
本開示の実施の形態について説明する前に、最初に本開示の一実施形態の概要について説明する。
図14は、従来のノイズキャンセル機能を実行する信号処理装置10の構成例を示す説明図である。従来のノイズキャンセル機能を実行する信号処理装置10は、例えば、オーディオ信号1に対して周波数特性を調節するイコライザ11と、イコライザ11が出力するオーディオ信号のゲインを調整する音量調整部12と、マイク20で集音されてマイクアンプ21で増幅されたノイズ信号をデジタル信号に変換するADコンバータ(ADC)13と、ノイズキャンセル信号を生成するデジタルノイズキャンセリング(DNC)フィルタ14と、ノイズのキャンセル量を調整するキャンセル量調整部15と、オーディオ信号にノイズキャンセル信号を重畳する加算部16と、加算部16の出力をアナログ信号に変換するDAコンバータ(DAC)17と、を含んで構成される。DAコンバータ17の出力信号は、ヘッドホンのアンプ22で増幅された後に、ドライバ23から出力されることで、リスナに音を伝達する。
上述したように、ノイズキャンセル信号は、ヘッドホンやイヤホンに供給されるオーディオ信号には依存せず、リスナの周囲のノイズに基づいて生成される。すなわち、図Aに示した信号処理装置10は、オーディオ信号とは無関係に、DNCフィルタ14によってノイズキャンセル信号を生成する。つまり、従来のノイズキャンセル機能を実行する信号処理装置10は、全ての周波数帯域でノイズキャンセル信号を生成しており、処理のためのリソースを有効に使用していると言えない。
そこで、本件開示者らは、人間の聴覚特性を利用することで、より効率的なノイズキャンセル処理を行なうことが可能な技術について鋭意検討を行なった。
リスナがオーディオ信号に基づいて出力される音を聞きながら、例えばノイズキャンセル機能を使用する場合、人間の聴覚特性のために、オーディオ信号に基づいた音でノイズがマスクされ、騒音がリスナに元々知覚されない周波数帯域にもノイズキャンセル信号が生成されることになる。
これはマスキング効果と呼ばれる人間の聴覚特性が有する現象である。すなわち、マスキング効果とは、ある音が聞こえている場合にもう一つの音を聞かせると、2番目の音は1番目の音によってマスクされて聞こえなくなる現象である。ヘッドホンやイヤホンから出力される音をリスナが聞く場合、周囲のノイズによってその音が聞こえづらくなるために、リスナはノイズキャンセル機能を使用する訳であるが、オーディオ信号と周囲のノイズとのレベルや周波数特性によっては、オーディオ信号による音がマスキング効果を及ぼすマスカーとして働き、ノイズをマスクする場合がある。
図15は、マスキング効果を説明する説明図である。例えば、ある周波数帯域で再生させる信号Aがある場合、その信号Aのラウドネス(音の大きさ)によって、信号Aに基づく音でマスクされる領域が生じる。一般的に、図15に示したように、ある信号に基づいて出力される音によって、その信号より高い周波数帯域の音がマスクされる。またマスクされる範囲は音の周波数や大きさによって異なる。
従って、マスキング効果が起こり、オーディオ信号によってノイズがマスクされる帯域では積極的にノイズキャンセル処理を行わなくても、オーディオ信号に基づく音によってノイズの存在は無視されることになる。周波数マスキングを模擬するラウドネスチャートは、ISO 532Bで規定されており、そのラウドネスチャートを用いることで、どの周波数帯域がマスクされるかどうかの演算が可能である。
そこで本件開示者らは、以下で説明するように、人間の聴覚特性を利用することで、より効率的なノイズキャンセル処理を行なうことが可能な技術を想到するに至った。
以上、本開示の一実施形態の概要について説明した。続いて本開示の一実施形態の詳細な説明に移る。まず、本開示の一実施形態に係る信号処理装置の機能構成例について説明する。
[1.2.機能構成例]
図1は、本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。図1に示した信号処理装置100は、リスナの周囲のノイズを集音し、その集音したノイズをキャンセルして、オーディオ信号に基づく音を良好に、ヘッドホンを着用するリスナに聴取させるノイズキャンセル処理を実行する装置である。以下、図1を用いて本開示の一実施形態に係る信号処理装置100の機能構成例について説明する。
図1に示したように、本開示の一実施形態に係る信号処理装置100は、イコライザ101と、音量調整部102と、ADコンバータ(ADC)103と、DNCフィルタ104と、キャンセル量調整部105と、加算部106と、DAコンバータ(DAC)107と、信号解析部108と、制御部109と、を含んで構成される。
イコライザ101は、信号処理装置100に供給されるオーディオ信号1に対して周波数特性を変更する。イコライザ101は、例えば低音域を強め、または弱めたり、高音域を強め、または弱めたりするような周波数特性の変更を行なう。イコライザ101による周波数特性の変更の設定は、例えばリスナによって行われ得る。イコライザ101によって周波数特性が変更されたオーディオ信号は音量調整部102に送られる。
音量調整部102は、イコライザ101によって周波数特性が変更されたオーディオ信号に対してゲインを調整することで、ドライバ23から出力される音の音量を調整する。音量調整部102による音量の調整量の設定は、例えばリスナによって行われ得る。音量調整部102は、ゲインを調整したオーディオ信号を加算部106に送る。音量調整部102によってゲインが調整されたオーディオ信号は、加算部106に送られてノイズキャンセル信号と加算される。また音量調整部102は、ゲインを調整したオーディオ信号を信号解析部108に送る。
ADコンバータ103は、マイク20で外部ノイズを集音して得られ、マイクアンプ21で増幅されたアナログのノイズ信号をデジタルのノイズ信号に変換する。ADコンバータ103の構成は特定のものに限定されるものではない。一例を挙げれば、ADコンバータ103は、特開2008−193421号公報等で開示されているように、オーディオ信号1と同じサンプリング周波数や量子化ビット数を有するデジタル信号に変換するために、デルタシグマ変調器や、デシメーションフィルタを備えうる。ADコンバータ103は、デジタルのノイズ信号をDNCフィルタ104に出力する。またADコンバータ103は、デジタルのノイズ信号を信号解析部108に送る。
DNCフィルタ104は、ADコンバータ103から出力されるデジタルのノイズ信号を用いて、外部ノイズをキャンセルするためのノイズキャンセル信号を生成する。すなわちDNCフィルタ104は、ドライバ23が出力する音がリスナの耳に到達する際に、外部ノイズをキャンセルしてオーディオ信号による音のみをリスナに聴取させる効果を持つノイズキャンセル信号を生成する。つまり、DNCフィルタ104は、ユーザーの耳元に到達する外部ノイズの逆位相の特性を有するノイズキャンセル信号を生成する。DNCフィルタ104は、生成したノイズキャンセル信号をキャンセル量調整部105に出力する。
DNCフィルタ104は、例えばFIRフィルタやIIRフィルタとして構成される。また本実施形態では、DNCフィルタ104は、後述の制御部109が生成する制御パラメータによって、使用するフィルタや、フィルタ係数が変更され得る。制御部109が生成する制御パラメータによってDNCフィルタ104で使用するフィルタや、フィルタ係数が変更されることで、本実施形態に係る信号処理装置100は、ノイズキャンセル信号を生成するリソースを有効に使用することが可能になる。
キャンセル量調整部105は、DNCフィルタ104で生成されたノイズキャンセル信号に対してゲインを調整する。キャンセル量調整部105は、ノイズキャンセル信号のゲインを調整することで、マイク20で集音される外部ノイズのキャンセル量を調整する。キャンセル量調整部105は、ゲインを調整したノイズキャンセル信号を加算部106に出力する。
加算部106は、音量調整部102によってゲインが調整されたオーディオ信号と、キャンセル量調整部105によってゲインが調整されたノイズキャンセル信号とを合成(加算)する。加算部106でオーディオ信号とノイズキャンセル信号とが合成されることで、ドライバ23が出力する音がリスナの耳に到達する際に、外部ノイズをキャンセルしてオーディオ信号による音のみをリスナに聴取させることが可能になる。加算部106は、オーディオ信号とノイズキャンセル信号とを合成すると、合成したデジタル信号をDAコンバータ107に出力する。
DAコンバータ107は、加算部106が出力したデジタル信号をアナログの信号に変換する。DAコンバータ107の構成は特定のものに限定されるものではないが、一例を挙げれば、特開2008−193421号公報等で開示されているように、オーバーサンプリングフィルタ、デルタシグマ変調器、アナログLPF(ローパスフィルタ)を含んで構成される。DAコンバータ107は、加算部106が出力したデジタル信号をアナログの信号に変換すると、変換したアナログの信号をヘッドホンアンプ22に出力する。
DAコンバータ107によって生成されたアナログの信号を受けたヘッドホンアンプ22は、信号を所定量増幅し、増幅後の信号をドライバ23に出力する。ドライバ23は、ヘッドホンアンプ22から送られたアナログの信号に基づいて音を出力する。
信号解析部108は、音量調整部102が出力するゲインを調整したオーディオ信号、及び、ADコンバータ103が出力するデジタルのノイズ信号に対する解析処理を行う。本実施形態では、信号解析部108は、周囲のノイズと、オーディオ信号とから、両者のマスキング効果を計算する。
具体的には、信号解析部108は、オーディオ信号とノイズ信号のそれぞれに対してリアルタイムで周波数解析を行なうことで、どの周波数にどの程度の音が含まれているかについての解析処理をリアルタイムで行う。そして信号解析部108は、オーディオ信号とノイズ信号のそれぞれに対する周波数解析の結果を用いて、オーディオ信号がマスカーとして働く場合のマスキング効果のある周波数帯域と量、ノイズ信号がマスカーとして働く場合のマスキング効果のある周波数帯域と量を解析する。
信号解析部108は、オーディオ信号とノイズ信号のそれぞれの周波数とレベルの分析を行い、オーディオ信号とノイズ信号のそれぞれの周波数とレベルの分析結果と、ラウドネスチャートと、を使用して、マスキング効果を計算する。
信号解析部108は、解析処理の結果を制御部109に出力する。信号解析部108は、解析処理の結果として、どの周波数帯域においてノイズキャンセリング効果が高いか、または低いかを知らせるパラメータを送る。
制御部109は、信号解析部108による解析処理の結果を用いて、DNCフィルタ104が使用する制御パラメータを生成する。従って制御部109は、本開示のパラメータ生成部の一例として機能し得る。制御部109は、例えばマイクロコンピュータで構成され得る。制御部109は、信号解析部108から送られてくる、どの周波数帯域においてノイズキャンセリング効果が高いか、または低いかを知らせるパラメータを用いて、DNCフィルタ104によるノイズキャンセル信号の生成を制御する。また制御部109は、信号解析部108による解析処理の結果を用いて、キャンセル量調整部105によるキャンセル量を調整する制御を行なっても良い。
例えば、信号解析部108から送られてくるパラメータが、低域ではノイズキャンセリング効果が高く、中域ではノイズキャンセリング効果が低いというようなパラメータであった場合、制御部109は、低域のノイズをよりキャンセルできるように、かつ、中域ではノイズをキャンセルしないように、DNCフィルタ104によるノイズキャンセル信号の生成を制御する。このように制御することで、本開示の一実施形態に係る信号処理装置100は、低域のノイズのキャンセル処理によりリソースを割くことが可能になる。
なお、信号解析部108から送られてくるパラメータが、どの周波数帯域でもノイズキャンセリング効果が高いというパラメータであった場合は、制御部109は、どの周波数帯域に対しても、リソースの範囲内でノイズをキャンセルするよう、DNCフィルタ104によるノイズキャンセル信号の生成を制御する。
また制御部109は、信号解析部108による解析処理の結果を用いて、イコライザ101を制御する制御パラメータを生成してもよい。例えば、信号解析部108による解析処理の結果、オーディオ信号1の低域部分が周囲のノイズでマスクされてしまうことが分かれば、制御部109は、オーディオ信号1の低域部分を強調するようなパラメータをイコライザ101に出力しても良い。
オーディオ信号1の低域部分を強調するようなパラメータをイコライザ101に出力し、イコライザ101でオーディオ信号1の低域部分を強調することで、信号処理装置100は、オーディオ信号1の低域についてもリスナにより良好に聴取させることが可能になる。
極端な例であるが、例えばノイズが全くない環境の場合や、また全ての帯域のノイズ信号がオーディオ信号1によってマスキングされる場合は、ノイズキャンセル処理用のノイズキャンセル信号そのものを再生する必要がない。
従って、このようなノイズキャンセル処理用のノイズキャンセル信号そのものを再生する必要が無くなる場合は、DAコンバータ107にはオーディオ信号1のみが送られ、すなわち、ノイズキャンセル機能を使用してない状態と変わらない再生状態となる。
本開示の一実施形態に係る信号処理装置100は、図1に示したような構成を有することで、マスキング効果という人間の聴覚特性を利用することで、リソースの範囲内でより効率的なノイズキャンセル処理を行なうことが可能となる。
なお図1では、オーディオ信号1は信号処理装置100の外部から信号処理装置100へ供給されるものとして示したが、本開示は係る例に限定されるものではなく、オーディオ信号1は、例えば信号処理装置100の内部に記録されたオーディオデータに基づくものであってもよい。
以上、本開示の一実施形態に係る信号処理装置100の機能構成例について説明した。続いて、本開示の一実施形態に係る信号処理装置100の動作例について説明する。
[1.3.動作例]
図2は、本開示の一実施形態に係る信号処理装置100の動作例を示す流れ図である。図2に示したのは、ノイズキャンセル処理を実行する際の、本開示の一実施形態に係る信号処理装置100の動作例である。以下、図2を用いて本開示の一実施形態に係る信号処理装置100の動作例について説明する。
信号処理装置100は、まずオーディオ信号1による、周囲のノイズのマスキング効果を解析する(ステップS101)。このステップS101のマスキング効果の解析処理は、信号解析部108が実行し得る。またステップS101のマスキング効果の解析処理では、イコライザ101及び音量調整部102を通過したオーディオ信号1と、マイク20、マイクアンプ21、ADコンバータ103を通過したデジタルのノイズ信号とが用いられる。
上記ステップS101では、オーディオ信号とノイズ信号のそれぞれに対して周波数解析が行われ、どの周波数にどの程度の音が含まれているかについての解析処理が行われる。そして上記ステップS101では、オーディオ信号とノイズ信号のそれぞれに対する周波数解析の結果を用いて、オーディオ信号がマスカーとして働く場合のマスキング効果のある周波数帯域と量、ノイズ信号がマスカーとして働く場合のマスキング効果のある周波数帯域と量が解析される。
上記ステップS101では、オーディオ信号とノイズ信号のそれぞれの周波数とレベルの分析が行われ、オーディオ信号とノイズ信号のそれぞれの周波数とレベルの分析結果と、ラウドネスチャートとによって、マスキング効果が計算される。そして上記ステップS101では、どの周波数帯域においてノイズキャンセリング効果が高いか、または低いかを知らせるパラメータが生成される。
上記ステップS101で、オーディオ信号1による、周囲のノイズのマスキング効果を解析すると、続いて信号処理装置100は、ステップS101の解析結果に基づいて制御パラメータを生成する(ステップS102)。このステップS102の制御パラメータの生成処理は、制御部109が実行し得る。この制御パラメータは、DNCフィルタ104を制御するためのパラメータであるが、イコライザ101を制御するためのパラメータが含まれていても良い。
上記ステップS102では、上記ステップS101の解析処理の結果生成された、どの周波数帯域においてノイズキャンセリング効果が高いか、または低いかを知らせるパラメータを用いて、DNCフィルタ104を制御する制御パラメータを生成する。
例えば、上記ステップS101で生成されたから送られてくるパラメータが、低域ではノイズキャンセリング効果が高く、中域ではノイズキャンセリング効果が低いというようなパラメータであった場合、上記ステップS102では、低域のノイズをよりキャンセルできるように、かつ、中域ではノイズをキャンセルしないように、DNCフィルタ104によるノイズキャンセル信号の生成を制御する。
上記ステップS102で制御パラメータを生成すると、続いて信号処理装置100は、上記ステップS102で生成した制御パラメータを用いてノイズキャンセル信号を生成する(ステップS103)。ステップS103のノイズキャンセル信号の生成処理は、DNCフィルタ104が実行し得る。信号処理装置100は、ステップS103のノイズキャンセル信号の生成処理が完了すると、上記ステップS101に戻って再び解析処理を実行してもよい。オーディオ信号や外部ノイズは逐次変化し得るので、信号処理装置100は、ノイズキャンセル処理を実行している間、上述したステップS101〜S103の処理を繰り返して実行してもよい。
例えば上記ステップS102で、低域のノイズをよりキャンセルできるように、かつ、中域ではノイズをキャンセルしないようにするための制御パラメータが生成されると、上記ステップS103では、低域のノイズをよりキャンセルし、かつ、中域ではノイズをキャンセルしないようなノイズキャンセル信号が生成される。
ここで、マスキング効果を考慮したノイズキャンセル信号の例を示す。図3及び図4は、オーディオ信号、ノイズキャンセル前のノイズ信号、及びノイズキャンセル後のノイズ信号の周波数特性の例を示す説明図である。
図3に示したのは、オーディオ信号、ノイズキャンセル前のノイズ信号、及びマスキング効果を考慮していないノイズキャンセル信号によってノイズがキャンセルされた後のノイズ信号の周波数特性のグラフである。
図4に示したのは、オーディオ信号、ノイズキャンセル前のノイズ信号、マスキング効果を考慮していないノイズキャンセル信号によってノイズがキャンセルされた後のノイズ信号、及びマスキング効果を考慮したノイズキャンセル信号によってノイズがキャンセルされた後のノイズ信号の周波数特性のグラフである。
なお図3及び図4における符号131はオーディオ信号の周波数特性、符号132はノイズキャンセル前のユーザー耳元でのノイズ信号の周波数特性、符号133はマスキング効果を考慮していないノイズキャンセル信号によってノイズがキャンセルされた後のユーザー耳元でのノイズ信号の周波数特性、符号134はマスキング効果を考慮したノイズキャンセル信号によってノイズがキャンセルされた後のユーザー耳元でのノイズ信号の周波数特性を示している。図3及び図4に示した周波数特性は、あくまで一例にすぎないものである。
信号解析部108は、オーディオ信号の特性とノイズ信号の特性とを解析して、例えば符号131、132のような周波数特性が得られ、さらにラウドネスチャートを参照して、オーディオ信号によるノイズ信号のマスキング効果を判定する。そして信号解析部108が、低域ではノイズキャンセリング効果が高く、中域ではノイズキャンセリング効果が低いと判定したとする。
図4で示しているように、符号134で示した、マスキング効果を考慮したノイズキャンセル信号によってノイズがキャンセルされた後のノイズ信号の周波数特性は、符号133で示したマスキング効果を考慮していないノイズキャンセル信号によってノイズがキャンセルされた後のノイズ信号の周波数特性と比較すると、中域では相対音圧が上昇しているが、低域では相対音圧が低下していることが分かる。すなわち、DNCフィルタ104の処理リソースが低域に集中し、キャンセル効果が増大している。中域ではノイズ信号の相対音圧が上昇しているが、オーディオ信号によるマスキング効果により、この帯域ではノイズがマスクされるので、リスナの聴感に変化はない。
本開示の一実施形態に係る信号処理装置100は、図2に示したような動作を実行することで、マスキング効果という人間の聴覚特性を利用することで、リソースの範囲内でより効率的なノイズキャンセル処理を行なうことが可能となる。
[1.4.変形例]
上述したように、本開示の一実施形態に係る信号処理装置100は、信号解析部108でオーディオ信号及びノイズ信号の解析を行なうとともに、オーディオ信号によるノイズ信号のマスキング効果について解析を行なって、DNCフィルタ104によるノイズキャンセル信号の生成を制御部109で制御していた。本開示の一実施形態に係る信号処理装置100は、想定されるオーディオ信号とノイズ信号のパターンを予めいくつか用意しておき、信号解析部108の解析結果を用いて、DNCフィルタ104で使用するフィルタを切り替えるようにしても良い。
図5は、本開示の一実施形態に係る信号処理装置100の構成例を示す説明図である。図5に示したのは、図1に示した本開示の一実施形態に係る信号処理装置100の構成のうち、DNCフィルタ104及びキャンセル量調整部105の構成を変更したものである。DNCフィルタ104a、104b、104c、・・・は、想定されるオーディオ信号とノイズ信号のパターンに応じて予めパラメータが設定されたフィルタであり、制御部109によっていずれか1つのフィルタが、オーディオ信号及びノイズ信号の解析結果に基づいて選択される。またキャンセル量調整部105a、105b、105c、・・・は、DNCフィルタ104a、104b、104c、・・・のそれぞれで生成されたノイズキャンセル信号に対してゲインを調整する。
このように複数のDNCフィルタ104a、104b、104c、・・・を備えることで、本開示の一実施形態に係る信号処理装置100は、オーディオ信号及びノイズ信号の特性に応じてフィルタを切り替えてのノイズキャンセル処理を行うことが可能になる。
リスナの周囲のノイズは、リスナの耳(鼓膜)に到達するまでに、ヘッドホンのハウジングやイヤーピースによって減衰される。そこで本開示の一実施形態に係る信号処理装置100は、このノイズの減衰を考慮して、オーディオ信号及びノイズ信号の解析を行なうとともに、オーディオ信号によるノイズ信号のマスキング効果について解析を行なってもよい。
図6は、本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。図6には、図1に示した信号処理装置100の機能構成例に、パッシブ遮音フィルタ110が追加された構成が示されている。パッシブ遮音フィルタ110は、ノイズがリスナの耳(鼓膜)に到達するまでに減衰することを考慮したフィルタであり、ADコンバータ103から出力されるデジタルのノイズ信号を所定量減衰させるフィルタである。すなわちパッシブ遮音フィルタ110は、マイク20で収音される音がリスナの耳に到達するまでに、例えばヘッドホンのハウジングにより減衰される効果を再現するフィルタである。パッシブ遮音フィルタ110は、所定量減衰させた後のデジタルのノイズ信号を信号解析部108に出力する。
そして信号解析部108は、オーディオ信号1及び、パッシブ遮音フィルタ110によって所定量減衰されたデジタルのノイズ信号の解析を行なうとともに、オーディオ信号による、パッシブ遮音フィルタ110によって所定量減衰されたデジタルのノイズ信号のマスキング効果について解析を行う。
本開示の一実施形態に係る信号処理装置100は、図6に示したような構成を有することで、リスナが聴取する、より現実に近いノイズについてマスキング効果を解析して、リソースの範囲内でより効率的なノイズキャンセル処理を行なうことが可能となる。
このように本開示の一実施形態に係る信号処理装置100は、オーディオ信号を解析することにより効率的なノイズキャンセル処理を行うことが可能になるが、オーディオ信号の解析を応用することで、ノイズキャンセル効果の向上だけでなく、ノイズキャンセル後のオーディオ信号のオーバーフローを防止することが可能になる。
ここでノイズキャンセル後のオーディオ信号のオーバーフローについて説明する。図1に示した信号処理装置100では、キャンセル量調整部105から出力されるノイズキャンセル信号と、音量調整部102から出力されるオーディオ信号とが、加算部106で加算される。そして加算部106で加算された信号はDAコンバータ107でアナログ信号に変換されるが、アナログ信号に変換される前の信号が、DAコンバータ107による変換可能範囲に収まっていなければ、オーバーフローが発生し、正しくDA(デジタル−アナログ)変換出来なくなる。
例えばDAコンバータ107が20ビットDAコンバータである場合、正の最大値は、7FFFFh(=0.999...)であり、負の最大値は80000h(=−1.0)である。従って、アナログ信号に変換される前の信号がこの範囲内に収まっていればDAコンバータ107で正常にDA変換出来るが、アナログ信号に変換される前の信号がこの範囲を超えていれば、オーバーフローが発生し、正しくDA変換出来なくなる。
また例えば、車両の振動や気圧の変化などにより、マイク20を介して過大な振幅をもつノイズ信号が信号処理装置100に入力された場合、DAコンバータ107に入力する前の信号のオーバーフローが問題となることがある。
そこで、オーディオ信号の特性を解析して、オーディオ信号とノイズキャンセル信号とを加算してもオーバーフローが発生しないように、キャンセル量を制御することを特徴とした信号処理装置100について以下で説明する。
図7は、本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。図7に示したのは、オーディオ信号の解析結果を用いて、ノイズキャンセル後のオーディオ信号のオーバーフローを防止することを可能にした信号処理装置100の機能構成例である。以下、図7を用いて本開示の一実施形態に係る信号処理装置100の機能構成例について説明する。
図7に示したように、本開示の一実施形態に係る信号処理装置100は、イコライザ101と、音量調整部102と、ADコンバータ(ADC)103と、DNCフィルタ104と、キャンセル量調整部105と、加算部106と、DAコンバータ(DAC)107と、信号解析部108と、制御部109と、ディレイバッファ111と、リミッタ112と、を含んで構成される。
図7に示した信号処理装置100は、図1に示した信号処理装置100の構成に、ディレイバッファ111と、リミッタ112と、が追加された構成を有している。
ディレイバッファ111は、図7に示した信号処理装置100において追加されたリミッタ112での信号処理の処理時間を考慮し、音量調整部102から出力されたオーディオ信号を所定時間遅延させる処理を行う。音量調整部102から出力されたオーディオ信号をディレイバッファ111で所定時間遅延させることで、加算部106は、オーディオ信号とノイズキャンセル信号とを、タイミングを合わせて加算できる。
リミッタ112は、キャンセル量調整部105から出力されたノイズキャンセル信号に対し、音量調整部102から出力されたオーディオ信号のレベルに応じて制限をかける信号処理を行う。上述したように、アナログ信号に変換される前の信号が、DAコンバータ107による変換可能範囲に収まっていなければ、オーバーフローが発生し、正しくDA変換出来なくなる。そこで、リミッタ112は、DAコンバータ107による変換可能範囲に収まるように、キャンセル量調整部105から出力されたノイズキャンセル信号に制限をかける。
リミッタ112が、DAコンバータ107による変換可能範囲に収まるように、ノイズキャンセル信号に制限をかけるには、逐次変化する可能性のある、音量調整部102から出力されたオーディオ信号のレベルが分かってなければならない。従って、信号解析部108は、オーディオ信号に対する信号処理として、オーディオ信号のレベルの大きさを解析する。そして制御部109は、信号解析部108からオーディオ信号のレベルの大きさの情報を得て、オーディオ信号のレベルの大きさの情報をリミッタ112に送る。
すなわち、図7に示した信号処理装置100においては、制御パラメータがオーディオ信号のレベルの大きさの情報に相当する。なお、信号解析部108は、オーディオ信号のレベルをRMS(Root Mean Square;実効値)等で求めても良い。
リミッタ112は、制御部109からオーディオ信号のレベルの大きさの情報を得ることで、DAコンバータ107による変換可能範囲に収まるように、キャンセル量調整部105から出力されたノイズキャンセル信号に制限をかける。
ここでリミッタ112の機能構成例について説明する。図8は、リミッタ112の機能構成例を示す説明図である。図8に示したように、リミッタ112は、絶対値算出部121と、エンベロープ処理部122と、ゲイン算出部123と、ゲイン処理部124と、を含んで構成される。
絶対値算出部121は、入力されてくる信号の絶対値ABSを算出する。本実施形態では、絶対値算出部121は、キャンセル量調整部105から出力されたノイズキャンセル信号の絶対値ABSを算出する。絶対値算出部121は、キャンセル量調整部105から出力されたノイズキャンセル信号の絶対値ABSを算出すると、算出した絶対値ABSをエンベロープ処理部122に送る。
エンベロープ処理部122は、絶対値算出部121が出力するノイズキャンセル信号の絶対値ABSに対し絶対値のエンベロープを変化させる処理を行う。本実施形態では、絶対値のエンベロープを変化させる処理のことをエンベロープ処理とも称する。エンベロープ処理部122は、エンベロープ処理後のエンベロープenvelopeをゲイン算出部123に出力する。
エンベロープ処理部122によるエンベロープ処理について示す。エンベロープ処理部122は、1サイクル前のenvelope値z1envと、絶対値算出部121が出力するノイズキャンセル信号の絶対値ABSを比較して、下記の処理を行う。
(1)ABS>z1envの場合:attack処理
envelope=z1env+ta×(ABS−z1env)
(2)ABS<=z1envの場合:release処理
envelope=tr×z1env
なお、ta、trは、それぞれアタックタイム、リリースタイムより算出される定数である。
ゲイン算出部123は、エンベロープ処理部122から出力されるエンベロープenvelopeに基づいて、入力されてくる信号に与えるゲインを算出する。本実施形態では、ゲイン算出部123は、キャンセル量調整部105から出力されたノイズキャンセル信号に与えるゲインgainを、エンベロープ処理部122から出力されるエンベロープenvelopeに基づいて算出する。
ゲイン算出部123によるゲインgainの算出処理について示す。
(1)envelope>limitの場合
gain=limit/envelope
(2)envelope<=limitの場合
gain=1.0
なおlimitは、予め設定された出力リミット制限値である。
ゲイン算出部123は、キャンセル量調整部105から出力されたノイズキャンセル信号のレベル、すなわちエンベロープ処理部122から出力されるエンベロープenvelopeの値に応じたゲインgainを算出することができる。そして、ゲイン算出部123が算出するゲインgainには、予め出力リミット制限値limitが設定されている。なお、過渡的な応答特性は、エンベロープenvelopeの値の検出の感度を決定する定数ta、trによりコントロールされる。
この出力リミット制限値limitは、信号解析部108によるオーディオ信号のレベルの大きさの解析によって変更され得る。この出力リミット制限値limitの変更は、例えば制御部109が行い得る、すなわち、オーディオ信号のレベルが小さければ出力リミット制限値limitを上げて、オーディオ信号のレベルが大きければ出力リミット制限値limitを下げる。このようにオーディオ信号のレベルの大きさに応じて出力リミット制限値limitを変化させることで、信号処理装置100は、オーディオ信号のレベルの大きさに応じて最大限のノイズキャンセル性能を発揮することが可能になる。
ゲイン処理部124は、入力されてくる信号に、ゲイン算出部123が算出したゲインgainを与える。本実施形態では、ゲイン処理部124は、キャンセル量調整部105から出力されたノイズキャンセル信号に、ゲイン算出部123が算出したゲインgainを与える。
図9は、リミッタ112に入力されてくる信号とリミッタ112から出力される信号との間の関係の例をグラフで示す説明図である。図9では、入力がエンベロープ処理部122から出力されるエンベロープenvelopeとほぼ同じであるとして説明する。図9に示したように、入力が出力リミット制限値limit以下であれば、ゲイン算出部123は、入力をそのまま出力するようなゲインを算出する。一方、入力が出力リミット制限値limitを超えれば、ゲイン算出部123は、出力を出力リミット制限値limitとするようなゲインを算出する。
図10は、リミッタ112の内部における信号の時間推移をグラフで示す説明図である。符号141で示したのはリミッタ112に入力される信号、すなわちノイズキャンセル信号の時間推移のグラフである。符号142は、リミッタ112に入力される信号を絶対値算出部121に通して、絶対値を取った後の信号の時間推移のグラフである。符号143は、絶対値算出部121を通した後の信号に対してエンベロープ処理部122でエンベロープ処理を行なった後の信号の時間推移のグラフである。符号144は、エンベロープ処理部122でエンベロープ処理を行なった後の信号に対してゲイン算出部123でゲイン算出処理を行って得られるゲインの値の時間推移のグラフである。符号145は、リミッタ112に入力される信号に、ゲイン算出部123が算出したゲインを、ゲイン処理部124で与えた後の信号の時間推移のグラフである。
符号143で示したエンベロープ処理後の信号において、例えば出力リミット制限値limitを0.5とすると、エンベロープ処理後の信号の大きさが0.5を超えると、符号144で示したように、1より小さくするようなゲインgainがゲイン算出部123で算出される。その結果、符号145で示したように、エンベロープ処理後の信号の大きさが0.5を超えていた区間で、ゲイン処理部124によってノイズキャンセル信号の波形が潰される。
このようにリミッタ112は、エンベロープenvelopeが所定の出力リミット制限値limitを超えるようなノイズキャンセル信号が発生した場合に、ノイズキャンセル信号の大きさを落とすような制限を掛けることが可能になる。
以上、図8を用いてリミッタ112の機能構成例について説明した。続いて、リミッタ112による効果について説明する。
図11は、リミッタ112による制限をかけない場合の信号の時間推移をグラフで示す説明図である。符号151で示したのは、オーディオ信号の時間推移のグラフである。符号152で示したのは、ノイズ信号の時間推移のグラフである。符号153で示したのは、ノイズ信号を基に生成されたノイズキャンセル信号の時間推移のグラフである。符号154で示したのは、符号151で示したオーディオ信号と符号153で示したノイズキャンセル信号とを加算した信号の時間推移のグラフである。符号155で示したのは、オーバーフローの発生の時間推移のグラフである。
図11に示したように、リミッタ112による制限をかけない場合、オーディオ信号やノイズキャンセル信号の大きさによっては、符号154や符号155で示したグラフのように、DA変換時にオーバーフローが発生する場合がある。このオーバーフローは、音つぶれや音切れの要因となり、音つぶれや音切れによってリスナに不快感を与えるおそれがある。
図12は、リミッタ112による制限をかける場合の信号の時間推移をグラフで示す説明図である。符号151で示したのは、オーディオ信号の時間推移のグラフである。符号152で示したのは、ノイズ信号の時間推移のグラフである。符号156で示したのは、ノイズ信号を基に生成されたノイズキャンセル信号に対してリミッタ112によって制限がかけられた後の信号の時間推移のグラフである。符号157で示したのは、符号151で示したオーディオ信号と符号156で示したノイズキャンセル信号とを加算した信号の時間推移のグラフである。符号158で示したのは、オーバーフローの発生の時間推移のグラフである。
図12に示したように、リミッタ112による制限をかけない場合で発生していた、オーディオ信号やノイズキャンセル信号の大きさによって発生したDA変換時のオーバーフローは、リミッタ112による制限をかけた場合では発生しない。従って、オーバーフローよって発生し得る音つぶれや音切れは発生しなくなり、リスナに不快感を与えずに音を聴取させることが可能になる。
これにより、オーディオ信号のレベルが大きく、ノイズキャンセル信号との加算時にオーバーフローが予測される場合には、信号処理装置100は、ノイズキャンセル処理を行うパスのリミッタ112を、例えば制御部109から有効にして、過大なノイズが入力された際の、オーディオ信号による音の音切れを防ぐことができる。また、オーディオ信号のレベルが小さい場合は、信号処理装置100は、リミッタ112を、例えば制御部109から無効にすることで、DAコンバータ107に入力される前のダイナミックレンジをノイズキャンセル信号に十分に割り当てて、良好なノイズキャンセル機能を実現できる。
なお、リミッタ112の制御はオン/オフだけでなく、出力リミット制限値limitやアタック、リリースなどのパラメータの制御でも良い。信号処理装置100は、オーディオ信号のレベルを解析しながらノイズキャンセル処理のパスを動的に制御することで、ノイズキャンセル信号をリミッタ112で不用意に抑圧することなく、オーディオ信号による音の音切れを防ぎ、再生することが可能となる。
また、このようにノイズキャンセリング処理のパスにリミッタ112を設けるだけでなく、オーディオ信号1に対する信号処理のパスにも、上述のリミッタ制御を行うようにしても良い。
図13は、本開示の一実施形態に係る信号処理装置100の機能構成例を示す説明図である。図13には、ノイズキャンセル信号に対するリミッタ制御を行うリミッタ112に加えて、オーディオ信号に対するリミッタ制御を行うリミッタ113を備えた、信号処理装置100の機能構成例が示されている。
図13に示した信号処理装置100は、キャンセル量調整部105から出力されるノイズキャンセル信号に加えて、音量調整部102から出力されるオーディオ信号についてもエンベロープ処理をエンベロープ処理部122で行っている。なお図13にはエンベロープ処理部122の前段の絶対値算出部121は省略して図示している。そして、エンベロープ処理部122は、ノイズキャンセル信号及びオーディオ信号に対するエンベロープ処理の結果を、ノイズキャンセル信号及びオーディオ信号それぞれの出力リミット制限値m_limit_gain,n_limit_gainに反映させる。
なお、絶対値算出処理や、エンベロープ処理部122への入力信号は、図13の点線で示された部分の信号を使っても構成できるが、以下は図13の実線の経路を使った場合について説明する。
図13に示した信号処理装置100は、オーディオ信号とノイズキャンセル信号のそれぞれのエンベロープ値を足して1.0を越えている場合、オーディオ信号による音の出力を優先するか、ノイズキャンセル処理を優先するかでゲイン算出部123でのゲイン算出処理を変更してもよい。以下ではオーディオ信号による音の出力を優先する動作モードのことを音楽優先モード、ノイズキャンセル処理を優先する動作モードのことをノイズキャンセル優先モードとも称する。
(1) 音楽優先モード
エンベロープ処理部122は、オーディオ信号にリミッタ制御をかけるリミッタ113に出力する出力リミット制限値m_limit_gainはなるべく1.0のままとすべく、オーディオ信号とノイズキャンセル信号のそれぞれのエンベロープ値の合計が1.0を下回るように、ノイズキャンセル信号にリミッタ制御をかけるリミッタ112に出力する出力リミット制限値n_limit_gainを制御する。
(2) ノイズキャンセル優先モード
エンベロープ処理部122は、ノイズキャンセル信号にリミッタ制御をかけるリミッタ112に出力する出力リミット制限値n_limit_gainはなるべく1.0のままとすべく、オーディオ信号とノイズキャンセル信号のそれぞれのエンベロープ値の合計が1.0を下回るようにオーディオ信号にリミッタ制御をかけるリミッタ113に出力する出力リミット制限値m_limit_gainを制御する。
音楽優先モードとノイズキャンセル処理のどちらを優先するかは、リスナによる設定によって適宜選択されうる。また、いずれか一方だけでなく、音楽優先モードとノイズキャンセル処理を組み合わせた方式も存在することは明らかである。
以上、本開示の一実施形態に信号処理装置100の技術の適用例を説明した。このように、信号処理装置100に入力されるオーディオ信号をリアルタイムで解析し、オーディオ信号1の解析結果を用いることで、ノイズキャンセル信号及び/またはオーディオ信号の大きさを、DA変換時にオーバーフローしないように調整することが出来る。
<2.まとめ>
以上説明したように本開示の一実施形態によれば、入力されるオーディオ信号及びマイクで収音されたノイズを解析し、マイクで収音されたノイズに基づいて、そのノイズをキャンセルするノイズキャンセル信号の生成の際の制御パラメータを生成する、信号処理装置100が提供される。
本開示の一実施形態に係る信号処理装置100は、入力されるオーディオ信号及びマイクで収音されたノイズをリアルタイムで解析し、オーディオ信号によるノイズのマスキング効果について解析を行う。そして本開示の一実施形態に係る信号処理装置100は、マスキング効果についての解析結果から、ノイズキャンセル信号の生成の際の制御パラメータを生成する。
本開示の一実施形態に係る信号処理装置100は、マスキング効果についての解析結果から、ノイズキャンセル信号の生成の際の制御パラメータを生成することで、オーディオ信号によってマスクされる周波数領域はノイズキャンセル信号を生成せず、その分のリソースを他の周波数領域に割り当てることで、ノイズキャンセル信号を生成するリソースを有効に使用することが可能になる。
また本開示の一実施形態に係る信号処理装置100は、入力されるオーディオ信号をリアルタイムで解析し、また必要に応じてノイズキャンセル信号をリアルタイムで解析し、ノイズキャンセル信号及び/またはオーディオ信号の大きさを、DA変換時にオーバーフローしない範囲に調整する。本開示の一実施形態に係る信号処理装置100は、ノイズキャンセル信号及び/またはオーディオ信号の大きさを、DA変換時にオーバーフローしない範囲に調整することで、音つぶれや音切れ等が生じない良好な音をリスナに聴取させることが可能になる。
また上記実施形態に係る信号処理装置100は、例えば携帯型音楽プレーヤ、スマートフォン、タブレット型携帯端末、携帯型ゲーム機等に搭載され得る。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析する信号解析部と、
前記第2音声信号をキャンセルするためのキャンセル信号を生成するキャンセル処理部と、
前記信号解析部の解析の結果に基づいて前記キャンセル処理部で用いられる制御パラメータを生成するパラメータ生成部と、
を備える、信号処理装置。
(2)
前記信号解析部は、前記第1音声信号と前記第2音声信号とのマスキング解析を行なう、前記(1)に記載の信号処理装置。
(3)
前記パラメータ生成部は、前記信号解析部でのマスキング解析の結果に基づき、前記キャンセル処理部が、前記第2音声信号を前記第1音声信号でマスクされる帯域以外の帯域でキャンセルするための制御パラメータを生成する、前記(2)に記載の信号処理装置。
(4)
前記キャンセル処理部は、複数のフィルタを含み、
前記パラメータ生成部は、前記信号解析部の解析の結果に基づいて前記複数のフィルタの中から1つのフィルタを選択する、前記(3)に記載の信号処理装置。
(5)
前記信号解析部の前段に、前記マイクで収音される音がヘッドホンのハウジングにより遮音される効果を再現する遮音フィルタ部をさらに備える、前記(2)〜(4)のいずれかに記載の信号処理装置。
(6)
前記パラメータ生成部は、前記第1音声信号の周波数特性を変更するイコライザで用いられる制御パラメータをさらに生成する、前記(1)〜(5)のいずれかに記載の信号処理装置。
(7)
前記信号解析部は、前記第1音声信号のレベル解析を行なう、前記(1)に記載の信号処理装置。
(8)
前記信号解析部での前記第1音声信号のレベル解析の結果に基づき、前記キャンセル処理部が出力する前記キャンセル信号のレベルを調整するレベル調整部をさらに備える、前記(7)に記載の信号処理装置。
(9)
前記信号解析部は、前記第2音声信号のレベル解析を行なう、前記(7)に記載の信号処理装置。
(10)
前記信号解析部での前記第1音声信号及び前記第2音声信号のレベル解析の結果に基づき、前記キャンセル処理部が出力する前記キャンセル信号のレベルを調整するレベル調整部をさらに備える、前記(9)に記載の信号処理装置。
(11)
入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、
前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、
前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、
を含む、信号処理方法。
(12)
入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、
前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、
前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、
をコンピュータに実行させる、コンピュータプログラム。
20 :マイク
21 :マイクアンプ
22 :ヘッドホンアンプ
23 :ドライバ
100 :信号処理装置
101 :イコライザ
102 :音量調整部
103 :ADコンバータ
104 :DNCフィルタ
105 :キャンセル量調整部
106 :加算部
107 :DAコンバータ
108 :信号解析部
109 :制御部
110 :パッシブ遮音フィルタ
111 :ディレイバッファ
112、113:リミッタ
121 :絶対値算出部
122 :エンベロープ処理部
123 :ゲイン算出部
124 :ゲイン処理部

Claims (12)

  1. 入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析する信号解析部と、
    前記第2音声信号をキャンセルするためのキャンセル信号を生成するキャンセル処理部と、
    前記信号解析部の解析の結果に基づいて前記キャンセル処理部で用いられる制御パラメータを生成するパラメータ生成部と、
    を備える、信号処理装置。
  2. 前記信号解析部は、前記第1音声信号と前記第2音声信号とのマスキング解析を行なう、請求項1に記載の信号処理装置。
  3. 前記パラメータ生成部は、前記信号解析部でのマスキング解析の結果に基づき、前記キャンセル処理部が、前記第2音声信号を前記第1音声信号でマスクされる帯域以外の帯域でキャンセルするための制御パラメータを生成する、請求項2に記載の信号処理装置。
  4. 前記キャンセル処理部は、複数のフィルタを含み、
    前記パラメータ生成部は、前記信号解析部の解析の結果に基づいて前記複数のフィルタの中から1つのフィルタを選択する、請求項3に記載の信号処理装置。
  5. 前記信号解析部の前段に、前記マイクで収音される音がリスナの耳に到達するまでに減衰される効果を再現する遮音フィルタ部をさらに備える、請求項2に記載の信号処理装置。
  6. 前記パラメータ生成部は、前記第1音声信号の周波数特性を変更するイコライザで用いられる制御パラメータをさらに生成する、請求項1に記載の信号処理装置。
  7. 前記信号解析部は、前記第1音声信号のレベル解析を行なう、請求項1に記載の信号処理装置。
  8. 前記信号解析部での前記第1音声信号のレベル解析の結果に基づき、前記キャンセル処理部が出力する前記キャンセル信号のレベルを調整するレベル調整部をさらに備える、請求項7に記載の信号処理装置。
  9. 前記信号解析部は、前記第2音声信号のレベル解析を行なう、請求項7に記載の信号処理装置。
  10. 前記信号解析部での前記第1音声信号及び前記第2音声信号のレベル解析の結果に基づき、前記キャンセル処理部が出力する前記キャンセル信号のレベルを調整するレベル調整部をさらに備える、請求項9に記載の信号処理装置。
  11. 入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、
    前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、
    前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、
    を含む、信号処理方法。
  12. 入力される第1音声信号及びマイクで収音された音に基づく第2音声信号を解析することと、
    前記第2音声信号をキャンセルするためのキャンセル信号を生成することと、
    前記解析の結果に基づいて前記キャンセル信号の生成で用いられる制御パラメータを生成することと、
    をコンピュータに実行させる、コンピュータプログラム。
JP2016554004A 2014-10-16 2015-08-25 信号処理装置、信号処理方法及びコンピュータプログラム Ceased JPWO2016059878A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014211762 2014-10-16
JP2014211762 2014-10-16
PCT/JP2015/073820 WO2016059878A1 (ja) 2014-10-16 2015-08-25 信号処理装置、信号処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JPWO2016059878A1 true JPWO2016059878A1 (ja) 2017-07-27

Family

ID=55746426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016554004A Ceased JPWO2016059878A1 (ja) 2014-10-16 2015-08-25 信号処理装置、信号処理方法及びコンピュータプログラム

Country Status (5)

Country Link
US (2) US10152961B2 (ja)
EP (1) EP3208797A4 (ja)
JP (1) JPWO2016059878A1 (ja)
CN (1) CN106796782A (ja)
WO (1) WO2016059878A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627492A1 (en) * 2018-09-21 2020-03-25 Panasonic Intellectual Property Management Co., Ltd. Noise reduction device, noise reduction system, and sound field controlling method
US10937418B1 (en) * 2019-01-04 2021-03-02 Amazon Technologies, Inc. Echo cancellation by acoustic playback estimation
CN111161699B (zh) * 2019-12-30 2023-04-28 广州心与潮信息科技有限公司 一种环境噪音的掩蔽方法、装置及设备
CN113365176B (zh) * 2020-03-03 2023-04-28 华为技术有限公司 一种实现主动噪声消除的方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2479673B (en) 2006-04-01 2011-11-30 Wolfson Microelectronics Plc Ambient noise-reduction control system
JP5007561B2 (ja) * 2006-12-27 2012-08-22 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、ノイズ低減処理用プログラム、ノイズ低減音声出力装置およびノイズ低減音声出力方法
JP4882773B2 (ja) 2007-02-05 2012-02-22 ソニー株式会社 信号処理装置、信号処理方法
GB0725111D0 (en) 2007-12-21 2008-01-30 Wolfson Microelectronics Plc Lower rate emulation
JP4940158B2 (ja) * 2008-01-24 2012-05-30 株式会社東芝 音補正装置
JP2009206629A (ja) * 2008-02-26 2009-09-10 Sony Corp オーディオ出力装置、オーディオ出力方法
US8189799B2 (en) * 2009-04-09 2012-05-29 Harman International Industries, Incorporated System for active noise control based on audio system output
ATE550754T1 (de) 2009-07-30 2012-04-15 Nxp Bv Verfahren und vorrichtung zur aktiven geräuschsminderung unter anwendung von wahrnehmungsmaskierung
US9055367B2 (en) * 2011-04-08 2015-06-09 Qualcomm Incorporated Integrated psychoacoustic bass enhancement (PBE) for improved audio

Also Published As

Publication number Publication date
US20170301335A1 (en) 2017-10-19
EP3208797A1 (en) 2017-08-23
US10152961B2 (en) 2018-12-11
EP3208797A4 (en) 2018-05-30
CN106796782A (zh) 2017-05-31
US20190073992A1 (en) 2019-03-07
WO2016059878A1 (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
US9595252B2 (en) Noise reduction audio reproducing device and noise reduction audio reproducing method
JP5680789B2 (ja) 改善されたオーディオのための統合されたサイコアコースティック・バス・エンハンスメント(pbe)
JP4869352B2 (ja) 音声データストリームを処理する装置および方法
US20190073992A1 (en) Signal processing device, signal processing method and computer program
EP3166328B1 (en) Signal processing apparatus, signal processing method, and computer program
JP6870078B2 (ja) 動的サウンド調整のための雑音推定
US20110013794A1 (en) Method for sound processing in a hearing aid and a hearing aid
JP2013537321A (ja) 知覚スペクトルアンバランス改善のための音声信号動的補正
JP2015219527A (ja) フィードバックマイクロフォン信号の飽和の影響を防止するanc雑音能動制御オーディオヘッドセット
JP2009302991A (ja) 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP2011128617A (ja) 信号処理装置及び方法
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN112235674B (zh) 一种基于噪声分析的主动降噪处理方法、系统及芯片
WO2012098856A1 (ja) 補聴器、及び、補聴器の制御方法
KR20140006394A (ko) 이어폰 및 헤드폰의 주변 환경 소음저감 처리 장치
JPH03263925A (ja) デイジタルデータの高能率符号化方法
CN115346544A (zh) 音频信号处理方法、装置、存储介质和程序产品
JP4803193B2 (ja) オーディオ信号の利得制御装置および利得制御方法
JP2009193031A (ja) 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2015032933A (ja) 低域補完装置および低域補完方法
WO2022230275A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023243344A1 (ja) 聴取装置および聴取装置の制御方法
CN113365176B (zh) 一种实现主动噪声消除的方法、装置和电子设备
WO2023119764A1 (ja) 耳装着型デバイス、及び、再生方法
JP2012100117A (ja) 音響処理装置及び方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180726

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A045 Written measure of dismissal of application

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20200923