JP5593852B2 - 音声信号処理装置、音声信号処理方法 - Google Patents
音声信号処理装置、音声信号処理方法 Download PDFInfo
- Publication number
- JP5593852B2 JP5593852B2 JP2010125502A JP2010125502A JP5593852B2 JP 5593852 B2 JP5593852 B2 JP 5593852B2 JP 2010125502 A JP2010125502 A JP 2010125502A JP 2010125502 A JP2010125502 A JP 2010125502A JP 5593852 B2 JP5593852 B2 JP 5593852B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- source direction
- nth
- filter
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/86—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves with means for eliminating undesired waves, e.g. disturbing noises
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
Description
このNCヘッドホン100は例えば携帯型メディアプレーヤなどからの再生音楽の音声を再生出力する。
ユーザにとっては、例えばNCヘッドホン100を装着したままでも、会話等が普通にできることが好適であるが、ノイズキャンセル機能をオンとしていると、例えば正面にいる他人の声も低減されてしまい、会話音声が聞き取りにくい。
そこで、例えば会話等を行うときには再生音楽をオフとし、かつノイズキャンセル機能をオフとするモードが用意されている。
ところがノイズキャンセル機能をオフとすると、他人の声とともに周囲のノイズも大きく聞こえることとなる。このため交通量の激しい場所や、航空機の機内などでは、やはり会話音声等が聞き取りにくい状況は変わらない。
ユーザが図10のように、NCヘッドホン100を掛けて正面を向いていることを考えると、大抵の場合、会話を行う対象の音声は、ユーザ正面からやってくると考えることができる。この時、図10に示したように、ユーザから見れば、正面からの会話音声は強調しつつ、正面以外からの音源はすべてノイズとみなしてレベルを下げたいと考える。
図11(a)はビームフォーミング処理の概念図であり、左右のマイク102L、102Rからの音声信号をビームフォーミング処理部103で処理して出力する。
もっとも簡単なビームフォーミング処理は、必要な指向性が正面または後ろだとすると、図11(b)のような左右のマイク102L、102Rからの音声信号の加算処理で良い。
この場合、正面又は後方からの音声、つまりマイク102L、102Rから等距離の音源からの音声についての左右チャンネルの音声信号成分は位相が一致しており、加算により強調される。他の方向からの音の音声信号成分は左右チャンネルの音声信号成分は位相がずれているため、その分、低減される。これによって例えば正面方向に指向性をもった音声信号を得ることができる。
またマイク102Rで得られた音声信号はマイクアンプ104Rで増幅された後、それぞれが通過中心周波数をfc1,fc2,fc3とされたバンドパスフィルタ121R、122R、123Rに供給され、各帯域BD1,BD2,BD3の音声信号成分が抽出される。
なお中心周波数がfc1とされたバンドパスフィルタの通過帯域を帯域BD1と表記することとしている。同様に、中心周波数がfc2,fc3とされたバンドパスフィルタの通過帯域を帯域BD2,BD3と表記する
バンドパスフィルタ122L、122Rの出力である、帯域BD2の音声信号成分は音源方向角度解析部125及び加算器128に供給される。
バンドパスフィルタ123L、123Rの出力である、帯域BD3の音声信号成分は音源方向角度解析部126及び加算器129に供給される。
そして音源方向角度解析部124,125,126は、判定した方向に応じて、可変ゲインアンプ130,131,132のゲインを制御する。即ち判定方向が正面など目的の方向であればゲインアップ、他の方向ではゲインダウン制御する。
このようなノイズサプレッション装置を用いたビームフォーミング処理部103を用いることで、図10のような状況で会話音声をノイズに埋もれにくく聞くことができる。
FFTを用いる手法にはいくつかの欠点がある。一つ目は計算量が膨大になること、二つ目はミュージカルノイズと言われる違和感のある独特のノイズ音が発生することである。
背景として、FFTは2のn乗単位のサンプル数でしか取り扱えないので、例えば計算量も離散的であり、計算リソースがあるので少しだけ増やす、ということができないということがある。一方で、バンドパスフィルタは、1つのバンドパスフィルタの計算量の単位が小さいため、バンド数の増減は容易であったり、計算リソースに合わせて細かく設定できる利点がある。したがって、バンドパスフィルタを用いる手法が好ましいと考えられる。
一般的にバンドパスフィルタを用いる音声解析・合成では、バンドパスフィルタよって分けられた各帯域の音データを解析し、各帯域の音データに並列的に処理を施して最後に全てを合成するという手法がとられる。
図12のようなバンドパスフィルタを用いた音声解析及び合成する手法では、音質に関して上記FFTの場合よりは好ましい。ところが、バンドパスフィルタによる位相回転や、バンドによって加算する/しない、またはレベルを大きく/小さくする、などが制御調整されている。このため、バンド毎の加算時に、元の音源に比べて位相の不整合が起こり、結果、ノイズとして感じる音質劣化が否めなく、問題となっていた。
さらに上記第1〜第nの音源方向角度解析部のそれぞれは、音源方向が分散状態であると判定したときには、制御対象のフィルタに減衰処理を実行させる。
また上記第1〜第nの音源方向角度解析部のそれぞれは、対応する帯域について、各チャンネルの音声信号のエネルギー差分に基づいて音源方向を判定する。
また上記フィルタ処理部の直列接続された第1〜第nのフィルタには、上記複数チャンネルの音声信号を合成した音声信号が入力される。
或いは上記フィルタ処理部の直列接続された第1〜第nのフィルタには、上記複数チャンネルのうちの一のチャンネルの音声信号が入力される。
ノイズ低減手法に伴う音質劣化の改善のため、一体又は別体の二つ以上のマイクによって得られた音声信号を複数の帯域ごとにわけて、帯域ごとにノイズかどうかの判定のための解析(音源方向判定)を行う。そして入力された音声信号の一つ、または複数の加算値を、音源方向の解析結果を用いて、位相の不整合が発生しない時間軸上で直列に並んだフィルタ群を用いて処理し、ノイズを低減する。
直列接続されたフィルタ群は複数個のゲイン制御可能な帯域強調または減衰フィルタより構成され、解析結果に基づいてこれが制御されるものとする。
<1.実施の形態のノイズサプレッション装置>
<2.NCヘッドホンに適用した例>
<3.各種機器への適用例及び変形例>
本発明の音声信号処理装置の実施の形態としてのノイズサプレッション装置1を図1に示す。
このノイズサプレッション装置1は、左右のマイク2L、2Rで収音された音声信号が入力され、例えば正面(又は後方)からの音声を強調し、他の方向から音声を減衰させることで、ノイズ環境での会話などに好適な音声信号を得るものである。
またマイク2Rで得られた音声信号SmRはマイクアンプ3Rで増幅され、A/D変換器4Rでデジタルデータに変換される。そしてデジタルデータ化された音声信号SmRはノイズサプレッション装置1に入力される。
音源方向判定部1Aは、L/Rチャンネルの音声信号SmL,SmRについて、この例では第1〜第3の各帯域毎に、それぞれ音源方向を判定する。
フィルタ処理部1Bは、上記の第1〜第3の帯域についての音声信号の強調又は減衰を行う直列接続された第1〜第3のフィルタ(後述するMPF58,59,60)を有する。
バンドパスフィルタ51L、52L、53Lは、それぞれが通過中心周波数をfc1,fc2,fc3とされている。説明上、それぞれの通過帯域をBD1,BD2,BD3と表記することとする。
またバンドパスフィルタ51R、52R、53Rも、それぞれが通過中心周波数をfc1,fc2,fc3とされている。それぞれの通過帯域は同じくBD1,BD2,BD3である。
左チャンネルの音声信号SmLは、バンドパスフィルタ51L、52L、53Lに入力され、各帯域BD1,BD2,BD3の音声信号成分が抽出される。
また右チャンネルの音声信号SmRは、バンドパスフィルタ51R、52R、53Rに入力され、各帯域BD1,BD2,BD3の音声信号成分が抽出される。
バンドパスフィルタ52L、52Rの出力である、左右各チャンネルの帯域BD2の音声信号成分は音源方向角度解析部55に供給される。
バンドパスフィルタ53L、53Rの出力である、左右各チャンネルの帯域BD3の音声信号成分は音源方向角度解析部56に供給される。
音源方向角度解析部55は、帯域BD2に対応し、供給された帯域BD2の音声信号成分のうちで支配的な音の音源方向を判定する。
音源方向角度解析部56は、帯域BD3に対応し、供給された帯域BD3の音声信号成分のうちで支配的な音の音源方向を判定する。
音源方向角度解析部54,55,56での音源方向の判定手法については後述するが、音源方向角度解析部54,55,56のそれぞれは、対応する帯域について、各チャンネルの音声信号のエネルギー差分に基づいて音源方向を判定する。
そして音源方向角度解析部54,55,56は、判定した方向に応じて、制御信号SG1,SG2,SG3により、1:1で対応して設けられているミッドプレゼンスフィルタ(MPF:Mid Presence Filter)58、59,60を制御する。図からわかるように、音源方向角度解析部54はMPF58を、音源方向角度解析部55はMPF59、音源方向角度解析部56はMPF60を、それぞれ制御対象としている。
加算器57は、左右チャンネルの音声信号SmL,SmRを加算する。加算器57による左右チャンネルの音声信号を合成した音声信号(LR加算信号)はMPF58に供給される。
MPF58,59,60は、それぞれが中心周波数がfc1,fc2,fc3とされる。そして図2のような特性を持ち、特定の対象帯域(周波数fcを中心とする帯域)に対して、ゲインの増幅や低減を行うものとされる。MPF58,59,60では、このようなゲイン可変調整による対象の帯域の強調又は減衰が、上記のように、音源方向角度解析部54,55,56によって制御される。
またMPF59は、周波数fc2を中心とする帯域BD2の強調又は減衰を行うが、このMPF59はバンドパスフィルタ52L、52R、音源方向角度解析部55に対応する。
またMPF60は、周波数fc3を中心とする帯域BD3の強調又は減衰を行うが、このMPF60はバンドパスフィルタ53L、53R、音源方向角度解析部56に対応する。
図3は音源方向角度解析部54,55,56で行われる音源方向・角度の判定時のサンプル値のプロットを示している。
音源方向角度解析部54,55,56には、それぞれ音声信号SmL,SmRの帯域BD1,BD2,BD3の成分が入力されるが、音源方向角度解析部54,55,56は、それぞれL、Rチャンネルの振幅値をプロットしていく。
この図3のLR平面上のプロット位置は、L、R各チャンネルの音声信号SmL,SmRのエネルギー差分を表すこととなる。
例えば或る時点t0の入力値として、Lチャンネル振幅絶対値が「A1」、Rチャンネル振幅絶対値が「A2」であったとすると、その入力値は黒丸で示すサンプルSPt0としてプロットされる。これを順次各時点t1,t2・・・で行い、図のようにサンプルSPt1、SPt2・・・をプロットしていく。
この直線LLの角度θを音源方向の角度とみなす。
一方で、角度θ(直線LL)がLR平面の縦軸寄り、または横軸寄りとなったときは、その帯域の音声の左右の振幅値の差は大きく、右方向側或いは左方向側からの音と考えることができる。
その場合、図4(a)のように、角度θがLR平面上でセンター領域の範囲内にあるときは、その帯域は会話音声(ボイス音声)と判定する。
また図4(b)のように角度θがLR平面上でセンター領域外、即ち右領域(又は左領域)に或る場合は、正面からの音である可能性は低く、その帯域の音はノイズ音と判定する。
このように分散度合いが大きい場合とは、周囲の反射音等により、ノイズ音声が広く多方向、全方向から到達する場合などである。例えば飛行機の客室のように反射音も含め音があらゆる方向から鳴っているような場合がある。
そこで、分散度合いが所定以上の場合は、角度θがセンター領域内であっても、その帯域の音はノイズと判定する。
具体的な一例としては、最小二乗法で直線LLを求めたときの距離の二乗和が、或る閾値以上となっているときは、分散度合いが大きいと判定することができる。サンプルのプロット点がセンター領域内に集中していれば各サンプルSPから直線LLまでの距離の二乗和は小さくなり、逆に図4(c)のような場合は大きくなるからである。
ここでは音源方向角度解析部54が帯域BD1について上記の解析を行ったところ、直線LLの角度θがセンター領域内となったとする。上記のように音源方向角度解析部54は制御信号SG1により、MPF58を制御するが、この場合は、目的音声と判定されることで、図のようにMPF58で周波数fc1を中心とする帯域BD1をブーストさせることとなる。
また音源方向角度解析部55が帯域BD2について上記の解析を行ったところ、直線LLの角度θがセンター領域外となったとする。音源方向角度解析部55は制御信号SG2により、MPF59を制御するが、この場合は、ノイズと判定されることで、図のようにMPF59で周波数fc2を中心とする帯域BD2を減衰させることとなる。
また音源方向角度解析部56が帯域BD3について上記の解析を行ったところ、直線LLの角度θがセンター領域内となったとする。しかし、サンプル点の分散度合いが所定以上であることから、帯域BD3の音はノイズと判定する。音源方向角度解析部56は制御信号SG3により、MPF60を制御するが、この場合もノイズと判定することで、図のようにMPF60で周波数fc3を中心とする帯域BD3を減衰させることとなる。
まず音源方向角度解析部54は、ステップF101,F102で所定の単位時間、入力される帯域BD1の音声信号SmL,SmRの入力値を上述のLR平面上にプロットしていく。
単位時間での多数のサンプル点のプロットを行ったら、音源方向角度解析部54はステップF103に進み、最小二乗法により直線LLを求め、直線LLの角度θを求める。
そしてステップF104で、まず角度θがセンター領域内に入っているか否かを判定する。もしセンター領域内でなければ、音源方向角度解析部54はステップF107に進み、当該帯域BD1の音はノイズと判定する。そして制御信号SG1によりMPF58で帯域BD1の減衰処理を実行させる。
なお、この場合の減衰量は、例えばこのときの角度θと、センター領域の中心の角度(例えば45°)の差分に応じた減衰量とすることが考えられる。
分散状態が所定以上であると判断したときは、音源方向角度解析部54はステップF108に進み、当該帯域BD1の音はノイズと判定する。そして制御信号SG1によりMPF58で帯域BD1の減衰処理を実行させる。
なお、この場合の減衰量は、例えば距離の二乗和の値に応じた減衰量とすることが考えられる。
なお、この場合のブースト量は、例えばこのときの角度θと、センター領域の中心の角度(例えば45°)の差分及び分散度合いに応じたブースト量とすることが考えられる。即ち角度θが45°に近いほどブースト量を多くし、また分散度合いが小さいほどブースト量を多くする。
音源方向角度解析部54は以上のような処理を継続的に繰り返し実行する。音源方向角度解析部55,56も同様である。
従って単位時間毎に、各帯域の音源方向判定及びそれに基づいたMPF58,59,60のフィルタ特性の制御が実行されることとなる。
さらに使用リソース量応じてバンドパスフィルタをスケーラブルに設計することが可能である。これはFFTを用いる処理では不可能なことである。
それに加えて、システム全体を低遅延で実装することが可能となり、特に音声コミュニケーション等、非常に早いレスポンスを求められている分野に適している。
上述した本実施の形態のノイズサプレッション装置1をノイズキャンセリングヘッドホン10に適用した例を説明する。
図7は、携帯用のメディアプレーヤ20等の音楽再生機器に接続して用いるノイズキャンセリングヘッドホン(NCヘッドホン)10を模式的に示している。
メディアプレーヤ20は、内部の記録媒体に記録された音楽等のデータを再生し、L、Rの2チャンネル音声信号を、接続されたNCヘッドホン10に出力する。
ヘッドホン部11は、ユーザの左右両耳に対応した各スピーカハウジング内にLチャンネルとRチャンネルのスピーカ13L、13Rを有する。
この例の場合、いわゆるフィードフォワード方式のノイズキャンセル処理を行うものとしており、マイク2L、2Rが、左右の各スピーカハウジングの外部音声を集音するように設けられている。
なおここでいうモニタモードとは、メディアプレーヤ20で再生中の音楽等の出力を停止し、ノイズキャンセル機能をオンとしたまま、会話音声等を良好に聞き取れるようにするモードである。
簡単に言えば次のようにノイズ低減を行う。
スピーカハウジングに取り付けられたマイク2L、2Rは、スピーカハウジングを介してユーザの耳に達する外部ノイズを集音する。ノイズキャンセルユニット14は、このマイク2L、2Rで集音した外部ノイズの音声信号から、外部ノイズとは音響的に逆相のノイズ低減音声信号を生成する。そして生成したノイズ低減音声信号を、再生音楽等の音声信号に合成してスピーカ13L、13Rに供給する。
従ってスピーカ13L、13Rから出力される音声には、外部ノイズの逆相成分が含まれているため、この逆相成分と、実際にスピーカハウジングを介して漏れ込む外部ノイズとが空間的に相殺されることになり、ユーザの聴覚には外部ノイズ成分が低減されて本来の再生音楽の出力音声が届くものとなる。
ノイズキャンセルユニット14は、マイクアンプ3L、3R、A/D変換器4L、4R、DSPまたはCPUによる主処理部33、メモリ部40、パワーアンプ42L、42R、A/D変換器41L、41R、モニタスイッチ43を有する。
主処理部33には、ノイズキャンセル部34,ゲイン部35、加算器36L、36R、ノイズサプレッション装置1、制御部38、イコライザ39、スイッチSW1,SW2が設けられる。
メディアプレーヤ20からは、いわゆるヘッドホン出力としてのLチャンネル、Rチャンネルの再生音声信号SA−L,SA−Rが供給される。
この再生音声信号SA−L,SA−Rは、A/D変換器41L、41Rでデジタル信号化される。そしてイコライザ39で振幅−周波数特性補正や位相−周波数特性補正、あるいはその両方などの音質補正がなされる。
イコライザ39の補正処理は制御部38からの制御信号に基づいて実行される。例えば周波数特性の指示などが制御信号によってなされる。
パワーアンプ42L、42Rはデジタルアンプで構成されても良いし、D/A変換器とアナログアンプで構成されても良い。
そしてパワーアンプ42L、42Rからの出力が、スピーカ13L、13Rに対する駆動信号とされ、スピーカ13L、13Rから再生音声信号SA−L,SA−Rに基づく音声出力が行われる。
マイク2L、2Rで集音された音声信号SmL,SmRは、ノイズキャンセルユニット14におけるマイクアンプ3L、3Rで増幅された後、A/D変換器4L、4Rでデジタル信号化される。
A/D変換器4L、4Rから出力されるデジタル化された音声信号SmL,SmRは、ノイズキャンセル部34に供給される。ノイズキャンセル部34は上述したフィードフォワード方式でのノイズ低減音声信号を生成するデジタルフィルタとされる。このノイズキャンセル部34は、制御部38から制御信号で指示されるフィルタ係数で、音声信号SmL,SmRのそれぞれについてのフィルタ処理を行い、Lチャンネル及びRチャンネルのノイズ低減音声信号を生成する。
そしてゲイン部35からのLチャンネル及びRチャンネルのノイズ低減音声信号は加算器36L、36Rに供給される、上述のように再生音声信号SA−L,SA−Rとそれぞれ加算される。
このようなノイズ低減音声信号が加算された再生音声信号SA−L,SA−Rにより、スピーカ13L、13Rから再生音声が出力されることで、上述のようなノイズ低減機能が発揮される。
A/D変換器4L、4Rから出力されるデジタル化された音声信号SmL,SmRは、ノイズサプレッション装置1に供給される。ノイズサプレッション装置1は図1〜図6で説明した構成及び動作を、入力された音声信号SmL,SmRに対して行う。
従って、このノイズサプレッション装置1からは、正面方向からの音声が会話音声等の目的音声として強調され、他の方向からの音は減衰された出力信号Soutが得られる。
出力信号SoutはスイッチSW1,SW2のTn端子に供給される。
モニタモードがオンとされると、制御部38は、スイッチSW1,SW2をTn端子に切り換える。なおモニタモードがオフであるときは、制御部38はスイッチSW1,SW2をTe端子に接続しており、再生音楽がスピーカ13L、13Rから出力される状態としている。
また制御部38はメディアプレーヤ20に対して再生動作の停止を指示する。これによってメディアプレーヤ20は再生を停止する。
従って加算器36L、36Rではゲイン部35からのノイズ低減音声信号と、ノイズサプレッション装置1の出力信号Soutが加算され、パワーアンプ42L、42Rに供給される。そしてスピーカ13L、13Rから音声として出力される。
これは、モニタモードとして周囲のノイズは低減されながら、例えば正面方向からの会話音声は明瞭に聞き取れるようなスピーカ出力音となる。
即ちNCヘッドホン10の使用時には、ノイズだけでなく人の声まで削減されてしまうが、上記の構成とすることで、マイク2L、2Rから等距離にある正面からの人の声は削減せず、周囲からのノイズを削減することができる。これによりNCヘッドホン10をしたまま、より快適に会話することができる。
また低計算量、低リソースの処理であることで、ノイズキャンセルユニット14などの小型機器での搭載にも適している。
それに加えて、システム全体を低遅延で実装することが可能となる。
NCヘッドホン10のモニターモード機能においては、実際の直接音と、ノイズサプレッション装置1の処理後の音声は空間的に重なってユーザの耳に届く。このため処理遅延が大きいと不快なエコーとして聞こえてしまうが、ノイズサプレッション装置1が低遅延で処理できることで、このようなことを避けることが可能となる。
本実施の形態のノイズサプレッション装置1は、さらに多様な機器に適用できる。
例えば携帯電話機での送話ノイズリダクション機能に用いることが考えられる。
ノイズサプレッション装置1を、携帯電話用のヘッドセットに搭載することにより、マイクから等距離にある自分の口から発せられた声は削減されず、周囲のノイズを削減し、相手側へと音声を送ることが可能となる。
もちろん、パーソナルコンピュータ(PC)やテレビジョン受像器で行うボイスコミュニケーションも同様である。
昨今、携帯電話機や小型PCなどで使われる音声認識機能付き「自動翻訳」などが日常的に使用できるような実用レベルまで来ており、今後、屋外でこのような機能は使われると考えられる。一方で屋外での音声入力は、音声認識の精度を落とすようなノイズが入ってくることも多い。
したがって、たとえば携帯型の機器の両端にマイクをつけて本実施の形態のノイズサプレッション装置1でフロントエンド処理を行うことで、自動翻訳システムが、ユーザの満足すべきシステムとなりえる。
上述した実施の形態ではマイク入力としての応用であったが、ライン入力や音楽ファイルへの適用を考えることもできる。
例えばボーカルやドラム音などは、一般的な楽音ではセンターに定位するように作られるため、本実施の形態のノイズサプレッション装置1を適用すれば、これらボーカルやドラム音が分離できる。もちろん、この後に帯域をわければボーカル・ドラムの分離も可能である。
図9にノイズサプレッション装置1としての構成の変形例を挙げる。これは、LチャンネルとRチャンネルで独立した2系統の直列フィルタ群を設けた例である。
即ちLチャンネルの音声信号SmLは、MPF58L,59L,60Lの直列フィルタ系に入力される。Rチャンネルの音声信号SmRは、MPF58R,59R,60Rの直列フィルタ系に入力される。
MPF58L、58Rは、音源方向角度解析部54の判定に基づく制御信号SG1によって、フィルタ特性が可変制御される。
MPF59L、59Rは、音源方向角度解析部55の判定に基づく制御信号SG2によって、フィルタ特性が可変制御される。
MPF60L、60Rは、音源方向角度解析部56の判定に基づく制御信号SG3によって、フィルタ特性が可変制御される。
つまり、動作は図1の構成と同様であるが、処理後の信号として、L/R2チャンネルの出力信号SoutL、SoutRを出力する構成例である。
このような構成として、ノイズサプレッション装置1を各種機器に適用してもよい。
その場合の直列フィルタ処理を行う音声信号は合成して1チャンネルとしても良いし、図8のように2チャンネルとしてもよい。さらには3チャンネル以上の各マイク入力音声信号をそれぞれ独立して直列フィルタ処理し、3チャンネル以上の出力信号Soutを得るようにしても良い。
さらに、1系統の直列フィルタを設ける場合に、入力される複数チャンネルの音声信号のうち、1つのチャンネルの音声信号を供給することも考えられる。例えば図1のように1系統の直列フィルタ(MPF58,59,60)を設ける場合に、音声信号SmLのみをMPF58,59,60のフィルタ群に供給し、出力信号Soutを得るような構成である。
また実施の形態では正面又は後面からの音を目的の音として強調する処理を説明したが、例えば右側からの音を目的の音として強調し、他の方向からの音を低減させるような処理も可能である。これは例えば図4(b)のように角度θが右領域の場合に、当該帯域を目的音声の帯域として対応するMPFにブースト処理させ、角度θがセンター領域や左領域の帯域については、対応するMPFにアッテネート処理させればよい。
つまり目的の音声の音源方向の設定はどのようにでも可能である。
Claims (5)
- 複数チャンネルの音声信号について、第1〜第nの帯域毎に、それぞれ音源方向を判定する音源方向判定部と、
上記第1〜第nの帯域についての音声信号の強調又は減衰を行う直列接続された第1〜第nのフィルタを有し、上記第1〜第nのフィルタのそれぞれは、上記音源方向判定部で判定された第1〜第nの帯域の音源方向に基づいて強調又は減衰を行うフィルタ処理部とを備え、
上記音源方向判定部は、上記第1〜第nの帯域に対応する第1〜第nの音源方向角度解析部を含み、
上記第1〜第nの音源方向角度解析部のそれぞれは、上記第1〜第nのフィルタのそれぞれに1:1で対応し、対応するフィルタを強調又は減衰の処理の制御対象としており、 上記第1〜第nの音源方向角度解析部のそれぞれは、対応する帯域の音源方向が所定角度範囲内の方向と判定したときに制御対象のフィルタに強調処理を実行させ、対応する帯域の音源方向角度が所定角度範囲内の方向ではないと判定したときに制御対象のフィルタに減衰処理を実行させるとともに、
上記第1〜第nの音源方向角度解析部のそれぞれは、音源方向が分散状態であると判定したときには、制御対象のフィルタに減衰処理を実行させる
音声信号処理装置。 - 上記第1〜第nの音源方向角度解析部のそれぞれは、対応する帯域について、各チャンネルの音声信号のエネルギー差分に基づいて音源方向を判定する請求項1に記載の音声信号処理装置。
- 上記フィルタ処理部の直列接続された第1〜第nのフィルタには、上記複数チャンネルの音声信号を合成した音声信号が入力される請求項1に記載の音声信号処理装置。
- 上記フィルタ処理部の直列接続された第1〜第nのフィルタには、上記複数チャンネルのうちの一のチャンネルの音声信号が入力される請求項1に記載の音声信号処理装置。
- 複数チャンネルの音声信号について、第1〜第nの帯域毎に、それぞれ音源方向を判定する音源方向判定ステップと、
上記第1〜第nの帯域についての音声信号の強調又は減衰を行う直列接続された第1〜第nのフィルタに音声信号を入力するとともに、上記第1〜第nのフィルタのそれぞれが、上記音源方向判定ステップで判定された第1〜第nの帯域の音源方向に基づいて強調又は減衰を行うフィルタ処理ステップとが行われ、
上記フィルタ処理ステップは、上記第1〜第nの帯域における、対応する帯域の音源方向が上記音源方向判定ステップにより所定角度範囲内の方向と判定されたときに制御対象のフィルタに強調処理を実行し、対応する帯域の音源方向角度が上記音源方向判定ステップにより所定角度範囲内の方向ではないと判定されたときに制御対象のフィルタに減衰処理を実行するとともに、上記第1〜第nの帯域における、対応する帯域の音源方向が上記音源方向判定ステップにより分散状態であると判定されたときには、制御対象のフィルタに減衰処理を実行する
音声信号処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125502A JP5593852B2 (ja) | 2010-06-01 | 2010-06-01 | 音声信号処理装置、音声信号処理方法 |
EP11167170A EP2392938B1 (en) | 2010-06-01 | 2011-05-23 | Sound Signal Processing Apparatus and Sound Signal Processing Method |
KR1020110048970A KR20110132245A (ko) | 2010-06-01 | 2011-05-24 | 음성 신호 처리 장치 및 음성 신호 처리 방법 |
CN201110146902.2A CN102271299B (zh) | 2010-06-01 | 2011-05-25 | 声音信号处理装置和声音信号处理方法 |
US13/115,233 US8976978B2 (en) | 2010-06-01 | 2011-05-25 | Sound signal processing apparatus and sound signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125502A JP5593852B2 (ja) | 2010-06-01 | 2010-06-01 | 音声信号処理装置、音声信号処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011254189A JP2011254189A (ja) | 2011-12-15 |
JP2011254189A5 JP2011254189A5 (ja) | 2013-05-30 |
JP5593852B2 true JP5593852B2 (ja) | 2014-09-24 |
Family
ID=44582074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010125502A Expired - Fee Related JP5593852B2 (ja) | 2010-06-01 | 2010-06-01 | 音声信号処理装置、音声信号処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8976978B2 (ja) |
EP (1) | EP2392938B1 (ja) |
JP (1) | JP5593852B2 (ja) |
KR (1) | KR20110132245A (ja) |
CN (1) | CN102271299B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5716287B2 (ja) | 2010-04-07 | 2015-05-13 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
JP5593851B2 (ja) | 2010-06-01 | 2014-09-24 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
WO2013135940A1 (en) * | 2012-03-12 | 2013-09-19 | Nokia Corporation | Audio source processing |
JP2015173369A (ja) | 2014-03-12 | 2015-10-01 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
TWI569257B (zh) * | 2014-07-04 | 2017-02-01 | 玄舟科技有限公司 | 音訊處理裝置及其音訊處理方法 |
CN105323012B (zh) * | 2014-07-14 | 2019-07-02 | 宏碁股份有限公司 | 声音数据传输系统与声音数据传输方法 |
CN104125522A (zh) * | 2014-07-18 | 2014-10-29 | 北京智谷睿拓技术服务有限公司 | 声道配置方法、装置及用户设备 |
KR102515996B1 (ko) | 2016-08-26 | 2023-03-31 | 삼성전자주식회사 | 음성 인식을 위한 전자 장치 및 그 제어 방법 |
JP7004727B2 (ja) | 2017-08-08 | 2022-01-21 | マクセル株式会社 | 音声連携システム |
CN108886647B (zh) * | 2018-04-04 | 2020-08-25 | 万魔声学科技有限公司 | 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统 |
CN111627425B (zh) * | 2019-02-12 | 2023-11-28 | 阿里巴巴集团控股有限公司 | 一种语音识别方法及系统 |
CN110021289B (zh) * | 2019-03-28 | 2021-08-31 | 腾讯科技(深圳)有限公司 | 一种声音信号处理方法、装置及存储介质 |
CN115299079A (zh) * | 2020-03-19 | 2022-11-04 | 松下电器(美国)知识产权公司 | 音响再现方法、计算机程序及音响再现装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2687496B1 (fr) * | 1992-02-18 | 1994-04-01 | Alcatel Radiotelephone | Procede de reduction de bruit acoustique dans un signal de parole. |
JP2001134295A (ja) * | 1999-08-23 | 2001-05-18 | Sony Corp | 符号化装置および符号化方法、記録装置および記録方法、送信装置および送信方法、復号化装置および符号化方法、再生装置および再生方法、並びに記録媒体 |
US7206421B1 (en) * | 2000-07-14 | 2007-04-17 | Gn Resound North America Corporation | Hearing system beamformer |
JP3670562B2 (ja) * | 2000-09-05 | 2005-07-13 | 日本電信電話株式会社 | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 |
JP2003061182A (ja) * | 2001-08-22 | 2003-02-28 | Tokai Rika Co Ltd | マイクロフォン装置 |
JP4016681B2 (ja) * | 2002-03-18 | 2007-12-05 | ヤマハ株式会社 | 効果付与装置 |
US7577262B2 (en) * | 2002-11-18 | 2009-08-18 | Panasonic Corporation | Microphone device and audio player |
JP4247037B2 (ja) * | 2003-01-29 | 2009-04-02 | 株式会社東芝 | 音声信号処理方法と装置及びプログラム |
JP4479644B2 (ja) * | 2005-11-02 | 2010-06-09 | ソニー株式会社 | 信号処理装置および信号処理方法 |
JP2008085417A (ja) * | 2006-09-26 | 2008-04-10 | Yamaha Corp | スピーカ音声強調装置 |
JP2008288785A (ja) * | 2007-05-16 | 2008-11-27 | Yamaha Corp | テレビ会議装置 |
JP5153389B2 (ja) * | 2008-03-07 | 2013-02-27 | 三洋電機株式会社 | 音響信号処理装置 |
JP4631939B2 (ja) * | 2008-06-27 | 2011-02-16 | ソニー株式会社 | ノイズ低減音声再生装置およびノイズ低減音声再生方法 |
JP2010125502A (ja) | 2008-11-28 | 2010-06-10 | Toyota Motor Corp | レーザ加工方法、及び、レーザ加工装置 |
JP5716287B2 (ja) | 2010-04-07 | 2015-05-13 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
JP5593851B2 (ja) | 2010-06-01 | 2014-09-24 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
-
2010
- 2010-06-01 JP JP2010125502A patent/JP5593852B2/ja not_active Expired - Fee Related
-
2011
- 2011-05-23 EP EP11167170A patent/EP2392938B1/en not_active Not-in-force
- 2011-05-24 KR KR1020110048970A patent/KR20110132245A/ko not_active Application Discontinuation
- 2011-05-25 US US13/115,233 patent/US8976978B2/en active Active
- 2011-05-25 CN CN201110146902.2A patent/CN102271299B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011254189A (ja) | 2011-12-15 |
EP2392938A1 (en) | 2011-12-07 |
US20110293107A1 (en) | 2011-12-01 |
EP2392938B1 (en) | 2013-03-13 |
CN102271299A (zh) | 2011-12-07 |
KR20110132245A (ko) | 2011-12-07 |
CN102271299B (zh) | 2015-07-15 |
US8976978B2 (en) | 2015-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5593852B2 (ja) | 音声信号処理装置、音声信号処理方法 | |
US9595252B2 (en) | Noise reduction audio reproducing device and noise reduction audio reproducing method | |
JP4304636B2 (ja) | 音響システム、音響装置及び最適音場生成方法 | |
JP6017825B2 (ja) | 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット | |
US9681246B2 (en) | Bionic hearing headset | |
US9071900B2 (en) | Multi-channel recording | |
JP2023175769A (ja) | 個々のサウンド領域を提供するための装置および方法 | |
US20160189728A1 (en) | Voice Signal Processing Method and Apparatus | |
JP4697553B2 (ja) | ハンズフリー通話機能付き音響再生装置 | |
US20080187148A1 (en) | Headphone device, sound reproduction system, and sound reproduction method | |
CN112954530B (zh) | 一种耳机降噪方法、装置、系统及无线耳机 | |
WO2018105077A1 (ja) | 音声強調装置、音声強調方法、及び音声処理プログラム | |
WO2006009058A1 (ja) | 音像定位装置 | |
JP6197930B2 (ja) | 耳孔装着型収音装置、信号処理装置、収音方法 | |
JP6315046B2 (ja) | 耳孔装着型収音装置、信号処理装置、収音方法 | |
US20040196984A1 (en) | Dynamic noise suppression voice communication device | |
JP2008228198A (ja) | 再生音調整装置及び再生音調整方法 | |
US20230254630A1 (en) | Acoustic output device and method of controlling acoustic output device | |
JP5538249B2 (ja) | ステレオヘッドセット | |
JP6936860B2 (ja) | 音声信号処理装置 | |
JP2000261894A (ja) | 騒音抑圧機能付き補聴器 | |
JP6668865B2 (ja) | 耳装着音響再生装置 | |
JP2010028181A (ja) | 集音ヘッドホン | |
WO2006117718A1 (en) | Sound detection device and method of detecting sound | |
JP7319687B2 (ja) | 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130416 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140721 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5593852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |