JP4403429B2 - 信号処理装置、信号処理方法、プログラム - Google Patents

信号処理装置、信号処理方法、プログラム Download PDF

Info

Publication number
JP4403429B2
JP4403429B2 JP2007058825A JP2007058825A JP4403429B2 JP 4403429 B2 JP4403429 B2 JP 4403429B2 JP 2007058825 A JP2007058825 A JP 2007058825A JP 2007058825 A JP2007058825 A JP 2007058825A JP 4403429 B2 JP4403429 B2 JP 4403429B2
Authority
JP
Japan
Prior art keywords
signal
audio signal
localization angle
wind noise
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007058825A
Other languages
English (en)
Other versions
JP2008227595A5 (ja
JP2008227595A (ja
Inventor
匡朗 君島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007058825A priority Critical patent/JP4403429B2/ja
Priority to GB0800979A priority patent/GB2447320B/en
Priority to US12/074,687 priority patent/US20080219470A1/en
Publication of JP2008227595A publication Critical patent/JP2008227595A/ja
Publication of JP2008227595A5 publication Critical patent/JP2008227595A5/ja
Application granted granted Critical
Publication of JP4403429B2 publication Critical patent/JP4403429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00Measuring characteristics of vibrations by using a detector in a fluid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001Adaptation of signal processing in PA systems in dependence of presence of noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声信号を入力して雑音低減のための処理を行う信号処理装置とその方法、及びプログラムに関する。
特許第3186892号
例えば、ビデオカメラ装置など、マイクロフォンを備えて外部音声を収音・記録可能に構成された記録装置などでは、収音時に強風がマイクロホンユニットに当たることによって風雑音と呼ばれる雑音が生じ、これが記録されてしまうといった問題がある。この風雑音は、その周波数成分が約1kHz以下の低周波数の領域に多く、例えば「ボコボコ」や「ゴボゴボ」などと形容できるような音質の耳障りな雑音となる。
従来、このような風雑音についての低減処理手法としては、例えば上記特許文献1に記載されるように、入力信号のうち所定周波数以上の成分を通過させるハイパスフィルタ(HPF)と、入力信号から風雑音を検出する風雑音検出手段とで構成され、HPFの周波数特性を風雑音検出手段の出力信号で制御するものが知られている。
風雑音は、上記のようにしてその周波数成分が約1kHz以下の低周波数の領域に多いという特徴を有していることから、このように風雑音の検出レベルに応じてHPFで低音域を減衰させることによって風雑音の抑圧を図ることができる。
しかしながら、上記特許文献1に記載の構成では、風の到来時には全ての音声信号に対してHPFが作用するため、風雑音が抑圧される一方で、収音されるべき音声信号の低域成分も同時に減衰されてしまうといった問題が生じる。このため、音色が大きく変化してしまい、例えば発話者の声が聞こえにくくなるなどの不都合が生じる。
そこで本発明は、収音されるべき音声信号の音質を損なうことなく、風雑音のみを抑圧することのできる手法を提案することを目的とする。このために本発明では、信号処理装置として以下のように構成することとした。
つまり、音声信号を入力する入力手段を備える。
また、上記入力手段によって入力た上記音声信号の複数の周波数バンドごとの定位角度を算出すると共に、それら複数の周波数バンドの信号成分のうちで、その定位角度が定められた定位角度外となる信号成分で且つ所定の周波数以下の信号成分を低減する、又は時間軸方向における定位角度の変化がランダムとなる信号成分で且つ所定の周波数以下の信号成分を低減する、又は隣接する周波数帯域の定位角度との差が定められた値よりも大となる信号成分で且つ所定の周波数以下信号成分を低減することで、風雑音成分を低減する雑音低減手段備えるようにした。
ここで、例えばステレオマイクなどで収音する場合、収音されるべき例えば発話者の声などの音声信号はセンターに集中する場合が多く、センター以外の両端側には環境音や雑音など、不要な信号成分が定位する場合が多い。このことと、上述したような風雑音の特徴(主要成分が1kHz以下となる)とを鑑みると、上記本発明のように定位角度が定められた定位角度(定位位置)外となる信号成分で且つ所定の周波数以下の信号成分を低減すれば、収音されるべき音声信号の音質を損なうことなく風雑音成分の抑圧を行うことができるものとなる。
また、上述もしたように風雑音は、収音時に強風がマイクロホンユニットに当たることによって発生するものとなる。この性質上、風雑音の収音信号においては、各チャンネルの信号波形がランダムになるという特徴を有する。このように各チャンネルの信号波形がランダムになるということは、風雑音成分を時間軸方向に追って見ると、その定位角度(定位位置)の変化態様は他の信号成分の定位位置の変化態様とは大きく異なるものになる。従ってこれに鑑みれば、上記本発明のように、時間軸方向における定位角度の変化がランダムとなる信号成分で且つ所定の周波数以下の信号成分を低減するものとすれば、収音されるべき音声信号の音質を損なうことなく風雑音の抑圧を行うことができることになる。
また、上記のようにして各チャンネルの信号波形がランダムになるということは、他の見方をすれば、風雑音成分としてはそれと近接する周波数帯域の信号成分の定位位置との差が他の信号成分に比べて大きくなるものと捉えることができる。従ってこの点によれば、上記本発明のように隣接する周波数帯域の定位角度との差が定められた値よりも大となる信号成分で且つ所定の周波数以下の信号成分を低減するものとすれば、収音されるべき音声信号の音質を損なうことなく風雑音を抑圧することができる。
上記のようにして本発明によれば、収音されるべき音声信号の音質を損なうことなく風雑音成分のみが抑圧されるように図ることができる。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
なお、説明は以下の順序で行う。

1.第1の実施の形態
1−1.ビデオカメラ装置の構成
1−2.第1例としての信号処理装置
1−3.ソフトウエアによる実現(第2例)
1−4.第3例としての信号処理装置
1−5.第4例としての信号処理装置
1−6.第5例としての信号処理装置
1−7.第6例としての信号処理装置
2.第2の実施の形態
3.第3の実施の形態
4.変形例
1.第1の実施の形態
1−1.ビデオカメラ装置の構成

図1は、本発明の実施の形態としての信号処理装置が備えられた、実施の形態としてのビデオカメラ装置(ビデオカメラ装置1)の内部構成を示したブロック図である。
このビデオカメラ装置1は、図中の撮像部5によって得られた撮像信号に基づく映像信号を記録することが可能に構成される。また撮像映像と共に、図示するLch(ch:チャンネル)マイクロフォンMIC-LとRchマイクロフォンMIC-Rとによるステレオマイクロフォンにより収音した音声信号を撮像映像と同期させて記録することが可能とされる。
先ず、撮像部5は、撮像に必要なカメラレンズ光学系、及びCCD(Charge Coupled Device)などの撮像素子等を備え、撮像映像に応じた電気信号をカメラ信号処理部6に供給する。
カメラ信号処理部6は、撮像部5から供給される上記電気信号としてのアナログの撮像信号について、例えばゲイン調整やサンプルホールド処理を施すことで波形整形を行ってビデオ信号(映像信号)を得る。そして、この映像信号を映像信号処理部7に対して供給する。
映像信号処理部7は、入力された映像信号について所定の映像信号処理を行うことにより、例えばカラーテレビジョン放送に用いられている輝度信号Y及び2つの色差信号R−Y、B−Yを多重化した、NTSC(National Television System Committee)方式又はPAL(Phase Alternation by Line)方式の標準カラーテレビジョン信号を生成する。このカラーテレビジョン信号による映像信号は、後述するエンコーダ8に対して供給される。
なお、撮像時においては、例えば液晶ディスプレイなどとされる表示部14上に撮像映像を表示するということが行われる。その場合、映像信号処理部7は、上記映像信号を表示処理部13に対しても供給するようにされる。そして表示処理部13は、上記映像信号に基づき表示部14を駆動制御することで、表示部14上に撮像映像に応じた映像表示を行わせる。
一方、上記LchマイクロフォンMIC-L、上記RchマイクロフォンMIC-Rによるそれぞれの収音信号(以降Lch音声信号、Rch音声信号とも呼ぶ)は、Lchマイクアンプ2L、Rchマイクアンプ2Rにより増幅され、A/D変換器3L、A/D変換器3Rにおいてそれぞれデジタル信号に変換された後、図示するLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1を介して音声信号処理部4に対して供給される。
なお、これらLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1については後述する。
また、以下の説明において、実施の形態の信号処理装置としての音声信号処理部4(後述する30,35,40,46,51,60,65も含む)に対して入力されるLch音声信号については「音声信号Lin」、Rch音声信号については「音声信号Rin」と表記する。
音声信号処理部4は、入力された音声信号Lin、音声信号Rinについて所要の音声信号処理を施し、その結果をLch出力音声信号Lex(単に音声信号Lexとも呼ぶ)、Rch出力音声信号Rex(単に音声信号Rexとも呼ぶ)として出力する。
特に本実施の形態の場合、音声信号処理部4(30,35,40,46,51,60,65)における音声信号処理としては、風雑音の抑圧のために所定の信号成分を低減する処理を行うことになる。なお、この低減処理の詳細内容については後述する。
音声信号処理部4(30,35,40,46,51,60,65)より出力された音声信号Lex、音声信号Rexは、それぞれLch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2を介してエンコーダ8に供給される。
なお、上記Lch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2を介しては、D/A変換器17L、D/A変換器17R側にも音声信号Lex、音声信号Rexを出力可能とされるが、これらLch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2の切換に応じて得られる動作については後述する。
エンコーダ8は、上述した映像信号処理部7からの映像信号と上記音声信号Lex、音声信号Rexとを入力し、これを例えばMPEG2(Moving Pictures Experts Group-2)方式など所定の映像・音声圧縮符号化方式により圧縮符号化し、出力する。
このように圧縮符号化された映像・音声信号は、図示するバス11を介してHDD(Hard Disc Drive)9に供給され、記録される。
システムコントローラ10は、ROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)などを備えたマイクロコンピュータで構成され、ビデオカメラ装置1の全体制御を行う。なお、システムコントローラ10は、バス11を介してエンコーダ8、HDD9、及び後述するデコーダ15、外部通信インタフェース16との間で各種のコマンドやデータのやり取りを行うことが可能とされる。
システムコントローラ10は、HDD9に記録された映像・音声信号の、外部機器への転送制御を行うようにされる。すなわち、バス11を介して接続されるHDD9に対する読み出し/書き込み制御、及び外部通信インタフェース16に対する制御を行うことで、インタフェース端子T-INTを介して接続された外部機器(例えばパーソナルコンピュータやDVD・HDDレコーダ等)との間での映像・音声信号の転送制御を行う。具体的に、例えばHDD9から外部機器への転送時には、HDD9に対する映像・音声信号の読み出し制御、及び外部通信インタフェース16への読み出し信号の転送指示などを行うことで、外部通信インタフェース16により読み出し信号をインタフェース端子T-INTを介して外部機器側に転送させる。
また、システムコントローラ10は、表示制御部13に対して各種の文字・アイコンなどの表示データを供給することで、表示部14上に所要の情報表示を行わせることもできる。
また、特に本実施の形態の場合、システムコントローラ10は、図中の制御信号CNTと示されるように、音声信号処理部4(30,35,40,46,51,60,65)に対して低減処理のための各種のパラメータを供給するようにされるが、これについては後述する。
また、システムコントローラ10に対しては図示する操作部12が備えられる。操作部12には、ビデオカメラ装置1の筐体外部に表出するようにして設けられた各種の操作子が設けられ、それらの操作に応じたコマンド信号がシステムコントローラ10に供給されるようになっている。
システムコントローラ10は、操作部12からのコマンド信号に応じた各種の制御動作を実行する。これによってビデオカメラ装置1がユーザの操作入力に応じた動作を実行するようにされている。
ここで、この場合において上記操作部12に設けられる操作子としては、例えば録音開始/停止ボタンや再生開始/停止ボタンなどがある。
システムコントローラ10は、記録開始ボタンによる記録開始指示に応じては、エンコーダ8により得られる映像・音声信号のHDD9への記録制御を行う。また、再生開始ボタンによる再生開始指示に応じては、HDD9からの映像・音声信号の読み出し制御を行う。
ここで、上記のようにしてシステムコントローラ10の制御に基づきHDD9から読み出された映像・音声信号は、デコーダ15に供給されて圧縮符号のデコード処理が行われることで、元の[映像信号、Lch音声信号、Rch音声信号]が再生される。図示するようにして映像信号については映像信号処理部7に供給される。
再生時においては、システムコントローラ10が映像信号処理部7に対する制御を行って、このようにデコーダ15から入力された映像信号を表示制御部13側に供給させ、表示部14に再生映像の表示を行わせる。
一方、上記のようにして再生されたLch音声信号、Rch音声信号は、先に述べたLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1に対して供給されることになる。
これらLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1は、端子t1に対して端子t2、端子t3を択一的に選択可能な2接点スイッチであり、それぞれ、端子t1が音声信号処理部4に対して接続されていることで、音声信号処理部4に対して入力されるべき音声信号を切り換えるようにされる。具体的に、上記デコーダ15からのLch音声信号、Rch音声信号は、それぞれ端子t3側に対して供給され、一方の端子t2側に対しては、A/D変換器3LからのLch音声信号、A/D変換器3RからのRch音声信号が供給されるようになっている。これにより、音声信号処理部4に対して入力されるべき音声信号として、収音信号と再生信号との切換を行うことが可能とされる。
図示は省略しているが、これらLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1の端子切換制御はシステムコントローラ10が行うようにされる。つまり、システムコントローラ10は、記録時においてはLch入力切換スイッチSW-L1、Rch入力切換スイッチSW-R1にそれぞれ端子t2を選択させることで、音声信号処理部4に対して収音信号を供給させる。また、再生時においては端子t3を選択させることで、音声信号処理部4に対して再生信号を供給させる。
なおこの際、本例としての雑音低減処理は、記録時においてリアルタイムに行うものとされるので、再生時においてシステムコントローラ10は、上述した制御信号CNTにより、音声信号処理部4に対して低減処理が行われないように処理パラメータを指示するようにされる。
また、システムコントローラ10は、上述したLch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2の端子切換制御も行うことで、音声信号処理部4からの音声信号Lex、音声信号Rexの出力制御も行うようにされる。これらLch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2としても、端子t1に対して端子t2、端子t3を択一的に選択可能な2接点スイッチとされ、それぞれ端子t1が音声信号処理部4側に対して接続されることで、音声信号処理部4からの音声信号Lex、音声信号Rexの出力切換えを行うようにされている。具体的に、Lch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2の端子t2は、上述したエンコーダ8側に接続され、また端子t3はそれぞれD/A変換器17L、D/A変換器17Rに対して接続される。
D/A変換器17L、D/A変換器17Rに供給された音声信号Lex、音声信号Rexは、図示するようにしてアンプ18L、アンプ18Rにて増幅された後、スピーカSP-L、スピーカSP-Rを介して音声出力される。
上記のような構成により、上記Lch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2の端子切換制御によって、音声信号をスピーカSPにより音声出力するか、エンコーダ8側に出力するかの制御が可能とされている。
システムコントローラ10は、記録時においてはLch出力切換スイッチSW-L2、Rch出力切換スイッチSW-R2に端子t2を選択させることで、音声信号Lex、音声信号Rexをエンコーダ8側に供給させる。一方、再生時においては端子t3を選択させることで音声信号Lex、音声信号RexをスピーカSP-L、スピーカSP-Rを介して出力させる。
以上のようにして、記録時においては、マイクロフォンMICからの収音信号が音声信号処理部4で処理された後、エンコーダ8を介してHDD9に記録される。また、再生時においては、再生映像が表示部14にて表示されると共に、再生音声がスピーカSPを介して出力されるようになっている。
なお、この図1では、ビデオカメラ装置1がHDDに映像・音声信号を記録する場合を例示したが、これに代えて、例えばDVD(Digital Versatile Disc)やBD(Blu-ray Disc)などの光ディスク記録媒体やメモリカードなど、リムーバブルメディアに対するドライブを備えるようにしてもよい。
1−2.第1例としての信号処理装置

ここで、上記構成によるビデオカメラ装置1としては、マイクロフォンを備えて外部音声を収音・記録可能に構成されているが、先にも述べたように、マイクロフォンにより外部音声を収音する際、強風がマイクロホンユニットに当たることによって風雑音と呼ばれる雑音が生じる。この風雑音は、その周波数成分が約1kHz以下の低周波数の領域に多く、例えば「ボコボコ」や「ゴボゴボ」などと形容できる音質となる。
従来、このような風雑音についての低減処理手法としては、例えば先に挙げた特許文献1に記載されるものが知られているが、この手法では、風雑音が抑圧される一方で、収音されるべき音声信号の低域成分も同時に減衰されてしまうため、音色が大きく変化して例えば声が聞こえにくくなるなどの問題が生じてしまう。
そこで本実施の形態では、収音されるべき音声信号の音質を損なうことなく、風雑音のみを抑圧が図られる手法を提案することを目的とする。そのために、先ずは第1の実施の形態として、以下のような観点に基づく風雑音の低減手法を提案する。
ここで、例えばステレオマイクなどで収音する場合、収音されるべき発話者の声などの音声信号はセンターに集中する場合が多く、センター以外の両端側には環境音や雑音など、不要な信号成分が分散して定位する場合が多い。このことと、上述したような風雑音の特徴(主要成分が1kHz以下となる)とに鑑みると、所定の周波数以下で、且つ或る定位角度(定位位置)外に定位している信号成分を低減すれば、収音されるべき音声信号の音質を損なうことなく、風雑音成分の抑圧のみが図られるようにすることができる。
第1の実施の形態の信号処理装置は、このような考えに基づく風雑音低減処理を行う。
先ずはその第1の構成例(以下、第1例と呼ぶ)として、先の図1に示した音声信号処理部4を、次の図2に示すようにして構成するものとしている。
この図2において、第1例としての音声信号処理部4には、図示するようにして分離処理回路20、LPF(Low Pass Filter)21L、LPF21R、HPF(High Pass Filter)22L、HPF22R、遅延器23L、遅延器23R、加算器24L、加算器24R、ゲイン器25、加算器26L、加算器26Rが備えられる。
図2においては、先の図1に示したシステムコントローラ10も示されているが、第1の実施の形態の場合、システムコントローラ10からの制御信号CNTとしては、角度指示信号とゲイン指示信号とが供給されるようになっている。図示するようにして、システムコントローラ10からの角度指示信号は分離処理回路20に対して供給され、ゲイン指示信号はゲイン器25に対して供給されるようになっている。
分離処理回路20は、音声信号Lin、音声信号Rinを入力し、上記角度指示信号により指示された定位角度内に定位している音源(つまりセンター付近に定位している音源)の音声信号と、指示された定位角度外に定位している音源(つまりセンター以外の両端付近に定位している音源)の音声信号とに分離する。
なお、このように所要の定位角度内/外に定位する音源を抽出する手法としては、例えばボーカル抽出/キャンセルの技術や、サラウンドシステムにおけるセンター信号の抽出技術など、既に知られている種々の技術を適用することができ、ここで特に限定されるべきものではない。
一例を挙げておくと、例えば以下のような手法を採ることもできる。つまり、音声信号Lin、音声信号RinについてFFTなどにより周波数解析を行った結果に基づき、所要幅の周波数バンドごとにLch側の信号とRch側の信号とのレベル比や位相差を算出し、その結果から周波数バンドごとの定位角度を求める。そして、このバンドごとの定位角度の情報から、指示された角度外に定位している周波数バンドの信号成分のみが抽出されるような目標周波数特性を算出し、その周波数特性を目標特性として設定したFIRフィルタなどの等化フィルタにより音声信号Lin、音声信号Rinを波形等化する。このような手法によって、指示された角度外に定位している信号成分を抽出することができる。なお、指示された角度内に定位している信号成分については、音声信号Lin、音声信号Rinから、上記のように抽出した指示された角度外の信号成分を減算して求めることができる。或いは、上記と同様の手法で波形等化を行って求めることも勿論可能である。
分離処理回路20は、例えば上記のような分離処理によって得られた、指示された角度外に定位するLch信号成分LoをLPF21L、及びHPF22Lに対して供給する。また、指示された角度内に定位するLch信号成分Liについては遅延器23Lに対して供給する。
さらに、分離処理によって得られた、指示された角度外に定位するRch信号成分RoについてはLPF21R、及びHPF22Rに対して供給し、また、指示された角度内に定位するRch信号成分Riについては遅延器23Rに対して供給する。
上記LPF21、HPF22では、先に述べた風雑音の性質に鑑みて、それぞれ1kHzを基準としたカットオフ周波数が設定されている。すなわち、LPF21L、LPF21Rでは、それぞれ指示された角度外に定位するLch信号成分Lo、Rch信号成分Roについて、そのうちの1kHz以下の成分のみを抽出するようにされる。一方、HPF22L、HPF22Rでは、それぞれ指示された角度外に定位するLch信号成分Lo、Rch信号成分Roについて、そのうちの1kHzよりも高い周波数の成分のみを抽出するようにされる。
上記LPF21Lにより抽出されたLch信号成分Loの1kHz以下の成分(以下Lchローパス出力信号Lo-LPと表記)、上記LPF21Rにより抽出されたRch信号成分Roの1kHz以下の成分(Rchローパス出力信号Ro-LPと表記)は、ゲイン器25に対して供給される。
ゲイン器25は、供給されたLchローパス出力信号Lo-LP、Rchローパス出力信号Ro-LPに対して、システムコントローラ10から供給されるゲイン指示信号により指示されるゲインを乗算する。
この場合、システムコントローラ10から供給されるゲイン指示信号によっては、「1」よりも小なるゲインが指示される。すなわち、これによってゲイン器25からは、Lchローパス出力信号Lo-LP(すなわち指示された角度外に定位するLch信号成分Loのうちの1kHz以下の成分)、Rchローパス出力信号Ro-LP(指示された角度外に定位するRch信号成分Roのうちの1kHz以下の成分)が低減されて出力されることになる。
低減されたLchローパス出力信号Lo-LPは加算器26Lに、また低減されたRchローパス出力信号Ro-LPは加算器26Rに対して供給される。
一方、上記HPF22Lにより抽出されたLch信号成分Loの1kHzより高い周波数の信号成分(Lchハイパス出力信号Lo-HPと表記)は、加算器24Lに対して供給され、ここで遅延器23Lを介して得られるLch信号成分Li(指示された角度内のLch信号成分)と加算された後、上記加算器26Lに対して供給される。
同様に、HPF22Rにより抽出されたRch信号成分Roの1kHzより高い周波数の信号成分(Rchハイパス出力信号Ro-HPと表記)は、上記加算器24Rに対して供給され、ここで遅延器23Rを介して得られるRch信号成分Ri(指示された角度内のRch信号成分)と加算された後、加算器26Rに対して供給される。
ここで、上記遅延器23L、遅延器23Rによっては、それぞれHPF22及びLPF21において発生する処理遅延と同じ時間だけLch信号成分Li、Rch信号成分Riが遅延されて出力されるようになっている。
加算器26Lは、ゲイン器25により得られたLchローパス出力信号Lo-LPの低減信号と、上記加算器24Lによる加算出力信号とを加算して出力する。また、加算器26Rは、ゲイン器25により得られたRchローパス出力信号Ro-LPの低減信号と、上記加算器24Rの加算出力信号とを加算して出力する。
これらの加算結果が、それぞれ図1にも示した音声信号Lex、音声信号Rexとして音声信号処理部4から出力されるものとなる。
上記のようにして第1の実施の形態では、指示された角度外に定位するLch信号成分Lo、Rch信号成分Roを抽出した上で、そのうちの所定の周波数以下の成分(この場合は1kHz以下の成分)を低減するものとしている。これにより、例えば従来のように単に低域成分のみを抽出してこれを低減する場合のように、例えばセンター付近に定位する収音されるべき音声信号成分までもが低減されてしまうといった事態が生じないようにすることができる。すなわちこの結果、収音されるべき音声信号の音質を損なうことなく、風雑音成分のみの抑圧が図られるようにすることができる。
1−3.ソフトウエアによる実現(第2例)

上記による説明では、第1の実施の形態の第1例としての低減処理が、ハードウエア構成により実現される場合を例示したが、例えば次の図3に示されるようにしてCPU31、メモリ32を備えた音声信号処理部30の構成とした場合には、ソフトウエア処理により実現することもできる。以下、このような第2例としての音声信号処理部30について説明する。
図3において、この場合の音声信号処理部30に対しても、音声信号Lin、音声信号Rinが供給されるようになっている。音声信号処理部30においては、CPU31の制御に基づき、音声信号Lin、音声信号Rinをメモリ32にバッファリングすることができる。
また、このようにメモリ32内にバッファリングされた音声信号Lin、音声信号Rinを、CPU31の制御に基づき音声信号処理部30外に音声信号Lex、音声信号Rexとして出力することができる。
メモリ32は、CPU31が備えるメモリを包括的に示しており、特にこの場合は、先に述べた第1例としての低減処理をソフトウエア処理により実現するために必要な雑音低減プログラム32aが格納されている。
また、この場合、システムコントローラ10からの制御信号CNTはCPU31に対して供給されるようになっており、CPU31に対して角度指示、ゲイン指示が行われるようになっている。
図4は、図3に示す構成により第1例としての低減処理を実現する場合に、CPU31により行われるべき処理動作について示したフローチャートである。この図に示す処理動作はCPU31が上記雑音低減プログラム32aに基づき実行するものである。
また、これまでの説明では特に言及はしなかったが、実施の形態における雑音低減処理では、入力音声信号を所定の時間単位(フレーム単位)に区切った上で、各処理をこの時間単位ごとに順次行うようにしている。すなわち、フレーム単位ごとに、図示するようにして風雑音成分の抽出からその低減までの処理を1セットとしてこれを繰り返し行うことになる。
図4において、先ずステップS101では、指示された角度内の信号とそれ以外の信号とに分離する。すなわち、システムコントローラ10から指示された定位角度の情報に基づき、音声信号Linについては、指示された角度内/外にそれぞれ定位するLch信号成分Li/Lch信号成分Loに分離し、音声信号Rinについては指示された角度内/外にそれぞれ定位するRch信号成分Ri/Rch信号成分Roに分離する。
続くステップS102では、Lch信号成分Lo、Rch信号成分Roを、1kHz以下の信号とそれ以外の信号とに分離する。つまり、Lch信号成分Loについては、1kHz以下のローパス出力信号Lo-LPとそれ以外のハイパス出力信号Lo-HPとに分離し、Rch信号成分Roについては1kHz以下のRchローパス出力信号Ro-LPとそれ以外のRchハイパス出力信号Ro-HPとに分離する。
さらに、次のステップS103では、Lchハイパス出力信号Lo-HPとLch信号成分Li、Rchハイパス出力信号Ro-HPとRch信号成分Riをそれぞれ加算する。
そして、続くステップS104では、Lchローパス出力信号Lo-LPとRchローパス出力信号Ro-LPに対し、それぞれシステムコントローラ10から指示されたゲインを乗算し、上記ステップS103の処理により得たLo-HP+Li、Ro-HP+Riと加算して出力する。
次のステップS105では、信号入力が終了したか否かについて判別処理を行う。つまり、例えば記録停止指示などに応じて収音信号の記録が停止され、音声信号処理部30への音声信号Lin、音声信号Rinの入力が停止されたか否かについて判別処理を行い、信号入力が停止(終了)していないとして否定結果が得られた場合は先のステップS101に戻り、肯定結果が得られた場合はこの図に示す処理動作を終了する。
なお、この図4では一例として、ステップS103にてLo-HP+Li、Ro-HP+Riを先に演算しておき、次のステップS104でLo-LP、Ro-LPに指示されたゲインを乗算するものとしたが、これらの順番は前後しても構わない。
1−4.第3例としての信号処理装置

ここで、先の第1例では、Lch信号成分Lo、Rch信号成分Ro(指示された角度外の信号成分)からそれぞれ1kHz以下の成分とそれ以外の成分とを分離するにあたり、LPF21とHPF22の双方を用いるものとしたが、1kHz以下の成分/それ以外の成分のうち何れか一方が抽出できれば、残りの成分は、元の信号成分からその抽出した成分を減算することで求めることができる。すなわち、このようにすることで、LPF21、HPF22のうち何れか一方を省略することができる。
例えば次の図5では、LPF21L、LPF21Rによりそれぞれ抽出した1kHz以下の成分を用いて、これを元の信号成分から減算することで残りの成分を求める場合の構成例(音声信号処理部35)を示している。なお、この図5において、既に先の図2にて説明した部分については同一符号を付して説明を省略する。
この音声信号処理部35では、先の図2に示した音声信号処理部4が備えていたHPF22Lに代えて遅延器36Lが、またHPF22Rに代えて遅延器36Rが設けられる。さらに、図示するようにして遅延器36Lの後段には、当該遅延器36Lの出力からLPF21Lの出力を減算する減算器37Lが設けられ、また遅延器36Rの後段には、遅延器36Rの出力からLPF21Rの出力を減算する減算器37Rが設けられる。
このような構成により、上記減算器37Lの出力は、Lchローパス出力信号Lo-LPとして扱うことができ、また上記減算器37Rの出力はRchローパス出力信号Ro-LPとして扱うことができる。従って、図示するようにして上記減算器37Lの出力が加算器24Lに供給され、また上記減算器37Rの出力が加算器24Rに供給されるように構成されていることで、先の第1例の場合と同様の結果を得ることができる。
なお、確認のために述べておくと、この場合に設けられる遅延器36L、遅延器36Rとしても、各LPF21で生じる処理遅延と同じ時間の遅延を入力信号に与えるようにして構成されるものである。
1−5.第4例としての信号処理装置

図6は、第1の実施の形態の第4例としての信号処理装置(音声信号処理部40)の内部構成について示したブロック図である。この図6においても、既に先の図2にて説明した部分については同一符号を付して説明を省略する。
第4例としての音声信号処理部40は、音声信号Lin、音声信号Rinをそれぞれ所要数の周波数バンドに分割した上で、それら各バンドごとに、Lch側とRch側の信号に基づく演算を行ってそのバンドの信号成分の定位角度を求め、その結果から指示された角度外(つまりセンター以外)に定位する信号成分を特定し、これに指示されたゲインを乗じることによって風雑音のみが低減されるように図るものである。
図6において、この音声信号処理部40には、上記のようにして音声信号Lin、音声信号Rinをそれぞれ所要数の周波数バンドに分割し、またこのように各バンドに分割された信号成分を最終的に統合するための構成として、[周波数帯域分割回路41L、周波数帯域合成回路44L]の組と、[周波数帯域分割回路41R、周波数帯域合成回路44R]の組とが設けられる。
周知のように、入力信号を複数の周波数帯域に分割する手法としては、DFT(Discrete Fourier Transform)、ウェーブレットフィルタバンク、QMF(Quadrature Mirror Filter)フィルタバンクなどのフィルタバンクと呼ばれる手法がある。フィルタバンクは、周波数帯域分割処理(分析フィルタバンク)と周波数帯域合成処理(合成フィルタバンク)の1セットで構成される。このフィルタバンクの手法は、入力信号を各帯域ごとに目的に応じて処理する場合などに利用されているもので、例えば非可逆圧縮などで広く用いられている。
なお、ここでは周波数帯域分割の手法としてフィルタバンクの手法を採用する場合を例示しているが、他にも多数のバンドバスフィルタによって複数バンドに分割する手法を採用することも可能である。
周波数帯域分割回路41Lは音声信号Lin、周波数帯域分割回路41Rは音声信号Rinをn個の周波数バンドに分割し、これにより音声信号Linについてはn個のLchサブバンド信号(sub1−L、sub2−L、…、subn−L)が得られ、音声信号Rinについてはn個のRchサブバンド信号(sub1−R〜subn−R)が得られる。
n個のLchサブバンド信号sub1−L〜subn−Lの個々は、図示するようにしてn個のゲイン器43(43−1〜43−n)のうち同一の添え字(1〜n)の付されるゲイン器43を介した後、それぞれ周波数帯域合成回路44Lに供給されるようになっている。
また、n個のRchサブバンド信号sub1−R〜subn−Rの個々は、上述したゲイン器43−1〜43−nのうち同一の添え字(1〜n)の付されるゲイン器43を介した後、それぞれ周波数帯域合成回路44Rに供給される。
周波数帯域合成回路44Lでは、各ゲイン器43から供給されるn個のLchサブバンド信号sub1−L〜subn−Lを合成して元の音声信号の形態(状態)に再構成し、これを音声信号Lexとして出力する。
同様に周波数帯域合成回路44Rでは、各ゲイン器43から供給されるn個のRchサブバンド信号sub1−R〜subn−Rを合成して元の音声信号の形態(状態)に再構成し、これを音声信号Rexとして出力する。
なお、上記周波数帯域分割回路41L、周波数帯域分割回路41Rによって入力音声信号を複数バンドに分割する際、各バンド幅は等しくしてもよいし異なるものであってもよい。
例えば実施の形態では、風雑音の低減という主旨から例えば1kHzより高周波数の帯域に対しては処理を行わないため、例えば1kHz以下の周波数帯域を64等帯域に分割し、それ以外の帯域はまとめて1帯域とする、などといったこともできる。
また、ここで注意すべき点は、周波数帯域分割回路41L、41Rでは、1kHz以下の帯域が複数バンドに分割されるように周波数帯域分割を行うということである。すなわち、このように1kHz以下の帯域が複数バンドに分割されるように周波数帯域分割が行われなければ、風雑音成分とそれ以外の成分との分離を適正に行うことができなくなってしまうからである。
説明を戻し、第4例の音声信号処理部40では、上記構成に加えて、各周波数バンドごとに定位角度の算出、及び算出した定位角度に基づき指示された角度外に定位するサブバンド信号subに対し、指示されたゲインを乗算させるための構成として、n個の定位角度算出回路42(42−1〜42−n)と、風雑音検出・ゲイン調節回路45が設けられる。
図示するようにして、周波数帯域分割回路41Lにより生成されたLchサブバンド信号sub1−L〜subn−L、及び周波数帯域分割回路41Rにより生成されたRchサブバンド信号sub1−R〜subn−Rは、上述したゲイン43に対して供給されると共に、定位角度算出回路42−1〜42−nのうち同一の添え字の付される定位角度算出回路42に対しても分岐して供給されるようになっている。すなわち、これによって定位角度算出回路42−1〜42−nの個々には、それぞれ対応する周波数バンドのLchサブバンド信号sub−LとRchサブバンド信号sub−Rとが入力されるようになっている。
定位角度算出回路42は、それぞれ入力されるLchサブバンド信号sub−LとRchサブバンド信号sub−Rとに基づく演算を行ってその周波数バンドの信号成分についての定位角度を算出し、その結果を風雑音検出・ゲイン調節回路45へと供給する。つまり、例えば定位角度算出回路42−1ではLchサブバンド信号sub1−LとRchサブバンド信号sub1−Rとに基づく演算を行ってそのバンド(バンド1)の定位角度を算出し、また定位角度算出回路42−2ではLchサブバンド信号sub2−LとRchサブバンド信号sub2−Rとに基づく演算を行ってバンド2の定位角度を算出するといったように、それぞれの周波数バンドのLchサブバンド信号sub−L、Rchサブバンド信号sub−Rから定位角度を算出し、その結果を風雑音検出・ゲイン調節回路45へと供給する。
ここで、図7は、定位角度算出回路42の内部構成を示している。
この図7に示されるようにして、定位角度算出回路42内には、Lch用のフーリエ変換器42a−L、Rch用のフーリエ変換器42a−R、及び定位角度算出器42bが備えられている。
フーリエ変換器42a−LはLchサブバンドの信号sub−L、フーリエ変換器42a−RはRchサブバンド信号sub−Rに対し、それぞれFFT(高速フーリエ変換)などのフーリエ変換処理を施す。このフーリエ変換処理により、フーリエ変換器42a−LではLch複素サブバンド信号Csub−Lが得られ、またフーリエ変換器42a−RではRch複素サブバンド信号Csub−Rが得られる。
これらLch複素サブバンド信号Csub−L、Rch複素サブバンド信号Csub−Rは、定位角度算出器42bに供給される。
なお、周波数帯域分割回路41においてサブバンド信号subがすでに複素サブバンド形式に変換されている場合、フーリエ変換器42aは設ける必要はなく、Lchサブバンド信号sub−L、Rchサブバンド信号sub−Rが直接的に定位角度算出器42bに供給されればよい。
定位角度算出器42bでは、Lch複素サブバンド信号Csub−LとRch複素サブバンド信号Csub−Rとの位相差およびレベル比を計算し、これら位相差・レベル比の算出結果から該当する周波数バンドの信号成分の定位角度を求める。そして、このようにして求めた定位角度の情報を図6に示した風雑音検出・ゲイン調節回路45に供給する。
図6に戻り、風雑音検出・ゲイン調節回路45は、定位角度算出回路42−1〜42−nから供給される各周波数バンドの定位角度情報と、システムコントローラ10からの制御信号CNT(角度指示信号、ゲイン指示信号)とに基づき、風雑音のみが低減されるようにゲイン器43−1〜43−nのそれぞれのゲインを決定する。
具体的には、先ず、1kHz以下となる周波数バンドのうち、定位角度が角度指示信号により指示された角度外となる周波数バンドを割り出す。そして、ゲイン器43−1〜43−nのうち、このように割り出した周波数バンドを担当する(つまり1〜nのうち同じ添え字の付される)ゲイン器43に対して設定されるべきゲインとして、ゲイン指示信号により指示されたゲインを決定する。一方で、それ以外の周波数バンドを担当するゲイン器43については、ゲイン「1」を決定する。その上で、このように各ゲイン器43について決定したゲインが設定されるように、各ゲイン器43のゲインを調節する。
このような処理が行われることにより、この場合も指示された角度外に定位する信号成分のみが低減されるようにすることができ、この結果、風雑音のみが低減されるように図ることができる。
[ソフトウエアによる実現]
このような第4例としての低減処理としても、ソフトウエアによる実現が可能である。次の図8は、第4例としての低減処理をソフトウエア処理により実現する場合に実行されるべき処理動作を示している。
なお、この第4例についても、ソフトウエアによる実現を図る際の音声信号処理部の内部構成は先の図3に示したものと同様となるので、ここでの改めての説明は省略する。
また、この図8に示す処理動作としても、図3に示すCPU31がメモリ32内に格納される雑音低減プログラム32aに基づいて実行するものとすればよい。
なお、これらのことは、以降で[ソフトウエアによる実現]とする各実施例についても同様にあてはまるものとする。
図8において、先ずステップS201では、音声信号Lin、音声信号Rinを複数バンドに分割する。すなわち、1〜nの周波数バンドに分割し、Lchサブバンド信号sub1−L〜subn−L、Rchサブバンド信号sub1−R〜subn−Rを得る。
続くステップS202では、音声信号Lin、音声信号Rinの各バンドの信号についてフーリエ変換処理を行う。つまり、ステップS201の分割処理によって得られたLchサブバンド信号sub1−L〜subn−L、Rchサブバンド信号sub1−R〜subn−Rの個々についてフーリエ変換を行って、Lch複素サブバンド信号Csub−L(Csub1−L〜Csubn−L)、及びRch複素サブバンド信号Csub−R(Csub1−R〜Csubn−R)を得る。
なお、上述もしたように既にバンド分割処理の時点で複素サブバンド形式に変換されている場合は、フーリエ変換処理は不要となるので、その場合はステップS202の処理をパスしてそのまま次のステップS203の処理へと進むようにされる。
ステップS203では、バンドごとに定位角度を算出する。すなわち、Lch複素サブバンド信号Csub1−L〜Csubn−L、及びRch複素サブバンド信号Csub1−R〜Csubn−Rについて、それぞれ同一の添え字(1〜n)が付される同士の位相差及びレベル比を算出し、その結果に基づいて各周波数バンド(1〜n)の信号成分の定位角度の情報を得る。
続くステップS204では、定位角度の情報に基づき、1kHz以下で且つ指示された角度外のバンドの信号に対し指示されたゲインを与える。つまり、各周波数バンドの定位角度の情報から、1kHz以下で且つシステムコントローラ10から指示された角度外の周波数バンドの信号(サブバンド信号sub)に対し、同じくシステムコントローラ10から指示されたゲインを乗算するものである。
なお、先の説明から理解されるように、上記「1kHz以下で且つ指示された角度外のバンド」に該当しない周波数バンドの信号については、ゲイン「1」を与えるようにされる。
その上で、次のステップS205では、Lch、Rchの各バンドの信号をそれぞれ合成して出力する。つまり、それぞれ対応するゲインが乗算されたLchサブバンド信号sub1−L〜subn−L、Rchサブバンド信号sub1−R〜subn−Rの各々を合成し、音声信号Lex、音声信号Rexとして出力する。
続くステップS206では、先の図4のステップS105の処理と同様に信号入力が終了したか否かを判別し、信号入力が終了していない場合は先のステップS201に戻り、信号入力が終了した場合は処理動作を終了する。
1−6.第5例としての信号処理装置

図9は、第1の実施の形態の第5例としての信号処理装置(音声信号処理部46)の内部構成を示すブロック図である。なお、この図9において、既にこれまでに説明した各構成例と同様となる部分については同一符号を付して説明を省略する。
第5例の音声信号処理部46は、先の第4例の音声信号処理部40に改良を加えたものである。具体的には、図中のDEC(デシメーター)47によりダウンサンプリングした音声信号について、周波数帯域分割回路41が帯域分割を行うようにすることで、より詳細な分割幅で帯域分割を行うことができるようにするものである。
図9において、この音声信号処理部46においては、入力される音声信号Lin、音声信号Rinに対し、それぞれ先の図2に示したものと同様の[LPF21L、HPF22L]の組と、[LPF21R、HPF22R]の組とが備えられる。LPF21Lを介した音声信号Lin(1kHz以下の信号成分)は、DEC47Lに供給され、HPF22Lを介した音声信号Lin(1kHzよりも高い周波数の信号成分)は、遅延器48Lを介した後、後述する加算器50Lに入力される。
また、LPF21Rを介した音声信号Rin(1kHz以下の信号成分)はDEC47Rに供給され、HPF22Rを介した音声信号Rin(1kHzよりも高い周波数の信号成分)は、遅延器48Rを介して加算器50Lに入力される。
なお、この場合の各遅延器48では、自らが出力する音声信号と、後述するINT(インターポレーター)49により出力される音声信号との同期がとられるようにしてその遅延時間が設定されるものとなる。
DEC47LはLPF21Lの出力信号、DEC47RはLPF21Rの出力信号に対してサンプリング周波数変換処理を行い、サンプリング周波数をより低い周波数に変換する(つまりダウンサンプルする)。本実施の形態では所定周波数以下(具体的には1kHz以下)の信号を対称として低減処理を行うため、サンプリング周波数としては、サンプリング定理を満たす周波数、すなわち2kHz以上であればいくつであっても良い。ここでは一例として、サンプリング周波数は8kHzに変換するものとする。
ここで、このようにしてサンプリング周波数を変換することにより、周波数帯域分割回路41L、周波数帯域分割回路41Rにて行われるn個の周波数バンドに分割する処理において、1つのサブバンドが受け持つ周波数帯域幅(分割バンド幅)を狭くすることができ、その分、雑音低減処理の精度を向上させることができるようになる。例えば、元のサンプリング周波数が48kHzであったとし、入力音声信号を「1024」の等帯域に分割するようにされていると仮定した場合、通常の分割バンド幅はおよそ47Hz程度となるが、上記のようにしてサンプリング周波数を8kHzとした場合には、分割バンド幅はおよそ8Hzに狭めることができる。
なお、確認のために述べておくと、この場合はDEC47の前段のLPF21によって1kHz以下の信号成分のみに絞られているため、周波数帯域分割回路41の処理結果に折り返しによる影響が生じないように図られている。
周波数帯域分割回路41L、41Rの後段における各定位角度算出回路42、風雑音検出・ゲイン調節回路45、各ゲイン器43、周波数帯域合成回路44L、44Rの各部においては、先の第4例の場合と同様の動作が行われる。そして、この場合、周波数帯域合成回路44Lの合成出力はINT49Lに、周波数帯域合成回路44Rの合成出力はINT49Rに対して供給され、ここで元のサンプリング周波数(例えば先の例では48kHz)に戻すようにしてアップサンプリング処理が行われる。すなわち、先のDEC47L、47Rで行ったサンプリング周波数変換の逆処理が行われるものである。
INT49Lによる処理結果は加算器50Lに供給され、INT49Rの処理結果は加算器50Rに対して供給される。
加算器50Lは、INT49Lによる処理結果(風雑音成分が低減された1kHz以下のLch信号成分)と、上述した遅延器48Lの出力(1kHzよりも高い周波数のLch信号成分)とを加算し、その結果を音声信号Lexとして出力する。また、加算器50Rは、INT49Rによる処理結果(風雑音成分が低減された1kHz以下のRch信号成分)と、上述した遅延器48Rの出力(1kHzよりも高い周波数のRch信号成分)とを加算し、その結果を音声信号Rexとして出力する。
これにより、第5例の構成によっても風雑音の低減が図られた音声信号Lex、Rexを得ることができる。
なお、この第5例について、先の説明によれば、サンプリング周波数を2kHzとすれば、1kHz以下がその主成分となる風雑音を低減することを前提とした場合において最も詳細に帯域分割を行うことができるものとなるが、このことは、逆にDEC47におけるダウンサンプリングレートをより小さく設定すれば、処理負担を軽減させる方向に作用させることができるということになる。すなわち、このようにDEC47におけるダウンサンプリングレートをより小さく設定すれば、帯域分割後のサブバンド中に1kHzよりも高い周波数帯域のバンドが増える傾向となる。風雑音低減処理にあたり、1kHzより高い周波数帯域については定位角度算出処理・ゲイン調整処理は不要とできるので、このように1kHzよりも高い周波数帯域のバンドが増える傾向となることで、その処理を省略することにより処理負担の軽減を図ることができる。
また、図示による説明は省略するが、この第5例としての低減処理としてもソフトウエアによる実現が可能である。その場合、先の図8に示した処理動作を元として、以下のような処理の変更を加えるものとすればよい。すなわち、ステップS201では、音声信号Lin、音声信号Rinに対しそれぞれ1kHzをカットオフ周波数としたLPF処理、HPF処理を施した上で、1kHz以下の音声信号Lin、音声信号Rinについてのみ複数バンドに分割する処理を行う。以降のステップS202〜S204の処理としては、このステップS201で分割された各バンドの信号について図8で説明したものと同様の処理を実行すればよい。そして、ステップS205では、LchとRchの各バンドの信号をそれぞれ合成した上で、そのLchの合成結果、Rchの合成結果に対し、先のステップS201のHPF処理で得られたLchの1kHzより高い周波数の信号成分、Rchの1kHzより高い周波数の信号成分をさらに合成して出力する。
1−7.第6例としての信号処理装置

図10は、第1の実施の形態の第6例としての信号処理装置(音声信号処理部51)の内部構成について示すブロック図である。なお、この図10においても、これまでで説明した各構成例と同様となる部分については同一符号を付して説明を省略する。
第6例の音声信号処理部51は、第5例の音声信号処理部46について、先の第3例と同様の手法によってHPF22を省略するようにしたものである。
図10に示されるように、この場合は第5例の場合に用いられていたHPF22L、HPF22Rが省略された上で、音声信号LinとLPF21Lの出力とを入力しその差分を算出する減算器37Lと、音声信号RinとLPF21Rの出力とを入力しその差分を算出する減算器37Rとが設けられる。これにより、音声信号Lin、音声信号Rinからは、それぞれその1kHz以下の信号成分が差し引かれ、1kHzよりも高い周波数の信号成分のみが抽出されることになる。
減算器37Lの減算結果は遅延器48Lに供給され、減算器37Rの減算結果は遅延器48Rに供給される。
2.第2の実施の形態

続いて、第2の実施の形態について説明する。
先の第1の実施の形態では、収音されるべき例えば声などの音声はセンター付近に定位し、それ以外の雑音成分は両端付近に定位する傾向にあるという性質を利用して、所定の周波数以下で且つセンター外に定位する音源の信号成分を低減することで風雑音のみの抑圧が図られるようにしたが、第2の実施の形態では、風雑音の他の性質、具体的には風雑音成分の信号波形はランダムであるという性質を利用して、風雑音のみの抑圧が図られるように低減処理を行うものである。
ここで、上述もしたように風雑音は、収音時に強風がマイクロホンユニットに当たることによって発生するという性質上、風雑音の収音信号においては、各チャンネルの信号波形がランダムになるという特徴を有する。このように各チャンネルの信号波形がランダムになるということは、風雑音成分を時間軸方向に追って見ると、その定位角度(定位位置)の変化態様は他の信号成分の定位位置の変化態様とは大きく異なるものになると捉えることができる。
第2の実施の形態ではこの点に鑑み、所定の周波数以下で、且つ時間軸方向における定位角度の変化態様が所定外の態様となる信号成分を低減することで、風雑音のみの抑圧が図られるようにする。
図11は、第2の実施の形態としての信号処理装置(音声信号処理部60)の内部構成を示したブロック図である。なお、この図11においても、既にこれまでで説明した部分については同一符号を付して説明を省略する。
先ず、この音声信号処理部60においても、先の第1の実施の形態の第4例(図6)の場合と同様に、音声信号Lin、音声信号Rinについては、周波数帯域分割回路41L、周波数帯域分割回路41Rによる帯域分割処理が施される。また、分割された各サブバンド信号subに対しては、各ゲイン器43が備えられ、各ゲイン器43の出力がチャンネルごとに周波数帯域合成回路44L、周波数帯域合成回路44Rにて合成され、その結果が音声信号Lex、音声信号Rexとして出力される。さらに、この場合も、周波数帯域分割回路41L、周波数帯域分割回路41Rによりそれぞれ得られたサブバンド信号subは、各バンドごとに対応する定位角度算出回路42に入力され、これによりバンドごとにその信号成分の定位角度の情報が得られる。
そして、この場合、これらバンドごとの定位角度の情報を入力して各ゲイン器43のゲインを調節する、第2の実施の形態としての風雑音検出・ゲイン調節回路61が設けられる。
この風雑音検出・ゲイン調節回路61は、内部にメモリ61aを備え、各定位角度算出回路42にて所定の処理時間単位ごと(フレーム単位ごと)に算出されることになる、各バンドの定位角度の情報を入力してそれらをバンドごとに保持する。
風雑音検出・ゲイン調節回路61は、このようにしてメモリ61aに保持した定位角度の情報(前フレームにおける定位角度情報:過去の定位角度情報)と新たに供給された定位角度の情報(現フレームの定位角度情報:現在の定位角度情報)とから、1kHz以下の各バンドについて、その定位角度の変化が定められた態様外となっているバンドを割り出す。そして、このように割り出したバンドを担当するゲイン器43のゲインを、制御信号CNTにより指示されるゲインに調節し、他のゲイン器43のゲインについては「1」に調節する。
具体的に、この場合の風雑音検出・ゲイン調節回路61に対しては、システムコントローラ10からの制御信号CNTとして、先の第1の実施の形態の場合の角度指示信号に代えて、低減閾値指示信号が供給される。
そして、風雑音検出・ゲイン調節回路61は、1kHz以下のバンドについて、現フレームと前フレームの定位角度の差分値(つまり定位位置の移動量)を算出し、この差分値(移動量)が上記低減閾値指示信号により指示された閾値よりも大きくなっているバンドを割り出し、そのバンドを担当するゲイン器43のゲインを制御信号CNTにより指示されるゲインに調節し(つまり低減し)、他のゲイン器43のゲインについては「1」に調節する。
上述もしたように、風雑音成分は、その信号波形がランダムであることから、時間軸方向における定位角度(定位位置)の変化態様もランダムとなる。従って、時間軸方向における定位位置の移動量は、その分大きくなるものとして捉えることができる。そこで、上記のように1kHz以下の成分について、時間軸方向における定位位置の移動量が定められた値より大きくなるバンドを検出し、そのバンドの信号成分を低減することによれば、風雑音成分のみが効果的に低減されるように図ることができる。
ところで、上記説明による第2の実施の形態としての手法は、他の見方をすれば、時間軸方向における定位角度の相関性が低い部分の信号成分を低減している、とも捉えることができる。つまり、或るバンドについて、その信号成分の「時間軸方向における定位角度の変化の態様が定められた態様であるか否か」を判別することは、言い換えれば、そのバンドの信号成分の「時間軸方向における定位角度の相関性が高い/低いか」について判別しているとも見ることができる。
具体的に、時間軸方向において「定位位置の移動量が大きい」ということは、風雑音成分の定位角度が時間軸方向において無相関であるということに起因しているので、従って或るバンドの信号成分について定位位置の移動量(=時間軸方向における定位角度の変化態様)が定められたものより大きい/小さいかを判別することは、そのバンドの信号成分について、その時間軸方向における定位角度の相関性が定められたものより高い/低いかを判別している、とも捉えることができるものである。
[ソフトウエアによる実現]
上記のような第2の実施の形態としての低減処理としても、ソフトウエアによる実現が可能である。
次の図12は、第2の実施の形態としての低減処理をソフトウエア処理により実現する場合に実行されるべき処理動作を示している。
図12において、先ずステップS301のバンド分割処理、ステップS302のフーリエ変換処理、ステップS303の定位角度算出処理としては、先の図8にて説明したステップS201、S202、S203とそれぞれ同様の処理を行う。
そして、続くステップS304では、前フレームの定位角度の情報から、1kHz以下の各バンドの時間軸方向における定位位置の移動量を算出する。すなわち、後述するステップS306の処理によって保持されることになる前フレームにおける各バンドの定位角度と、先のステップS303で算出した(現フレームの)各バンドの定位角度のうちの、1kHz以下のバンドの定位角度について、現フレームと前フレームとの差分値を計算する。
次のステップS305では、移動量が指示された閾値よりも大きいバンドの信号に指示されたゲインを与える。つまり、上記ステップS304にて算出した1kHz以下の各バンドの差分値(移動量)について、システムコントローラ10から指示された閾値との比較を行い、移動量が上記閾値よりも大きいバンドを割り出す。そして、このように割り出したバンドの信号成分についてはシステムコントローラ10から指示されたゲインを乗じ、それ以外のバンドの信号成分についてはゲイン「1」を乗じる。
続くステップS306では、算出した定位角度の情報をバンドごとに格納する。すなわち、先のステップS303にて算出した定位角度の情報を、図3に示したメモリ32内にバンド対応に格納する。
その上でステップS307では、先の図8のステップS205と同様にLch、Rchの各バンドの信号をそれぞれ合成して出力し、次のステップS308においては、ステップS206と同様に信号入力が終了したか否かを判別する。信号入力が終了していない場合は先のステップS301に戻り、信号入力が終了した場合は処理動作を終了する。
なお、ここまでの説明では、風雑音成分か否かを判別する基準として、定位位置の移動量のみを例示したが、第2の実施の形態において、風雑音成分か否かの判別は、「時間軸方向における定位角度の変化の態様が定められた態様であるか否か」を判別する、言い換えれば、「時間軸方向における定位角度の相関性が高い/低いか」について判別するものであれば、他の手法を採ることもできる。
例えば、収音されるべき音源としては、時間経過に伴ってセンターを軸として左右対称に振れるようにして定位位置が変化するような音源も想定され得る。そのような場合、先に例示した定位角度差(定位位置の移動量)のみを基準とした判別のみを行っていたのでは、収音されるべき音源の信号成分までもが低減されかねない。
そこで、例えばそのような場合に対応させるとした場合等には、算出した定位角度の値そのものも風雑音であるか否かの判別基準に加えるようにすることもできる。
具体的には、例えば前フレームと現フレームとの定位角度の差と指示された閾値とを比較する共に、さらに前フレームの定位角度の絶対値と現フレームの定位角度の絶対値との差と、それについて設定された所要の閾値とを比較するようにする。そしてその結果、前フレームと現フレームとの定位角度の差が指示された閾値よりも小さく、且つ前フレームの定位角度の絶対値と現フレームの定位角度の絶対値との差が上記所要閾値よりも小さいものについては、それが収音されるべき音源成分であるとして低減は行わないようにする。すなわち、この条件を満たさないものについては風雑音成分であるとして、その成分のみを低減するものである。
例えばこのような手法を採ることで、上記のように収音されるべき音源がセンターを軸として左右対称に移動するというような場合においても、収音されるべき音源は適正に収音させ、風雑音成分のみが有効に低減されるように図ることができる。
なお、確認のために述べておくと、上記による手法は、音源の定位位置の「左右対称」という相関性について判別しているとも捉えることができ、例えば上述のように絶対値の差が所要閾値よりも大きいか否かを判別することも、相関性が低いか高いかについて判別することに相当するものとなる。
[第2の実施の形態の変形例]
なお、第2の実施の形態の音声信号処理部60としても、例えば先の図9にて説明したようなLPF21、HPF22、DEC47、遅延器48、INT49、加算器50を追加した構成とすることも可能である。或いは、HPF22を省略する構成として、図10にて説明したようなLPF21、減算器37、DEC47、遅延器48、INT49、加算器50を追加した構成とすることもできる。
また、これまでの説明では、時間軸方向における定位角度の変化態様は、前1フレームとの関係のみで見る場合を例示したが、過去複数フレームの定位角度の情報に基づき、時間軸方向の所定角度の変化態様が所定の態様外となっているか否かの判別(相関性の高/低の判別)を行うものとしてもよい。
3.第3の実施の形態

第3の実施の形態は、所定の周波数以下で且つ隣接する周波数帯域の定位角度との差が定められた値より大きな信号成分を低減することで、風雑音のみの抑圧が図られるようにするものである。
ここで、先に述べたような風雑音の「各チャンネルの信号波形がランダムになる」という性質は、他の見方をすれば、「風雑音成分はそれと近接する周波数帯域の信号成分の定位位置との差が他の音声信号成分に比べて非常に大きくなる」ものとして捉えることができる。そこで第3の実施の形態では、上記のようにして所定の周波数以下で且つ隣接する周波数帯域の定位角度との差が定められた値よりも大きな信号成分を低減することで、風雑音成分のみの抑圧が図られるようにする。
図13は、第3の実施の形態としての信号処理装置(音声信号処理部65)の内部構成を示すブロック図である。なお、この図13に示す音声信号処理部65としては、その各基本的な構成は第1の実施の形態の第4例(図6)、及び第2の実施の形態(図11)と同様となる。但しこの場合、先に説明した風雑音検出・ゲイン調節回路45(61)に代えて、第3の実施の形態としての風雑音検出・ゲイン調節回路66が設けられる。
この風雑音検出・ゲイン調節回路66に対しては、システムコントローラ10からの制御信号CNTとして、低減閾値指示信号、及びゲイン指示信号が供給される。この場合の上記低減閾値信号は、先の第2の実施の形態で説明したものとは異なり、隣接する周波数帯域との定位角度の差に基づく判別時において、その判別のための閾値を指示するものとなる。
風雑音検出・ゲイン調節回路66は、各定位角度算出回路42から供給される各バンドの定位角度情報を入力し、1kHz以下の各バンドについて、そのバンドの定位角度情報と隣接する周波数帯域の定位角度情報との差分値を計算し、その差分値が上記低減閾値指示信号で示された値よりも大きなバンドを割り出す。例えばこの場合は、説明の簡単のために、上記隣接する周波数帯域の定位角度情報として、隣接する1つのサブバンドの定位角度との差分値を計算するものとし、その差分値が上記閾値よりも大きなバンドを割り出すものとする。
そして、このようにして割り出したバンドを担当するゲイン器43については、そのゲインが指示されたゲインとなるように調節し、それ以外のゲイン器43についてはゲイン「1」となるように調節を行う。
上記のような風雑音検出・ゲイン調節回路66による動作が行われることにより、各ゲイン器43を介して周波数帯域合成回路44L、周波数帯域合成回路44Rにてそれぞれ合成されて得られる音声信号Lex、音声信号Rexとして、風雑音成分のみの低減が図られた音声信号を得ることができる。
なお、このような第3の実施の形態としての雑音低減手法としても、先の第2の実施の形態の場合と同様の考えに基づけば、周波数軸方向についての定位角度の相関性を見ていることに相当する、と捉えることができる。つまり、上記第3の実施の形態の低減手法は、「所定の周波数以下で且つ隣接する周波数帯域との定位角度の相関性の低い信号成分を低減している」とも捉えることができるものである。
[ソフトウエアによる実現]
上記により説明した第3の実施の形態の低減処理としても、ソフトウエアによる実現が可能であり、次の図14のフローチャートでは、その場合に行われるべき処理動作について示している。
図14において、この場合もステップS401のバンド分割処理、ステップS402のフーリエ変換処理、ステップS403の定位角度算出処理としては、先の図8にて説明したステップS201、S202、S203とそれぞれ同様の処理を行う。
そして、続くステップS404では、1kHz以下の各バンドについて、隣接する周波数帯域との定位角度の差分値を算出する。つまり、1kHz以下の各バンドについて、ステップS403で算出した定位角度の情報に基づいて隣接する1つのバンドの定位角度との差分値を計算する。
続くステップS405では、差分値が指示された閾値よりも大きいバンドの信号に対し指示されたゲインを与える。すなわち、上記ステップS404にて算出した1kHz以下の各バンドの差分値について、システムコントローラ10から指示された閾値との比較を行い、差分値が上記閾値よりも大きいバンドを割り出す。そして、このように割り出したバンドの信号成分についてはシステムコントローラ10から指示されたゲインを乗じ、それ以外のバンドの信号成分についてはゲイン「1」を乗じる。
その上でステップS406では、先の図8のステップS205と同様にLch、Rchの各バンドの信号をそれぞれ合成して出力し、次のステップS407においては、ステップS206と同様に信号入力が終了したか否かを判別する。この場合も信号入力が終了していない場合はステップS401に戻り、信号入力が終了した場合は処理動作を終了する。
[第3の実施の形態の変形例]
なお、第3の実施の形態の音声信号処理部65としても、先の第2の実施の形態の場合と同様、図9にて説明したようなLPF21、HPF22、DEC47、遅延器48、INT49、加算器50を追加した構成とすることも可能である。また、図10にて説明したようなLPF21、減算器37、DEC47、遅延器48、INT49、加算器50を追加した構成とすることによって図9のHPF22を省略する構成とすることもできる。
また、これまでの説明では、簡単のために隣接する1つのサブバンドの定位角度との差分値を求める場合を例示したが、例えば隣接する10バンドなど複数バンドの定位角度との差分値を求めるようにすることもできる。その場合、隣接する複数バンドの定位角度は、各バンドの定位角度の平均値をとるなどすればよい。
4.変形例
以上、本発明の各実施の形態について説明したが、本発明としてはこれまに説明した各実施の形態に限定されるべきものではない。以下、実施の形態の各変形例について説明する。
[変形例1]
先ず、変形例1は、風雑音の音量レベルを検出し、そのレベルに応じて雑音の低減処理のパラメータを調整するものである。
図15は、変形例1としての信号処理装置(音声信号処理部70)の内部構成を示している。なお、この図においても既にこれまでで説明した部分については同一符号を付して説明を省略する。また、この図においては一例として、第1の実施の形態の第4例(図6)、第2の実施の形態(図11)、第3の実施の形態(図13)に対して変形例1の概念が適用された場合の共通の構成例を示している。
図示するようにして、この変形例1の音声信号処理部70においては、先の図6、図11、図13の音声信号処理部(40,60,65)に備えられていたn個の定位角度算出回路42に代えて、n個の定位角度・レベル算出回路71(71−1〜71−n)が設けられる。そして、これら定位角度・レベル算出回路71−1〜71−nによって算出される各サブバンドごとの定位角度及び音量レベルの情報を入力して各ゲイン器43のゲイン調節を行うための部位として、図6、図11、図13に示した風雑音検出・ゲイン調節回路(45,61,66)に代えて、風雑音検出・ゲイン調節回路72が設けられる。
ここで、図16は、定位角度・レベル算出回路71の内部構成を示しているが、この図を参照してわかるように、定位角度・レベル算出回路71としては、先の図7に示した定位角度算出回路42の構成に対し、さらにレベル算出器71aが追加されたものとなる。
このレベル算出器71aは、Lch側のフーリエ変換器42a−L、Rch側のフーリエ変換器42a−Rを介してそれぞれ得られるLch複素サブバンド信号Csub−L、Rch複素サブバンド信号Csub−Rを入力し、それらに基づく演算を行うことでそのサブバンドの信号成分の音の大きさ(音量レベル)を算出する。
ここで、音量レベルを求める手法は幾つか考えられるが、一例として、次のような手法を採ることができる。すなわち、時間ωにおけるLch複素サブバンド信号Csub−LとRch複素サブバンド信号Csub−RとをそれぞれL(ω)、R(ω)としたとき、時間ωにおけるそのサブバンドの信号成分の音量レベルmag(ω)は、次の[数1]により求めることができる。なお下式においてRe(x)は複素数xの実部、Im(x)は複素数xの虚部である。

Figure 0004403429
図15に戻り、風雑音検出・ゲイン調節回路72は、上記のようにして各定位角度・レベル算出回路71にて算出される音量レベルの情報に基づき、音量レベルが予め定められた閾値以下である場合には雑音低減のための処理は実行せず、音量レベルが上記閾値よりも大きい場合にのみ雑音低減のための処理を実行する。
具体的に、風雑音検出・ゲイン調節回路72は、先ず、サブバンドごとの音量レベルを平均化するなどして総合的な音量レベルを算出した上で、この総合的な音量レベルが上記閾値以下であるか否かを判別する。そして、音量レベルが上記閾値以下である場合には、各ゲイン器43のゲインを「1」に調節する。すなわち、各定位角度・レベル算出回路71から供給される定位角度情報に基づきサブバンドごとに風雑音成分であるか否か判別す動作は行わずに、一律にゲインを「1」とする。
一方、音量レベルが上記閾値より大きい場合には、各定位角度・レベル算出回路71から供給される定位角度情報に基づき、先の各例において説明したようにして1kHz以下のサブバンドごとに風雑音成分であるか否かを判別し、風雑音成分であるとされたサブバンドについてはそのバンドを担当するゲイン器43のゲインを指示されたゲインに調整し、残りのゲイン器43のゲインを「1」に調節する。
先にも述べたように雑音低減のための各部の処理は時間軸上において所定のフレーム単位ごとに順次行われるものとなるので、このような変形例1の動作によれば、音量レベルが小さく雑音低減のための処理を行う必要がない期間での無駄な処理を省略でき、音量レベルが大きく低減のための処理が必要な期間でのみ適正に処理を行うことができる。
なお、ここではサブバンドごとの音量レベルから総合的な音量レベルを求めた上で、閾値に基づく低減処理の実行可否の判別を行う場合を例示したが、これに代えて、サブバンドごとに低減処理の実行可否判別を行うようにもできる。その場合、風雑音検出・ゲイン調節回路72では、各サブバンドごとに、その音量レベルが定められた閾値以下か否かを判別し、音量レベルが閾値以下であるサブバンドについては定位角度情報に基づく風雑音成分か否かの判別を行わずにゲイン器43のゲインを「1」に調節する。そして、音量レベルが閾値より大きなサブバンドについては、そのうちの1kHz以下のバンドについて定位角度情報に基づく風雑音成分か否かの判別を行って風雑音成分であるとされたバンドを担当するゲイン器43のゲインを指示されたゲインに調節し、それ以外の全ゲイン器43のゲインを「1」に調節する。
先の説明から理解されるように、第2の実施の形態、第3の実施の形態では、風雑音成分か否かの判別に計算を伴うものとなる。上記手法によれば、音量レベルが閾値以下のサブバンドについては計算処理が不要で、簡易な比較・判別処理のみに済ませることができるので、その分、有効に処理負担の軽減を図ることができる。
また、図15の構成例では、サブバンドごとに音量レベルを算出するものとしたが、例えば上述のようにして総合的な音量レベルを低減処理の可否判別に用いるとした場合には、定位角度・レベル算出回路71を図7に示した定位角度算出回路42とした上で、音声信号Lin、音声信号Rinから音量レベルを算出する回路を別途設けるものとして、その算出結果を風雑音検出・ゲイン調節回路72に対して入力するように構成すればよい。
なお、この説明からも理解されるように、音量レベルとしては、先の[数1]に示したように複素サブバンド信号から算出する以外にも、時間軸信号を用いて算出することができる。
また、ここでは信号処理装置をハードウエアにより実現する場合に変形例1を適用する場合について説明したが、変形例1はソフトウエアにより実現する場合にも好適に適用できる。このようにソフトウエアにより実現する場合に変形例1を適用することによっては、音量レベルが閾値以下となるサブバンドについて定位角度の算出処理も省略することができる。つまり、これにより更なる処理負担の軽減を図ることができる。
また、ここでは変形例1が第1の実施の形態の第4例、第2の実施の形態、第3の実施の形態に対して適用される場合のみについて説明を行ったが、変形例1としては、本明細書において例示する各構成例に対して好適に適用できる。
一例として、例えば第1の実施の形態における第4例以外の他の構成例に対して適用することもできる。但し、その場合、例えば図2などに示したハードウエア構成に対して適用しても実質的な処理負担の軽減は図られないものとなるので、変形例1としては、ソフトウエアにより実現する場合(例えば第2例:図4参照)に有効に適用することができるものとなる。すなわち、例えば第1の実施の形態の第2例に対し変形例1を適用する場合、図4に示したステップS101の前に、例えば音声信号Lin、音声信号Rinを入力して音量レベルを算出する処理と、これに続けて音量レベルが定められた閾値以下となっているか否かを判別する処理を追加する。そして、この判別処理によって音量レベルが上記閾値以下であるとした場合には、ステップS101〜S104をパスし、音声信号Lin、音声信号Rinをそのまま出力(ゲイン「1」)する処理を行った上でステップS105に進む。また、算出した音量レベルが上記閾値以下でないとした場合には、ステップS101に進んで以降の各処理を実行する。
このようにしてソフトウエアにより実現する場合に変形例1を適用した場合、音量レベルが閾値以下のときは音声信号Lin、音声信号Rinをそのまま出力することができるようになり、雑音低減に係る全処理を省略することができる。よって、より大きな処理負担軽減効果を得ることができる。
なお、変形例1では、音量レベルに応じて雑音低減のための処理を実行する/しないの二極の制御を行うものとしたが、この変形例1のさらなる変形例として、例えば音量レベルに応じて雑音低減のためのゲインを可変的に調節するといったことも可能である。つまり、例えば音量レベルが定められた閾値よりも大きい場合には、雑音低減のために設定されるべきゲインの値を、システムコントローラ10から指示されたゲイン値から「1」までの間における、算出された音量レベルに応じた値に調節するといったものである。
[変形例2]
続いて、図17は、変形例2としてのビデオカメラ装置75の内部構成を示している。なお、図17において、既に図1にて説明した部分については同一符号を付して説明を省略する。
変形例2は、記録時ではなく再生時において雑音低減処理を行うようにするものである。すなわち、これまでの説明では、収音信号に対してリアルタイムに雑音低減処理を行う場合を例示してきたが、変形例2は、HDD9に対して記録された音声信号の再生信号に対し、これまでで説明してきた手法による雑音低減処理を施すものである。
図17に示されるように、変形例2としてのビデオカメラ装置75においては、メモリ76が追加され、ここにシステムコントローラ10が読み出し可能な低減処理制御プログラム76aが格納される。この場合のシステムコントローラ10は、上記メモリ76に格納された低減処理制御プログラム76aに従って、上述のようにして記録時ではなく再生時において雑音低減処理が行われるように各部を制御する。
なお、図中の音声信号処理部に対して付した符号「4(30,35,40,46,51,60,65,70)」は、当該変形例2がこれまでに説明した各種の雑音低減処理手法が採用される場合に適用できることを表している。
図18は、上記低減処理制御プログラム76aに従ってシステムコントローラ10が実行する処理動作を示したフローチャートであり、図18(a)は記録時に対応した処理動作、図18(b)は再生時に対応した処理動作を示している。
先ず図18(a)において、ステップS501では記録開始を待機するようにされる。つまり、例えば図17に示される操作部12に設けられた記録開始ボタンが操作されたことに応じて供給されるコマンド信号など、記録動作の開始トリガの発生を待機する。
そして、上記記録開始ボタンが操作されるなどして記録動作を開始すべき状態となったとされた場合は、ステップS502において、全バンドゲイン1となるように指示を行う。例えば、図17における音声信号処理部として、第1の実施の形態の第4例としての音声信号処理部40のように風雑音検出・ゲイン調節回路(45,61,66,72)を備える音声信号処理部(40,60,65など)が備えられている場合は、図17に示される制御信号CNTにより、風雑音検出・ゲイン調節回路に対して全ゲイン器43のゲインとして「1」を指示するゲイン指示信号を供給する。或いは、図17における音声信号処理部に第1の実施の形態の第1例などのようにゲイン器25が備えられる場合は、当該ゲイン器25に対し制御信号CNTによりゲイン「1」を指示するゲイン指示信号を供給する。
そして、次のステップS503においては、HDDへの記録開始制御を行う。つまり、入力切換スイッチSW-L1、SW-R1、及び出力切換スイッチSW-L2、SW-R2において端子t2が選択されるように制御した上で、エンコーダ8からの映像・音声信号がHDD9に対して記録されるように制御する。
続いて、図18(b)に示す再生時において、先ずステップS601では、再生開始を待機するようにされる。つまり、例えば操作部12に設けられた再生開始ボタンが操作されたことに応じて供給されるコマンド信号など、再生動作の開始トリガの発生を待機する。
そして、上記再生開始ボタンが操作されるなどして再生動作を開始すべき状態となったとされた場合は、ステップS602において、風雑音が低減されるようにパラメータを指示する。つまり、例えば図17における音声信号処理部として、第1の実施の形態の第1例の音声信号処理部4のように分離処理回路20・ゲイン器25が備えられる音声信号処理部、または第4例のように風雑音検出・ゲイン調節回路45を備える音声信号処理部(40など)が備えられている場合は、図17に示される制御信号CNTにより、角度指示信号と、少なくとも「1」より小なるゲインを指示するゲイン指示信号とを供給する。
或いは、風雑音検出・ゲイン調節回路61のように、第2の実施の形態としての低減処理を行うようにされた風雑音検出・ゲイン調節回路、または風雑検出・ゲイン調節回路66のように第3の実施の形態としての低減処理を行うようにされた風雑音検出・ゲイン調節回路が備えられる音声信号処理部が備えられている場合には、制御信号CNTにより、低減閾値指示信号と、少なくとも「1」より小なるゲインを指示するゲイン指示信号とを供給する。
その上で、次のステップS603において、HDDからの再生開始制御を行う。つまり、入力切換スイッチSW-L1、SW-R1、及び出力切換スイッチSW-L2、SW-R2にて端子t3が選択されるように制御した上で、HDD9に記録される映像・音声信号がデコーダ15を介して再生出力されるように制御する。
このような処理動作が行われることで、記録時においては収音信号をそのまま記録させ、その再生時に再生信号に対して雑音低減処理を施すことができる。
なお、ここでは雑音低減処理の施された再生信号がスピーカSPを介して出力されるものとして説明したが、再生信号に対し低減処理を施した信号を記録し直すようにすることもできる。その場合、出力切換スイッチSW-L2、SW-R2において端子t2を選択させ、低減処理の施された音声信号がエンコーダ8を介してHDD9に記録されるように制御すればよい。
[変形例3]
続いて、変形例3について説明する。
変形例3は、風雑音の音量レベルを推定し、その結果に応じて雑音低減処理のパラメータを変更するものである。ここでは一例として、先の変形例2のように再生時において低減処理を行うビデオカメラ装置75に対して変形例3を適用した場合の、ビデオカメラ装置80について説明する。
図19は、変形例3としてのビデオカメラ装置80の内部構成を示している。なお、この図においても既にこれまでで説明した部分については同一符号を付して説明を省略する。
この図19に示されるようにして、ビデオカメラ装置80としては、先の図17に示したビデオカメラ装置75の構成に追加して、音声信号Lin、音声信号Rinを入力して風雑音量を推定(算出)する風雑音量推定部81が備えられる。また、メモリ76内には、後述する変形例3としての動作を実現するための低減処理制御プログラム76bが格納される。
ここで、風雑音量推定部81としては、Lch・Rchの音声信号から風雑音の音量レベルを推定する機能を持つ回路であれば種々のものを用いることができる。例えば、先に例示した特許文献1(特許第3186892号)に記載されている回路等を用いることができる。この特許文献1に記載の回路では、Lch・Rchの音声信号の差成分を生成することにより、Lch、Rchの信号のうち相関の低い信号が抽出され、これにLPFを掛けることで風雑音の音量を推定している。
上記風雑音量推定部81によっては、例えばフレーム単位など所定の時間単位ごとに風雑音の音量レベルが算出され、その結果がシステムコントローラ10に対し順次供給される。
この場合、システムコントローラ10は、記録時において、時々刻々と変化するようにして入力される上記風雑音の音量レベル(単に風雑音量とも表記する)と時刻情報(この場合は各フレーム番号)を順次対応づけていくことで、雑音量−時刻対応情報を生成し、これをHDD9に対して記録する。
そして、再生時においては、上記雑音量−時刻対応情報を読み出した上で、時刻情報(フレーム番号)と対応づけられた風雑音量から、順次、その雑音量に応じた雑音低減処理のためのパラメータを決定する。そして、決定したパラメータを制御信号CNTにより音声信号処理部4(30,35,40,46,51,60,65,70)に対して指示する。
図20のフローチャートは、上記のような変形例3としてのビデオカメラ装置80の動作を実現するために実行されるべき処理動作について示している。図20(a)は記録時に対応した処理動作、図20(b)は再生時に対応した処理動作について示している。
なお、確認のために述べておくと、この図20に示す処理動作は図19に示すシステムコントローラ10が低減処理制御プログラム76bに基づいて実行するものである。
先ず、図20(a)において、ステップS701、S702、S703では、先の図18(a)のステップS501、S502、S503と同様の処理を行うことで、記録開始に応じて収音信号がそのままHDD9に対して記録される動作が開始されるように制御を行う。
そして、この場合は次のステップS704において、風雑音量と時刻情報との対応づけを開始する。つまり、風雑音量推定部81からフレーム単位ごとに順次供給される風雑音量の情報と、フレーム番号の情報とを順次対応づける処理を開始する。
続くステップS705では、記録終了を待機する。すなわち、例えば図19に示される操作部12に設けられた記録停止ボタンが操作されたことに応じて供給されるコマンド信号など、記録動作の終了トリガの発生を待機する。
そして、上記記録停止ボタンが操作されるなどして記録動作を終了すべき状態となったとされた場合は、ステップS706において、雑音量−時刻対応情報のHDDへの記録を行う。すなわち、先のステップS704にて開始した対応づけ処理に伴い生成される、各フレームとそのときの雑音量との対応関係を示す雑音量−時刻対応情報を、HDD9に対して記録する。
一方、図20(b)に示す再生時において、ステップS801において再生を開始すべき状態となったとされた場合は、ステップS802において、先ずは上述のようにしてHDD9に記録した雑音量−時刻対応情報を読み出すようにされる。
そして続くステップS803では、先の図18(b)にて説明したステップS603と同様の処理を行って、HDD9からの映像・音声信号の再生を開始させる。
その上で、続くステップS804においては、時刻ごとの雑音量に応じた処理パラメータの指示を開始する。つまり、上記のようにして読み出した雑音量−時刻対応情報に基づき、順次、時刻情報(フレーム番号)と対応づけられた風雑音量から低減処理のためのパラメータ(処理パラメータ)を決定し、決定したパラメータを制御信号CNTにより音声信号処理部4(30,35,40,46,51,60,65,70)に対して指示する処理を開始する。
そして、次のステップS805では、例えば操作部12における再生停止ボタンの操作に応じて供給されるコマンド信号など再生終了トリガの発生を待機した後、その発生に応じてこの図に示す処理動作を終了する。
ここで、上記ステップS804における風雑音量に基づく処理パラメータの決定手法について例示しておく。
先ず一例としては、予め定められた閾値を用いて、風雑音量がその閾値以下であるか否かを判別する。そして、風雑音量が閾値以下のときは、ゲイン指示信号により指示されるべきゲイン値を「1」に決定し、逆に風雑音量が上記閾値より大きいときはゲイン指示信号により指示されるべきゲイン値を「1」より小なる所要値に決定する。
これによれば、風雑音量が所定以下のときは全バンドゲイン「1」となるようにして雑音低減処理を行わせないようにでき、それ以外の風雑音量が比較的大きなときは適正に雑音低減処理が行われるようにすることができる。
或いは、風雑音量の大きさに応じてゲイン指示信号により指示されるべきゲイン値をより小さい値に決定するといったことも可能である。このようにすることで、風雑音量に応じて雑音低減効果の強/弱をコントロールすることができる。
或いは、風雑音量に応じて決定する処理パラメータとしては、ゲイン指示信号により指示するゲイン値のみでなく、定位角度指示信号により指示する定位角度(第1の実施の形態)や、低減閾値指示信号により指示する閾値(第2の実施の形態、第3の実施の形態)など、低減処理のために指示されるべきパラメータであれば他のパラメータとすることもできる。
例えば、風雑音量が小さいときは、定位角度指示信号により指示されるべき定位角度としてより大きな値を決定(つまりより外側に定位する信号成分でないと風雑音成分として検出されないようにする)したり、或いは低減閾値指示信号により指示されるべき閾値としてより大きな値を決定する(つまりより大きな移動量、または定位角度差でないと風雑音成分として検出されないようにする)といったものである。
なお、上記例では、算出された(推定された)風雑音量の情報を、記録される音声信号とは別ファイルで記録する場合を例示したが、風雑音量の情報は音声信号に重畳して記録(例えばメタデータなどとして記録)することも可能である。
また、上記による説明では、再生時において雑音低減処理を行う場合に変形例3を適用する場合を例示したが、もちろん記録時の収音信号に対してリアルタイムに低減処理を行う場合にも変形例3を適用することができる。その場合、システムコントローラ10は、風雑音量推定部81から供給される現フレームの風雑音量の情報からリアルタイムに処理パラメータを決定し、その結果を制御信号CNTにより音声信号処理部4(30,35,40,46,51,60,65,70)に対して指示するようにされる。
また、このような変形例3のさらなる変形例として、以下のような動作を行うものとしてもよい。
例えば、先の例では、記録された映像・音声信号が、再生開始指示に応じて再生出力されるときに風雑音量に応じた処理パラメータによる低減処理を施すものとしたが、例えば装置が他に処理を行っていない状態のとき等に自動的にHDD9から音声信号を再生し、その再生信号について、風雑音量に応じた処理パラメータによる低減処理を施し、その結果をHDD9に記録し直すなどといったことも可能である。
また、例えば記録時において、風雑音量推定部81にて算出される風雑音量に応じてリアルタイムに処理パラメータを決定・指示して収音信号の雑音低減処理を行うものとした上で、記録された収音信号の再生時においても、その再生信号について風雑音量推定部81による風雑音量の算出を行ってリアルタイムに処理パラメータを決定・指示して雑音低減処理を行うといったことも可能である。
或いは、同様に記録時において風雑音量推定部81にて算出される風雑音量に応じてリアルタイムに処理パラメータを決定・指示して収音信号の雑音低減処理を行うものとした上で、記録された収音信号について、例えば装置が他に処理を行っていない状態のとき等にHDD9から自動的に再生し、その再生信号について再度風雑音量推定部81による風雑音量の算出を行ってリアルタイムに処理パラメータを決定・指示して雑音低減処理を行い、その結果をHDD9に記録し直すといったこともできる。
さらには、このような記録後の自動的な再生・再生信号の風雑音量算出・それに応じた処理パラメータに基づく雑音低減処理、を複数回繰り返し行うようにすることもできる。このように記録後の低減処理を繰り返す場合は、その回数ごとに順次変化することになる風雑音量に応じて処理パラメータが変更されるので、処理パラメータの最適化を図ることができ、その結果、音声信号を最も風雑音が低減された状態へと導くことができる。
なお、風雑音量の推定(算出)は、図19に示すような音声信号Lin、音声信号Rinを直接的に入力して行う以外にも、例えば低減処理の過程で風雑音成分であると判別されたサブバンドの信号の音量レベルを算出することによっても行うことができる。
また、確認のために述べておくと、変形例3の場合、音声信号処理部と共に風雑音量推定部81、システムコントローラ10(風雑音量に応じてパラメータを変える部分)が本発明の信号処理装置を構成する要素となる。
[その他の変形例]
ここで、これまでの説明では、「1kHz以下の周波数帯域」という条件を課して風雑音低減処理を行うものとしたが、これはあくまで一例であり、例えば800Hz以下の周波数帯域とするなど、少なくとも風雑音成分の主要帯域として想定される「所定の周波数以下の周波数帯域」という条件を課した上で風雑音低減処理を行うものとすればよい。
また、これまでの説明では、Lch/Rchの2chの音声信号について風雑音低減処理を行う場合を主に例示したが、2ch以上の信号であれば何chであっても良い。例えば5chであっても本発明は好適に適用することができる。
また、これまでの説明では、風雑音の低減手法として、それぞれ第1の実施の形態、第2の実施の形態、第3の実施の形態の手法が単独で適用される場合のみを例示したが、それらの手法の全てまたは一部を組み合わせて適用することも可能である。
例えば、第1の実施の形態と第2の実施の形態の組み合わせとして、定められた定位角度外に定位し且つ定位位置の時間軸方向での移動量が定められた移動量よりも大きな所定周波数以下の信号成分を低減する、といった手法とすることも可能である。或いは、このようにand条件とするのではなく、or条件として、定められた定位角度外に定位しているか、または定位位置の時間軸方向での移動量が定められた移動量よりも大きな所定周波数以下の信号成分を低減する、といった手法とすることもできる。
また、これまでの説明では、風雑音低減処理に係る各部の処理(例えば定位角度の算出やゲインの乗算など)が、フレーム単位ごとなど所定の処理区分ごとに行われるものとして説明したが、これは、音声信号を周波数帯域分割する場合、楽音のように長い時系列信号を区分せずに処理することは非常に困難であることによる。
但し、このように音声信号を所定の処理区分ごとに処理した場合、処理後の信号における結合部において波形の不連続性が生じる虞があり、ノイズを発生を誘発する可能性がなくはない。
そこで、実際の実装時に際しては、各処理区間をオーバーラップさせることが有効となる。例えば、それぞれ隣り合う区間でその1/2の長さを互いに重複させるようにして各区間を分ける。この場合、雑音低減処理後の信号としても重複区間を有することになるので、そのまま出力することはできない。このため、それぞれ隣り合う2つの区間の信号、例えば区間1,区間2の信号の重複部分に対しては、それぞれ所要の窓関数による処理を行なった上で、それらが同期加算されるようにして両区間の信号を加算する。これにより、波形の不連続点の発生が防止された、良好な出力音声信号を得ることができる。
なお、上記窓関数としては三角窓、ハニング窓、ハミング窓など種々のものを用いることができる。
また、これまでの説明において、特に第1の実施の形態では、システムコントローラ10からの指示によって定められた定位角度内/外に定位する音源に分離する場合を例示したが、このように指示により定められた定位角度に応じた分離を行うのではなく、予め定められた固定の定位角度内/外に定位する音源に分離するように構成することもできる。
また、これまでに説明した各構成例では、風雑音の低減にあたってシステムコントローラ10から指示されたゲインを乗算するものとしたが、このように指示されたゲインを乗じるのではなく、固定のゲインを乗じるように構成することもできる。
また、これら定位角度やゲイン等、雑音低減処理のためのパラメータは、その一部または全てをユーザ操作により設定可能に構成することもできる。例えば、操作部12にゲイン値を指示入力することのできる操作子を設けておき、例えば撮像者などのユーザによってこの操作子が操作されることに応じて、システムコントローラ10がゲイン値を決定・指示することで、低減のためのゲイン値(つまり風雑音の低減レベル)を操作により自由に調整することができる。
また、これまでの説明からも理解されるように、風雑音の低減にあたっては、所定の周波数以上の帯域の信号成分については低減処理が不要となっている。よって、そのような周波数帯域についてはサブバンドの分割処理を行わないようにすることもできる。また、その周波数帯域について明示的なゲイン乗算処理も不要とできる(つまりゲイン「1」の乗算は省略できる)。
また、これまでの説明では、雑音成分のゲインを「1」より小さくし、それ以外の成分をゲイン「1」とすることで雑音成分を低減する場合を例示したが、相対的に雑音成分の低減が図られるようにゲインの調節が為されればよく、ゲインの数値自体について特に限定する必要はない。
また、これまでの説明では、本発明の信号処理装置が映像・音声の記録が可能なビデオカメラ装置に適用される場合を例示したが、例えばボイスレコーダなど、音声のみの記録が可能な音声記録装置に対しても好適に適用できる。或いは、再生のみが可能な再生装置に対しても好適に適用できる。具体例を挙げれば、例えばパーソナルコンピュータやDVDレコーダ(HDDレコーダ)などにも好適である。
例えば上記パーソナルコンピュータなど、自らが収音していない、外部からの収音信号(音声信号)について風雑音低減処理を行うことが想定される場合などには、入力される音声信号が、自機で対応可能でない信号形式であることも考えられ得る。そのような場合は、雑音低減処理対象の音声信号が自機で対応可能なフォーマットであるか否か(例えば対応可能なサンプリング周波数であるか否かなど)を判別し、対応可能でないとされた場合は、処理対象の音声信号を処理可能な信号形式に変換(例えばサンプリング周波数を変換)する処理を追加的に行うものとすればよい。なお、このような判別・変換処理はシステムコントローラ10が音声信号Lin、Rinを入力して行ってもよいし、音声信号処理部の前段、または音声信号処理部内に当該処理を行う部位を追加することで実現することもできる。
本発明の実施の形態としての信号処理装置を備えるビデオカメラ装置の内部構成を示すブロック図である。 第1の実施の形態の第1例としての信号処理装置の内部構成を示すブロック図である。 第1の実施の形態の第2例としての信号処理装置の内部構成を示すブロック図である。 第1の実施の形態の第2例としての信号処理装置において実行されるべき処理動作を示したフローチャートである。 第1の実施の形態の第3例としての信号処理装置の内部構成を示すブロック図である。 第1の実施の形態の第4例としての信号処理装置の内部構成を示すブロック図である。 第1の実施の形態の第4例としての信号処理装置内に備えられる定位角度算出回路の内部構成を示すブロック図である。 第1の実施の形態の第4例としての信号処理装置をソフトウエアにより実現する場合に実行されるべき処理動作を示したフローチャートである。 第1の実施の形態の第5例としての信号処理装置の内部構成を示すブロック図である。 第1の実施の形態の第6例としての信号処理装置の内部構成を示すブロック図である。 第2の実施の形態としての信号処理装置の内部構成を示すブロック図である。 第2の実施の形態としての信号処理装置をソフトウエアにより実現する場合に実行されるべき処理動作を示したフローチャートである。 第3の実施の形態としての信号処理装置の内部構成を示すブロック図である。 第3の実施の形態としての信号処理装置をソフトウエアにより実現する場合に実行されるべき処理動作を示したフローチャートである。 変形例1の信号処理装置の内部構成を示すブロック図である。 変形例1の信号処理装置内に備えられる定位角度・レベル算出回路の内部構成を示すブロック図である。 変形例2のビデオカメラ装置の内部構成を示すブロック図である。 変形例2のビデオカメラ装置を実現するために実行されるべき処理動作を示したフローチャートである。 変形例3のビデオカメラ装置の内部構成を示すブロック図である。 変形例3のビデオカメラ装置を実現するために実行されるべき処理動作を示したフローチャートである。
符号の説明
1,75,80 ビデオカメラ装置、2L Lchマイクアンプ、2R Rchマイクアンプ、3L,3R A/D変換器、4,30,35,40,46,51,60,65,70 音声信号処理部、5 撮像部、6 カメラ信号処理部、7 映像信号処理部、8 エンコーダ、9 HDD、10 システムコントローラ、11 バス、12 操作部、13 表示処理部、14 表示部、15 デコーダ、16 外部通信インタフェース、17L,17R D/A変換器、18L,18R アンプ、MIC-L Lchマイクロフォン、MIC-R Rchマイクロフォン、SW-L1 Lch入力切換スイッチ、SW-R1 Rch入力切換スイッチ、SW-L2 Lch出力切換スイッチ、SW-R2 Rch出力切換スイッチ、SP-L,SP-R スピーカ、20 分離処理回路、21L,21R LPF(Low Pass Filter)、22L,22R HPF(High Pass Filter)、23L,23R,36L,36R,48L,48R 遅延器、24L,24R,26L,26R,50L,50R 加算器、25,43(1〜n) ゲイン器、31 CPU、32,61a,76 メモリ、32a 雑音低減プログラム、37L,37R 減算器、41L,41R 周波数帯域分割回路、42(1〜n) 定位角度算出回路、42a-L,42a-R フーリエ変換器、42b 定位角度算出器、44L,44R 周波数帯域合成回路、45,61,66,72 風雑音検出・ゲイン調節回路、47L,47R DEC(デシメーター)、49L,49R INT(インターポレーター)、71(1〜n) 定位角度・レベル算出回路、71a レベル算出器、76a,76b 低減処理制御プログラム

Claims (7)

  1. 音声信号を入力する入力手段と、
    上記入力手段によって入力た上記音声信号の複数の周波数バンドごとの定位角度を算出すると共に、それら複数の周波数バンドの信号成分のうちで、その定位角度が定められた定位角度外となる信号成分で且つ所定の周波数以下の信号成分を低減する、又は時間軸方向における定位角度の変化がランダムとなる信号成分で且つ所定の周波数以下の信号成分を低減する、又は隣接する周波数帯域の定位角度との差が定められた値よりも大となる信号成分で且つ所定の周波数以下信号成分を低減することで、風雑音成分を低減する雑音低減手段
    備える信号処理装置。
  2. 上記雑音低減手段は、
    上記音声信号を、その所定の周波数以下の帯域複数の周波数バンドに分割されるようにして帯域分割し、分割した上記所定の周波数以下の帯域の周波数バンドごとに、その信号成分の定位角度を算出し、定位角度が上記定められた定位角度外となるバンドの信号成分を低減することで風雑音成分を低減す
    求項1に記載の信号処理装置。
  3. 上記雑音低減手段は、
    上記音声信号を、その所定の周波数以下の帯域複数の周波数バンドに分割されるようにして帯域分割し、分割した上記所定の周波数以下の帯域の周波数バンドごとに、その信号成分の時間軸方向における定位角度の変化を解析し時間軸方向における定位角度の変化がランダムとなるバンドの信号成分を低減することで風雑音成分を低減す
    求項1に記載の信号処理装置。
  4. 上記雑音低減手段は、
    上記音声信号を、その所定の周波数以下の帯域が複数の周波数バンドに分割されるようにして帯域分割し、分割した上記所定の周波数以下の帯域の周波数バンドごとに、隣接する周波数帯域の定位角度との差を解析しその差が上記定められた値よりも大となるバンドの信号成分を低減することで風雑音成分を低減す
    求項1に記載の信号処理装置。
  5. 上記雑音低減手段は、
    上記音声信号の右側チャンネルの信号と左側チャンネルの信号とのレベル比または位相差の少なくとも一方を算出した結果に基づき定位角度を算出す
    求項1に記載の信号処理装置。
  6. 入力た音声信号の複数の周波数バンドごとの定位角度を算出すると共に、それら複数の周波数バンドの信号成分のうちで、その定位角度が定められた定位角度外となる信号成分で且つ所定の周波数以下の信号成分を低減する、又は時間軸方向における定位角度の変化がランダムとなる信号成分で且つ所定の周波数以下の信号成分を低減する、又は隣接する周波数帯域の定位角度との差が定められた値よりも大となる信号成分で且つ所定の周波数以下信号成分を低減することで、風雑音成分を低減す
    号処理方法。
  7. 入力た音声信号の複数の周波数バンドごとの定位角度を算出すると共に、それら複数の周波数バンドの信号成分のうちで、その定位角度が定められた定位角度外となる信号成分で且つ所定の周波数以下の信号成分を低減する、又は時間軸方向における定位角度の変化がランダムとなる信号成分で且つ所定の周波数以下の信号成分を低減する、又は隣接する周波数帯域の定位角度との差が定められた値よりも大となる信号成分で且つ所定の周波数以下信号成分を低減することで風雑音成分を低減する処理を信号処理装置に実行させ
    ログラム。
JP2007058825A 2007-03-08 2007-03-08 信号処理装置、信号処理方法、プログラム Expired - Fee Related JP4403429B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007058825A JP4403429B2 (ja) 2007-03-08 2007-03-08 信号処理装置、信号処理方法、プログラム
GB0800979A GB2447320B (en) 2007-03-08 2008-01-18 Signal processing apparatus, signal processing method, and program recording medium
US12/074,687 US20080219470A1 (en) 2007-03-08 2008-03-05 Signal processing apparatus, signal processing method, and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007058825A JP4403429B2 (ja) 2007-03-08 2007-03-08 信号処理装置、信号処理方法、プログラム

Publications (3)

Publication Number Publication Date
JP2008227595A JP2008227595A (ja) 2008-09-25
JP2008227595A5 JP2008227595A5 (ja) 2009-03-05
JP4403429B2 true JP4403429B2 (ja) 2010-01-27

Family

ID=39166029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007058825A Expired - Fee Related JP4403429B2 (ja) 2007-03-08 2007-03-08 信号処理装置、信号処理方法、プログラム

Country Status (3)

Country Link
US (1) US20080219470A1 (ja)
JP (1) JP4403429B2 (ja)
GB (1) GB2447320B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4737251B2 (ja) 2008-08-20 2011-07-27 ソニー株式会社 ヘッドホン
JP2010124370A (ja) 2008-11-21 2010-06-03 Fujitsu Ltd 信号処理装置、信号処理方法、および信号処理プログラム
US8873769B2 (en) * 2008-12-05 2014-10-28 Invensense, Inc. Wind noise detection method and system
JP5201093B2 (ja) * 2009-06-26 2013-06-05 株式会社ニコン 撮像装置
JP2011033717A (ja) * 2009-07-30 2011-02-17 Secom Co Ltd 雑音抑圧装置
KR101600354B1 (ko) * 2009-08-18 2016-03-07 삼성전자주식회사 사운드에서 오브젝트 분리 방법 및 장치
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
JP5690082B2 (ja) * 2010-05-18 2015-03-25 シャープ株式会社 音声信号処理装置、方法、プログラム、及び記録媒体
JP5672437B2 (ja) * 2010-09-14 2015-02-18 カシオ計算機株式会社 雑音抑制装置、雑音抑制方法およびプログラム
US9030240B2 (en) 2010-11-24 2015-05-12 Nec Corporation Signal processing device, signal processing method and computer readable medium
JP5656586B2 (ja) * 2010-11-26 2015-01-21 キヤノン株式会社 撮像装置とその制御方法並びに音声処理装置及び方法
JP5926490B2 (ja) * 2011-02-10 2016-05-25 キヤノン株式会社 音声処理装置
JP5744236B2 (ja) 2011-02-10 2015-07-08 ドルビー ラボラトリーズ ライセンシング コーポレイション 風の検出及び抑圧のためのシステム及び方法
JP2012203040A (ja) * 2011-03-23 2012-10-22 Canon Inc 音声信号処理装置、及びその制御方法
JP6197298B2 (ja) * 2012-02-01 2017-09-20 株式会社ニコン 音処理装置および音処理プログラム
US9749515B2 (en) * 2012-02-19 2017-08-29 Jack J. McCauley System and methods for wireless remote control over cameras with audio processing to generate a refined audio signal
JP2015130547A (ja) * 2014-01-06 2015-07-16 パナソニックIpマネジメント株式会社 記録装置
JP6136995B2 (ja) * 2014-03-07 2017-05-31 株式会社Jvcケンウッド 雑音低減装置
JP5663112B1 (ja) * 2014-08-08 2015-02-04 リオン株式会社 音信号処理装置、及び、それを用いた補聴器
JP6570577B2 (ja) 2017-05-19 2019-09-04 キヤノン株式会社 音声処理装置、音声処理方法、およびプログラム
JP6878137B2 (ja) * 2017-05-19 2021-05-26 キヤノン株式会社 音声処理装置、音声処理方法およびプログラム
WO2019070328A1 (en) 2017-10-04 2019-04-11 Google Llc METHODS AND SYSTEMS FOR AUTOMATICALLY EQUALIZING AUDIO OUTPUT BASED ON THE CHARACTERISTICS OF THE PART
US10897680B2 (en) 2017-10-04 2021-01-19 Google Llc Orientation-based device interface
US10812184B1 (en) * 2019-04-03 2020-10-20 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Signal analysis systems and methods
CN109977584B (zh) * 2019-04-04 2022-11-08 哈尔滨工业大学 一种基于随机信号的定位方法及装置
JPWO2022230275A1 (ja) * 2021-04-30 2022-11-03

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748623B2 (ja) * 1988-12-26 1995-05-24 シャープ株式会社 録音装置
JPH02214400A (ja) * 1989-02-15 1990-08-27 Sony Corp マイクロホン装置
JP2770594B2 (ja) * 1991-04-22 1998-07-02 松下電器産業株式会社 マイクロホン装置
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US6421443B1 (en) * 1999-07-23 2002-07-16 Acoustic Technologies, Inc. Acoustic and electronic echo cancellation
JP2001124621A (ja) * 1999-10-28 2001-05-11 Matsushita Electric Ind Co Ltd 風雑音低減可能な騒音計測装置
JP3598932B2 (ja) * 2000-02-23 2004-12-08 日本電気株式会社 話者方向検出回路及びそれに用いる話者方向検出方法
JP2003078987A (ja) * 2001-09-04 2003-03-14 Matsushita Electric Ind Co Ltd マイクロホン装置
DK175163B1 (da) * 2002-02-07 2004-06-21 Oticon As Indretning og fremgangsmåde til detektering af vindstøj
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
KR100720356B1 (ko) * 2004-07-27 2007-05-22 삼성전자주식회사 이온 발생기
KR101118217B1 (ko) * 2005-04-19 2012-03-16 삼성전자주식회사 오디오 데이터 처리 장치 및 방법

Also Published As

Publication number Publication date
GB2447320A (en) 2008-09-10
GB2447320B (en) 2009-05-20
GB0800979D0 (en) 2008-02-27
US20080219470A1 (en) 2008-09-11
JP2008227595A (ja) 2008-09-25

Similar Documents

Publication Publication Date Title
JP4403429B2 (ja) 信号処理装置、信号処理方法、プログラム
JP4356670B2 (ja) 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置
US8428275B2 (en) Wind noise reduction device
US8068620B2 (en) Audio processing apparatus
JP5060631B1 (ja) 信号処理装置及び信号処理方法
JP4934580B2 (ja) 映像音声記録装置および映像音声再生装置
JP2004187283A (ja) マイクロホン装置および再生装置
BRPI0807594A2 (pt) Dispositivo de processamento de dados, método de processamento de dados, e, meio de armazenagem
CN111970627B (zh) 音频信号的增强方法、装置、存储介质和处理器
WO2006057131A1 (ja) 音響再生装置、音響再生システム
TW201927010A (zh) 串音處理b鏈
US10535363B2 (en) Audio processing apparatus and control method thereof
JP5020845B2 (ja) 音声処理装置
KR20220080146A (ko) 스펙트럼적 직교 오디오 성분들을 사용하는 부대역 공간 및 크로스토크 처리
JP2008263483A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP2008301427A (ja) マルチチャンネル音声再生装置
US20190057711A1 (en) Audio processing apparatus and control method thereof
JP4542396B2 (ja) 録音装置
JP4952368B2 (ja) 収音装置
JP2006237816A (ja) 演算装置、収音装置、及び、信号処理プログラム
US9414177B2 (en) Audio signal processing method and audio signal processing device
JP2015104091A (ja) 風雑音低減装置を備えた音声処理装置及びそれを有する撮像装置
JP5979843B2 (ja) 音声信号処理装置、音声信号処理方法及びプログラム
JP2001326990A (ja) 音響信号処理装置及び処理方法
JP2018207313A (ja) 音声処理装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees