JP3537962B2 - 音声収集装置及び音声収集方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声収集装置及び音
声収集方法に関し、特に、音声認識装置やテレビ会議シ
ステムなどにおいて、雑音を取り除いて目的の音声を取
り出す雑音抑圧技術に関する。

【０００２】

【従来の技術】音声認識装置やテレビ会議システムにお
いては、高品質な音声の収録のため、指向性マイクロホ
ンやマイクロホンアレイを使った雑音抑圧技術が提案さ
れている。特に、テレビ会議システムの分野では、複数
の会議参加者の中から発言者の音声と画像を自動的に得
るため、ビデオカメラの画像を処理して得られた移動物
体の位置に基づいて複数のマイクロホンの信号を処理す
る方法が例えば特開平５−２２７５３１号公報に開示さ
れている。

【０００３】しかしながら、この方法ではマイクロホン
アレイからの信号を、一つの目的の人物位置からの音声
に対して位相が一致するようにした遅延和法により処理
しているため、他の方向から到来した雑音に対する抑圧
性能は十分でないという問題があった。

【０００４】一方、マイクロホンアレイの出力を処理し
て効果的に雑音を抑圧する技術としては、適応フィルタ
を指向性制御に用いた適応マイクロホンアレイ技術が従
来より知られており、例えば文献（電子情報通信学会編
音響システムとデジタル処理 ｐｐ．１７１−２１
８）に詳述されている。適応マイクロホンアレイ処理で
は、雑音の到来方向を知る必要はないが、目的とする音
波の到来方向は既知として処理するのが一般的である。
音波の到来方向は、マイクロホンアレイからの信号を処
理して推定することもできるが、発声中のみしか検出で
きないため処理の安定性に問題がある。

【０００５】これに対し、画像を処理して得られた人物
位置を目的音の到来方向として用いる方法が知られてお
り、この場合は、発声していないときにも位置が推定で
きるため安定であり、例えば文献（ＩＣＡＳＳＰ '９５
「Knowing Who to Listen toin Special Recognition V
isually Guided Beamforming」ｐｐ８４８−８５１）に
開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記文
献をはじめとする従来の開示技術においては、画像の処
理により人物位置が複数検出された場合に対する対処方
法がないため、目的としない人物から発声があった場合
はそれを除くような適応処理を行っていた。ところが、
この適応処理が完了するまでに妨害音が混入してしまっ
たり、複数の話者が同時に発声した場合に、注目してい
る一人の音声以外はクリアに入力できない、という問題
があった。

【０００７】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、複数の人物位
置からの音声に対して、背景雑音を抑えてすべての音声
を同時に抽出するかあるいは、特定の人物位置からの音
声のみを抽出することが可能な音声収集装置及び音声収
集方法を提供することにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る音声収集装置は、複数の人物の
少なくとも一部を撮影して得られた画像を入力する画像
入力手段と、複数のチャネルを介して個々に音声を入力
する音声入力手段と、前記画像入力手段によって入力さ
れた画像情報を処理して複数の人物位置を求める人物位
置検出手段と、この人物位置検出手段によって検出され
た複数の人物位置から、処理対象となる人物位置を少な
くとも一人選択する人物位置選択手段と、任意に生成し
た音源信号を、前記人物位置選択手段によって選択され
た人物位置に配置したものとしたときに観測して得られ
る第１の信号と、前記選択された人物位置からのすべて
の音声に対する感度を、選択されなかった人物位置と比
較して同時に高くするモードと、前記選択された人物位
置のうち、特定の目的位置からの音声のみを、選択され
なかった人物位置と比較して高くするモードのうちいず
れかの選択に応じて前記音源信号から生成される第２の
信号とに基づいて、フィルタ係数を決定するフィルタ係
数決定手段と、このフィルタ係数決定手段によって決定
されたフィルタ係数を用いて、前記音声入力手段によっ
て入力された音声のうち、前記選択されたモードに対応
する音声のみを抽出する音声抽出手段とを具備する。

【０００９】また、第２の発明に係る音声収集装置は、
第１の発明において、前記選択された人物位置のうち、
前記特定の目的位置からの音声のみを高くするモードに
おいて、複数の目的位置に対応して前記フィルタ係数決
定手段及び音声抽出手段を複数個設け、複数の人物位置
からの音声を分離して抽出する。

【００１０】また、第３の発明に係る音声収集装置は、
第１または第２の発明において、テスト発声データの入
力と前記音声入力手段を介して入力される通常の音声入
力の切り替えを指示する入力モード切り替え手段と、入
力モードがテスト発声データ入力であるときに、取り込
んだテスト発声データのレベルを求めるテスト発声レベ
ル計算手段とをさらに具備する。

【００１１】また、第４の発明に係る音声収集装置は、
第１乃至第３の発明のいずれかにおいて、前記画像入力
手段によって入力された画像から人物の発声動作に関す
る情報を位置別に検出する位置別発声動作情報検出手段
をさらに具備し、前記フィルタ係数決定手段は、検出し
た位置別の発声動作に関する情報と、入力された音声か
ら求めた位置別到来パワーの少なくとも一方に基づい
て、前記第１の信号である入力信号と前記第２の信号で
ある希望応答信号とを生成する。

【００１２】また、第５の発明の係る音声収集装置は、
複数の人物の少なくとも一部を撮影して得られた画像を
入力する画像入力手段と、複数のチャネルを介して個々
に音声を入力する音声入力手段と、前記画像入力手段に
よって入力された画像情報を処理して複数の人物位置を
求める人物位置検出手段と、この人物位置検出手段によ
って検出された複数の人物位置から、処理対象となる人
物位置を少なくとも一人選択する人物位置選択手段と、
この人物位置選択手段によって選択された人物位置に基
づいて、前記少なくとも一人の人物位置からの音声に対
する感度を同時に一定の値にする制約をフィルタ処理の
制約として設定するフィルタ制約設定手段と、このフィ
ルタ制約設定手段の制約に基づいてフィルタ係数を決定
し、このフィルタ係数を用いて前記音声入力手段によっ
て入力される音声にフィルタ処理を施して音声を抽出す
る音声抽出手段とを具備する。

【００１３】また、第６の発明に係る音声収集装置は、
第５の発明において、前記フィルタ制約設定手段は、前
記選択された人物位置の数が複数の場合に、この複数の
人物位置の中の一つの位置を目的位置とし、該目的位置
からの音声に対する感度を、選択されなかった人物位置
と比較して高くする第１の制約と、前記目的位置以外の
人物位置からの音声に対しては、選択されなかった人物
位置と比較して感度を低くする第２の制約をフィルタ処
理の制約として設定し、前記音声抽出手段は、前記第
１、第２の制約の基にフィルタ出力を最小化してフィル
タ係数を決定する。

【００１４】また、第７の発明に係る音声収集装置は、
複数の人物を撮影して得られた画像を入力する画像入力
手段と、この画像入力手段によって入力された画像情報
を処理して複数の人物位置を求める人物位置検出手段
と、この人物位置検出手段によって検出された複数の人
物位置から、処理対象となる人物位置を少なくとも一人
選択する人物位置選択手段と、複数のチャネルを介して
個々に音声を入力する音声入力手段と、前記人物位置選
択手段によって選択された少なくとも一つの人物位置の
中の一つの位置を目的位置とし、この目的位置からの音
声に対する感度を、選択されなかった人物位置と比較し
て高くする制約を設定するフィルタ制約設定手段と、任
意に作成した音源信号を、前記目的位置以外の人物位置
に配置したものとしたときに観測される信号を生成する
入力信号生成手段と、前記制約のもとで前記入力信号に
基づき目的位置以外の人物位置からの音声に対して感度
を低くするようにフィルタを決定するフィルタ決定手段
と、このフィルタ決定手段によって求められたフィルタ
係数を用いて、前記音声入力手段によって入力された音
声にフィルタ処理を施して音声を抽出する音声抽出手段
とを具備する。

【００１５】また、第８の発明に係る音声収集装置は、
第７の発明において、前記フィルタ制約設定手段は、前
記選択された人物位置の中から複数の目的位置を設定し
た場合に、この複数の目的位置の一つからの音声に対す
る感度を、選択されなかった人物位置と比較して高くす
る制約をフィルタ処理の制約として設定し、前記目的位
置以外の人物位置に音源があるものとしたときに観測さ
れる入力信号に基づき、前記目的位置以外の人物位置か
らの音声に対しては感度を、選択されなかった人物位置
と比較して低くするようにフィルタを設定するフィルタ
設定手段と音声抽出手段とを、前記目的位置の変更に対
応して複数個設け、複数の人物位置からの音声を分離し
て抽出する。

【００１６】また、第９の発明に係る音声収集方法は、
複数の人物の少なくとも一部を撮影して得られた画像を
入力する画像入力工程と、複数のチャネルを介して個々
に音声を入力する音声入力工程と、前記画像入力工程に
おいて入力された画像情報を処理して複数の人物位置を
求める人物位置検出工程と、この人物位置検出工程にお
いて検出された複数の人物位置から、処理対象となる人
物位置を少なくとも一人選択する人物位置選択工程と、
任意に生成した音源信号を、前記人物位置選択工程で選
択された人物位置に配置したものとしたときに観測して
得られる第１の信号と、前記選択された人物位置からの
すべての音声に対する感度を、選択されなかった人物位
置と比較して同時に高くするモードと、前記選択された
人物位置のうち、特定の目的位置からの音声のみを、選
択されなかった人物位置と比較して高くするモードのう
ちいずれかの選択に応じて前記音源信号から生成される
第２の信号とに基づいて、フィルタ係数を決定するフィ
ルタ係数決定工程と、このフィルタ係数決定工程におい
て決定されたフィルタ係数を用いて、前記音声入力工程
において入力された音声のうち、前記選択されたモード
に対応する音声のみを抽出する音声抽出工程とを具備す
る。

【００１７】また、第１０の発明に係る音声収集方法
は、複数の人物の少なくとも一部を撮影して得られた画
像を入力する画像入力工程と、複数のチャネルを介して
個々に音声を入力する音声入力工程と、前記画像入力工
程において入力された画像情報を処理して複数の人物位
置を求める人物位置検出工程と、この人物位置検出工程
において検出された複数の人物位置から、処理対象とな
る人物位置を少なくとも一人選択する人物位置選択工程
と、この人物位置選択工程において選択された人物位置
に基づいて、前記少なくとも一人の人物位置からの音声
に対する感度を同時に一定の値にする制約をフィルタ処
理の制約として設定するフィルタ制約設定工程と、この
フィルタ制約設定工程における制約に基づいてフィルタ
係数を決定し、このフィルタ係数を用いて前記音声入力
工程において入力される音声にフィルタ処理を施して音
声を抽出する音声抽出工程とを具備する。

【００１８】

【発明の実施の形態】まず、本実施形態の概略を説明す
る。本実施形態では画像から人物位置を検出し、その人
物位置に基づいて適応マイクロホンアレイにより雑音を
抑圧して音声を抽出するシステムにおいて、特に、複数
の人物位置が検出された場合に対処するため、以下の方
法を用いる。

【００１９】すなわち、第１の概略においては、雑音を
抑圧するフィルタの決定に適応フィルタの処理方式の一
つであるパイロット信号法を利用し、画像の処理により
得られた複数の人物の位置に基づき適応フィルタの学習
信号である入力信号と希望応答信号を人工的に生成し、
複数の人物位置から到来する音波に対して同時に感度を
一定に保つように制御を行なうことにより背景雑音を抑
えてすべての話者の音声を同時に取り出すことを可能に
するものである。

【００２０】また、同じ構成により、目的の人物位置か
ら到来する音波については感度が高く、他の人物位置か
ら到来する音波については感度が低くなるように制御を
行なうことにより、特定の人物のみの音声を取り出すこ
とも可能にしている。パイロット信号法に関しては、上
記文献（音響システムとデジタル処理）または文献（Ｐ
ＲＯＣ．ＩＥＥＥ Ｖｏｌ．５５，Ｎｏ１２（１９６
７）、B Widraw: 「Adaptive Antenna systems」に詳述
されている。

【００２１】また、第２の概略においては、適応フィル
タによる雑音抑圧のフィルタ係数の学習の際、人物位置
から到来する音波のパワーを推定し、このパワーに基づ
いて適応フィルタの入力信号の振幅と適応フィルタの収
束速度を決定しているため、人工的に生成する信号を実
際の環境に忠実に合わせることができ、精度良く雑音抑
圧のフィルタを学習することができる。

【００２２】また、第３の概略においては、適応フィル
タによる雑音抑圧のフィルタ係数の学習の際、人物位置
から到来する音波のパワーに加え、人物の画像から発声
動作を表す情報を抽出しており、これらの位置ごとのパ
ワーと位置ごとの発声動作に関する情報から、適応フィ
ルタの入力信号の振幅と適応フィルタの収束速度を決定
しているため、背景雑音が大きく、到来パワーの推定精
度が低い場合でも精度良く雑音抑圧のフィルタを学習す
ることができる。

【００２３】また、第４の概略においては、テスト発声
を収集するための入力モード切り替え手段を具備するこ
とにより、テスト発声データを入力し、その入力レベル
からパイロット信号法によって適応フィルタ処理を行う
際の学習信号の振幅を正確に決定して適応フィルタの学
習を行うことにより、高精度な雑音抑圧を可能としてい
る。

【００２４】また、第５の概略においては、目的の人物
から到来する音に対しては感度を一定に保ち、他の人物
から到来する音に対しては感度を低くするように適応フ
ィルタの学習信号を生成してフィルタ係数を学習し、人
物ごとにこのようなフィルタを用意することにより、複
数の人物が発声した場合に、各人物ごとの発声を別個に
取り出すことを可能にしている。

【００２５】また、第６の概略においては、パイロット
信号法による適応フィルタ処理の代わりに、拘束条件付
き適応フィルタ処理を用い、画像の処理により得られた
複数の人物の位置に対してマイクロホンアレイの感度を
一定に保つという拘束条件のもとで適応フィルタの係数
を決定することにより、背景雑音を抑えてすべての話者
の音声を同時に取り出すことを可能にしている。この方
式では、パイロット信号法で必要だった発声区間に応じ
た適応の制御が不要であり、より少ない構成要素で実現
できる。

【００２６】同概略においては、目的の人物から到来す
る音に対しては感度を一定に保ち、他の人物から到来す
る音に対しては感度を低くするという制約のもとで雑音
抑圧のフィルタを決定することにより、特定の人物の音
声だけを取り出すことも可能である。

【００２７】また、第７の概略においては、第６の概略
において用いた拘束条件付き適応フィルタ処理を用い、
目的の人物から到来する音に対しては感度を一定に保
ち、他の人物から到来する音に対しては感度を低くする
という制約のもとで雑音抑圧のフィルタの係数を決定
し、人物ごとにこのようなフィルタを用意することによ
り、複数の人物が発声した場合に、各人物ごとの発声を
別個に取り出すことを可能にしている。

【００２８】また、第８の概略においては、第６、第７
の概略で用いた拘束条件付き適応フィルタ処理と第１か
ら第５の概略で用いたパイロット信号法を組み合わせ、
目的の人物から到来する音に対しては感度を一定に保
ち、制約のもとで雑音抑圧のフィルタの係数を決定し、
他の人物位置から到来する音に対しては感度が低くなる
ように学習信号を生成し、この学習信号により拘束条件
付き適応フィルタによりフィルタ係数を決定することに
より、拘束条件が多くなることによる雑音抑圧性能の低
下を抑え、また学習信号生成の演算量を減らして同等の
性能を実現している。

【００２９】また、第９の概略においては、第８の概略
において雑音抑圧のフィルタを人物ごとに複数用意する
ことにより、複数の人物が発声した場合に、各人物ごと
の発声を別個に取り出すことを可能にしている。

【００３０】以下に図面を参照して上記した実施形態を
詳細に説明する。

【００３１】まず、図１を参照しながら、第１実施形態
について説明する。本実施形態は、画像を処理して検出
した人物位置に基づいて適応フィルタの学習信号を生成
し、学習したフィルタにより雑音抑圧処理を行うもので
ある。本実施形態では、複数の人物位置を対象として適
応フィルタ学習の制御を行えるようにしているため、従
来１個の対象にしか考えられてこなかった雑音抑圧処理
を、複数の対象に対して行え、会話や複数話者の同時発
声の場合の音声入力を自動的に安定して高対雑音比で行
うことが可能である。

【００３２】図１において、１はビデオカメラなどから
画像を入力する画像入力部、２は入力した画像を処理し
て人物の位置を検出する人物位置検出部、３は複数のマ
イクロホンからの音声を並列に入力する音声入力部、４
は画像処理により検出された人物位置に基づいて複数の
マイクロホンからの入力音声から雑音を抑圧して音声を
取り出す雑音抑圧部であり、その内部構成は、人物位置
検出部２により検出された人物位置の中から処理対象と
する人物位置を選択する人物位置選択部４−１と、選択
された人物位置に基づいて適応フィルタの学習を行う環
境適応部（フィルタ係数決定手段）４−２と、決定され
たフィルタ係数により雑音抑圧処理を行う雑音除去部４
−３とからなる。

【００３３】この構成において、画像入力部１より入力
した画像を人物位置検出部２に送り、人物位置検出部２
において人物の方向または位置を画像から検出する。検
出した人物位置の中から処理対象とする人物位置を人物
位置選択部４−１において選択し、環境適応部４−２に
おいて、前記選択された人物位置に基づいて適応フィル
タの学習信号を生成して適応フィルタの係数を決定し、
雑音除去部４−３において決定したフィルタ係数を用い
て入力音声にフィルタ処理を行って雑音を抑圧する。

【００３４】以下に上記した処理をさらに詳細に説明す
る。まず、画像からの人物位置の検出について説明す
る。画像からの人物位置の検出は、テンプレートマッチ
ングに基づいた顔領域の抽出処理などにより行なうこと
ができ、テンプレートマッチングについては例えば「画
像解析ハンドブック」（東京大学出版会）に詳述されて
いる。さらに、テンプレートマッチングを用いて画像中
の物体の動きを追跡することができ、例えば情報処理学
会技術報告ＣＶ７６−７，ｐｐ．４９−５６（１９９
２），小杉他：「シーンの中の顔の探索と認識」に詳述
されている。これらの開示技術により、同じ人物の座標
を時間ごとに特定し追跡できることが知られている。な
お、これらの技術では、人物の顔を含む小領域の画像を
扱うため、人物位置の検出とともにこれらの画像も得る
ことができる。

【００３５】画像による人物位置の検出では、一般に、
画像入力に１個のビデオカメラを用いた場合、人物のカ
メラに対する方向は十分な精度で特定することができる
が、カメラと人物の間の距離方向の測定は誤差が大き
い。それでも、人物の大きさの比較により、距離方向に
関しておおまかな相対関係を得ることは可能である。ス
テレオカメラを用いた場合は、距離に関しても高精度に
測定できるが、本実施形態では、人物の方向とおおまか
な距離関係がわかれば十分であるため、カメラ１個によ
る人物位置の抽出手法を用いればよく、ステレオカメラ
は必ずしも必要ない。もちろんステレオカメラあるいは
多数のカメラを用いても差し支えない。人物位置の検出
方法は本実施形態の本質に関わりがないので詳しい説明
は省略するが、現状で利用可能な技術であることは言う
までもない。

【００３６】ビデオカメラとマイクロホンを組み合わせ
て処理を行う際、ビデオカメラとマイクロホンの位置の
設定は種々考えられるが、ビデオカメラが１個の場合、
例えば図２（ａ）に示すように設定する。ビデオカメラ
５とマイクロホンアレイ６は人物から見て同じ方向にあ
るように設置し、マイクロホンアレイ６の処理とビデオ
カメラ５とで共通の方位座標を使うようにするのが望ま
しい。

【００３７】なお、図２（ｂ）に示すように、ビデオカ
メラ５を複数使う場合は、人物位置が３次元座標として
得られるので、先のようにカメラ位置とマイクロホン位
置を利用者から見て同じ方向に設定する必要はなく、マ
イクロホンアレイ処理の際、ビデオカメラ５から得られ
た人物座標をマイクロホンアレイ６からみた角度に変換
して用いることもできる。

【００３８】以上の処理により人物位置が得られた後、
雑音抑圧部４においては、人物位置選択部４−１により
人物位置の中から処理対象とする人物位置を予め決めた
数だけ選択し、該選択した人物位置に基づき、環境適応
部４−２により適応フィルタの学習信号を生成して適応
フィルタに入力し、フィルタ係数を決定する。そして、
決定したフィルタ係数を用い、雑音除去部４−３で複数
のマイクロホンからの入力音声に上記のフィルタによる
フィルタ処理を行って出力音声を取り出す。

【００３９】複数のマイクロホンから入力した音声を処
理して雑音を抑圧するための適応フィルタとしては種々
のものが知られており、例えば文献（Haykin著：Adapti
ve Filter Theory）に詳述されているが、本実施形態で
は、複数の任意の方向あるいは位置から到来する音に対
するアレイの応答を比較的簡単に設定できるパイロット
信号法を用いている。

【００４０】以下に、雑音抑圧部４の詳細を説明する。
まず、雑音抑圧部４では、人物位置選択部４−１におい
て複数の人物位置の中から、音声の抽出処理を行う対象
の人物位置を選択する。この選択においては、選択する
人物位置の最大数をＮ、例えばＮ＝３とし、人物位置検
出部２で特定された人物位置の数がＮより大きい場合
に、特定された人物位置の中からＮ個の位置を選択し、
小さい場合はすべてを選択する。選択の方法に関して
は、例えば、カメラと人物の距離を基準とし、この距離
が小さい順にＮ個の位置を用いるようにしてもよいし、
カメラの中心方向と人物方向の角度差を基準とし、この
角度差が小さい順にＮ個の位置を用いてもよい。

【００４１】また、上記２つの選択基準を組み合わせた
値を基準としてもよい。すでに述べたように、使用する
カメラが１個の場合で、カメラと人物の間の距離の値を
得ることが困難な場合は、人物の大きさまたは人物の顔
の大きさを人物位置とカメラとの距離の目安として使う
ことが可能である。

【００４２】例えば、図３に示すような画像データから
図４に示すような人物位置の方向（Ｘ，Ｙ）と顔の大き
さ（Ａ）、および人物方向から計算されるカメラ中心線
方向と人物方向との角度差（Ｂ）が得られた場合、顔部
分の面積が大きいほどカメラに近いとしてこの面積が大
きい順に人物の番号６，４，３の３人を選択してもよい
し、カメラ中心線方向と人物方向との角度差が小さい順
に人物番号４，２，５を選択してもよいし、上記Ａ，Ｂ
を組み合わせた値、例えばＡ／Ｂの値の大きい順に人物
番号４，３，６を選択してもよい。

【００４３】次に、パイロット信号法による適応フィル
タ処理を行うため、環境適応部４−２は、図５に示すよ
うな構成としている。図５において、４−２ａは入力信
号生成部、４−２ｄは希望応答生成部、４−２ｅは適応
処理部、４−２ｃは学習信号レベル計算部、４−２ｂは
音源信号生成部である。

【００４４】この構成において、まず、音源信号生成部
４−２ｂにより、選択された人物位置ごとに音源がある
ものと仮定してその発生信号を生成し、学習信号レベル
計算部４−２ｃにより、入力音声に基づいて入力信号生
成の際の音源信号のレベルを決定する。次に、求められ
た学習信号レベルと音源信号とから、入力信号生成部４
−２ａにより、選択された人物位置に基づき、適応フィ
ルタの入力信号を生成すると同時に、学習信号レベルと
音源信号とから、希望応答生成部４−２ｄにより適応フ
ィルタの希望応答を生成し、生成した入力信号と希望応
答を適応処理部４−２ｅに入力し、適応フィルタの適応
処理を行う。適応フィルタの処理方式は、よく知られた
ＬＭＳでもまた、ＲＬＳでもよく、文献（ヘイキン著：
適応フィルタ入門）に詳述されている。ここでは、ＬＭ
Ｓ適応フィルタにより説明する。

【００４５】適応フィルタの処理は、複数チャネルの入
力各々に対し、図６に示すような遅延線タップ付きフィ
ルタから構成されるユニバーサル型フィルタを用いて行
うようにしている。図６において、フィルタのタップ数
をＪ、ｉ番目のマイクロホンのフィルタ係数をｗ_ij，
（１≦ｉ≦Ｎ，１≦ｊ≦Ｊ）としており、Ｊは例えば２
００を用いる。この構成において、ｉ番目のマイクロホ
ンの波形をｘ_i (n) とし、時刻ｎにおいてＪサンプル過
去から時刻ｎまでの各マイクロホンの波形サンプルの系
列ｘ_i ＝（ｘ_i(n-J+1 ) ，ｘ_i(n-J+2)，…，ｘ_i(n-1)，
ｘ_i(n)）を全マイクロホンについて並べ、 Ｘ＝（ｘ₁ ，ｘ₂ ，…，ｘ_N ）^T （１） と、ベクトルで表す。また、ｉ番目のマイクロホンのフ
ィルタ係数ｗ_ijを並べてベクトルで表して ｗ_i ＝（ｗ_i1，ｗ_i2，…，ｗ_iJ） （２） とし、さらに全マイクロホンについて並べて Ｗ＝（ｗ₁ ，ｗ₂ ，…，ｗ_J ）^T （３） と表す。式（１）、（３）から、フィルタの出力は、 Ｙ＝Ｗ^H Ｘ （４） と表される。ここでフィルタ係数Ｗの要素は複素数と
し、Ｈはベクトルの複素共役転置を表すものとする。Ｘ
は一般にスナップショットと呼ばれる。

【００４６】ＬＭＳ適応フィルタ（Normalized ＬＭ
Ｓ）による適応処理部４−２ｅでは、上記のフィルタ構
造において次式に従ってフィルタ係数を更新し、フィル
タ係数の学習を行う。

【００４７】 Ｗ_j ＝Ｗ_j-1 −ａ＊ｅ＊Ｘ／２ｐ （５） ここで、Ｗ_j はｊ回の更新後のフィルタ係数、ｅは誤差
信号ｅ＝ｄ−Ｗ^H Ｘ、ｄは希望応答、ｐは希望応答のパ
ワー、ａはステップサイズであり、０＜ａ＜１．０の範
囲で実験的に決められるが、例えば０．１などが用いら
れる。

【００４８】上記のフィルタ更新に用いる入力信号Ｘと
希望応答ｄは、人物位置に基づき入力信号生成部４−２
ａと希望応答生成部４−２ｄで音源信号から各々生成す
る。これらの信号は人工的に生成するものであり、信号
の内容によって雑音抑圧の仕方を制御することができ
る。例えば、選択された人物位置すべてから到来する音
波に対して感度を高くする（Ａ）ことや、選択された人
物位置のうち、ある人物位置からの音波に対しては感度
を高くするが、それ以外に対しては抑圧する（Ｂ）など
のように制御できる。

【００４９】今後、上記２つの抑圧処理の仕方を、抑圧
処理のモード（Ａ），（Ｂ）と呼ぶことにする。特にモ
ード（Ｂ）は、妨害音の発生する可能性の大きい方向に
対して事前に感度を低くする方法であり、従来の適応マ
イクロホン処理で行われていたように、妨害音が発生し
てからその環境に適応して抑圧する手法よりも大幅に高
品質な音声入力が行える。抑圧処理モードの設定は、初
期設定の際に環境適応部４−２において設定するように
する。

【００５０】フィルタ更新に用いる入力信号Ｘと希望応
答ｄの生成の前段階として、まず、音源信号生成部４−
２ｂにおいて、人物位置の数の信号系列である音源信号
を発生する。発生した音源信号の内容は人工的なもので
よく、例えば、ランダム雑音でもよい。このとき、ラン
ダム雑音は人物位置ごとに無相関となるようにするた
め、人物位置ごとに独立な乱数系列から生成するように
する。また、周波数特性は、例えば平均的な音声のスペ
クトルの傾きと同じになるようにフィルタをかけてもよ
い。

【００５１】次に、入力信号生成部４−２ａでは、生成
した音源信号が空中を伝播してマイクロホン位置に到達
すると仮定したときのマイクロホンで観測される信号を
計算する。マイクロホン位置で観測される信号は、音源
信号の伝搬時間差と伝搬に伴う振幅変化から計算でき
る。

【００５２】例えば、マイクロホンと人物位置が図７の
ような設定であるとして、図７を参照して次のように行
う。図７（ａ）のように、１番目のマイクロホンの座標
を（ｘ₁ ，ｙ₁ ）、ｉ番目のマイクロホンの座標を（ｘ
_i ，ｙ_i ）とすると、平面波を仮定した場合、θ方向か
ら音波が入射する際のｉ番目のマイクロホンと１番目の
マイクロホンに入射する音波の伝搬時間差τ_i は、 τ_i （θ）＝((ｘ_i −ｘ₁ ）² ＋（ｙ_i −ｙ₁ ）² ）^1/2 × cos(θ−tan ^-1((ｙ_i −ｙ₁ ）／（ｘ_i −ｘ₁ ))) （６） 振幅はａ₁ ＝ａ₂ ＝…ａ_N ＝１ （７） とおくことができ、点音源を仮定した場合、図７（ｂ）
のように仮想音源位置θを（ｘ_s ，ｙ_s ）とおくと τ_i ＝((（ｘ_i −ｘ_s ）² ＋（ｙ_i −ｙ_s ）² ）^1/2 −((ｘ₁ −ｘ_s ）² ＋（ｙ₁ −ｙ_s ）² ）^1/2 ）／ｃ （８） 振幅はａ_i ＝((ｘ_i −ｘ_s ）² ＋（ｙ_i −ｙ_s ）² ）^1/2 ／((ｘ₁ −ｘ_s ）² ＋（ｙ₁ −ｙ_s ）² ）^1/2 （９） となる。ただし、ｃは音速である。なお、ここでは簡略
化のため２次元平面上で説明したが、３次元空間への拡
張は容易である。

【００５３】上のようにして求めた遅延時間τ_i を用
い、ｉ番目のマイクロホンの観測信号のうち、ｋ番目の
人物位置から到来する成分ｘ_i (n) は、Ｓ_k (n) をｋ番
目の人物位置から到来する音波の波形、または音源信号
として、 ｘ_i (n) ＝Ｓ_k （ｎ−τ_i ′） （１０） とできる。ここで、τ_i ′はτ_i を四捨五入した値であ
る。また、信号の遅延をもっと精度よく行うため、四捨
五入する代わりに、上記した音響システムとデジタル処
理（ｐｐ．２１５）に述べられているようにデジタルフ
ィルタを畳み込んでもよいし、フーリエ変換により周波
数領域に変換して位相回転により遅延を与えた後、逆フ
ーリエ変換してもよい。

【００５４】次に、学習信号レベル計算部４−２ｃにお
いて音源信号のレベルを決め、以上のようにして求めた
マイクロホン位置での音源信号の観測値が、決定したレ
ベルと一致するようにして、実際にマイクロホンから入
力する信号とこの音源信号を加算し、適応フィルタの入
力信号として出力するようにする。音源信号レベルの計
算のため、学習信号レベル計算部４−２ｃにおいては、
入力音声の背景雑音パワーの音声区間の平均値を計算し
て保持するようにする。入力音声の背景雑音パワーは、
例えば複数ある中の１番目のマイクロホンのパワーを逐
次計算して音声区間を検出し、音声区間として検出され
なかった区間の平均パワーを求めるようにする。パワー
に基づいた音声区間検出はよく知られているように、例
えば文献（新美著：音声認識）に詳述されている。

【００５５】このようにして求めた背景雑音パワーに対
して一定値ｖ、例えば、ｖ＝７ｄＢ高い値を音源信号レ
ベルとし、このパワーの平方根の値を音源信号の振幅と
するようにする。すなわち、 Ａ_k ＝（Ｐ_N ＊１０^v/10) ^1/2 （１１） により計算する。ここで、Ａ_k は音源信号の振幅、Ｐ_N
は背景雑音のパワーである。

【００５６】次に、希望応答生成部４−２ｄでは、前記
の２つの抑圧処理モード（Ａ），（Ｂ）に応じて、別の
方法で希望応答を生成する。選択された人物位置すべて
から到来する音波を収集する場合（Ａ）は、選択された
すべての人物位置から音波が到来すると仮定したときの
マイクロホン位置での観測信号を希望応答として出力す
るようにする。この場合、例えば、１番目のマイクロホ
ン位置で観測される信号を希望応答として使うようにす
る。ただし、マイクロホン位置で観測される信号よりも
遅延させたものとするようにする。遅延の大きさは、例
えばタップ数の半分とする。

【００５７】選択された人物位置のうち、ある人物位置
からの音波について抑圧したい場合（Ｂ）では、人物位
置から音波が到来すると仮定したときのマイクロホン位
置での観測信号作成の際に、その人物位置からの音波に
相当する信号は加算しないようにする。例えば、選択し
た人物位置が３個で、入力したい人物位置がその中の１
個の場合は、入力したい１個の人物位置からの到来だけ
を仮定してマイクロホンで観測される信号を希望応答と
する。

【００５８】以上に述べた環境適応部４−２を含む雑音
抑圧部４における音声など連続信号の処理は例えば、１
ｃｈあたり１０２４点を１ブロックとし、ブロック単位
で行うようにする。すなわち、音声入力部３における音
声データの読み込み、環境適応部４−２における音源信
号と学習信号の生成、適応フィルタ処理、雑音除去処理
などは、すべて１ｃｈあたり１０２４点を１ブロックと
してブロック単位で行うものとする。

【００５９】ここで、以上に述べた環境適応部４−２の
処理の流れについて図８を参照しながら説明する。

【００６０】まず、環境適応部４−２の音源信号生成部
４−２ｂにおいて、選択人物位置の数の系列の音源信号
を生成する（ステップＳ１）。音源信号は音源ごとに無
相関な系列とし、分散は１に正規化しておくようにす
る。次に、学習信号レベル計算部４−２ｃにおいて、複
数チャネルで入力した入力音声の中から、例えば１ｃｈ
目の信号のパワーを、例えば波形１２８点の小セグメン
トごとに計算し、音声検出を行って音声部分と非音声部
分とを決め、非音声部分の平均パワーを求め、これを背
景雑音パワーＰ_N とする（ステップＳ２）。背景雑音パ
ワーは、それまでに求まっていた値との間で平均化して
もよく、その場合、次式により平均化する 。 Ｐ_N ＝γ＊Ｐ_N ＋（１−γ）Ｐ_N ′ （１２） ここで、Ｐ_N ′は、それまでに求まっていた背景雑音パ
ワー、γは忘却係数であり、例えば、γ＝０．１であ
る。

【００６１】次に、学習信号レベル計算部４−２ｃにお
いて、音源信号が伝播してマイクロホン位置で観測され
ると仮定したときの信号を計算し、式（１１）により音
源信号の振幅Ａ_k を計算する（ステップＳ３）。次に、
入力信号生成部４−２ａにおいて、実際の入力音声と加
算して適応フィルタの入力信号を生成する。すなわち、
ｉｃｈ目の入力音声をｒ_i (n) とすると、ｉｃｈ目の適
応フィルタの入力信号ｘ_i (n) は、 ｘ_i (n) ＝ｒ_i (n) ＋ΣＡ_k Ｓ_k （ｎ−τ_k ′） （１３） により計算する（ステップＳ４）。 次に、希望応答生
成部４−２ｄにおいて、音源信号と音源信号の振幅から
希望応答を生成する。式で表すと、 ｄ(n) ＝ΣＡ_k Ｓ_k （ｎ−τ_k ′−ｎ_o ） （１４） となる。ここで、ｎ_o は適当な遅延、例えば、ｎ_o ＝１
０である。ただし、抑圧処理のモードがＡの場合、ｋは
すべての人物位置について変化させ、モードがＢの場
合、ｋは感度を高く設定する人物位置について変化させ
る。式（１２）（１３）のように、音源信号の遅延をサ
ンプリング周期で四捨五入した値τ_k ′により遅延を与
えるかわりに、もっと精度よく遅延させることも可能で
あることはすでに述べた（ステップＳ５）。

【００６２】次に、生成した入力信号と希望応答を適応
フィルタに入力し、フィルタ係数を得る（ステップＳ
６）。得られたフィルタは、雑音除去部４−３に送り、
入力音声を処理して音声を抽出する。雑音除去部４−３
におけるフィルタ処理は、式（４）に従って行う。

【００６３】次に、図９を参照しながら本実施形態全体
の処理の流れを説明する。

【００６４】まず、初期設定を行い、選択する人物位置
の数Ｎと雑音抑圧処理のモードＡかＢかを設定する（ス
テップＳ３１）。

【００６５】画像の処理の方では、画像データをビデオ
カメラ５から、例えば毎秒５フレームで取り込み（ステ
ップＳ３２）、フレームごとに人物位置を特定して出力
し（ステップＳ３３）、このステップＳ３２とＳ３３を
繰り返す。画像から人物位置を特定する画像の処理は、
音声の雑音抑圧処理とは独立に、並列に処理するように
する。

【００６６】音声処理の方では、まず、音声データを、
例えばサンプリング１２ｋＨｚでＡＤ変換し、１チャネ
ルあたり、例えば１０２４サンプルを１ブロックとして
１ブロック分のデータを取り込む（ステップＳ３４）。
次に、人物位置が特定されているか否かを判定し（ステ
ップＳ３５）、人物位置が特定されていない場合は、何
もせずにこのステップＳ３４とＳ３５を繰り返し、特定
された場合は次のステップＳ３６に進む。人物位置は、
処理開始直後で画像処理結果が出ていない場合や人物が
いない場合に特定されない。位置画像に関する処理と音
声に関する処理とは独立しているため、例えば、一つの
計算機上で全処理を行う場合、よく知られているよう
に、ソケットを用いたプロセス間通信やシェアドメモ
リ、あるいはファイルを通じて人物位置のデータのやり
取りを行うことができる。

【００６７】次に、ステップＳ３６では、人物位置選択
部４−１において、処理対象とする人物位置を選択す
る。次に、環境適応部４−２において、人物位置選択部
４−１で選択された人物位置または方向と距離を用いて
適応フィルタの学習信号を生成し、フィルタ係数を更新
する（ステップＳ３７）。学習信号の長さは、取り込ん
だ音声データの長さと同じく１ｃｈあたり１０２４点に
する。

【００６８】次に、ステップＳ３７で更新されたフィル
タ係数を雑音除去部４−３にコピーし、このフィルタと
入力音声との畳み込み演算を行って音声を出力する（ス
テップＳ３８）。以上のステップＳ３１からＳ３２の処
理とＳ３３からＳ３８までの処理を並列に繰り返す。

【００６９】以上に述べた処理により、画像処理により
特定された複数の人物位置各々から到来する音声の感度
を設定できるように雑音抑圧処理を行うフィルタの係数
を学習しているため、複数の人物が同時に発声した場合
に、その人物すべての音声を背景雑音を抑圧して取り出
したり、一人だけの人物の音声のみを他の人物の音声を
抑圧して取り出すことが可能となる。

【００７０】また、逐次人物位置を特定し、その人物位
置に応じてフィルタ処理の学習信号を生成しているた
め、複数の人物が各々動いた場合でも追随して雑音抑圧
処理を行うことが可能である。

【００７１】以下に本発明の第２実施形態を説明する。
第２実施形態では、音声処理の対象として選択された人
物各々からの発声音を検出し、この検出情報に基づいて
学習信号の生成を制御することによって、学習を高精度
に行う。

【００７２】第１実施形態で述べたパイロット信号法に
よる適応フィルタの学習では、人物が発声中であるか否
かに関わらず学習を行っていたが、感度を高くして入力
したい人物が発声している間は適応を止めることによ
り、また、抑圧したい人物の発声中は、その人物方向か
らの到来を仮定した音源信号を使わずに入力信号と希望
信号を生成することにより、より環境に適応した高精度
な雑音抑圧の学習が行える。このため、本実施形態で
は、人物位置ごとに発声中であるかどうかの目安となる
位置別の到来パワーを推定する位置別到来パワー推定部
４−４をさらに具備しており、これを含んだ全体構成を
図１０に示す。図１０において、４−１は人物位置選択
部、４−２は環境適応部、４−３は雑音除去部である。

【００７３】また、推定した位置別到来パワーに基づい
てフィルタ学習の制御を行うため、環境適応部４−２は
図１１のような構成を具備している。図１１において、
４−２ａは適応フィルタの入力信号生成部、４−２ｄは
適応フィルタの希望応答生成部、４−２ｅは適応フィル
タによる適応処理部、４−２ｂは入力信号と希望応答生
成の際に用いる人工的な波形である音源信号を発生する
音源信号生成部、４−２ｃは入力信号と希望応答の生成
の際、人物位置ごとの音源信号の振幅を位置別到来パワ
ーに基づいて決定する学習信号レベル計算部、４−２ｆ
は位置別到来パワーからフィルタ学習の際の適応速度を
制御するパラメータを決定する適応制御信号制御部であ
る。

【００７４】位置別到来パワー推定部４−４では、マイ
クロホンアレイ６に入力した音声から、人物位置ごとの
到来パワーを求める。マイクロホンアレイ６によって位
置あるいは方向ごとの到来パワーを計算する方法として
は、文献（音響システムとデジタル処理）に詳述されて
いるように、遅延和法、最小分散法、ＭＵＳＩＣ法など
種々の方法があるが、ここでは、少ない計算量で実現可
能な遅延和法による方法を説明する他の方法も計算量が
多くなるだけで適用可能であることは言うまでもない。

【００７５】上述の文献にも詳述されているように、遅
延和法は、各マイクロホンからの信号を対象とする方向
または位置から到来する音波の位相が揃うように遅延さ
せてから和をとるものである。図２に示すようなマイク
ロホンと到来位置の関係の場合、ｉ番目のマイクロホン
と１番目のマイクロホンに入射する音波の伝搬時間差τ
_i は、平面波が入射する場合は式（６）により、球面波
が入射する場合は式（８）により計算できる。このと
き、ｉ番目のマイクロホンの波形をｘ_i (n) とし、時刻
ｎにおいてＪサンプル過去から時刻ｎまでの各マイクロ
ホンの波形サンプルの系列ｘ_i ＝（ｘ_i(n-J+1)，ｘ
_i(n-J+2)，…，ｘ_i(n-1)，ｘ_i(n)）をτ_i 遅延させた場
合の全マイクロホンについての平均パワーは、 ｐ＝｜Σｘi （ｎ−τ_i ）｜² ／Ｍ （１５） であり、この値は、対象とする方向または位置から音波
が到来している場合には音源のパワーに比例することが
知られているので、式（１５）により、各人物位置から
到来するパワーが推定できる。なお、球面波の場合は音
源とマイクロホンとの距離により補正係数が必要になる
が、容易に補正できる。詳細は多数センサによる音源波
形推定に関する文献（日本音響学会誌、４７、４、ｐｐ
２６８−２７３、１９９１）に述べられている。

【００７６】次に、学習信号レベル計算部４−２ｃにつ
いて説明する。ここでは、求められた位置別到来パワー
から、適応フィルタの入力信号と希望応答の生成の際
の、各々の人物位置の音源信号の振幅を決定する。この
ため、学習信号レベル計算部４−２ｃでは、入力音声の
背景雑音パワーと位置別到来パワーの音声区間の平均値
を計算して保持するようにする。入力音声の背景雑音レ
ベルは、複数のマイクロホン中の、例えば１番目のマイ
クロホンのパワーを逐次計算して音声区間を検出し、音
声区間として検出されなかった区間の平均パワーを求め
るようにする。パワーに基づいた音声区間検出はよく知
られているように、例えば文献（新美著：音声認識）に
詳述されている。また、位置別到来パワーに関しても同
様に位置ごとに音声区間の検出を行い、こちらは音声区
間の平均パワーを求めるようにする。

【００７７】このようにして求めた位置別到来パワーと
背景雑音パワーから、音源信号の振幅を計算する。この
とき、人物位置が、感度を高く設定した位置であるか、
低く設定した位置であるかに応じて振幅の計算方法を変
えるようにする。

【００７８】感度を高くするように設定した位置の場合
は、上記のように求めた位置別到来パワーの位置ごとの
平均値の平方根の値を音源信号の振幅とするようにす
る。なお、発声がない場合は、位置別到来パワーは小さ
い値となるため、位置別到来パワーが背景雑音に対して
ある値ｖ、例えば、ｖ＝７ｄＢを上回る時だけ位置別到
来パワーの平方根の値に設定するようにする。すなわ
ち、Ａ_k をｋ番目の位置の音源信号の振幅とすると、 Ａ_k ＝（Ｐ_N ＊１０^v/10) ^1/2 （１６） （位置別到来パワーが背景雑音＋ｖｄＢより小さいと
き） Ａ_k ＝Ａ_ko＝（Ｐ_k ）^1/2 （１７） （位置別到来パワーが背景雑音＋７ｄＢより大きいと
き）のように計算する。ここで、Ｐ_N は背景雑音のパワ
ー、Ｐ_k はｋ番目の位置の位置別到来パワーである。

【００７９】感度を低くするように設定した位置の場
合、位置別到来パワーが大きいほど小さい振幅となるよ
うにする。例えば、ｋ番目の位置の音源信号の振幅を、 Ａ_k ＝Ａ_ko＊（Ｐ_N ／Ｐ_k ）^1/2 （１８） によって計算する。以上のようにして求めた音源振幅と
入力音声とを加算し、適応フィルタの入力信号を生成す
る。

【００８０】例えば、選択された人物位置がａとｂの２
個であり、ａが音声入力の対象とする目的の人物位置で
あり感度を高く設定する位置、ｂが感度を低く設定する
妨害音の位置であるとする。図１２の（１）、（２）に
示すようにａ，ｂの位置ごとの到来パワーが推定された
場合、１，２で示した区間では、（３）に示すように入
力信号中のａに関する成分を大きくし、３で示した区間
では（４）に示すようにｂに関する成分を小さくする。
また、希望応答は、入力信号中のａに関する成分と同じ
とし、ｂに関する成分はすべて０とするか加算しないよ
うにする。

【００８１】次に、位置別到来パワーに基づいた適応フ
ィルタの適応速度の制御について説明する。適応フィル
タの学習は、よく知られているように、式（５）のステ
ップＳサイズの値ａにより制御できる。ここでは、音声
入力の対象となる位置からの到来パワーが大きい場合
は、入力信号の中の抽出すべき信号があるにも関わらず
希望応答の中にその信号がないため、抑圧の対象となっ
てしまう。そこで、この到来パワーの値が大きいときは
適応を遅くあるいは停止し、小さいときは適応を早くす
るように適応速度を制御する。

【００８２】このため、例えば、式（５）で固定してい
たステップサイズ（式（５）のａ）の値を次式により逐
次計算して可変とするようにする。

【００８３】 ａ＝Ｃ／（α_B ｐ_k ／ｐ_N ＋１） （抑圧モードＢのとき） （１９） ａ＝Ｃ／（α_A Σ（ｐ_k ／ｐ_N ）／Ｍ＋１） （２０） （抑圧モードＡのとき） ここで、Ｐ_N は背景雑音のパワー、Ｐ_k はｋ番目の位置
の位置別到来パワー、Ｃα_A 、α_B は定数、例えば、Ｃ
＝２．０、α_A ＝α_B ＝１である。ステップサイズの計
算式として挙げた上式は一例であり、他の方法も使用可
能である。

【００８４】ここで、図１３を参照しながら第２実施形
態の環境適応部全体の処理の流れを説明する。

【００８５】まず、環境適応部４−２の音源信号生成部
４−２ｂにおいて、選択人物位置の数の系列の音源信号
を生成する（ステップＳ１１）。 次に、学習信号レベ
ル計算部４−２ｃにおいて、複数チャネルで入力した入
力音声のパワーを計算し、音声検出を行って音声部分と
非音声部分とを決め、非音声部分の平均パワーから背景
雑音パワーＰ_N を求める（ステップＳ１２）。このと
き、式（１２）により平均化してもよい。次に、複数チ
ャネルの入力音声から式（１５）により位置別到来パワ
ーを計算する（ステップＳ１３）。

【００８６】次に、学習信号レベル計算部４−２ｃにお
いて、式（１６）から式（１８）により音源信号の振幅
Ａ_k を計算する（ステップＳ１４）。次に、入力信号生
成部４−２ａにおいて、式（１３）により、実際の入力
音声と加算して適応フィルタの入力信号を生成する（ス
テップＳ１５）。 次に、希望応答生成部４−２ｄにお
いて、式（１４）により、音源信号と音源信号の振幅か
ら希望応答を生成する（ステップＳ１６）。次に、適応
制御信号生成部４−２ｆにおいて、式（１９）または
（２０）により、背景雑音パワーと位置別到来パワーか
らステップサイズの系列である適応制御信号を生成する
（ステップＳ１７）。

【００８７】次に、生成した入力信号と希望応答と適応
制御信号を適応フィルタに入力し、フィルタ係数を得る
（ステップＳ１８）。得られたフィルタは、雑音除去部
４−３に送り、入力音声とフィルタを畳み込んで音声を
抽出する。雑音除去部４−３におけるフィルタ処理は、
式（４）に従って行う。

【００８８】第２実施形態の全体の処理の流れは第１実
施形態と同じであるので改めて述べない。

【００８９】以上に述べたように、画像処理により特定
された複数の人物位置各々から到来する音声に対し、適
応フィルタにより感度を設定して雑音抑圧を行う際、人
物位置からの到来音のパワーに応じて適応フィルタの適
応処理を制御しているため、実環境に応じた高精度な適
応が行え、雑音抑圧性能を大幅に高くしながら、複数の
人物が同時に発声した場合に、その人物すべての音声を
背景雑音を抑圧して取り出したり、一人だけの人物の音
声のみを他の人物の音声を抑圧して取り出すことが可能
となる。

【００９０】また、画像から逐次人物位置を特定し、そ
の人物位置に応じてフィルタ処理の学習信号を生成して
いるため、複数の人物が各々動く場合でも追随して雑音
抑圧処理を行うことができる。

【００９１】以下に、音声パワー検出と画像からの発声
動作検出を行なう第３実施形態について説明する。第３
実施形態は、第２実施形態において行っていた人物位置
ごとの到来パワー推定に加え、画像データに基づいた発
声動作の検出を行い、これら２つの情報に基づいて学習
信号の生成と適応速度の制御を行うことにより、音の環
境をより正確に反映して適応フィルタの学習を行うよう
にする。本実施形態では画像から発声動作を検出してい
るため、高雑音下でも人物が発声中かどうかを精度よく
検出でき、高精度な適応フィルタの学習の制御が行え
る。

【００９２】画像に基づいた発声動作の検出と位置別到
来パワーに基づいて適応フィルタの学習を制御するた
め、本実施形態の雑音抑圧部は、第２実施形態の雑音抑
圧部の構成にさらに画像から発声動作に関する情報を検
出する発声動作情報検出部を追加し、図１４のような構
成としている。

【００９３】図１４において、１はビデオカメラなどか
ら画像を入力する画像入力部、２は入力した画像を処理
して人物の位置を特定する人物位置検出部、３は複数の
マイクロホンからの音声を並列に入力する音声入力部、
４は画像処理により検出された人物位置に基づいて複数
のマイクロホンからの入力音声から雑音を抑圧して音声
を取り出す雑音抑圧部である。

【００９４】雑音抑圧部４は、人物位置検出部２により
特定された人物位置の中から処理対象とする人物位置を
選択する人物位置選択部４−１と、選択された人物位置
に基づいて適応フィルタの学習を行う環境適応部４−２
と、決定されたフィルタ係数により雑音抑圧処理を行う
雑音除去部４−３と、人物位置ごとに到来パワーを検出
する位置別到来パワー推定部４−４と、人物位置ごとに
画像から発声動作に関する情報を検出する位置別発声動
作情報検出部４−５とからなる。

【００９５】画像による音声区間の検出は、口元の画像
の時間変化から行う方法が知られており、簡単には、口
元画像全体の輝度変化を時刻ごとに計算し、その変化が
大きい時刻を発声中であるとして検出できる。ここで
は、正確な口元画像の代わりに人物位置検出部２で特定
した人物の顔を含む画像において、例えばその下半分に
ついての画面全体にわたる輝度の時間変化を求めて発声
動作の目安とするようにする。画像データのフレームの
番号をｉ、縦横位置ｘ，ｙにおける人物位置の顔を含む
顔周辺画像データをＧ（ｉ，ｘ，ｙ）とすると、フレー
ムｉとｉ−１の間の輝度変化は、 と計算でき、このＫ(i) の値を発声動作があるか否かの
目安とする。人物の顔周辺画像は、人物位置検出部２か
ら、特定した位置とともに入力するようにする。人物位
置特定の処理では、全体画像中から顔の部分の画像を切
り出す処理を含むのが一般的であるため、顔周辺画像は
容易に取り出せる。画像からの発声動作の検出方法は輝
度変化の計算に限るものではなく、他の方法も使用可能
である。以降上の輝度変化Ｋ(i) を含め、画像から抽出
した発声動作の目安となる情報を便宜上発声動作情報と
呼ぶことにする。

【００９６】画像からの人物位置検出処理の速さは、画
像の入力レート、例えば、５フレーム／秒で行うので、
音声処理をブロック単位で行う場合の処理速度とは一致
せず音声処理より遅いのが普通である。従って、位置別
発声動作情報検出部４−５に入力する画像は、音声処理
に関する１ブロック前と同じものを使う場合があること
になるが、その場合、同じ画像間の輝度変化を求めるこ
とになるので輝度変化は０になる。この状況を避けるた
め、輝度変化の計算の結果、値が０のときは１ブロック
前の輝度変化の値をそのまま出力するようにする。

【００９７】発声動作情報は、位置別到来パワーと並列
に使うようにしており、環境適応部４−２の学習信号レ
ベル計算部４−２ｃと、適応制御信号生成部４−２ｆに
おいて用いている。本実施形態の他の部分は第２実施形
態と同じであり、環境適応部４−２の構成も同じである
ので、学習信号レベル計算部４−２ｃと適応制御信号生
成部６についてのみ述べる。

【００９８】まず、学習信号レベル計算部４−２ｃで
は、適応フィルタの入力信号と希望応答の生成の際の、
到来を仮定する人物位置各々の音源信号の振幅を決定す
る。このため、第２実施形態と同様、学習信号レベル計
算部４−２ｃでは、入力音声の背景雑音パワーと位置別
到来パワーの音声区間の平均値を計算して保持し、上述
の発声動作情報と、求めた位置別到来パワーと背景雑音
パワーとから、音源信号の振幅を計算する。このとき、
音源の存在を仮定する人物位置が、感度を高く設定した
位置であるか、低く設定した位置であるかに応じて振幅
の計算方法を変えるようにする。

【００９９】感度を高くするように設定した位置の場
合、第２実施形態と同様、位置別到来パワーの平均値の
平方根の値を音源信号の振幅とするようにする。なお、
発声がない場合は、位置別到来パワーは小さい値となっ
てしまうため、背景雑音に対してある値ｖ、例えばｖ＝
５ｄＢ高い値を最小値として設定し、位置別到来パワー
がこれを上回る時だけ検出した値に設定するようにす
る。すなわち、 Ａ_k ＝（Ｐ_N ＊１０^v/10）^1/2 （２１） （位置別到来パワーが背景雑音＋ｖｄＢより小さいと
き） Ａ_k ＝（Ｐ_k ）^1/2 （２２） （位置別到来パワーが背景雑音＋ｖｄＢより大きいと
き）のように計算する。ここで、Ｐ_N は背景雑音パワー
の平均値、Ｐ_k は位置別到来パワー、ｖは最小値５であ
る。

【０１００】感度を低くするように設定した位置の場
合、位置別到来パワーと発声動作情報が大きいほど音源
信号が小さい振幅となるようにして、人工的な学習信号
への適応を弱めるようにする。例えば、ｋ番目の音源信
号の振幅を、 Ａ_k ＝Ａ_k ＊γ（Ｐ_N ／Ｐ_k ）^1/2 ＊（１−γ）（Ｋ_o ／（Ｋ_k ＋Ｋ_o ））^1/2 （２３） によって計算する。ここで、Ｋ_k は式（２０）によって
計算したｋ番目の位置の顔周辺画像のフレーム間の輝度
変化、Ｋ_o は同輝度変化の平均値、γは定数、例えば、
γ＝０．５とする。以上のようにして求めた音源振幅と
入力音声とを加算し、適応フィルタの入力信号を生成す
る。

【０１０１】次に、適応制御信号生成部４−２ｆは、位
置別到来パワーと発声動作情報に基づいてフィルタ学習
のステップサイズの制御を行う。ここでは、実施例２と
同様、この到来パワーの値が大きいときは適応を遅く、
小さいときは適応を早くするようにステップサイズを制
御する。

【０１０２】このため、例えば、式（５）で固定してい
たステップサイズ（式（５）のａ）の値を次式により逐
次計算して可変とすることにより、適応の速度を調整す
るようにする。

【０１０３】 ａ＝Ｃ／（α_B ｐ_k ／ｐ_N ＋β_B Ｋ_k ＋１）（抑圧モードＢ）（２４） ａ＝Ｃ／（α_A Σ（ｐ_k ／ｐ_N ）＋β_A Σ（Ｋ_k ／Ｋ_o ）＋１） （抑圧モードＡ）（２５） ここで、ｐ_k は感度を高くするように設定した位置ｋか
らの位置別到来音パワー、Ｃ、α_A 、α_B 、β_A 、β_B
は定数、例えばＣ＝２．０、α_A ＝α_B ＝０．５、β_A
＝β_B ＝０．５である。ステップサイズの計算式として
挙げた上式は一例であり、例えば、位置別到来パワーと
輝度変化の値に対して各々しきい値を定め、どちらか一
方がこれを越えた場合に、適応を止める（ａ＝０とす
る）など、他の方法も使用可能である。

【０１０４】ここで、図１５を参照しながら第３実施形
態の環境適応部全体の処理の流れを説明する。

【０１０５】まず、環境適応部４−２の音源信号生成部
４−２ｂにおいて、選択人物位置の数の系列の音源信号
を生成する（ステップＳ２１）。

【０１０６】次に、学習信号レベル計算部４−２ｃにお
いて、複数チャネルで入力した入力音声のパワーを計算
し、音声検出を行って音声部分と非音声部分とを決め、
非音声部分の平均パワーから背景雑音パワーＰ_N を求め
る。このとき、式（１２）により平均化してもよい（ス
テップＳ２２）。

【０１０７】次に、複数チャネルの入力音声から式（１
５）により位置別到来パワーを計算する（ステップＳ２
３）。次に、位置別発声動作情報検出部４−５におい
て、人物位置ごとの顔周辺画像を人物位置検出部２から
入力し、発声動作情報を検出する。輝度変化の計算の結
果、値が０ならば１ブロック前の値をこのブロックの輝
度変化の値とし、０以外なら計算結果をこのブロックの
輝度変化の値とし、この値を記憶する（ステップＳ２
４）。

【０１０８】次に、学習信号レベル計算部４−２ｃにお
いて、式（２１）から（２３）により音源信号の振幅Ａ
_k を計算する（ステップＳ２５）。次に、入力信号生成
部４−２ａにおいて、式（１３）により、実際の入力音
声と加算して適応フィルタの入力信号を生成する（ステ
ップＳ２６）。次に、希望応答生成部４−２ｄにおい
て、式（１４）により、音源信号と音源信号の振幅から
希望応答を生成する（ステップＳ２７）。

【０１０９】次に、適応制御信号生成部４−２ｆにおい
て、式（２４）または（２５）により、背景雑音パワー
と位置別到来パワーと位置別発声動作情報とからステッ
プサイズの系列である適応制御信号を生成する（ステッ
プＳ２８）。次に、生成した入力信号と希望応答と適応
制御信号を適応フィルタに入力し、フィルタ係数を得る
（ステップＳ２９）。得られたフィルタは、雑音除去部
４−３に送り、入力音声とフィルタを畳み込んで音声を
抽出する。

【０１１０】第３実施形態の全体の処理の流れは第１実
施形態と同じであるので改めて述べない。以上に述べた
ように、画像処理により特定された複数の人物位置各々
から到来する音声に対し、適応フィルタにより感度を設
定して雑音抑圧を行う際、人物位置からの到来音のパワ
ーと画像から求めた発声動作情報に応じて適応フィルタ
の適応処理を制御しているため、雑音が大きく、位置別
到来パワーの推定が低い場合でも、雑音抑圧性能を大幅
に高くしながら、複数の人物が同時に発声した場合に、
その人物すべての音声を背景雑音を抑圧して取り出した
り、一人だけの人物の音声のみを他の人物の音声を抑圧
して取り出したりできる。

【０１１１】以下にテスト発声モードを備えた第４実施
形態について説明する。第４実施形態は、音声収集装置
の動作中に、一時、通常の音声入力処理を停止し、テス
ト発声を入力してレベル計算を行うための、入力モード
切り替え部を具備することにより、音源信号のレベルを
実環境の値に合わせ、高精度の適応処理を行うものであ
る。

【０１１２】これまでに述べた実施形態では、適応フィ
ルタの学習信号の生成に用いる音源信号は、背景雑音レ
ベルと経験的に決めたデフォルトの音声のレベル値を用
いてその振幅を計算してきたが、本実施形態では、さら
に現実の音場に正確に合わせるため、テスト発声を行っ
て音源のレベルを決めるようにしている。このため、テ
スト発声か、通常の音声入力かを動作中に切り替える入
力モード切り替え部７を追加し、図１６に示すような構
成としている。図において、１は画像入力部、２は人物
位置検出部、３は音声入力部、４は雑音抑圧部、５は入
力モード切り替え部である。

【０１１３】この構成において、通常は入力モード切替
部には、通常の音声入力処理であることを設定してお
き、テスト発声時には入力モード切替部から、テスト発
声であることを入力する。入力モードをテスト発声に設
定した場合、通常行っている適応フィルタ処理は止め、
学習信号レベル計算部４−２ｃにおいて、入力音声のレ
ベルを計算し、保持するようにする。テスト発声を終了
して通常の入力モードに戻った際は、学習信号レベル計
算の際、デフォルトで例えば５ｄＢなどと決めてきた音
源信号の最小値を使わず、ここで求めたテスト発声のレ
ベルから音源信号の振幅を計算するようにする。

【０１１４】ここで、図１７を参照しながら第４実施形
態の全体の処理の流れを説明する。

【０１１５】まず、初期設定を行い、選択する人物位置
の数Ｎと雑音抑圧処理のモードＡかＢかを設定する（ス
テップＳ４１）。

【０１１６】画像の処理の方では、画像データをビデオ
カメラから、例えば毎秒５フレームで取り込み（ステッ
プＳ４２）、フレームごとに人物位置を特定して出力し
（ステップＳ４３）、このステップＳ４２とＳ４３を繰
り返す。画像から人物位置を特定する画像の処理は、音
声の雑音抑圧処理とは独立に、並列に処理するようにす
る。

【０１１７】音声処理の方では、まず、音声データを、
例えばサンプリング１２ｋＨｚでＡＤ変換し、１チャネ
ルあたり、例えば１０２４サンプルを１ブロックとして
１ブロック分のデータを取り込む（ステップＳ４４）。

【０１１８】次に、ステップＳ４５で入力モードがテス
ト発声か通常入力かを検査し、テスト発声であればステ
ップＳ４６に進み、通常入力であればステップＳ４７に
進む。ステップＳ４６では、学習信号レベル計算部４−
２ｃにおいて、入力音声のレベルを計算して保持する。
入力音声のレベルは、ある番号、例えば１ｃｈ目のマイ
クロホンからの入力のパワーに基づいて音声検出を行
い、音声区間として検出された部分の平均値を用いるよ
うにする。この後、ステップＳ４４に戻る。

【０１１９】次に、ステップＳ４７では人物位置が特定
されているか否かを判定し、人物位置が特定されていな
い場合は、何もせずにこのステップＳ４４乃至Ｓ４７を
繰り返し、特定された場合は次のステップＳ４８に進
む。人物位置は、処理開始直後で画像処理結果が出てい
ない場合や人物がいない場合に特定されない。位置画像
に関する処理と音声に関する処理とは独立しているた
め、例えば、一つの計算機上で全処理を行う場合、よく
知られているように、ソケットを用いたプロセス間通信
やシェアドメモリ、あるいはファイルを通じて人物位置
のデータのやり取りを行うことができる。

【０１２０】次のステップＳ４８では、人物位置選択部
４−１において、処理対象とする人物位置を選択する。
次に、環境適応部４−２において、人物位置選択部４−
１で選択された人物位置または方向と距離を用いて適応
フィルタの学習信号を生成し、フィルタ係数を更新する
（ステップＳ４９）。次に、ステップＳ４９で更新され
たフィルタ係数を雑音除去部４−３にコピーし、このフ
ィルタと入力音声との畳み込み演算を行って音声を出力
する（ステップＳ５０）。

【０１２１】以上のステップＳ４１からＳ４２の処理と
ステップＳＳ４３からＳ５０までの処理を並列に繰り返
す。

【０１２２】なお、本実施例で述べたテスト発声モード
は、第１実施形態に追加する形で述べたが、第２、第３
実施形態に述べた構成に追加して併用することも可能で
ある。

【０１２３】次に、本発明の第５実施形態について説明
する。本実施形態では、人物ごとの音声を他の人物の音
声と分離して取り出すため、第１乃至第４実施形態の雑
音除去部と、環境適応部における適応処理部各々を複数
のフィルタから構成するようにしている。これを、図１
８に示す。この部分以外については第１乃至第４実施形
態と同様の構成である。なお、この実施形態は、第３実
施形態の拡張として説明するが、第２、第４実施形態に
も適用可能であり、また、環境適応部の適応制御信号生
成部を取り去るだけで第１実施形態を拡張した場合にも
なっている。図１８において、環境適応部４−２におけ
る適応処理部４−２ｅと雑音除去部４−３におけるフィ
ルタは各々複数個（Ｎ個）づつ、例えば、３個づつ用意
し、雑音除去部４−３のフィルタは環境適応部４−２の
適応フィルタの係数のコピーである。また、環境適応部
４−２の適応フィルタには、すべて同じ入力信号を入力
するが、希望応答と適応制御信号は、フィルタの番号ｋ
により異なった内容のものを入力するようにする。

【０１２４】この適応処理部４−２ｅを含む環境適応部
４−２の処理について、次に説明する。まず、環境適応
部４−２では、画像により検出され選択された人物位置
各々から音波が到来すると仮定し、その音波の信号を音
源信号生成部４−２ｂで生成する。この信号の内容は、
人工的なもの、例えば音源間で無相関なランダム雑音で
良いことは、第１実施形態で述べた。この音源信号をも
とに、適応処理を行うための入力信号と希望応答を生成
する。その際、学習信号レベル計算部４−２ｃにおい
て、位置別到来パワー、発声動作情報のいずれか又は両
方と観測した背景雑音レベルとに基づいて音源信号の振
幅を決定する。

【０１２５】また、適応処理の際の適応速度の制御を行
う適応制御信号を適応制御信号生成部４−２ｆにおいて
生成する。適応処理部４−２ｅでは、上記３つの信号を
入力として適応フィルタにより雑音抑圧のためのフィル
タ係数を決定する。なお、適応制御信号は必ずしも必要
でなく、また、学習信号レベルの計算には、位置別到来
パワーと発声動作情報は必ずしも必要でない。

【０１２６】人物位置検出部２により複数検出され、そ
の中から人物位置選択部４−１により選択された複数の
人物位置各々から到来する音声の抽出を、構成図で示し
たように、複数個のフィルタを使って行う。フィルタの
数は選択人物位置の数と一致するようにし、フィルタの
番号ｋは人物位置の番号に対応させるようにする。

【０１２７】各フィルタが各人物の音声を抽出するよう
にするため、ｋ番目の適応フィルタによる適応の際の希
望応答の内容は、ｋ番目の人物位置から到来することを
仮定する１個の音源の信号と同じになるようにし、式
（１４）により計算される。また、各適応フィルタの入
力信号は、Ｎ個の人物位置から各々に対応する音源信号
が伝搬してマイクロホン位置で観測されるときの信号を
すべて重ね合わせたものに実際に入力した音声を加算し
たものであり、式（１３）により、マイクロホン位置ご
とに計算されてＮチャネルの信号が生成される。入力信
号はすべての適応フィルタで共通に使われる。

【０１２８】一方、適応フィルタの収束速度を制御する
適応制御信号は、適応フィルタの番号ごとに異なった信
号内容のものを生成するようにし、ｋ番目のフィルタに
は、ｋ番目の人物位置からの位置別到来パワーまたは発
声動作情報に基づいて式（１９）、（２０）または式
（２４）、（２５）により計算されたステップサイズの
値の系列を入力するようにする。位置別到来パワーまた
は発声動作情報が得られない第１実施形態を拡張する場
合は、適応制御信号は生成せず、ステップサイズは一定
値とする。

【０１２９】上記のようにして生成した入力信号、希望
応答、適応制御信号を適応フィルタに入力して複数組の
フィルタ係数を決定した後、これらの係数を雑音除去部
４−３に送り、入力音声をフィルタ処理して雑音を除去
し、各人物の音声を別々に抽出するｋ番目の人物位置の
音声はｋ番目のフィルタから出力されることになる。

【０１３０】以上のように、人物位置に対応した複数の
フィルタを用いることにより、各人物位置からの到来音
を別々に分離して取り出すことが可能となる。

【０１３１】次に、本発明の第６実施形態について説明
する。第６実施形態はパイロット信号法による適応フィ
ルタでなく、線形拘束条件付き適応フィルタにより、雑
音抑圧処理を行って音声収集するものである。この種類
の適応フィルタにより計算量の多い学習信号の生成処理
を省いた処理が可能である。

【０１３２】図１９は第６実施形態の全体構成を示す図
である。図１９において、１は画像を入力する画像入力
部、２は入力した画像を処理して人物の位置を特定する
人物位置検出部、３は複数のマイクロホンからの音声を
並列に入力する音声入力部、４は画像処理により検出さ
れた人物位置に基づいて複数のマイクロホンからの入力
音声から雑音を抑圧して音声を取り出す雑音抑圧部であ
る。この雑音抑圧部４の内部構成は、人物位置検出部２
により特定された人物位置の中から処理対象とする人物
位置を選択する人物位置選択部４−１と、選択された人
物位置に基づいて適応フィルタの拘束条件の設定を行う
拘束条件設定部４−２と、設定された拘束条件のもとで
適応フィルタにより雑音抑圧処理を行う雑音除去部４−
３とからなる。

【０１３３】人物位置選択部４−１では、第１実施形態
において述べたように、画像から得られた複数の人物位
置から定めた数の人物位置の選択を行い、拘束条件設定
部４−２ではこの人物位置に基づき、線形拘束条件付き
適応フィルタの拘束条件を設定する。拘束条件によっ
て、任意の人物位置から到来する音波に対する感度を設
定できるようになる。雑音除去部４−３では、設定され
た拘束条件のもとで適応フィルタにより雑音抑圧処理を
行う。

【０１３４】線形拘束条件付き適応フィルタの詳細は、
例えば、文献（Heykin著：AdaptiveFilter Theory）に
詳述されているが、一応、処理方法を述べる。

【０１３５】式（１）から（４）を参照し、マイクロホ
ンアレイの出力をＸ、フィルタ係数をＷ、フィルタの出
力をｙ＝Ｗ^H Ｘとすると、拘束条件付き最小分散適応フ
ィルタのフィルタ係数は、次式によるフィルタの出力パ
ワーｙ² の期待値 Ｅ［ｙ² ］＝Ｅ［ｗ^H ＸＸ^H ｗ］＝ｗ^H Ｒｗ （Ｅ［ ］は期待値） （２６） を、目的の方向または位置に対する応答を一定に保つと
いう拘束条件下で最小にすることにより得られる。ここ
で、Ｒ＝Ｅ［ＸＸ^H ］はＸの自己相関行列である。ま
た、拘束条件は、 Ｗ^H Ａ＝ｇ （２６−１） と表される。ここで、ｇは拘束条件の数Ｇの大きさの定
数値の列ベクトルで、例えば［１，１，…，１］であ
り、Ａは異なった周波数に関する方向制御ベクトルａ_m
を列ベクトルとする行列であり、 Ａ＝［ａ₁ ，…，ａ_L ］ （２７） と表される。上式（６）の成分の各方向制御ベクトルａ
_m （ｍ＝１，…，Ｌ）は

【数１】

【０１３６】である。ここで、τ₂ ，…，τ_N は１番目
のマイクロホンを基準としたときの各マイクロホンに入
射する音波の伝搬時間差、ω_m は角周波数、ａ₂ ，…，
ａ_N は１番目のマイクロホンを基準としたときの各マイ
クロホンに入射する音波の振幅比である。Ｇは例えば１
０を用い、ω_m は例えばω_m ＝（（ω_a −ω_b ）／（Ｇ
−１））＊ｍ＋ω_b とする。ここでω_a は帯域の上限、
ω_b は下限の角周波数である。

【０１３７】式（２６−１）の拘束条件として、一つの
方向または位置から到来する音波に関する応答を一定に
するだけでなく、複数の方向または位置から到来する音
波に対する応答を同時に一定にするようにする。例え
ば、θ₁ ，θ₂ の２つの到来角度に関する時間遅れτ_i
（θ₁ ），τ_i （θ₂ ）（式（６））を用いた方向制御
ベクトルａ_m （θ₁ ），ａ_m （θ₂ ）（ｍ＝０，１，
…，Ｌ）、

【数２】

【０１３８】を用いて、 Ａ＝［ａ₀ （θ₁ ），ａ₁ （θ₁ ），…，ａ_L （θ₁ ）、ａ₀ （θ₂ ）， ａ₁ （θ₂ ），…，ａ_L （θ₂ ）］ （３０） とすることで、複数の到来方向に対するアレイの応答の
拘束条件を設定することができる。

【０１３９】ここで、式（４）と（５）による最小化問
題を反復的に求める場合、ｊ回めの反復による更新後の
フィルタ係数は、次式のように表される。

【０１４０】 Ｗ_j ＝Ｐ［Ｗ_j-1 −μｙ_j Ｘ］＋Ｆ （３１） ここで、ＰとＦは、 Ｐ＝Ｉ−Ａ（Ａ^H Ａ）^-1Ａ^H 、Ｆ＝Ａ（Ａ^H Ａ）^-1ｇ （３２） である。式（８）により、雑音を抑圧して目的の音声を
取り出すフィルタ係数が得られるとともに、雑音を抑圧
した音声出力ｙ_j が同時に得られることになる。次に、
雑音抑圧のための拘束条件の設定について説明する。複
数の人物位置が得られた場合の雑音抑圧の仕方は、第１
実施形態で述べたように、処理対象として選択されたす
べての人物位置からの到来音波を高い感度で得るように
する抑圧処理モードＡと、選択された人物位置の中の一
つから到来する音波のみ高い感度にし他の人物位置から
の音波に対しては感度を低くする抑圧処理モードＢがあ
る。他にも、ＡとＢの中間の方法として、所定の複数の
人物位置に対して感度を高くしその他に対しては低くす
るなどが考えられるが、ＡとＢの組み合わせで実現でき
る。

【０１４１】雑音抑圧の拘束条件は、拘束条件を表す式
（２５）において、行列Ａの要素と定数ベクトルｇを与
えることにより設定する。処理モードＡもＢも、行列Ａ
の内容は同じであり、選択した人物位置に関する方向制
御ベクトル式（３０）である。定数ベクトルｇの内容は
抑圧処理モードに応じて変えるようにし、選択した人物
位置すべてに対して感度を高くする抑圧モードＡの場
合、ｇの要素はすべて１とし、抑圧処理モードＢの場
合、高い感度に設定する人物位置に関するｇの要素は１
とし、低い感度に設定する人物位置に関するｇの要素は
０にする。

【０１４２】例えば、方向θ₁ ，θ₂ に関する方向制御
ベクトルの行列Ａが、次に示す式（３０）の内容の場
合、 Ａ＝［ａ₀ （θ₁ ），ａ₁ （θ₁ ），…，ａ
_L （θ₁ ）、ａ₀ （θ₂ ），ａ₁ （θ₂ ），…，ａ
_L （θ₂ ）］ 方向θ₁ に対して感度を高くし、θ₂ に対して感度を低
くする場合の定数ベクトルｇの内容は、 ｇ＝［１，１，…，１、０，０，…，０］ とする。

【０１４３】次に、以上の処理の流れについて図２０を
参照しながら説明する。

【０１４４】第１実施形態で述べたように、画像から人
物位置を特定する画像の処理と、音声の雑音抑圧処理と
は、並列に処理するようにし、画像処理の方は第１実施
形態と同じである。

【０１４５】まず、初期設定を行い、選択する人物位置
の数Ｎと雑音抑圧処理のモードＡかＢかを設定する（ス
テップＳ５１）。

【０１４６】画像の処理の方では、画像データを、例え
ば毎秒５フレームで取り込み（ステップＳ５２）、フレ
ームごとに人物位置を特定する（ステップＳ５３）。

【０１４７】音声処理の方では、まず、音声データを例
えばサンプリング１２ｋＨｚ、１チャネルあたり１０２
４サンプルを１ブロックとして１ブロック分取り込む
（ステップＳ５４）。

【０１４８】次に、人物位置が特定されているか否かを
判定し（ステップＳ５５）、人物位置が特定されていな
い場合は、ステップＳ５４に戻り、特定されている場合
は次のステップＳ５６に進む。

【０１４９】次のステップＳ５６では、人物位置選択部
４−１において、処理対象とする人物位置を選択する。
次に、選択された人物位置に基づいてフィルタ処理の拘
束条件を式（２６）、（３０）に従って設定する（ステ
ップＳ５７）。

【０１５０】次に、ステップＳ５７で設定した拘束条件
のもとに適応フィルタの演算を行って音声を出力する
（ステップＳ５８）。以上ステップＳ５２からＳ５３の
処理とＳ５４からＳ５８までの処理とを並列に繰り返
す。

【０１５１】以下に、拘束条件付きと複数のフィルタを
備えた第７実施形態を詳細に説明する。第７実施形態
は、拘束条件付き適応フィルタを使った場合に、複数の
人物位置各々からの到来音を分離して取り出すものであ
る。複数の人物位置からの到来音を分離して取り出すた
め、全体構成図の雑音除去部４−３を複数の適応フィル
タにより図２１に示すように構成する。

【０１５２】図２１において、適応フィルタの数は人物
位置選択部４−１において選択する人物位置の数と一致
させてＮ個、例えば３とし、適応フィルタごとに異なっ
た内容で拘束条件を設定する。拘束条件は、拘束条件設
定部４−２において行い、ｋ番目の適応フィルタには、
選択された人物位置の中のｋ番目の位置に対して感度を
高くし、他の人物位置に対しては感度を低くするように
設定した拘束条件を入力する。

【０１５３】以上のように、複数の適応フィルタを用
い、各々に異なった拘束条件を設定することにより、人
物位置ごとの到来音を他の位置からの到来音と分離して
抽出することが可能となる。

【０１５４】以下に、拘束条件付き適応フィルタとパイ
ロット信号法を組み合わせた第８実施形態を説明する。
第８実施形態の構成を図２２に示す。図２２において、
１は画像入力部、２は人物位置検出部、３は音声入力
部、４は雑音抑圧部であり、雑音抑制部４の内部は、人
物位置選択部４−１と、環境適応部４−２と、雑音除去
部４−３と、拘束条件設定部４−５とからなる。

【０１５５】この構成において、画像から検出して人物
位置の中から人物位置選択部４−１により複数を選択
し、これに基づいて拘束条件設定部４−５において線形
拘束条件付き適応フィルタの拘束条件を設定し、環境適
応部４−２においてこの適応フィルタの学習信号である
入力信号と希望応答を生成して適応フィルタに入力して
雑音抑圧のためのフィルタ係数を決定し、決定したフィ
ルタ係数を雑音除去部４−３に送り、入力音声をフィル
タ処理して雑音を除去する。

【０１５６】拘束条件と学習信号の作成方法は種々考え
られるが、ここでは、抑圧処理のモードＢの場合につい
て説明する。この場合、一つの人物位置に対して感度を
高くなるように拘束条件を設定し、他の人物位置に対し
ては感度が低くなるように学習信号を生成して適応フィ
ルタの係数を決定する。

【０１５７】例えば、方向θ₁ に関して感度を高く設定
する場合、方向制御ベクトルの行列Ａを、次に示す内容
にし、 Ａ＝［ａ₀ （θ₁ ），ａ₁ （θ₁ ），…，ａ
_L （θ₁ ）］ 定数ベクトルｇの内容は、 ｇ＝［１，１，…，１］ とする。

【０１５８】また、学習信号のうち、入力信号は、感度
を低く設定する人物位置からのみの音波の到来を仮定
し、マイクロホン位置で観測される信号を第１実施形態
の式（１３）により求める。この場合、希望応答は使わ
ないので生成しない。従って、環境適応部は、第１、第
２実施形態の環境適応部における希望応答生成部を除い
た図２３に示すような構成により実現可能である。

【０１５９】図２３において、４−２ｃは学習信号レベ
ル計算部、４−２ａは入力信号生成部、４−２ｂは音源
信号生成部、４ー２ｅは適応処理部である。この構成に
より、拘束条件付き適応フィルタの拘束条件を設定した
後、入力信号を適応フィルタに入力してフィルタ係数の
更新を行う。

【０１６０】上述の環境適応部４−２の処理の流れを図
２４を参照しながら説明する。

【０１６１】まず、環境適応部４−２の音源信号生成部
４−２ｂにおいて、選択人物位置の数の系列の音源信号
を生成する（ステップＳ６１）。

【０１６２】次に、学習信号レベル計算部４−２ｃにお
いて、複数チャネルで入力した入力音声のパワーを計算
し、音声検出を行って音声部分と非音声部分とを決め、
非音声部分の平均パワーから背景雑音パワーＰ_N を求め
る。このとき、式（１２）により平均化してもよい（ス
テップＳ６２）。

【０１６３】次に、学習信号レベル計算部４−２ｃにお
いて、式（１１）により音源信号の振幅Ａ_k を計算する
（ステップＳ６３）。次に、入力信号生成部４−２ａに
おいて、式（１３）により、実際の入力音声と加算して
適応フィルタの入力信号を生成する（ステップＳ６
４）。次に、生成した入力信号を適応制御信号として適
応フィルタに入力し、フィルタ係数を得る（ステップＳ
６５）。

【０１６４】得られたフィルタは、雑音除去部４−３に
送り、入力音声とフィルタを畳み込んで音声を抽出す
る。雑音除去部４−３におけるフィルタ処理は、式
（４）に従って行う。

【０１６５】次に、本実施例全体の処理の流れについ
て、図２５を参照して説明する。

【０１６６】第１実施形態で述べたように、画像から人
物位置を特定する画像の処理と、音声の雑音抑圧処理と
は、並列に処理するようにし、画像処理の方は第１実施
形態と同じである。

【０１６７】まず、初期設定を行い、選択する人物位置
の数Ｎと雑音抑圧処理のモードＡかＢかを設定する（ス
テップＳ７１）。

【０１６８】画像の処理の方では、画像データを、例え
ば毎秒５フレームで取り込み（ステップＳ７２）、フレ
ームごとに人物位置を特定する（ステップＳ７３）。

【０１６９】音声処理の方では、まず、音声データを例
えばサンプリング１２ｋＨｚ、１チャネルあたり１０２
４サンプルを１ブロックとして１ブロック分取り込む
（ステップＳ７４）。

【０１７０】次に、人物位置が特定されているか否かを
判定し（ステップＳ７５）、人物位置が特定されていな
い場合は、ステップＳ７４に戻り、特定されている場合
は次のステップＳ７６に進む。

【０１７１】次のステップＳ７６では、人物位置選択部
において、処理対象とする人物位置を選択する。

【０１７２】次に、選択された人物位置に基づいてフィ
ルタ処理の拘束条件を式（２６）、（３０）に従って設
定する（ステップＳ７７）。

【０１７３】次に、環境適応部４−２において、人物位
置選択部４−１で選択された人物位置または方向と距離
を用いて適応フィルタの学習信号を生成する（ステップ
Ｓ７８）。

【０１７４】ステップＳ７７で設定した拘束条件のもと
に適応フィルタの演算を行ってフィルタ係数を更新し、
雑音除去部４−３にフィルタ係数を転送する（ステップ
Ｓ７９）。

【０１７５】次に、雑音除去部４−３において、ステッ
プＳ７９で転送されたフィルタと入力音声との畳み込み
演算を行って音声を出力する（ステップＳ８０）。

【０１７６】以上のステップＳ７２からＳ７３の処理
と、Ｓ７４からＳ８０までの処理を並列に繰り返す。

【０１７７】以上に述べたように、拘束条件付き適応フ
ィルタにパイロット信号法を適用することにより、パイ
ロット信号法で必要な学習信号生成のための処理量を減
らし、また、拘束条件付き適応フィルタにおいて、拘束
条件が多い場合のフィルタの自由度低下による性能低下
を避けることができるため、少ない処理量で精度よく実
環境に適応して雑音抑圧処理を行うことができる。

【０１７８】以下に第９実施形態を説明する。第９実施
形態は、拘束条件付き適応フィルタとパイロット信号法
を組み合わせた場合に、複数の人物位置からの音声を分
離して取り出すものである。複数の人物位置からの音声
を分離して取り出すため、雑音除去部４−３と環境適応
部４−２の適応処理部４−２ｅとを、図２６に示すよう
に複数のフィルタから構成するようにしている。

【０１７９】図２６において、適応処理部４−２ｅの適
応フィルタと雑音除去部４−２のフィルタはＮ個、例え
ば３個づつ用意し、適応処理部４−２ｅで決定した適応
フィルタの係数を雑音除去部４−３に送るようにしてい
る。適応処理部４−２ｅの各適応フィルタの入力には、
入力信号生成部４−２ａで生成した入力信号を共通に入
力し、拘束条件は適応フィルタごとに異なったものを入
力する。

【０１８０】拘束条件は拘束条件設定部４−５において
設定し、ｋ番目の適応フィルタには、人物位置選択部４
−１において選択されたｋ番目の人物位置から到来する
音波に対して感度を高くなるようにした拘束条件が入力
される。拘束条件の設定方法は第８実施形態で述べたの
と同じであり、また、適応フィルタの入力信号の生成方
法も同じである。

【０１８１】以上に述べたように、拘束条件付き適応フ
ィルタとパイロット信号法を組み合わせた場合に、複数
のフィルタにより適応処理を行っているため、人物位置
ごとの到来音を分離して抽出することができ、且つ、パ
イロット信号法で必要な学習信号生成のための処理量を
減らし、また、拘束条件付き適応フィルタにおいて、拘
束条件が多い場合のフィルタの自由度低下による性能低
下を避けることができるため、少ない処理量で精度よく
実環境に適応して雑音抑圧処理を行うことができる。

【０１８２】なお、上記した人物位置決定工程と、人物
位置選択工程と、フィルタ係数決定工程と、音声抽出工
程とはコンピュータプログラムとして、ハードディス
ク、フロッピーディスク、ＣＤ−ＲＯＭなどの記憶媒体
に記憶し、この記憶媒体を適当な計算機に搭載して実行
することができる。

【０１８３】

【発明の効果】本発明によれば、複数の人物位置からの
音声に対して、背景雑音を抑えてすべての音声を同時に
抽出するかあるいは、特定の人物位置からの音声のみを
抽出することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る音声収集装置の構
成を示す図である。

【図２】カメラとマイクの配置を示す図である。

【図３】画面上の人物データの一例を示す図である。

【図４】人物位置データの一例を示す図である。

【図５】環境適応部の構成を示す図である。

【図６】フィルタの構成を示す図である。

【図７】マイクロホンと人物位置の設定を示す図であ
る。

【図８】環境適応部の処理の流れを示すフローチャート
である。

【図９】第１実施形態全体の処理の流れを示すフローチ
ャートである。

【図１０】第２実施形態における雑音抑圧部の構成を示
す図である。

【図１１】環境適応部の構成を示す図である。

【図１２】位置別到来パワーに基づく学習信号の生成に
ついて説明するための図である。

【図１３】環境適応部の処理の流れを示すフローチャー
トである。

【図１４】第３実施形態の全体構成を示す図である。

【図１５】環境適応部の処理の流れを示すフローチャー
トである。

【図１６】第４実施形態の全体構成を示す図である。

【図１７】第４実施形態の全体処理の流れを示すフロー
チャートである。

【図１８】第５実施形態における雑音除去部と環境適応
部の構成を示す図である。

【図１９】第６実施形態の全体構成を示す図である。

【図２０】第６実施形態の処理の流れを示すフローチャ
ートである。

【図２１】第７実施形態の雑音除去部の構成を示す図で
ある。

【図２２】第８実施形態の全体構成を示す図である。

【図２３】第８実施形態における環境適応部の構成を示
す図である。

【図２４】環境適応部の処理の流れを示すフローチャー
トである。

【図２５】第８実施形態の処理の流れを示すフローチャ
ートである。

【図２６】第９実施形態における雑音除去部と環境適応
部の構成を示す図である。

【符号の説明】

１…画像入力部、２…人物位置検出部、３…音声入力
部、４…雑音抑圧部、４−１…人物位置検出部、４−２
…環境適応部、４−３…雑音除去部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04R 3/00 320 H03H 17/00 601 H03H 21/00

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 複数の人物の少なくとも一部を撮影して
   得られた画像を入力する画像入力手段と、 複数のチャネルを介して個々に音声を入力する音声入力
   手段と、 前記画像入力手段によって入力された画像情報を処理し
   て複数の人物位置を求める人物位置検出手段と、 この人物位置検出手段によって検出された複数の人物位
   置から、処理対象となる人物位置を少なくとも一人選択
   する人物位置選択手段と、 任意に生成した音源信号を、前記人物位置選択手段によ
   って選択された人物位置に配置したものとしたときに観
   測して得られる第１の信号と、前記選択された人物位置
   からのすべての音声に対する感度を、選択されなかった
   人物位置と比較して同時に高くするモードと、前記選択
   された人物位置のうち、特定の目的位置からの音声のみ
   を、選択されなかった人物位置と比較して高くするモー
   ドのうちいずれかの選択に応じて前記音源信号から生成
   される第２の信号とに基づいて、フィルタ係数を決定す
   るフィルタ係数決定手段と、 このフィルタ係数決定手段によって決定されたフィルタ
   係数を用いて、前記音声入力手段によって入力された音
   声のうち、前記選択されたモードに対応する音声のみを
   抽出する音声抽出手段と、 を具備することを特徴とする音声収集装置。
2. 【請求項２】 前記選択された人物位置のうち、前記特
   定の目的位置からの音声のみを高くするモードにおい
   て、複数の目的位置に対応して前記フィルタ係数決定手
   段及び音声抽出手段を複数個設け、複数の人物位置から
   の音声を分離して抽出するようにしたことを特徴とする
   請求項１記載の音声収集装置。
3. 【請求項３】 テスト発声データの入力と前記音声入力
   手段を介して入力される通常の音声入力の切り替えを指
   示する入力モード切り替え手段と、入力モードがテスト
   発声データ入力であるときに、取り込んだテスト発声デ
   ータのレベルを求めるテスト発声レベル計算手段とをさ
   らに具備することを特徴とする請求項１または２記載の
   音声収集装置。
4. 【請求項４】 前記画像入力手段によって入力された画
   像から人物の発声動作に関する情報を位置別に検出する
   位置別発声動作情報検出手段をさらに具備し、前記フィ
   ルタ係数決定手段は、検出した位置別の発声動作に関す
   る情報と、入力された音声から求めた位置別到来パワー
   の少なくとも一方に基づいて、前記第１の信号である入
   力信号と前記第２の信号である希望応答信号とを生成す
   ることを特徴とする請求項１乃至３のいずれかに記載の
   音声収集装置。
5. 【請求項５】 複数の人物の少なくとも一部を撮影して
   得られた画像を入力する画像入力手段と、 複数のチャネルを介して個々に音声を入力する音声入力
   手段と、 前記画像入力手段によって入力された画像情報を処理し
   て複数の人物位置を求める人物位置検出手段と、 この人物位置検出手段によって検出された複数の人物位
   置から、処理対象となる人物位置を少なくとも一人選択
   する人物位置選択手段と、 この人物位置選択手段によって選択された人物位置に基
   づいて、前記少なくとも一人の人物位置からの音声に対
   する感度を同時に一定の値にする制約をフィルタ処理の
   制約として設定するフィルタ制約設定手段と、 このフィルタ制約設定手段の制約に基づいてフィルタ係
   数を決定し、このフィルタ係数を用いて前記音声入力手
   段によって入力される音声にフィルタ処理を施して音声
   を抽出する音声抽出手段と、 を具備することを特徴とする音声収集装置。
6. 【請求項６】 前記フィルタ制約設定手段は、前記選択
   された人物位置の数が複数の場合に、この複数の人物位
   置の中の一つの位置を目的位置とし、該目的位置からの
   音声に対する感度を、選択されなかった人物位置と比較
   して高くする第１の制約と、前記目的位置以外の人物位
   置からの音声に対しては、選択されなかった人物位置と
   比較して感度を低くする第２の制約をフィルタ処理の制
   約として設定し、前記音声抽出手段は、前記第１、第２
   の制約の基にフィルタ出力を最小化してフィルタ係数を
   決定することを特徴とする請求項５記載の音声収集装
   置。
7. 【請求項７】 複数の人物を撮影して得られた画像を入
   力する画像入力手段と、 この画像入力手段によって入力された画像情報を処理し
   て複数の人物位置を求める人物位置検出手段と、 この人物位置検出手段によって検出された複数の人物位
   置から、処理対象となる人物位置を少なくとも一人選択
   する人物位置選択手段と、 複数のチャネルを介して個々に音声を入力する音声入力
   手段と、 前記人物位置選択手段によって選択された少なくとも一
   つの人物位置の中の一つの位置を目的位置とし、この目
   的位置からの音声に対する感度を、選択されなかった人
   物位置と比較して高くする制約を設定するフィルタ制約
   設定手段と、 任意に作成した音源信号を、前記目的位置以外の人物位
   置に配置したものとしたときに観測される信号を生成す
   る入力信号生成手段と、 前記制約のもとで前記入力信号に基づき目的位置以外の
   人物位置からの音声に対して感度を低くするようにフィ
   ルタを決定するフィルタ決定手段と、 このフィルタ決定手段によって求められたフィルタ係数
   を用いて、前記音声入力手段によって入力された音声に
   フィルタ処理を施して音声を抽出する音声抽出手段と、 を具備することを特徴とする音声収集装置。
8. 【請求項８】 前記フィルタ制約設定手段は、前記選択
   された人物位置の中から複数の目的位置を設定した場合
   に、この複数の目的位置の一つからの音声に対する感度
   を、選択されなかった人物位置と比較して高くする制約
   をフィルタ処理の制約として設定し、前記目的位置以外
   の人物位置に音源があるものとしたときに観測される入
   力信号に基づき、前記目的位置以外の人物位置からの音
   声に対しては感度を、選択されなかった人物位置と比較
   して低くするようにフィルタを設定するフィルタ設定手
   段と音声抽出手段とを、前記目的位置の変更に対応して
   複数個設け、複数の人物位置からの音声を分離して抽出
   するようにしたことを特徴とする請求項７記載の音声収
   集装置。
9. 【請求項９】 複数の人物の少なくとも一部を撮影して
   得られた画像を入力する画像入力工程と、 複数のチャネルを介して個々に音声を入力する音声入力
   工程と、 前記画像入力工程において入力された画像情報を処理し
   て複数の人物位置を求める人物位置検出工程と、 この人物位置検出工程において検出された複数の人物位
   置から、処理対象となる人物位置を少なくとも一人選択
   する人物位置選択工程と、 任意に生成した音源信号を、前記人物位置選択工程で選
   択された人物位置に配置したものとしたときに観測して
   得られる第１の信号と、前記選択された人物位置からの
   すべての音声に対する感度を、選択されなかった人物位
   置と比較して同時に高くするモードと、前記選択された
   人物位置のうち、特定の目的位置からの音声のみを、選
   択されなかった人物位置と比較して高くするモードのう
   ちいずれかの選択に応じて前記音源信号から生成される
   第２の信号とに基づいて、フィルタ係数を決定するフィ
   ルタ係数決定工程と、 このフィルタ係数決定工程において決定されたフィルタ
   係数を用いて、前記音声入力工程において入力された音
   声のうち、前記選択されたモードに対応する音声のみを
   抽出する音声抽出工程と、 を具備することを特徴とする音声収集方法。
10. 【請求項１０】 複数の人物の少なくとも一部を撮影し
    て得られた画像を入力する画像入力工程と、 複数のチャネルを介して個々に音声を入力する音声入力
    工程と、 前記画像入力工程において入力された画像情報を処理し
    て複数の人物位置を求める人物位置検出工程と、 この人物位置検出工程において検出された複数の人物位
    置から、処理対象となる人物位置を少なくとも一人選択
    する人物位置選択工程と、 この人物位置選択工程において選択された人物位置に基
    づいて、前記少なくとも一人の人物位置からの音声に対
    する感度を同時に一定の値にする制約をフィルタ処理の
    制約として設定するフィルタ制約設定工程と、 このフィルタ制約設定工程における制約に基づいてフィ
    ルタ係数を決定し、このフィルタ係数を用いて前記音声
    入力工程において入力される音声にフィルタ処理を施し
    て音声を抽出する音声抽出工程と、 を具備することを特徴とする音声収集方法。