JP6186878B2 - 集音・放音装置、音源分離ユニット及び音源分離プログラム - Google Patents

Description

本発明は、集音・放音装置、音源分離ユニット及び音源分離プログラムに関し、例えば、マイクロフォンによる捕捉音声、捕捉音響などから、所定方向の音源から到来する音（以下、目的音と呼ぶ）だけを分離することを欲する通信端末、オーディオ機器などに適用し得るものである。

例えば、スマートフォンに通話音声を入力する場合や、オーディオ機器やスマートフォンなどに音声コマンドを入力する場合などにおいては、音声が入力される機器は、利用者の口が存在すると思われる正面からの音声だけを、他の方向からの音声、音楽、雑音などと区別して抽出することが好ましい。

２つのマイクロフォンに入力された音を捕捉し、入力音（電気信号）の位相差に基づいて周囲の雑音を抑圧して、マイクロフォンの所定方位（例えば正面）から到来する目的音を抽出する方式（音源分離方式）が、特許文献１に記載されている。

特許文献１に第３の実施形態として記載されている目的音の抽出方法は、マイクロフォンの左右に死角を有する二つの指向性を形成して得た二つの信号の相関に応じた抑圧係数を周波数成分毎に入力音信号に乗算することにより、左右から到来する雑音成分（非目的音）を抑圧する手法である。特許文献１に第４の実施形態として記載されている目的音の抽出方法は、マイクロフォンの正面に死角を有する指向性を形成し、これにより得られた信号を、左右から到来する雑音成分として入力音信号から減算することにより、左右から到来する雑音成分（非目的音）を抑圧する手法である。

特開２０１３−０６１４２１号公報

北脇信彦著、「デジタル音声・オーディオ技術（未来ねっと技術シリーズ）」、電気通信協会発行、ｐ２１８〜ｐ２４３、１９９９年

ところで、近年、図４に示すように、携帯端末（例えば、スマートフォンやタブレット端末）などの通信機能を有する集音機器２の両脇に、一対のスピーカ３Ｌ及び３Ｒを配置して接続し、このような構成で遠隔地と通話を行なう集音・放音装置１が利用されるようになってきている。また、同様な構成で、集音機器２内に記録された音楽ファイルやインターネット上の音楽配信サイトから取得した楽曲ファイルによる音（音楽）を、両脇のスピーカ３Ｌ及び３Ｒから放音させている状態で、利用者が、集音機器２のマイクロフォン正面から発した音声によるコマンドを受ける方法も検討されている。

両脇のスピーカ３Ｌ及び３Ｒから音楽などが放音されている状態で、正面から到来する目的音を抽出し、通話相手に発話内容を伝えたり、若しくは、音声認識処理を介して音声コマンドを認識して音声コマンドに対応する処理を実行したりする場合には、スピーカ３Ｌ、３Ｒから発する音などが雑音となり、通話音質や音声認識率を大きく低下させる。

そこで、上述した特許文献１の記載技術のような音源分離方式を適用し、両脇のスピーカ３Ｌ及び３Ｒから到来する雑音成分を抑圧し、正面からの目的音を抽出しなければならない。特許文献１に記載の音源分離方式を適用する場合には、図５に示すように、集音機器１に、２つのマイクロフォン４Ｌ、４Ｒを搭載若しくは外付けすることを要する。

しかしながら、利用者が集音・放音装置１から音楽を放音して楽しむ場合、その音量は大きく、大きな音量の音楽が雑音成分（非目的音）としてマイクロフォン４Ｌ、４Ｒに捕捉されるため、音源分離方式を適用して目的音を抽出したとしても、抽出した目的音信号に雑音成分が多く残ってしまう。

これを避けようとすると、利用者は、音楽の出力（放音）を停止してから、通話音声や音声コマンドなどの入力音声を発音すれば良い。しかしながら、このように出力を停止させるキー操作などを行うのであれば、音声コマンドのメリットは薄れ、キー操作などでコマンドを入力する方が簡便である。また、着信からの通話の場合、音声の出力停止操作をできないことや、出力停止操作の実行のため着信が遅れてしまうことなども生じる。

そのため、放音音がある状況においても、意図した音源からの目的音を、良好なＳＮ比をもって抽出することができる、集音・放音装置、音源分離ユニット及び音源分離プログラムが望まれている。

第１の本発明は、２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置において、（１）上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、（２）上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、（３）放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出することを特徴とする。

第２の本発明は、２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置に適用される音源分離ユニットであって、（１）上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、（２）上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、（３）上記放音非目的音除去手段は、放音する音信号に基づき、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音の擬似信号を生成する擬似放音非目的音生成部と、生成された放音に伴う非目的音の擬似信号を、上記入力音信号から除去する減算部とを有し、（４）放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出することを特徴とする。

第３の本発明は、２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置に搭載されるコンピュータが実行する音源分離プログラムであって、（１）上記コンピュータを、（１−１）上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、（１−２）上記放音部が放音する音信号が入力され、この放音する音信号に基づき、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音の擬似信号を生成する擬似放音非目的音生成部と、生成された放音に伴う非目的音の擬似信号を、上記入力音信号から除去する減算部とを有し、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至るまでに設けられた放音非目的音除去手段として機能させ、（２）放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出することを特徴とする。

本発明によれば、放音音がある状況においても、意図した音源からの目的音を、良好なＳＮ比をもって抽出することができる、集音・放音装置、音源分離ユニット及び音源分離プログラムを提供できる。

第１の実施形態の集音・放音装置の構成を示すブロック図である。 第１の実施形態の集音・放音装置における放音非目的音キャンセラ処理部の詳細構成を示すブロック図である。 第２の実施形態の集音・放音装置の構成を示すブロック図である。 従来の集音・放音装置におけるスピーカの接続の様子を示す説明図である。 従来の集音・放音装置に音源分離方式を適用する場合におけるマイクロフォンの搭載の様子を示す説明図である。

（Ａ）第１の実施形態
以下、本発明による集音・放音装置、音源分離ユニット及び音源分離プログラムの第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
第１の実施形態の集音・放音装置は、一対のマイクロフォンが搭載され、若しくは、外付けされており、かつ、一対のスピーカが搭載され、若しくは、外付けされているものである。例えば、スマートフォンやタブレット端末などの集音機器を利用している集音・放音装置であれば、一対のマイクロフォンが搭載され、一対のスピーカが外付けされて構成される。また例えば、スピーカ一体型のオーディオ機器が該当する集音・放音装置であれば、一対のマイクロフォンも一対のスピーカも搭載されて構成される。以上のように、一対のマイクロフォン及び一対のスピーカの接続形態は多様であるが、いずれの接続形態を適用したものであっても良い。

以下では、第１の実施形態の集音・放音装置は、上述した図５に示すように、一対のマイクロフォンが搭載され、一対のスピーカが外付けされて構成されているとして説明を行う。また、第１の実施形態の集音・放音装置における各構成要素の符号も、図５に記述されている構成要素に関しては、図５で用いている符号をそのまま用いる。

図１は、第１の実施形態の集音・放音装置１０の構成を示すブロック図である。第１の実施形態の集音・放音装置１０は、ハードウェア的な各種構成要素を接続して構築されたものであっても良く、また、一部の構成要素（例えば、スピーカ、マイクロフォン、アナログ／デジタル変換部（Ａ／Ｄ変換部）、デジタル／アナログ変換部（Ｄ／Ａ変換部）を除く部分）を、ＣＰＵ、ＲＯＭ、ＲＡＭなどのプログラムの実行構成を適用してその機能を実現するように構築されたものであっても良い。いずれの構築方法を適用した場合であっても、集音・放音装置１０の機能的な詳細構成は、図１で表す構成となっている。なお、プログラムを適用する場合において、プログラムは、集音・放音装置１０が有するメモリに装置出荷時から書き込まれているものであっても良く、また、ダウンロードによりインストールされるものであっても良い。例えば、後者の場合としては、スマートフォン用のアプリケーションとしてプログラムを用意しておき、必要とする利用者が、インターネットを介してダウンロードしてインストールする場合を挙げることができる。

図１において、第１の実施形態の集音・放音装置１０は、放音部２０及び集音部３０を有する。

放音部２０は、既存の放音部と同様な構成を有する。放音部２０は、Ｌチャンネル及びＲチャンネルの音源データ記憶部２１Ｌ及び２１Ｒ、Ｄ／Ａ変換部２２Ｌ及び２２Ｒ、並びに、スピーカ３Ｌ及び３Ｒを有する。

一方、集音部３０は、Ｌチャンネル及びＲチャンネルのマイクロフォン４Ｌ及び４Ｒ、並びに、Ａ／Ｄ変換部３１Ｌ及び３１Ｒと、図２に詳細構成を示す放音非目的音キャンセラ処理部３２と、音源分離処理部３３とを有する。ここで、後述する音源データの入力端子を有する集音部３０の全体が音源分離ユニットとして構築されて、市販に供するものであっても良い。また、Ａ／Ｄ変換部３１Ｌ、３１Ｒ、放音非目的音キャンセラ処理部３２及び音源分離処理部３３でなる部分が、後述する音源データの入力端子を有して、音源分離ユニットとして構築され、市販に供するものであっても良い。すなわち、集音・放音装置１０は、特に、集音部３０は、音源分離ユニットを用いて構築されたものであっても良い。

音源データ記憶部２１Ｌ及び２１Ｒはそれぞれ、Ｌチャンネル、Ｒチャンネル用の音源データ（デジタル信号）ｓｉｇＬ、ｓｉｇＲを記憶し、図示しない放音制御部の制御下で音源データｓｉｇＬ、ｓｉｇＲを読み出して出力するものである。音源データｓｉｇＬ、ｓｉｇＲは、例えば、楽曲データであっても良く、電子書籍その他の読み上げ用などの音声データであっても良い。各音源データ記憶部２１Ｌ、２１Ｒは、ＣＤ−ＲＯＭなどの記録媒体が装填された記録媒体アクセス装置であっても良く、インターネット上のサイトなどの外部装置から通信によって取得した音源データを記憶する当該装置の記憶部によって構成されたものであっても良い。また、各音源データ記憶部２１Ｌ、２１Ｒは、例えば、ＵＳＢコネクタ接続で接続される外付けの装置が該当するものであっても良い。さらに、各音源データ記憶部２１Ｌ、２１Ｒは「記憶部」とネーミングしているが、各音源データ記憶部２１Ｌ、２１Ｒの概念には、デジタル音声放送の受信機のような、受信した音源データをリアルタイムに出力する構成をも含むものとする。

Ｄ／Ａ変換部２２Ｌ及び２２Ｒはそれぞれ、対応する音源データ記憶部２１Ｌ、２１Ｒから出力された音源データｓｉｇＬ、ｓｉｇＲをアナログ信号に変換して対応するスピーカ３Ｌ、３Ｒに与えるものである。

スピーカ３Ｌ及び３Ｒはそれぞれ、対応するＤ／Ａ変換部２２Ｌ、２２Ｒから与えられた音源信号を放音出力（発音出力）するものである。ここで、スピーカ３Ｌ及び３Ｒから放音出力された音響若しくは音声は、マイクロフォン４Ｒ、４Ｌに捕捉されることを意図したものではなく、マイクロフォン４Ｒ、４Ｌの捕捉機能から見たとき、非目的音になっている。

以上では、スピーカ３Ｌ、３Ｒから放音される音楽の当初の信号形式がデジタル信号（音源データ）であるものを示したが、音源データ記憶部２１Ｌ、２１Ｒに相当する構成が、レコードプレイヤ、オーディオカセットテープレコーダ、ＡＭやＦＭのラジオ受信機などであって、アナログ信号でなる音響信号や音声信号を出力するものであっても良い。この場合には、Ｄ／Ａ変換部２２Ｌ及び２２Ｒは省略され、別途、Ｌチャンネル、Ｒチャンネル用のＡ／Ｄ変換部を設けて、アナログ信号の音響信号や音声信号をデジタル信号に変換して放音非目的音キャンセラ処理部３２に与えることになる。

マイクロフォン４Ｒ及び４Ｌはそれぞれ、周囲音を捕捉して電気信号（アナログ信号）に変換するものである。一対のマイクロフォン４Ｒ及び４Ｌにより、ステレオ信号が得られる。各マイクロフォン４Ｒ、４Ｌは、当該集音・放音装置１０の正面から到来する音を主として捕捉するような指向性を有するものであるが、両脇に配置されているスピーカ３Ｌ、３Ｒから放音された音をも捕捉するものである。なお、スピーカ３Ｌ、３Ｒは、一対のマイクロフォン４Ｒ及び４Ｌの両脇に配置されることが好ましいが、この配置に限定されるものではない。

各マイクロフォン４Ｒ、４Ｌは、例えば、当該集音・放音装置１０の筐体に設けられた筒体内に取り付けられる。ここで、筒体の内面には合成樹脂でなる遮音部材が設けられ、マイクロフォン４Ｒ、４Ｌが取り付けられたときに、筐体の内外を音が通過する経路ができないようになされている。これにより、筐体内部で発生した雑音や、外部から筐体内部に入り込んで反射により筐体外部に出ていこうとする雑音などを、マイクロフォン４Ｒ、４Ｌが捕捉するようなことを極力防止することができる。

Ａ／Ｄ変換部３１Ｌ及び３１Ｒはそれぞれ、対応するマイクロフォン４Ｒ、４Ｌが捕捉した入力音信号をデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲに変換して放音非目的音キャンセラ処理部３２に与えるものである。各Ａ／Ｄ変換部３１Ｌ、３１Ｒは、例えば、音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートと同じサンプリングレートのデジタル信号に変換する。

放音非目的音キャンセラ処理部３２には、音源データ記憶部２１Ｌ及び２１Ｒから出力された音源データｓｉｇＬ及びｓｉｇＲも与えられる。ここで、放音非目的音キャンセラ処理部３２に入力される４つのデジタル信号のサンプリングレートが揃っていることを要する。例えば、インターネットのサイトからダウンロードし、音源データ記憶部２１Ｌ及び２１Ｒに記憶された音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートが、Ａ／Ｄ変換部３１Ｌ、３１Ｒからのデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲのサンプリングレートと異なる場合には、Ｄ／Ａ変換部２２Ｌ、２２Ｒへはダウンロードした音源データｓｉｇＬ、ｓｉｇＲをそのまま与え、放音非目的音キャンセラ処理部３２へは音源データｓｉｇＬ、ｓｉｇＲのサンプリングレートを変換した音源データを与えるようにすれば良い。

放音非目的音キャンセラ処理部３２は、音源データ記憶部２１Ｌ及び２１Ｒから出力された音源データｓｉｇＬ及びｓｉｇＲに基づき、入力音信号（デジタル信号）ｉｎｐｕｔＬ、ｉｎｐｕｔＲに含まれている、スピーカ３Ｌ、３Ｒから放音されることによる非目的音成分（以下、適宜、放音非目的音と呼ぶ）を除去（若しくは軽減）し、音源分離処理部３３に与えるものである。

音源分離処理部３３は、放音非目的音が除去された入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲに基づき、所定方位（例えば、正面）にある音源からの目的音だけを抽出するものである。音源分離処理部３３による音源分離方式としては、既存の音源分離方式のいずれを適用しても良い。例えば、特許文献１に記載の音源分離方式を適用できる。

第１の実施形態の集音・放音装置１０は、自装置からの放音による非目的音を放音非目的音キャンセラ処理部３２で除去し、他の非目的音を音源分離処理部３３で除去することにより、目的音を抽出するものとなっている。

抽出された目的音の処理方法は限定されるものではない。例えば、抽出された目的音の用途が通話音声であれば、抽出された目的音は送話処理される。また例えば、抽出された目的音の用途が音声コマンドであれば、抽出された目的音に対して音声認識を行った後、認識された音声がどのコマンドに該当するかを照合することとなる。

図２は、放音非目的音キャンセラ処理部３２の詳細構成を示すブロック図である。

図２において、放音非目的音キャンセラ処理部３２は、４つの擬似放音非目的音生成部４１ＬＬ〜４１ＲＲと、４つの減算部４２ＬＬ〜４２ＲＲとを有している。

スピーカ３Ｌ、３Ｒから放音され、マイクロフォン４Ｒ、４Ｌによって捕捉される、目的音から見て不要な音（放音非目的音）は、電話通信において問題となっている音響エコーと同様にみなすことができる。そこで、第１の実施形態においては、放音非目的音キャンセラ処理部３２を、音響エコーキャンセラの技術を流用して構成した（例えば、非特許文献１には「ステレオエコーキャンセラ」が記載されている）。

擬似放音非目的音生成部４１ＬＬは、Ｌチャンネルの入力音信号ｉｎｐｕｔＬに含まれている、スピーカ３Ｌから放音されてマイクロフォン４Ｌで捕捉された放音非目的音を擬似した擬似放音非目的音を音源データｓｉｇＬに基づいて生成し、減算部４２ＬＬは、Ｌチャンネルの入力音信号ｉｎｐｕｔＬから、擬似放音非目的音生成部４１ＬＬが生成した擬似放音非目的音を減算し、Ｌチャンネルの入力音信号ｉｎｐｕｔＬから、スピーカ３Ｌから放音されてマイクロフォン４Ｌで捕捉された放音非目的音の成分を除去するものである。

擬似放音非目的音生成部４１ＲＬは、Ｌチャンネルの入力音信号ｉｎｐｕｔＬに含まれている、スピーカ３Ｒから放音されてマイクロフォン４Ｌで捕捉された放音非目的音を擬似した擬似放音非目的音を音源データｓｉｇＲに基づいて生成し、減算部４２ＲＬは、擬似放音非目的音生成部４１ＬＬの出力音信号から、擬似放音非目的音生成部４１ＲＬが生成した擬似放音非目的音を減算し、擬似放音非目的音生成部４１ＬＬの出力音信号から、スピーカ３Ｒから放音されてマイクロフォン４Ｌで捕捉された放音非目的音の成分を除去するものである。

これにより、擬似放音非目的音生成部４１ＲＬから出力された入力音信号ＥＣｏｕｔＬは、入力音信号ｉｎｐｕｔＬから、スピーカ３Ｌから放音されてマイクロフォン４Ｌで捕捉された放音非目的音の成分と、スピーカ３Ｒから放音されてマイクロフォン４Ｌで捕捉された放音非目的音の成分とが除外されたものとなる。

擬似放音非目的音生成部４１ＬＲは、Ｒチャンネルの入力音信号ｉｎｐｕｔＲに含まれている、スピーカ３Ｌから放音されてマイクロフォン４Ｒで捕捉された放音非目的音を擬似した擬似放音非目的音を音源データｓｉｇＬに基づいて生成し、減算部４２ＬＲは、Ｒチャンネルの入力音信号ｉｎｐｕｔＲから、擬似放音非目的音生成部４１ＬＲが生成した擬似放音非目的音を減算し、Ｒチャンネルの入力音信号ｉｎｐｕｔＲから、スピーカ３Ｌから放音されてマイクロフォン４Ｒで捕捉された放音非目的音の成分を除去するものである。

擬似放音非目的音生成部４１ＲＲは、Ｒチャンネルの入力音信号ｉｎｐｕｔＬに含まれている、スピーカ３Ｒから放音されてマイクロフォン４Ｒで捕捉された放音非目的音を擬似した擬似放音非目的音を音源データｓｉｇＲに基づいて生成し、減算部４２ＲＲは、擬似放音非目的音生成部４１ＬＲの出力音信号から、擬似放音非目的音生成部４１ＲＲが生成した擬似放音非目的音を減算し、擬似放音非目的音生成部４１ＬＲの出力音信号から、スピーカ３Ｒから放音されてマイクロフォン４Ｒで捕捉された放音非目的音の成分を除去するものである。

これにより、擬似放音非目的音生成部４１ＲＲから出力された入力音信号ＥＣｏｕｔＲは、入力音信号ｉｎｐｕｔＲから、スピーカ３Ｌから放音されてマイクロフォン４Ｒで捕捉された放音非目的音の成分と、スピーカ３Ｒから放音されてマイクロフォン４Ｒで捕捉された放音非目的音の成分とが除外されたものとなる。

擬似放音非目的音生成部４１ＬＬ〜４１ＲＲはそれぞれ、音響エコーキャンセラで利用されているような適応フィルタによって構成される。これら適応フィルタが適用する適応アルゴリズムは限定されないが、例えば、学習同定アルゴリズムを適用することができる。

ここで、一対のマイクロフォン４Ｌ及び４Ｒも一対のスピーカ３Ｌ及び３Ｒも、集音・放音装置１０に搭載され、音響経路を介して接続されるマイクロフォン及びスピーカの組み合わせにおける各音響経路が固定（長さや位置関係が固定）の場合には、フィルタ係数が固定されているデジタルフィルタを、適応フィルタに代えて、擬似放音非目的音生成部４１ＬＬ〜４１ＲＲを構成するフィルタとして用いるようにしても良い。なお、音響経路が固定であっても、壁面その他での反射を考慮して適応フィルタを適用するようにしても良い。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の集音・放音装置１０の動作を説明する。以下では、音源データが楽曲データであり、目的音が、集音・放音装置１０の正面に位置する利用者が発音した音声であるとして、適宜、説明する。

各音源データ記憶部２１Ｌ、２１Ｒから読み出された音源データ（楽曲データ）はそれぞれ、対応するＤ／Ａ変換部２２Ｌ、２２Ｒによってアナログ信号に変換された後、各スピーカ３Ｌ、３Ｒから放音される。このような音楽が当該集音・放音装置１０から流れているときに、利用者が当該集音・放音装置１０に向かって発音した音声は、両マイクロフォン４Ｌ及び４Ｒによって捕捉される。この際、スピーカ３Ｌ、３Ｒからの音楽も流れているため、スピーカ３Ｌからの音楽も両マイクロフォン４Ｌ及び４Ｒによって捕捉され、スピーカ３Ｒからの音楽も両マイクロフォン４Ｌ及び４Ｒによって捕捉される。さらに、周囲の背景雑音（エアコンの駆動音、近くを走行する車両からの走行音など）も、両マイクロフォン４Ｌ及び４Ｒによって捕捉される。

すなわち、各マイクロフォン４Ｌ、４Ｒが捕捉して得た入力音信号には、利用者の音声という目的音以外に、自装置が放音した音楽という放音非目的音や、背景雑音などの非目的音（以下、適宜、背景非目的音と呼ぶ）が含まれている。

各マイクロフォン４Ｌ、４Ｒが捕捉して得た入力音信号はそれぞれ、対応するＡ／Ｄ変換部３１Ｌ、３１Ｒによってデジタル信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲに変換されて放音非目的音キャンセラ処理部３２に与えられる。放音非目的音キャンセラ処理部３２には、音源データｓｉｇＬ及びｓｉｇＲも与えられる。

擬似放音非目的音生成部４１ＬＬによって、音源データｓｉｇＬから、スピーカ３Ｌから放音されてマイクロフォン４Ｌで捕捉された放音非目的音を擬似した擬似放音非目的音が生成され、また、擬似放音非目的音生成部４１ＲＬによって、音源データｓｉｇＲから、スピーカ３Ｒから放音されてマイクロフォン４Ｌで捕捉された放音非目的音を擬似した擬似放音非目的音が生成される。そして、これら２種類の擬似放音非目的音はそれぞれ、減算部４２ＬＬ及び４２ＲＬによって、Ｌチャンネルの入力音信号ｉｎｐｕｔＬから減算されて除去され、この除去後のＬチャンネルの入力音信号ＥＣｏｕｔＬが音源分離処理部３３に与えられる。

また、擬似放音非目的音生成部４１ＬＲによって、音源データｓｉｇＬから、スピーカ３Ｌから放音されてマイクロフォン４Ｒで捕捉された放音非目的音を擬似した擬似放音非目的音が生成され、また、擬似放音非目的音生成部４１ＲＲによって、音源データｓｉｇＲから、スピーカ３Ｒから放音されてマイクロフォン４Ｒで捕捉された放音非目的音を擬似した擬似放音非目的音が生成される。そして、これら２種類の擬似放音非目的音はそれぞれ、減算部４２ＬＲ及び４２ＲＲによって、Ｒチャンネルの入力音信号ｉｎｐｕｔＲから減算されて除去され、この除去後のＲチャンネルの入力音信号ＥＣｏｕｔＲが音源分離処理部３３に与えられる。

そして、音源分離処理部３３によって、放音非目的音の成分が除去された一対の入力音信号ＥＣｏｕｔＬ及びＥＣｏｕｔＲに基づいて、音源分離処理が実行されて、背景非目的音が除外され、正面方位から到来した利用者からの音声である目的音ｏｕｔｐｕｔが抽出され、次段の処理部へ出力される。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、非目的音を一括して捉えるのではなく、放音非目的音及び背景非目的音に区別し、それぞれに適した除去処理を適用して除去して目的音を抽出するようにしたので、目的音の抽出精度を非常に高いものとすることができる。

因みに、非目的音を一括して捉え、放音非目的音キャンセラ処理部３２を設けることなく、音源分離処理部３３の処理だけに委ねて目的音を抽出した場合には、抽出した目的音に、放音された放音非目的音の成分が残ってしまい、抽出した目的音を聴取しても音声が聞き取り難く、音声認識に供した場合に認識率が低くなっていた。

一対のマイクロフォン４Ｌ及び４Ｒの距離を数ｃｍから十数ｃｍ程度に離し、音楽を楽しむことができる音量で音楽を放音しながら、マイクロフォン４Ｌ及び４Ｒの正面側に１ｍ〜数ｍ程度離れた位置から音声を発し、第１の実施形態の方法で音声（目的音）を抽出する実験を行っている。マイクロフォン４Ｌ及び４Ｒでピックアップされた音を処理することなく聴いてみると、音声は音楽に埋もれてほとんど聞き取れない。第１の実施形態の方法で得られた目的音信号は、放音非目的音の成分はほとんど残っておらずに主として音声の成分だけを含むものとなり、抽出した目的音信号を聴いてみると、音声の内容を十分かつ明瞭に把握できるものとなっていた。

（Ｂ）第２の実施形態
次に、本発明による集音・放音装置、音源分離ユニット及び音源分離プログラムの第２の実施形態を、図面を参照しながら説明する。

図３は、第２の実施形態の集音・放音装置１０Ａの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

第２の実施形態の集音・放音装置１０Ａは、集音部３０Ａの構成が第１の実施形態の集音部３０と異なっている。集音部３０Ａは、マイクロフォン４Ｌ、４Ｒ、Ａ／Ｄ変換部３１Ｌ、３１Ｒ、放音非目的音キャンセラ処理部３２及び音源分離処理部３３に加え、逆相音源データ形成部３４Ｌ、３４Ｒ、Ｄ／Ａ変換部３５Ｌ、３５Ｒ並びにサブスピーカ３６Ｌ、３６Ｒを有する。

逆相音源データ形成部３４Ｌは、音源データ記憶部２１Ｌ、２１Ｒから出力された音源データｓｉｇＬ、ｓｉｇＲの逆相であって、スピーカ３Ｌ、３Ｒからマイクロフォン４Ｌへの放音音響経路での伝搬遅延及び減衰を考慮した位相差及びゲインを有する逆相音源データｓｉｇＬＬ／、ｓｉｇＲＬ／を形成した後、これらの逆相音源データｓｉｇＬＬ／及びｓｉｇＲＬ／を合成した合成逆相音源データｓｉｇΣＬ／を得てＤ／Ａ変換部３５Ｌに与えるものである。

逆相音源データ形成部３４Ｒは、音源データ記憶部２１Ｌ、２１Ｒから出力された音源データｓｉｇＬ、ｓｉｇＲの逆相であって、スピーカ３Ｌ、３Ｒからマイクロフォン４Ｒへの放音音響経路での伝搬遅延及び減衰を考慮した位相差及びゲインを有する逆相音源データｓｉｇＬＲ／、ｓｉｇＲＲ／を形成した後、これらの逆相音源データｓｉｇＬＲ／及びｓｉｇＲＲ／を合成した合成逆相音源データｓｉｇΣＲ／を得てＤ／Ａ変換部３５Ｒに与えるものである。

なお、逆相音源データ形成部３４Ｌ、３４Ｒが必要とする放音音響経路での伝搬遅延及び減衰の情報は、逆相音源データ形成部３４Ｌ、３４Ｒが音源データｓｉｇＬ、ｓｉｇＲと、入力音信号ｉｎｐｕｔＬ、ｉｎｐｕｔＲとの比較（相互相関）により得るようにしても良く、放音非目的音キャンセラ処理部３２内の適応フィルタから該当する情報を取出して得るようにしても良い。

Ｄ／Ａ変換部３５Ｌ、３５Ｒはそれぞれ、対応する逆相音源データ形成部３４Ｌ、３４Ｒから出力された合成逆相音源データｓｉｇΣＬ／、ｓｉｇΣＲ／をアナログ信号に変換して対応するサブスピーカ３６Ｌ、３６Ｒに与えるものである。

サブスピーカ３６Ｌは、マイクロフォン４Ｌが取り付けられている筒体のマイクロフォン４Ｌの捕捉面側の空間に対して放音するように設けられており、合成逆相音源データｓｉｇΣＬ／が変換されたアナログ信号に基づいて放音を行う。

サブスピーカ３６Ｒは、マイクロフォン４Ｒが取り付けられている筒体のマイクロフォン４Ｒの捕捉面側の空間に対して放音するように設けられており、合成逆相音源データｓｉｇΣＲ／が変換されたアナログ信号に基づいて放音を行う。

マイクロフォン４Ｌが捕捉しようとする空間には、スピーカ３Ｌからマイクロフォン４Ｌへの放音音響経路を経由した音源データｓｉｇＬに係る放音非目的音と、スピーカ３Ｒからマイクロフォン４Ｌへの放音音響経路を経由した音源データｓｉｇＲに係る放音非目的音と、サブスピーカ３６Ｌから放音された合成逆相音源データｓｉｇΣＬ／に係る逆相放音非目的音とが放音され、逆相成分の重畳により、スピーカ３Ｌ、３Ｒからマイクロフォン４Ｌへの放音目的音が大幅に打ち消される。すなわち、マイクロフォン４Ｌが捕捉した入力音信号における放音非目的音の成分はかなり小さいものとなる。

また、マイクロフォン４Ｒが捕捉しようとする空間には、スピーカ３Ｌからマイクロフォン４Ｒへの放音音響経路を経由した音源データｓｉｇＬに係る放音非目的音と、スピーカ３Ｒからマイクロフォン４Ｒへの放音音響経路を経由した音源データｓｉｇＲに係る放音非目的音と、サブスピーカ３６Ｒから放音された合成逆相音源データｓｉｇΣＲ／に係る逆相放音非目的音とが放音され、逆相成分の重畳により、スピーカ３Ｌ、３Ｒからマイクロフォン４Ｒへの放音目的音が大幅に打ち消される。すなわち、マイクロフォン４Ｒが捕捉した入力音信号における放音非目的音の成分はかなり小さいものとなる。

その結果、放音非目的音キャンセラ処理部３２によってさらに放音目的音を除去すると、放音非目的音キャンセラ処理部３２から出力された入力音信号ＥＣｏｕｔＬ、ＥＣｏｕｔＲにおける放音非目的音の成分は極々僅かとなる。

第２の実施形態によっても、非目的音を一括して捉えるのではなく、放音非目的音及び背景非目的音に区別し、それぞれに適した除去処理を適用して除去して目的音を抽出するようにしたので、目的音の抽出精度を非常に高いものとすることができる。

第２の実施形態によれば、放音非目的音の除去に２種類の除去構成を適用したので、放音非目的音の除去を第１の実施形態より適切に行うことができ、目的音の抽出精度を一段と高いものとすることができる。

（Ｃ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記各実施形態では、スピーカが２つの場合を示したが、スピーカは１つでも３つ以上であっても良い。また、マイクロフォンも２つに限定されず、３以上あっても良い。スピーカとマイクロフォンとの数に応じて定まる放音音響経路の数を考慮して、放音非目的音キャンセラ処理部３２の内部構成を設計すれば良い。

第１の実施形態では、放音非目的音の除去構成として、放音非目的音キャンセラ処理部だけを備えるものを示し、第２の実施形態では、放音非目的音の除去構成として、放音非目的音キャンセラ処理部と、サブスピーカを利用した逆相重畳による除去構成とを備えるものを示したが、放音非目的音の除去構成として、サブスピーカを利用した逆相重畳による除去構成だけを備えるようにしても良い。要は、放音非目的音の除去構成と、背景非目的音の除去構成とを別個備えるものであれば良い。

上記各実施形態では、放音非目的音キャンセラ処理部などの放音非目的音の除去構成が常時動作するように説明したが、動作する期間を定めるようにしても良い。例えば、装置のそのときの動作モードによって、スピーカ３Ｌ、３Ｒからの放音動作がなされていない場合（例えば、楽曲データの再生が指示されていない場合や、スピーカ３Ｌ、３Ｒ以外のスピーカ等に外部出力されている場合）や目的音の入力がなされていない場合（例えば、音声コマンドの入力モードになっていない場合）などを把握できるのであれば、そのような場合には、放音非目的音の除去構成を停止させるようにしても良い。

また、利用者が放音非目的音の除去構成を動作させるか否かを選択できるようにしても良く、さらに、放音非目的音キャンセラ処理部と、サブスピーカを利用した逆相重畳による除去構成のうち、一方だけを、利用者が動作させるか否かを選択できるようにしても良い。また、放音非目的音キャンセラ処理部内の適応フィルタに適応動作させるか否かを利用者が選択でき、適応動作させない選択の場合には、その直前の適応動作で得られたフィルタ係数を適用した固定のデジタルフィルタとして動作させるようにしても良い。

また、放音非目的音の再生に先立って、ホワイトノイズなどの所定の試験信号を再生し、試験信号の再生中に擬似放音非目的音生成部４１ＬＬ〜４１ＲＲでスピーカ３Ｌ、３Ｒからマイクロフォン４Ｌ、４Ｒへの音響経路特性を推定し、試験信号再生の終了と共に推定を停止させ、以降の音楽区間では、上記音響経路特性に基づいて擬似放音非目的音を生成するようにしても良い。この場合の動作例は次の通りである。まず、試験信号区間で擬似放音非目的音生成部４１ＬＬ〜４１ＲＲでスピーカ３Ｌ、３Ｒからマイクロフォン４Ｌ、４Ｒへの音響経路特性を推定し、試験信号再生の終了と共に推定を停止する。この時点で、擬似放音非目的音生成部４１ＬＬにはスピーカ３Ｌからマイクロフォン４Ｌまでの音響経路特性が設定されている。そして、これに、音源データｓｉｇＬを重畳することで擬似放音非目的音を生成する。同様に、擬似放音非目的音生成部４１ＲＬにはスピーカ３Ｒからマイクロフォン４Ｌまでの音響経路特性が、擬似放音非目的音生成部４１ＬＲにはスピーカ３Ｌからマイクロフォン４Ｒまでの音響経路特性が、擬似放音非目的音生成部４１ＲＲにはスピーカ３Ｒからマイクロフォン４Ｒまでの音響経路特性が設定されており、各々の音響経路特性に基づいて擬似放音非目的音を生成する。そして、減算部４２ＬＬ〜４２ＲＲで入力音信号から擬似放音非目的音を減算する。これにより、放音非目的音の成分を除去できる。

上記各実施形態の説明では、集音・放音装置１０、１０Ａの用途に言及しなかったが、集音・放音装置１０、１０Ａの用途は、放音動作と集音動作とが重なることがある装置に対して広く適用することができる。例えば、ハンズフリー電話装置、音声コマンドを受け付けられると共にＦＭ放送やＡＭ放送の受信機能も備えているカーナビゲーションシステムなどに、本発明の技術思想を適用することができる。

１０、１０Ａ…集音・放音装置、
２０…放音部、２１Ｌ、２１Ｒ…音源データ記憶部、２２Ｌ、２２Ｒ…Ｄ／Ａ変換部、３Ｌ、３Ｒ…スピーカ、
３０、３０Ａ…集音部、４Ｌ、４Ｒ…マイクロフォン、３１Ｌ、３１Ｒ…Ａ／Ｄ変換部、３２…放音非目的音キャンセラ処理部、３３…音源分離処理部、３４Ｌ、３４Ｒ…逆相音源データ形成部、３５Ｌ、３５Ｒ…Ｄ／Ａ変換部、３６Ｌ、３６Ｒ…サブスピーカ、４１ＬＬ〜４１ＲＲ…擬似放音非目的音生成部、４２ＬＬ〜４２ＲＲ…減算部。

Claims (7)

1. ２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置において、
   上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、
   上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、
   放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出する
   ことを特徴とする集音・放音装置。
2. 上記放音非目的音除去手段は、
   放音する音信号に基づき、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音の擬似信号を生成する擬似放音非目的音生成部と、
   生成された放音に伴う非目的音の擬似信号を、上記入力音信号から除去する減算部とを有する
   ことを特徴とする請求項１に記載の集音・放音装置。
3. 上記擬似放音非目的音生成部は、
   非目的音に先立って再生された所定の試験信号区間でのみ、各スピーカから各マイクロフォンまでの音響経路特性を推定し、非目的音が再生されている区間では推定を停止し、上記試験信号区間で得られた音響経路特性と非目的音の音源信号とを重畳することで疑似放音非目的音を生成することを特徴とする、請求項２に記載の集音・放音装置。
4. 非目的音に先立って再生される試験信号はホワイトノイズであることを特徴とする請求項３に記載の集音・放音装置。
5. 上記放音非目的音除去手段は、
   放音する音信号に基づき、上記各マイクロフォンの捕捉空間に放音して、放音音を打ち消す逆相音信号を形成する逆相音形成部と、
   形成された上記逆相音信号を、上記各マイクロフォンの捕捉空間に放音するサブスピーカとを有する
   ことを特徴とする請求項１又は２に記載の集音・放音装置。
6. ２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置に適用される音源分離ユニットであって、
   上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、
   上記放音部が放音する音信号が入力され、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至る経路までに設けられた放音非目的音除去手段とを備え、
   上記放音非目的音除去手段は、放音する音信号に基づき、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音の擬似信号を生成する擬似放音非目的音生成部と、生成された放音に伴う非目的音の擬似信号を、上記入力音信号から除去する減算部とを有し、
   放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出する
   ことを特徴とする音源分離ユニット。
7. ２本のマイクロフォンが周囲音を捕捉する集音部と、上記集音部の脇に配置された１又は複数のスピーカから放音する放音部とを有する集音・放音装置に搭載されるコンピュータが実行する音源分離プログラムであって、
   上記コンピュータを、
   上記２本のマイクロフォンが周囲音を捕捉した入力音信号の位相差に基づき、所定方位にある音源からの目的音以外を抑圧し当該目的音を抽出する音源分離手段と、
   上記放音部が放音する音信号が入力され、この放音する音信号に基づき、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音の擬似信号を生成する擬似放音非目的音生成部と、生成された放音に伴う非目的音の擬似信号を、上記入力音信号から除去する減算部とを有し、上記スピーカから放音され、上記各マイクロフォンで捕捉された放音に伴う非目的音を除去する、上記音源分離手段へ至るまでに設けられた放音非目的音除去手段として機能させ、
   放音に伴う非目的音を上記放音非目的音除去手段で除去すると共に、その他の非目的音を上記音源分離手段で除去して上記目的音を抽出する
   ことを特徴とする音源分離プログラム。

Images