JP5435221B2

JP5435221B2 - 音源信号分離装置、音源信号分離方法及びプログラム

Info

Publication number: JP5435221B2
Application number: JP2009220197A
Authority: JP
Inventors: 俊之野村; 晃井上
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-09-25
Filing date: 2009-09-25
Publication date: 2014-03-05
Anticipated expiration: 2029-09-25
Also published as: JP2011069948A

Description

本発明は、音源信号分離装置、音源信号分離方法及びプログラムに関する。

従来の音源信号分離装置の一例が非特許文献１に記載されている。音源信号分離装置は、入力オーディオ信号を複数の音源信号に分離する装置である。

音源信号に分離する方法として、ブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）と呼ばれる手法を用いられる。ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献１に開示されている。これらの関連技術は音源数を適切に設定することで入力オーディオ信号から自動的に音源信号に分離することができる。

一方、特許文献１によれば、所望音声と背景雑音とから構成される入力オーディオ信号から、各音源信号である所望音声と背景雑音とに分離し、背景雑音を抑圧する装置として、雑音抑圧装置が知られている。

雑音抑圧装置は、所望の音声信号に重畳されている雑音(ノイズ)を抑圧するシステムである。一般的に、雑音抑圧装置は、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、入力信号から雑音成分の推定パワースペクトルを差し引く。これにより、所望の音声信号に混在する雑音が抑圧される。さらに、これらの雑音抑圧装置は、雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用される。このような雑音抑圧装置に関連する技術としては、例えば、特許文献１に記載されている技術がある。しかしながら、雑音抑圧に関する従来技術は音源の種類を仮定しており、入力オーディオ信号が複数の音声信号から構成される場合あるいは音源の種類が変動した場合、分離された音源信号の品質が劣化する。

特開２００２−２０４１７５号公報

2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 299-327）、299ページから327ページ

しかしながら、音源数が不明な場合は、非特許文献１に開示されている手法を適用することが出来なかった。すなわち、入力オーディオ信号を予め定めた数の音源信号に分離する処理方法はあるが、分離する音源の数が不明な場合、あるいは種類が不明な場合に対応することが出来なかった。

また、音源数が変動したことを検知できない場合には、実際の音源数とは異なる音源数に分離してしまうため、分離された音源信号の品質が劣化してしまう問題があった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、分離する音源の数あるいは種類を事前に設定する必要がない音源分離装置を提供することにある。

上記課題を解決する本発明は、入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出する音源情報算出部と、前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える音源信号分離部とを有する音源信号分離装置である。

上記課題を解決する本発明は、入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出し、前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える音源信号分離方法である。

上記課題を解決する本発明は、入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出する音源情報算出処理と、前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える音源信号分離処理とを情報処理装置に実行させるプログラムである。

本発明は、音源の数、位置、種類等の変動に頑健な音源信号分離が実現できる。

図１は第１の実施の形態のブロック図である。図２は映像オブジェクトの例を示した図である。図３は第１の実施の形態における音源情報算出部１のブロック図である。図４は第２の実施の形態における音源情報算出部１のブロック図である。図５は第２の実施の形態における音源位置推定部１２を説明するための図である。図６は第３の実施の形態における音源情報算出部１のブロック図である。図７は第４の実施の形態における音源情報算出部１のブロック図である。図８は第５の実施の形態における音源情報算出部１のブロック図である。

本発明の実施の形態について図面を参照して詳細に説明する。
＜第１の実施の形態＞
図１は第１の実施の形態のブロック図である。

図１を参照すると、本発明の第１の実施の形態は、音源情報算出部１と、音源分離部２とから構成されている。映像信号は、音源情報算出部１に入力される。オーディオ信号は音源分離部２に入力される。

音源情報算出部１は、映像信号を解析して映像オブジェクトを検出し、検出した映像オブジェクトから音源情報を算出し、音源分離部２に出力する。音源分離部２は、音源情報を利用して、オーディオ信号を複数の音源信号に分離し、音源信号を出力する。

次に、各部の詳細を説明する。

音源情報算出部１は、まず、映像信号から映像フレーム内の映像オブジェクトを検出する。映像オブジェクトの例として、図２におけるオブジェクトＡ７４，オブジェクトＢ７５，オブジェクトＣ７６のような、人物オブジェクトがある。その他、自動車、建物、草木、など、空間を構成する物体は、映像オブジェクトと見なすことができる。

映像オブジェクトの検出方法として、例えば、パターン認識を利用したオブジェクト検出方法が知られている。これらの手法では、予め映像オブジェクトのテンプレートを作成し、このテンプレートを用いて映像フレーム全体にテンプレートマッチングを施す。映像フレーム内の映像とテンプレートとの相関値がしきい値以上であれば、所望の映像オブジェクトが存在するものと判断する。

また、音源情報算出部１は、図３に示す如く、音源数検出部１１を備えている。この音源数検出部２１は、検出した映像オブジェクトの数を音源情報として出力する。

音源分離部２は、音源情報を用いてオーディオ信号を複数の音源信号に分離する。音源信号に分離する方法として、非特許文献１に開示されているブラインド信号源分離（Blind Source Separation）や独立成分分析（Independent Component Analysis）、あるいは、特許文献１に開示されている雑音抑圧に関する手法を用いることができる。音源情報としてオブジェクトの数が入力される場合、ブラインド信号源分離や独立成分分析における分離する音源数として利用することにより、事前に音源数を設定する必要がなくなる。
＜第２の実施の形態＞
第２の実施の形態を説明する。

第２の実施の形態は、オブジェクトの数とオブジェクトの３次元位置とを、音源情報として用いる。尚、第１の実施の形態と同様な構成のものについては、同じ符号を付し、詳細な説明を省略する。

第２の実施の形態における音源情報算出部２は、図４に示す如く、音源数検出部１１に加えて、音源位置推定部１２を備える。尚、本構成例では映像オブジェクト検出部１で検出された映像オブジェクトは全て音を発生しうるものとする。

音源数検出部１１は、検出した映像オブジェクトの数を音源数として音源位置推定部１２に出力する。

音源位置推定部１２は、検出した映像オブジェクトの３次元位置を算出し、この３次元位置と音源数とを音源情報として出力する。音源位置推定部１２における３次元位置算出の動作の一例を、図５を参照して説明する。図５は、映像フレーム１０１の映像を、カメラ視点１０２から観察している概念図である。カメラの左右の視野角をθとする。映像フレーム１０１からは、ビデオオブジェクトとして、オブジェクトＨ１０３と、オブジェクトＩ１０４が検出されている。また映像フレーム１０１の横サイズ（画素幅）をＷ、オブジェクトＩ１０４の画素幅をＴとする。

オブジェクトＩ１０４が人物の顔であることが分かっていると仮定する。すなわち、対象オブジェクトの種類が既知であって、平均的な大きさも既知である。この場合の人物の顔の平均的な横幅をｍとする。求めたいオブジェクトまでの距離をＺとすると、奥行きＺ地点における映像フレーム１０１の横幅Ｕは、数１で表される。

ここで横幅Ｕは、画面の横サイズＷと、顔の横幅ｍとを元に、数２で求められる。

数１と数２より、Ｚは次式（数３）で算出できる。

算出したＺを用いて横幅Ｕを算出することができるので、オブジェクトのＸ座標を特定できる。またカメラの上下の視野角を用いれば、オブジェクトのＹ座標を特定することができる。

以上は対象オブジェクトの平均的な大きさが既知である場合の３次元位置推定方法について述べた。一方、対象オブジェクトの元サイズ（ｍの値）が未知の場合は、同じ映像フレーム内の既知オブジェクトの元サイズとの比率によって、距離を推定することができる。また、すべてのオブジェクトの元サイズが未知の場合には、最も大きなオブジェクトの元サイズにあらかじめ決めておいた値を用いることで、擬似的にすべてのオブジェクト位置を推定することができる。

音源分離部２は、音源情報を用いてオーディオ信号を複数の音源信号に分離する。第２の実施の形態では、音源情報は、オブジェクト数とオブジェクトの３次元位置とである。オブジェクト数は、第１の実施の形態と同様に、ブラインド信号源分離や独立成分分析における分離する音源数として利用することにより、事前に音源数を設定する必要がなくなる。更に、オブジェクトの３次元位置を用いて、当該位置に対してビームフォーマーを形成し、このビームフォーマーを初期値として独立成分分析を用いることにより、高精度の音源分離が実現できる。
＜第３の実施の形態＞
第３の実施の形態を説明する。

図６は第３の実施の形態における音源情報算出部１のブロック図である。

第３の実施の形態における音源情報算出部１は、第２の実施の形態に加えて、映像種類判別部１３を備える。尚、上述した実施の形態と同様な構成のものについては、同じ符号を付し、詳細な説明を省略する。

映像種類判別部１３は、映像信号を解析して検出された映像オブジェクトの種類を特定し、音を発生しうるオブジェクトのみを選択して音源数検出部１１と音源位置推定部１２とに出力する。オブジェクトの種類の例として、男性の顔、女性の顔、子供の顔、男性の全身、女性の全身、子供の全身、自動車、電車、ＰＣ、ディスプレイなどがある。

映像種類判別部１３の動作の一例を以下に述べる。予めいくつかの映像カテゴリを決めておき、それぞれのカテゴリに対応する典型的な画像群をテンプレートとして用意する。ビデオオブジェクト領域画素と前記テンプレートとのパターンマッチングを行い、最も類似度が大きいカテゴリにオブジェクトを分類することによって種類を判別する。パターンマッチングの方法としては、正規化相関法などの公知の技術を用いることができる。

さらに、映像種類判別部１３は、判別した映像オブジェクトの種類を用いて音を発生しうるオブジェクトを判別する。この判別方法の一例は、前記テンプレートに音を発生するかどうかの情報を予め付加しておけばよい。例えば、前述のオブジェクトの種類の例では、音を発生しうるオブジェクトとして男性の顔、女性の顔、子供の顔、自動車、電車、ＰＣなどを設定すれば良い。

音源数検出部１１は、映像種類判別部１３から、音を発生しうるオブジェクトの情報をうけ、音を発生しうるオブジェクトの数を、音源数として音源位置推定部１２に出力する。

音源位置推定部１２は、映像種類判別部１３から、音を発生しうるオブジェクトの情報をうけ、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数とを音源情報として出力する。

音源分離部２は、音源情報（音源数とオブジェクトの３次元位置）を用いて、オーディオ信号を複数の音源信号に分離する。

このような構成を用いることにより、映像中に音を発生しない映像オブジェクトが存在しても、音源情報をより正確に算出することができる。

次に、第３の実施の形態の他の形態を説明する。

第３の実施の形態の他の形態における音源情報算出部１は、上述した第３の実施の形態と同様な構成であり、音源情報の構成のみが異なる。同一なものについては、同じ符号を付し、詳細な説明を省略する。

音源位置推定部１２は、映像種類判別部１３から、音を発生しうるオブジェクトの情報をうけ、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類を音源情報として出力する。

音源分離部２は、音源情報（音源数と音源の種類とオブジェクトの３次元位置）を用いて、オーディオ信号を複数の音源信号に分離する。音源の種類により、音源信号に分離する方法を切り替えて用いることができる。

例えば、音源の種類が雑音の場合は、特許文献１に開示されている雑音抑圧に関する手法を用いることができる。また、音源の種類が音声の場合は、非特許文献１に開示されているブラインド信号源分離（Blind Source Separation）や独立成分分析（Independent Component Analysis）を用いることができる。さらに、複数の音源の種類の組合せにより、音源信号に分離する方法を切り替えて用い手も良い。例えば、複数の音源の種類の中に雑音が含まれる場合は、非特許文献１に開示されているブラインド信号源分離（Blind Source Separation）や独立成分分析（Independent Component Analysis）を用いて分離を行った後、特許文献１に開示されている雑音抑圧により雑音を抑圧しても良いし、逆に雑音を抑圧した後、その他の音源を分離しても良い。

このような構成を用いることにより、音源の種類に応じて適切な分離方法を用いることが出来るため、良好な音源分離が実現できる。
＜第４の実施の形態＞
第４の実施の形態を説明する。

図７は第４の実施の形態における音源情報算出部１のブロック図である。

第４の実施の形態における音源情報算出部１は、第２の実施の形態に加えて、変動検出部１４を備える。尚、上述した実施の形態と同様な構成のものについては、同じ符号を付し、詳細な説明を省略する。

変動検出部１４は、音源数検出部１１からの音源数と、音源位置推定部１２からの映像オブジェクトの３次元位置とを受信し、音源情報を構成する音源数と映像オブジェクトの３次元位置との時間的な変動を検出する。そして、変動の検出結果を音源情報に含めて出力する。変動の検出方法としては、例えば、過去の音源情報を蓄えておき、その値と比較すれば良い。

音源分離部２は、上述した動作に加え、音源の数、位置、種類等に変動が生じた場合、前述の初期ビームフォーマーを再設定し、独立成分分析を再度用いることにより、これらの変動に対する追従性を向上させることができる。

このような検出結果を用いることにより、音源の数、位置、種類等に変動が生じた場合にも、後段の音源分離部２において良好な音源分離が実現できる。
＜第５の実施の形態＞
第５の実施の形態を説明する。

図８は第５の実施の形態における音源情報算出部１のブロック図である。尚、上述した実施の形態と同様な構成のものについては、同じ符号を付し、詳細な説明を省略する。

図８に示される如く、音源情報算出部１は、音源数検出部１１と、音源位置推定部１２と、映像種類判別部１３と、変動検出部１４とを備える。第５の実施の形態における音源情報算出部１は、第３の実施の形態と第４の実施の形態とを組み合わせた構成であり、それらの効果を有する。

１音源情報算出部
２音源分離部
１１音源数検出部
１２音源位置推定部
１３映像種類判別部
１４変動検出部

Claims

入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出する音源情報算出部と、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える音源信号分離部と
を有する音源信号分離装置。
前記音源情報算出部は、検出されたオブジェクトの種類を判定し、オブジェクトのカテゴリごとに音を発生するかどうかの情報が予め付されたデータを参照し、検出されたオブジェクトのうち音源となるオブジェクトを判定し、音源となるオブジェクトの数を音源数として算出する
請求項１に記載の音源信号分離装置。
前記音源情報算出部は、音源情報の変動を検出し、この変動を示す情報を音源情報に含める変動検出部を有する請求項１又は請求項２に記載の音源信号分離装置。
前記音源信号分離部は、音源の種類について音源情報に変動が生じた場合、音源信号に分離する処理を再設定する
請求項３に記載の音源信号分離装置。
入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出し、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える
音源信号分離方法。
検出されたオブジェクトの種類を判定し、オブジェクトのカテゴリごとに音を発生するかどうかの情報が予め付されたデータを参照し、検出されたオブジェクトのうち音源となるオブジェクトを判定し、音源となるオブジェクトの数を音源数として算出する
請求項５に記載の音源信号分離方法。
音源情報の変動を検出し、この変動を示す情報を音源情報に含める
請求項５又は請求項６に記載の音源信号分離方法。
音源の種類について音源情報に変動が生じた場合、音源信号に分離する処理を再設定する
請求項７に記載の音源信号分離方法。
入力映像からオブジェクトを検出し、検出されたオブジェクトの種類を判定し、オブジェクト種類の判定結果に基づいて、３次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの３次元位置を算出し、この３次元位置と音源数と音源の種類とを音源情報として算出する音源情報算出処理と、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離し、音源の種類により音源信号に分離する方法を切り替える音源信号分離処理と
を情報処理装置に実行させるプログラム。
前記音源情報算出処理は、検出されたオブジェクトの種類を判定し、オブジェクトのカテゴリごとに音を発生するかどうかの情報が予め付されたデータを参照し、検出されたオブジェクトのうち音源となるオブジェクトを判定し、音源となるオブジェクトの数を音源数として算出する
請求項９に記載のプログラム。
前記音源情報算出処理は、音源情報の変動を検出し、この変動を示す情報を音源情報に含める
請求項９又は請求項１０に記載のプログラム。
前記音源信号分離処理は、音源の種類について音源情報に変動が生じた場合、音源信号に分離する処理を再設定する
請求項１１に記載のプログラム。