JP4944672B2 - マルチメディアアイテム（ｍｕｌｔｉｍｅｄｉａｉｔｅｍ）を示す信号の記述子を決定する方法及び装置、データベース内のアイテムを検索する装置、並びにデータベース内のマルチメディアアイテムを分類する装置 - Google Patents

Description

本発明は、マルチメディアアイテム（ｍｕｌｔｉｍｅｄｉａ ｉｔｅｍ）の記述子を決定する方法及び装置に関する。本発明はまた、データベース内のマルチメディアアイテムを検索する装置及びデータベース内のマルチメディアアイテムを分類する装置に関する。

例えばマルチメディア資産管理など、信号処理及びデータ処理の多様な分野において、２つのアイテムを比較したり、あるアイテムと類似するデータベース内のアイテムを検索したりするために、マルチメディアアイテムのための小さなサイズであってコンパクトな記述子の算出が行われている。

一例を挙げると、データベースの画像、例えば個人の写真やビデオの画像は、データベース内の類似する画像をグループ化し、ある画像と類似する画像を検索することを簡単にする関連記述子を有することができる。

記述子はたとえ小さいサイズであっても、２つのアイテムの類似性を最大に反映していなければならないところに、記述子の課題がある。

周知で一般的に用いられる記述子の一つのタイプは、マルチメディアアイテムの信号の周波数分解に基づいている。従って、周波数帯域に対応しフィルタ処理された各信号を生成するためにフィルタバンクが用いられる。この時、各帯域でフィルタ処理された信号のパワー（ｐｏｗｅｒ）がしばしば計算される。パワー値の総計によって記述子が構築される。フィルタバンクの使用は、例えばオーディオ処理において一般的である。また画像に関して言えば、ウェーブレットフィルタやガボールフィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒ）などのフィルタバンクが、画像解析や画像検索において広く用いられている。

画像の特徴や画像の類似性を反映する記述子の能力を高めるために、下記の手段のうちのひとつが一般的に適用される。
１．フィルタの数を増やす。
２．フィルタの配置及び種類を最適化する。
３．各フィルタの精度を高める。

第１の手段は、例えば８つのフィルタの代わりに１２のフィルタを用いることで実現できる。これによって、信号周波数スペクトルはより良く表される。

第２の手段は、画像の場合は、ウェーブレットフィルタをガボールフィルタに取り替えることで実現できる。ウェーブレットフィルタは、水平周波数、垂直周波数及びダイアゴナル（ｄｉａｇｏｎａｌ）周波数を考慮することによって、２次元周波数スペクトルの範囲をカバーする一方、ガボールフィルタは、より適応性があって、より多くの方向の周波数を表現することができる。これによって、画像や特に画像のテクスチャをより良く表現することができる。

第３の手段は、フィルタ、とりわけディジタルフィルタを改良し、フィルタカーネルを示すために用いられるサンプルの数を増やすことによって実現できる。例えば、１６×１６カーネルを３２×３２カーネルに置き換えると、ガボールフィルタの精度を高めることができる。

フィルタバンクにおいては、フィルタのスペクトルが重なり合い、従って周波数帯域が適切に計算されないという問題がたびたび生じる。例えば、ガボールフィルタはガウス分布スペクトルを有する。これらのスペクトルは、本質的に互いに重なり合う。この重なり合いによって、特に一つあるいはいくつかのフィルタが周波数ゼロの部分を多数含む場合において画像検索の性能が落ちる。

縞を表す２つの画像を例に挙げる。２つの画像における縞の方向と周波数は同一である。２つの画像の唯一の差異点は、空間的に一定なオフセットにある。各画像の記述子は、ガボールのサブバンドのパワーに基づいて計算される。たとえ画像が同じ種類のテクスチャを表していても、記述子の差が大きくなるにつれて、オフセットも大きくなる。

日中の異なる時間において同じ場面を表す２つの画像を別の例として挙げる。照度の違いが大きいほど、記述子の差も大きくなる。例えば、日中の車を表すある画像を用いて、車を表す画像をデータベースにおいて検索する。そのとき、夕方のようにより微光なレベルにおける車を表す画像を検出することはできない。

この効果は、特に意味的に類似するアイテムを検索する場合、データベースにおける検索の実行をより難しいものにする。例えば、あるオーディオクリップと類似するリズムを有するオーディオクリップを検索する。オーディオクリップが技術的な理由から異なる信号オフセットを有する場合、同一のリズムを有するが異なるオフセットを有するオーディオクリップのうち検出できないものもある。

また、マルチメディアアイテムを分類するためにフィルタバンクに基づく記述子を用いる場合、マイナスの影響が生じ得る。これにより、記述子は、画像にひとつあるいはいくつかのラベルを属性付けるクラシファイア（ｃｌａｓｓｉｆｉｅｒ）に組み込まれる。例えば、画像における屋外場面のクラシファイアは、ある画像の屋外場面を検出し、この画像に対して「屋外」というラベルを作成することができる。クラシファイアは、典型的な画像によって通常トレーニングされている。これらの画像が日中の画像のみを含む場合は、クラシファイアは例えば午前中など微光レベルにおける屋外場面を検出できない。

本発明は、前述の不利益のうち少なくとも一つを回避し、バンクフィルタを用いてマルチメディアアイテムの記述子を計算する方法を提案する。

本発明によれば、画像の記述子を決定する装置を提供する。この装置は以下の手段を含む。

第１組の係数を得るために方向フィルタの第１バンクを前記画像に適応する手段（２）と、
前記画像の平均値を示す第２組の係数を得るために、フィルタの第２バンクを前記画像に適用する手段（３）と、
第１に、前記第１組の係数に対応する画像と前記第２組の係数に対応する画像との差分画像を取得し、第２に、前記差分の関連パワー（ｐｏｗｅｒ）を計算して（Ｓ４）記述子を得ることよって前記画像を示す記述子を計算する手段（４）と、
を含む。

ここで、前記画素値の二乗平均によって、前記差分画像の二次の画像ブロックにおいて前記関連パワーが算出され、前記記述子は一組の値であって、それぞれの値はそれぞれの差分画像における一の画像ブロックに対応している。

データベース（１）内の画像を検索する装置であって、
前記の記述子を決定する装置と、
サンプル画像の記述子と前記データベース（１）の画像の記述子とを比較する手段（５）と、
前記サンプル画像の記述子と前記データベースの記述子との差が所定の閾値より小さい前記データベース内の画像を検索する手段（６）と、
を含むことを特徴とする装置を提供する。

データベース（１）内の画像を分類する装置であって、
前記記述子を決定する装置と、
前記記述子の分類のためのクラスタリング手段（７）と、
を含むことを特徴とする装置を提供する。

前記の装置により実行する、画像の記述子を決定する方法を提供する。

ここで、前記方法は、前記手段（２）が、第１組の係数を得るために前記画像に方向フィルタの第１のバンクを適用するステップ（Ｓ１）を含み、
前記手段（３）が、低域通過フィルタで処理された画像を示す第２組の係数を得るために、フィルタの第２バンクを前記画像に適用し（Ｓ２）、
前記手段（４）が、第１に、前記第１組の係数に対応する画像と前記第２組の係数に対応する画像との差分画像を取得し、第２に、前記差分に関連したパワー（ｐｏｗｅｒ）を計算して（Ｓ４）記述子を得ることによって前記画像を示す記述子を計算し（Ｓ３）、
前記画素値の二乗平均によって、前記差分画像の二次の画像ブロックにおいて前記関連したパワーが算出され、前記記述子は一組の値であって、それぞれの値はそれぞれの差分画像における一の画像ブロックに対応している、ことを特徴とする。

前記方向フィルタはガボール（Ｇａｂｏｒ）型フィルタであることを特徴とする。

前記フィルタの第２バンクは、低域通過フィルタであることを特徴とする。

前記フィルタの第２のバンクは、前記ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する方位フィルタであることを特徴とする。

前記第１組の係数および第２組の係数における係数は、前記フィルタの一方向と一スケールのそれぞれに対応することを特徴とする。

本発明の他の特徴及び利点は、本発明の限定されない実施形態の説明を通して表され、添付の図面を用いて明らかにされるであろう。

本発明の実施形態は、ソフトウェア、ファームウェア、ハードウェアにおいて、または多様な技術の組み合わせによって実施されることができる。例えばある実施形態において、本発明は、コンピュータプログラム製品またはソフトウェアとして提供されることができる。コンピュータプログラム製品またはソフトウェアは、本発明に応じて処理を実行するコンピュータ（または他の電子装置）をプログラミングするために用いられ命令を記憶している機械またはコンピュータ読み取り可能な媒体を含む。他の実施形態では、本発明のステップは、ステップを実行するための配線回路を含む特別なハードウェアコンポーネントによって、またはプログラムによるコンピュータコンポーネント及びカスタムハードウェアコンポーネントの任意の組み合わせによって、実行されることができる。

従って、機械読み取り可能な媒体は、機械（例えばコンピュータ）により読み取り可能な媒体構造において情報を記憶または送信するための任意のメカニズムを含んでいてもよい。これらのメカニズムは、フロッピー（登録商標）ディスク、光ディスク、ハードディスクドライブ、ホログラフィックディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭｓ）、光磁気ディスク、読み出し専用メモリ（ＲＯＭｓ）、ランダムアクセスメモリ（ＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気または光カード、フラッシュメモリ、インターネットを利用した伝送、電気、光、音響信号または伝搬信号のその他の構成（例えば、搬送波、赤外線信号、ディジタル信号など）などを含むが、これらに限定されるものではない。

以下の議論から明らかであって具体的に記載されていない限り、「処理」、「コンピューティング」、「計算」、「決定」などの用語を用いた議論は、コンピュータシステムまたは類似のエレクトロニックコンピュータデバイスの動作及び処理に言及していて、これはコンピュータシステムメモリやレジスタ、その他の情報記憶装置、情報伝送装置またはディスプレイ装置などの内部において物理量として示されるデータを操作し変換すると理解される。

下記の実施形態の詳細な説明において、本発明が実施され得る具体的な実施形態を表す添付図面が参照される。図面では、いくつかの図を通して同様の番号は実質的に類似の構成要素を示す。実施形態は、当業者が本発明を実施できるように十分に詳細に記載される。その他の実施形態は活用され、構造的、論理的及び電気的な変更は本発明の範囲から逸脱することなくなされることができる。また、本発明の多様な実施形態は、たとえ異なっていても、必ずしも相互排他的ではないことを理解されたい。例えば、ある実施形態で記載された特定の特徴、構成または特性は、その他の実施形態においても含まれることができる。

図１は、本発明の実施形態のフローチャートを示す図である。

ステップＳ１において、マルチメディアアイテムを示す信号にフィルタバンクが適用される。

データベースにおけるインデックス付け及び画像検索を目的として画像のテクスチャを得るために、例えば垂直方向や水平方向などいくつかの方向における詳細な度数を表すステアード（ｓｔｅｅｒｅｄ）（または方向）フィルタがしばしば用いられる。ステアードフィルタの中でも、ガボールフィルタは、インデックス付けの効率がよいものとして知られている。

本願明細書に記載の好適な実施形態によると、フィルタバンクは、ガボール型のフィルタに基づく。エルミートフィルタ（Ｈｅｒｍｉｔｅ ｆｉｌｔｅｒ）や一般的なガウスフィルタのようなその他のフィルタが用いられてもよい。ガボールフィルタは、次式によって定義される。

σ_ｘ、σ_ｙはガボールフィルタにおけるガウスカーネルのｘ及びｙ方向の標準偏差、Ｗｘはｘ方向における周波数偏移、ｘ及びｙはピクセル座標を示す。この方程式のフーリエ変換は、次式である。

ここで、σ_ｕ及びσ_ｖは次式であって、Ｗはフィルタの中心周波数である。
ガボールフィルタの実部は、次式である。

ガボールフィルタバンクは、ｇ_ｍｎ（ｘ，ｙ）＝ａ^−ｍｇ（ｘ’，ｙ’）により生成される。ここで、ａ＞１、ｍ及びｎは整数である。ｍ及びｎは、それぞれ具体的なスケール（ｓｃａｌｅ）と具体的な方向を表す。ここで、ｘ’＝ａ^−ｍ（ｘｃｏｓθ＋ｙｓｉｎθ）、ｙ’＝ａ^−ｍ（−ｘｓｉｎθ＋ｙｃｏｓθ）、θは次式、Ｋは方向の総数であって、０≦ｎ≦Ｋである。

スケールは、ｍ（０≦ｍ＜Ｓ）によって表され、ｍ＝０は基本周波数帯域であって、Ｓはスケールの数である。スケールは、フィルタによって絞り込まれた詳細な度数を示す。画像に関して言うと、低いスケールは全体の画像レイアウトを捕らえ、細かいスケールは草や葉を捕らえることができる。

フィルタバンクの実部は、ｇ_Ｒｍｎ（ｘ，ｙ）＝ａ^−ｍｇ_Ｒ（ｘ’，ｙ’）である。

本実施形態によると、Ｓ＝４、Ｋ＝６、Ｕ_ｈ＝０．４、Ｕ_ｌ＝０．０５である。

Ｕ_ｈは一番大きい中央周波数であり、Ｕ_ｌは一番小さい中央周波数である。

ａは、次式によって計算される。

ステップＳ１の間では、ガボールフィルタの実部からなるフィルタバンクが信号に適用される。それぞれのスケール及び方位に対して、Ｓ×Ｋ出力信号を得る。

ステップＳ２では、Ｋ方向の一つにおけるＳスケールの一つに応じた信号の平均値を得るために、Ｋ×Ｓ低域通過フィルタが入力信号に適用される。

適用される低域通過フィルタは、次式である。

そして、適用される低域通過フィルタのバンクは、ｑ_ｍｎ（ｘ，ｙ）＝ａ^−ｍｑ（ｘ’，ｙ’）である。ここでａ＞１であって、ｍ、ｎは整数である。

ｍ及びｎは、対応するガボールフィルタのｍ及びｎに相当する。このことは、平均フィルタがガボールフィルタと同一の方向及び同一のスケールを有することを意味する。より簡素な改良型においては、スケールは一定であることができる。この場合、最も細かいスケール、すなわちｍ＝Ｓ−１が選択されるべきである。

ステップＳ２の改良型では、ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する一組の方位フィルタが用いられる。

ステップ３では、記述子が各信号に対して計算される。

記述子を計算するために、ガボールフィルタバンクで処理された信号と、低域通過フィルタによって計算された信号との差分が、マルチメディアアイテムの各ピクセルに対して計算される。Ｓ×Ｋ差分画像はこのようにして得られる。

ステップＳ４では、記述子を得るために、Ｓ．Ｋ差分信号のそれぞれにおけるパワーが求められる。

このため、いくつかのピクセルを含んだ二次の画像ブロックにおいて、パワーは信号値の二乗の平均によって推定される。この場合、記述子は全てのブロックのパワー値を含む。

他の実施例では、または組み合わせでは、他の統計学的モーメント、中心モーメントまたはアンセンタード（ｕｎｃｅｎｔｒｅｄ）モーメントを用いることができる。

ブロックのパワー値を計算するために、Ｓ×Ｋ差分画像は、１６の二次の画像ブロックに分割される。各差分画像のＬピクセルを有する各ブロックｋでは、下記の方程式に従って、画像ピクセル値は二乗の総和をブロック当たりのピクセルの数によって分割される。

ここで、Ｄはピクセルの差分値であって、Ｐはブロックに対して得られたパワー値である。その結果得られた記述子｛Ｐ_ｋ／０≦ｋ＜１６ＳＫ｝は、１６×Ｓ×Ｋの係数を有する。

他の実施形態によると、全画像に対するパワー値を推定し、または任意の形状の画像領域に対するパワー値を計算する。

図２は、本発明の好適な実施形態による装置を示す図である。この装置は、本発明による方法を優先的に実施する。

このため、好適な実施形態による装置は、ガボールフィルタ２、低域通過フィルタ３及び微分器４を含み、データベース１からマルチメディアデータを受け取る。

ガボールフィルタ２及び低域通過フィルタ３は、データベース１のマルチメディアデータを入力として受け取る。これらは、マルチメディアアイテムのそれぞれに対して、図１を参照して前述した一組のＫ^＊Ｓ係数を計算する。微分器４は、ガボールフィルタによって計算された係数と、図１を参照して説明したように低域通過フィルタによって計算された係数との差を計算する。

図３に表されたクエリーのように、サンプル画像を用いたデータベース１内の画像検索に典型的に適用することができる。この場合、サンプル画像やデータベースの画像に対して係数が求められる。モジュール５は、入力としてサンプル画像の記述子とデータベース１の画像の記述子とを受け取り、サンプル画像に対して得られた記述子と、データベースの画像それぞれまたはデータベースの画像のサブセットの記述子との差を計算する。記述子は一組のＳ^＊Ｋ係数からなり、各係数ｉの差Ｄｉはモジュール５によって計算される。その後、サンプル画像と所定の画像との間における次の差が計算される。

最小の差を有する多数のデータベースからの画像は、画像検索のモジュール６によってサンプル画像と比べて最も近い画像としてユーザに返送される。これは所定の閾値より小さい差を有する多数の画像であることができる。最先端の画像検索に応じて他の異なる式を用いることができる。

図４では、図３に記載されたモジュール４は、画像分類モジュール７に接続される。

画像分類７のようなモジュールが、画像の分類を構築する。画像は、記述子の値によって分類される。極めて近い記述子の値を有する画像が、同一のカテゴリに属するように分類される。分類は、所定のクラスタ数を用いたＫ平均などのクラスタリング手法によることができる。

本発明の実施形態のフローチャートを示す図である。 本発明の実施形態による装置を示す図である。 本発明の画像検索への適用を示す図である。 マルチメディア要素の分類についての本発明の実施形態を示す図である。

Claims (8)

1. 画像の記述子を決定する装置であって、
   第１組の係数を得るために方向フィルタの第１バンクを前記画像に適応する手段（２）と、
   前記画像の平均値を示す第２組の係数を得るために、フィルタの第２バンクを前記画像に適用する手段（３）と、
   第１に、前記第１組の係数に対応する画像と前記第２組の係数に対応する画像との差分画像を取得し、第２に、前記差分の関連パワー（ｐｏｗｅｒ）を計算して（Ｓ４）記述子を得ることよって前記画像を示す記述子を計算する手段（４）と、
   を含み、
   前記画素値の二乗平均によって、前記差分画像の二次の画像ブロックにおいて前記関連パワーが算出され、前記記述子は一組の値であって、それぞれの値はそれぞれの差分画像における一の画像ブロックに対応している、装置。
2. データベース（１）内の画像を検索する装置であって、
   請求項１に記載の記述子を決定する装置と、
   サンプル画像の記述子と前記データベース（１）の画像の記述子とを比較する手段（５）と、
   前記サンプル画像の記述子と前記データベースの記述子との差が所定の閾値より小さい前記データベース内の画像を検索する手段（６）と、
   を含むことを特徴とする装置。
3. データベース（１）内の画像を分類する装置であって、
   請求項１に記載の記述子を決定する装置と、
   前記記述子の分類のためのクラスタリング手段（７）と、
   を含むことを特徴とする装置。
4. 請求項１〜３のいずれかに記載の装置により実行する、画像の記述子を決定する方法であって、前記手段（２）が、第１組の係数を得るために前記画像に方向フィルタの第１のバンクを適用するステップ（Ｓ１）を含み、
   前記手段（３）が、低域通過フィルタで処理された画像を示す第２組の係数を得るために、フィルタの第２バンクを前記画像に適用し（Ｓ２）、
   前記手段（４）が、第１に、前記第１組の係数に対応する画像と前記第２組の係数に対応する画像との差分画像を取得し、第２に、前記差分に関連したパワー（ｐｏｗｅｒ）を計算して（Ｓ４）記述子を得ることによって前記画像を示す記述子を計算し（Ｓ３）、
   前記画素値の二乗平均によって、前記差分画像の二次の画像ブロックにおいて前記関連したパワーが算出され、前記記述子は一組の値であって、それぞれの値はそれぞれの差分画像における一の画像ブロックに対応している、ことを特徴とする方法。
5. 前記方向フィルタはガボール（Ｇａｂｏｒ）型フィルタであることを特徴とする、請求項４に記載の方法。
6. 前記フィルタの第２バンクは、低域通過フィルタであることを特徴とする、請求項４に記載の方法。
7. 前記フィルタの第２のバンクは、前記ガボールフィルタの検出感度の方向に垂直な線にそって平均値を計算する方位フィルタであることを特徴とする、請求項５に記載の方法。
8. 前記第１組の係数および第２組の係数における係数は、前記フィルタの一方向と一スケールのそれぞれに対応することを特徴とする、請求項４〜７のいずれか１項に記載の方法。