JP4864310B2 - 画像の表現方法、記述子を符号化、送信、または復号化する方法、マッチング方法、画像の検索方法、装置、およびコンピュータプログラム - Google Patents

Description

［発明の詳細な説明］
本発明は、２次元画像中のオブジェクト（構造）を検出および局所化する方法に関する。実際的な用途としては、リモートセンシング、マルチオブジェクトの識別および医用画像がある。

テンプレートマッチングとしても知られる相互相関は、画像マッチングに一般的に用いられる技法である（W. K. Pratt著「Digital Image Processing」（John Wiley and Sons 1978, New York, pp. 526-566）およびD. Barnea and H. Silverman著「A class of algorithms for fast image registration」（IEEE Trans. Computing., vol 21, no. 2, pp. 179-186, 1972））。しかしこれは、広く不明確な（すなわち顕著でない）極大値、雑音に敏感であること、およびマッチングされる画像またはパターン中の小さな幾何学的歪にさえも頑強性がないことを含むいくつかの欠点を有する。さらにこれは、特にパターンまたは画像に対して平行移動だけでなくスケール変更および回転も許可される場合に、計算費用が非常に高い技法である。

画像マッチング技法の別のグループは、幾何学的モーメントまたはモーメント不変量に基づく（M. K. Hu著「Visual pattern recognition by moment invariants」（IRE Trans. Information Theory, vol. 8, pp. 179-187, 1962）、M. R. Teague著「Image analysis via the general theory of moments」（J. Opt. Soc. Am., vol. 70, no. 8, pp. 920-930, 1980）およびY. S. Abu-Mostafa and D. Psaltis著「Recognition aspects of moment invariants」（IEEE Trans. PAMI, vol. 6, no. 6, pp. 698-706, 1984））。ほとんどの手法は、モーメントに基づくマッチング技法を用いる前に、グレーレベルまたはカラー画像を２値化したグレーレベル画像に変換する。通常、低次モーメントのみが用いられる。しかし、（Y. S Abu-Mostafa and D. Psaltis著「Recognition aspects of moment invariants」（IEEE Trans. PAMI, vol. 6, no. 6, pp. 698-706, 1984））が指摘しているように、モーメント不変量に基づく画像マッチングは識別性能がやや低い。

さらに別の可能な手法は、フーリエ変換の位相情報を用いることである。このような技法には、位相限定相関フィルタ(phase-only matched filter)（J. L. Horner and P. D. Gianino著「Phase only matched filtering」（Applied Optics, vol. 23, no. 6, pp. 812-816, 1984）およびE. D. Castro and C. Morandi著「Registration of translated and rotated images using finite Fourier Transforms」（IEEE Trans. PAMI, vol. 9, no. 5, pp. 700-703, 1987））がある。ここでの問題は、画像のスペクトル位相が回転および拡大縮小(scaling)に対して不変でないことである。この問題を解決するために、平行移動に対して不変であり、回転および拡大縮小をパラメータ空間における平行移動として表すフーリエ・メリン(Mellin)変換（ＦＭＩ）の適用が提案されている（Y. Sheng and H. H. Arsenault著「Experiments on pattern recognition using invariant Furier-Mellin descriptors」（J. Opt. Soc. Am., vol. 3, no. 6, pp. 771-776, 1986））。残念ながら、ＦＭＩ記述子の相関に基づくマッチングもまた、不明確な極大値を生じる。

上記の技法のほとんどが、さらに別の重大な問題を抱えている、すなわち、良好に動作するためには、関心の視覚オブジェクトまたは領域を「背景」と区分化することが必要である。区分化は、満足できる一般的で信頼できる頑強な解が存在しない非常に複雑な問題である。

本発明は、視覚オブジェクトを検出および局所化する、識別性能が高く事前の区分化を必要としない新規の手法を提案する。検出プロセスは非常に高速であり、標準的な相関に基づく手法よりも通常２〜５桁分速く、雑音の多い画像においても信頼できる結果を生じる。

本発明の態様を添付の特許請求の範囲に記載する。

本発明の１態様は、画像の表現方法を提供し、本方法は、画像を処理して、画像中のエッジ(edge)を強調表示する第２の画像（例えば強度勾配画像）を生成すること、および第２の画像の領域の、空間的に統合されたかまたは回転に対して不変である表現に基づいて記述子を導出することを含む。本発明の他の態様は、結果として得られる記述子、結果として得られる記述子の様々な使用（検索およびマッチング方法を含む）、ならびに当該方法を実行するとともに、記述子または表現を導出および／または使用する装置を含む。記述子の用途は、記憶または他の受動的な用途ならびに能動的な用途を含むことに留意すべきである。

添付図面を参照して本発明の実施形態を説明する。

本発明の実施形態は、区分化を用いない視覚オブジェクトの高速検索をサポートする画像記述子を包含する。図１は一例による、オブジェクトの視覚的な検索／認識に伴うステップおよびプロセスを示す。最初に、おそらくはオフラインで、元画像１０の事前に定義された好ましくは円形形状の領域Ｒ１、Ｒ２、．．、Ｒｎから新規の記述子Ｄ１、Ｄ２、．．、Ｄｎを抽出する。成分記述子を合成して画像記述子３０にし、成分記述子を抽出した対応する領域を示すリンクとともにデータベースに保存する。視覚オブジェクトの検索を行う場合、ユーザは単に、元画像または他の何らかの画像中のオブジェクト例２０を示す。これは例えば、関心のオブジェクトを囲む円を指定することによって行うことができる。次に、領域例から記述子４０を抽出し、マッチングシステム５０によって、データベース中の全画像からオフラインで抽出し記述子データベースに記憶した記述子とマッチング（比較）する。このマッチングプロセスが記述子間の高い類似度を示す領域は、同様の視覚オブジェクトを含む可能性が高く、適切なフォーマットでユーザに利用可能にされる（例えばディスプレイ６０に表示される）。

本発明の実施形態の１態様は、記述子の新規の設計である。本発明において提案する記述子は、画像をオブジェクト領域と背景領域に区分化する必要がないように設計される。これは、そのような事前の区分化が必要である場合、検索ターゲットを知らないと記述子を抽出できないため、重要である。これは、ターゲットオブジェクトが通常は事前に分からず、画像を全ての可能な関心「オブジェクト」に区分化することは不可能または非現実的であるため、記述子の抽出をオフラインで行うことができないことを意味する。データベース全体に対して区分化および記述子の抽出をオンラインで行うことは通常、利用できる処理能力に制約があるため、特に、大きな画像データベースに関わる場合に現実的でない。

本発明の提示した実施形態において開示した記述子を使用する場合、オブジェクト／背景の区分化は必要なく、オフラインで抽出した記述子に基づいて検索を極めて高速に実行することができる。さらに、検索結果は、低品質であることが多い区分化プロセスに依存しないため向上する。

記述子の抽出プロセスを図２に示す。入力画像１１０はモジュール１２０に送られ、このモジュール１２０が各画素位置における強度勾配を計算する。強度勾配の計算方法は、例えばインターネット上の、当該技術分野の教科書および論文に見ることができる。結果として得られる画像を「勾配画像」と呼ぶ。この勾配画像を次にモジュール１３０において、好ましくは重複する領域に細分する。用いる領域サイズは、関心のオブジェクトのサイズに広く対応すべきである。これは例えば、画像を見て画像中のオブジェクトを観察するインデクサ（indexer）によって設定されることができる。別法として、例えば、領域は、画像全体の所定の割合である面積を持つように設定することもできる。領域は異なるサイズであってもよい。画像領域を選択する他の方法を用いることもできる。領域は、コンテキスト（例えば画像中のオブジェクト）に無関係であってもよい。モジュール１４０が領域毎に、強度勾配画像に基づいてモーメント記述子を計算する。好ましいモーメントは、ツェルニケモーメント(Zernike moment)（例えば、M. K. Hu著「Visual pattern recognition by moment invariants」（IRE Trans. Information Theory, vol. 8, pp. 179-187, 1962）を参照）またはＡＲＴモーメント（例えば、「Introduction to MPEG-7」（J. Wiley発行、2002）を参照）であるが、他のタイプのモーメントを適用することもできる。モジュール１５０は、計算された全モーメントから或る種のモーメント（特徴）を選択し、それらを合成して特徴ベクトルを形成する。例えば、ＡＲＴモーメントの場合、１２個の角度成分および５個の半径方向成分を合成することにより良好な結果が得られる。図３は、６０個のＡＲＴ実および虚成分の畳み込み（convolution）マスクを示す。モジュール１７０において特徴ベクトルを量子化し、必要な記憶容量を減らした後、ディスクまたはシステムメモリに保存する。１成分につき６または５ビットへの一様な量子化により、１画素あたり８ビットの解像度の通常の光学画像で良好な結果が得られるが、検討している状況に適した異なる範囲を用いることもできる。対応する記述子によって記述される２つの領域間の距離（または非類似度）は例えば、特徴ベクトル間の差に対してＬ１またはＬ２ノルムを用いることによって計算することができる。

関心のオブジェクトの検索を行うためにバイナリ画像（オブジェクトの区分化画像等）からモーメントベースの記述子を抽出する方法が既知である。しかし、本実施形態は、強度勾配画像、またはエッジ強度画像をオブジェクト記述子として使用することを提案する。エッジ画像は、オブジェクトの外部境界ならびにオブジェクト内部の特徴を含む可能性が高く、さらに、オブジェクトと背景の強度に敏感でない。

図４（ａ）は、画像例とその強度勾配マップ（ｂ）を示す。図５（ａ）は、左側の飛行機を検索用のオブジェクト例として与えた後に、画像内で認識されるオブジェクトを示す。図５（ｂ）は、検出され、類似度の測度に基づいて左から右へ格付けされたオブジェクトを示す。

本発明は、以下で説明する２つの異なる手法に従うことによって、例えばマルチスペクトル画像にも適用することができる。

１番目の手法では、強度勾配計算ユニット１１０を、図６に示すマルチスペクトルユニットに置き換える。図６は、３つの成分Ａ、Ｂ、およびＣを有するマルチスペクトル画像の勾配の計算例を示す。これらの成分は、Ｒ、Ｇ、Ｂの色成分、あるいはＹ、Ｕ、Ｖの色成分とすることができるか、または任意の他の適切な色空間を用いることができる。１番目のステップにおいて、画像を帯域成分２１０、２２０および２３０に分離し、ユニット２４０、２５０、２６０が各帯域の勾配の大きさを別々に計算する。次に成分勾配統合ユニット２７０において成分の勾配の大きさを合成する。勾配の大きさ成分を合成する良い方法は加重平均であり、成分の大きさに適切な重みを掛けた後で総和する。次に、得られたマルチスペクトル勾配２８０を画像細分ユニット１３０への入力として用いて、上記と同様に処理する。検索オブジェクトの例がシステムに提示されると、データベース画像から記述子を抽出する際に用いた勾配の合成と同一の手法を使用する。勾配を合成したら、上記の例で挙げたのと同一の手法を用いて記述子を抽出する。

第２の手法では、図７に示すように、各画像帯域の記述子を別々に抽出および記憶する。入力画像３００は成分帯域３１０、３２０、３３０に分離され、記述は上述のように、モジュール３４０、３５０、３６０において帯域毎に別々に抽出される。全ての成分記述を記憶する。検索オブジェクト例の記述を同様の方法で抽出する、すなわち、帯域毎に別個の記述子を計算する。記述子のマッチングは各帯域において別々に行うことができ、例えば加重平均によってマッチングスコアを合成する。別法として、単一の帯域または帯域サブセットのみに基づいて検索を行ってもよい。２番目の手法はより柔軟であるが、より多くの記憶要件が必要となることが分かる。

マッチング手順の後に、結果を類似度に基づいて順序付けるか、閾値と比較する等してもよく、またその結果を表示してもよい。

本明細書において、画像という用語は、文脈から明らかである場合を除いて、画像全体または画像領域を意味する。同様に、画像領域は画像全体を意味する可能性がある。画像はフレームまたはフィールドを含み、静止画、または映画やビデオ等の画像シーケンスの、あるいは関連する画像群の画像に関連する。

画像はグレースケールまたはカラー画像、または別のタイプのマルチスペクトル画像、例えばＩＲ、ＵＶあるいは他の電磁画像、または音響画像等であってもよい。

本発明は例えば、適切なソフトウェアおよび／またはハードウェアの変更形態を有するコンピュータシステムにおいて実施することができる。本発明の態様は、ソフトウェアおよび／またはハードウェアの形態で、あるいは特定用途向けの装置において提供することができるか、またはチップ等の特定用途向けモジュールを提供することができる。本発明の１実施形態による装置におけるシステムのコンポーネントは、他のコンポーネントから遠隔して設けてもよい。例えば、本発明は、画像と関連する記述子を保存するデータベースを伴うサーチエンジンの形態で実施することができ、クエリ(query)は例えばインターネットを通じて遠隔入力される。記述子とそれが関連する画像は別々に保存されてもよい。

本発明の説明した実施形態は、画像の勾配画像を作成すること、および勾配画像の１つまたは複数の領域の記述子を導出することを伴う。勾配画像の代わりに、画像中のエッジを強調表示する他の技法を用いてもよい。

本発明の実施形態は、モーメントベースの技法を用いて、画像領域の記述子を導出する。しかし、特にその技法が各領域の空間的統合（例えば総和、加重和等）を伴う場合、および／または結果として得られる領域の表現／記述子が回転に対して不変である場合、他の技法を用いることもできる。

本発明の１実施形態の概略図である。 本発明の１実施形態のフロー図である。 ＡＲＴ成分の畳み込みマスクを示す図である。 図４（ａ）および図４（ｂ）は、画像およびその強度勾配画像である。 図５（ａ）および図５（ｂ）は、図４の画像において検出されたオブジェクトの画像である。 本発明の１実施形態によるシステムの図である。 本発明の別の実施形態によるシステムの図である。

Claims (20)

1. 画像を処理して、最初の画像を区分化することなく、前記画像中のエッジを強調表示する第２の画像を作成することと、
   前記第２の画像を複数の領域に細分することと、
   前記第２の画像の前記複数の領域の各々の領域記述子を導出することと
   を含み、
   前記第２の画像の領域の前記領域記述子を導出するステップは、回転に対して不変であるモーメント記述子を生成するための、前記領域の、モーメントベースの技法を用いた空間的統合を伴い、
   前記空間的統合は、前記領域をオブジェクトと背景面とに区分化することを含まない
   画像の表現方法。
2. 前記複数の領域のそれぞれについて導出された前記モーメント記述子を合成して特徴ベクトルを形成することによって前記画像に対する記述子を導出することを含む請求項１に記載の画像の表現方法。
3. 前記領域の少なくとも２つは重複する請求項１に記載の画像の表現方法。
4. 前記領域の少なくとも１つは回転対称である請求項２または請求項３に記載の画像の表現方法。
5. 前記回転対称である前記領域は、円形領域、六角形領域、四角形領域のうちの１つまたは複数である請求項４に記載の画像の表現方法。
6. 前記第２の画像を複数の領域に分割することを含む請求項５に記載の画像の表現方法。
7. 前記領域は画像の内容に無関係である請求項２〜６のいずれか一項に記載の画像の表現方法。
8. 前記領域記述子を導出するステップは、ツェルニケモーメントまたは角度動径変換モーメントを算出し、それによってモーメント記述子を生成することを含む、請求項１に記載の画像の表現方法。
9. 前記領域記述子を導出するステップは、さらに、
   前記算出されたモーメントのうちから所定数のものを選択することと、
   前記選択されたモーメントを組み合わせて領域記述子を導出することと
   を含む請求項８に記載の画像の表現方法。
10. 前記画像を処理して第２の画像を作成する前記ステップは、勾配画像を作成することを伴う請求項１〜９のいずれか一項に記載の画像の表現方法。
11. 前記画像はグレースケール画像であり、前記第２の画像は強度勾配画像である請求項１〜１０のいずれか一項に記載の画像の表現方法。
12. 前記画像はマルチスペクトル画像であり、１つまたは複数の成分のそれぞれについて勾配画像が導出される請求項１〜１０のいずれか一項に記載の画像の表現方法。
13. 画素の各成分の勾配値を、例えば総和、平均、または加重平均によって合成する請求項１２に記載の画像の表現方法。
14. 請求項１〜１３のいずれか一項に記載の方法を用いて導出された記述子を符号化、送信または復号する方法。
15. 請求項１〜１３のいずれか一項に記載の方法を用いて１つまたは複数の領域記述子を参照記述子として導出することと、
    請求項１〜１３のいずれか一項に記載の方法を用いて領域記述子をクエリ記述子として導出することと、
    導出された前記クエリ記述子を前記１つまたは複数の参照記述子と比較して一致を判定することを含むマッチング方法。
16. 請求項１〜１３のいずれか一項に記載の方法を用いて導出されたクエリ記述子を入力すること、または、クエリ画像を入力し、請求項１〜１３のいずれか一項に記載の方法を用いて記述子を導出することと、
    および前記クエリ記述子を請求項１〜１３のいずれか一項に記載の方法を用いて導出された１つまたは複数の参照記述子と比較することと
    を含む、画像の検索方法。
17. 請求項１〜１６のいずれか一項に記載の方法を実行するようになっている装置。
18. 処理手段および記憶手段を備える請求項１７に記載の装置。
19. 請求項１〜１３のいずれか一項に記載の方法を用いて導出された複数の記述子を記憶する装置。
20. 請求項１〜１６のいずれか一項に記載の方法を実行するコンピュータプログラム、または前記コンピュータプログラムを記憶する記憶媒体。

Images