JP3964327B2

JP3964327B2 - 画像内の関心領域を決定するための方法及び装置及び画像伝送方法及び装置

Info

Publication number: JP3964327B2
Application number: JP2002535076A
Authority: JP
Inventors: ケイダー，ティーモア; ホブソン，パオラ・マーセラ
Original assignee: Motorola Inc
Current assignee: Motorola Solutions Inc
Priority date: 2000-10-09
Filing date: 2001-10-09
Publication date: 2007-08-22
Anticipated expiration: 2021-10-09
Also published as: EP1374168A2; EP1374168B1; DE60114469D1; AU2002214009A1; EA200300451A1; GB2367966B; DE60114469T2; ATE308085T1; US20040042656A1; JP2004519759A; WO2002031766A2; GB2367966A; KR20040010540A; WO2002031766A3; EA004910B1; ES2252309T3; GB0024669D0; GB2367966A8; US7162081B2

Description

【０００１】
［発明の分野］
本発明は、一般的に画像処理の分野に関する。より詳細には、しかしそれだけに限定されるものではないが、本発明は、伝送のため画像の中の関心の領域を決定する方法及び装置に関する。
【０００２】
［発明の背景］
コンピュータ・ネットワークを介して伝送されるデータに対する需要と使用可能な帯域幅との間のギャップが拡大している。同様に、ディジタル無線リンクを介した、例えば、移動無線機及び移動電話機へ及びそれからのデータの伝送に対する大きな需要が存在する。これにより、データ圧縮の改良した方法及びより効率的伝送技術のための調査が盛んになってきた。
【０００３】
特にビデオ応用に適した従来の伝送技術は、画像データを送信源で解釈すること、画像自体よりむしろ解釈データを伝送すること、及び解釈データを宛先で用いることに焦点を合わせていた。解釈データは、圧縮形式で伝送されてもされなくてもよい。
【０００４】
画像解釈に対する２つの代替アプローチは、「画像被駆動型（ｉｍａｇｅ−ｄｒｉｖｅｎ）」又は「ボトムアップ型（ｂｏｔｔｏｍ−ｕｐ）」アプローチと、「モデル被駆動型（ｍｏｄｅｌ−ｄｒｉｖｅｎ）」又は「トップダウン型（ｔｏｐ−ｄｏｗｎ）」アプローチである。
【０００５】
画像被駆動型アプローチは、画像内容の意味のある記述又はモデルを「自然に」伝搬して形成するため、エッジ又はコーナのような画像の中の特徴に依拠するものである。典型的な例は、像−背景の画像セグメンテーションであり、そこでの作業は、前景の中の関心の対象を背景から分離することである。
【０００６】
モデル被駆動型のアプローチにおいては、内容の期待値についての情報を用いて、画像から意味を抽出する。典型的な例は、輪郭コンピュータ支援設計（ＣＡＤ）モデルを画像の中に見つけられたエッジと比較する対象認識であり、製造ライン検査応用で共通に用いられるアプローチである。
【０００７】
画像被駆動型アプローチとモデル被駆動型アプローチとの鍵となる相違は、特徴のグループ化段階にある。画像被駆動型アプローチにおいては、特徴のグループ化のためのキューが画像から来るのに対して、一方モデル被駆動型アプローチにおいては、キューが比較モデルから来る。
【０００８】
画像被駆動アプローチの１つの変形においては、ある一定数の小さい顕著性（ｓａｌｉｅｎｔ）パッチ又は「アイコン」が画像内で識別される。これらのアイコンは、関心の範囲の記述を表す。このアプローチにおいては、顕著性（ｓａｌｉｅｎｃｙ）は、局所的信号複雑性又は予測不能性、又はより詳細には局所的属性のエントロピーに関して定義される。高い信号複雑性を持つアイコンは、より平らな強度分布を、従って、より高いエントロピーを持つ。より一般的観点から言えば、それは、局所的顕著性の尺度として用いられ得る任意の適切な記述子の高い複雑性である。
【０００９】
既知の顕著性アイコン技術は、アイコンの顕著性を画像全体にわたり同じスケールで測定する。画像全体にわたり選択のため用いるスケールは、幾つかの方法で選定され得る。典型的には、最大が平均の大域的エントロピーで生じる最小スケールが選定される。しかしながら、画像の特徴のサイズが変わる。従って、所与のサイズの所与の特徴に対して最適である分析のスケール（尺度）は、様々なサイズの特徴にとって最適でないかも知れない。
従って、顕著性のアイコン選択技術を更に改善する必要性がある。
【００１０】
［発明の概要］
本発明は、画像の中の関心の領域を決定する方法及び装置を開示する。本発明は、拡大縮小するための顕著性の尺度を拡張し、それにより非常に狭い範囲のスケールに存在する特徴を見つける方法を提供する。これにより、エントロピーの最適レベルを有する顕著性アイコンが生成される。
【００１１】
本発明の一好適な実施形態に従って、画像内のピクセルを顕著性の程度によりランク付けする方法は、画像内の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと；前記領域のそれぞれに対してエントロピー値を計算するステップと；ピーク・エントロピー値を有する領域のうちのいずれかを識別するステップと；前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと；前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けするステップとを含む。
【００１２】
更に、本発明の一好適な実施形態に従って、前記計算するステップは、各前記領域内の前記ピクセルに対して確率密度関数（ＰＤＦ）推定値を計算するステップを含み得る。前記計算するステップが、パルツェン窓（Ｐａｒｚｅｎｗｉｎｄｏｗ）ＰＤＦ推定器を用いて計算するステップを含み得る。
【００１３】
更に、前記計算するステップが、ヒストグラム・ビンニング（ｈｉｓｔｏｇｒａｍｂｉｎｎｉｎｇ）を用いて計算するステップを含み得る。本方法は更に、前記重み付けするステップを実行する前に、前記ピーク幅推定値に対して３タップ平均化を適用するステップを含み得る。
【００１４】
更に、本発明の一好適な実施形態に従って、前記重み付けステップが、公式
【００１５】
【数３】

に従った値Ｗ（ｘ，ｙ，ｓ）に従って重み付けするステップを含み得て、
ここで、
【００１６】
【数４】

であり、Ｈ（ｘ，ｙ，ｓ）が領域（ｘ，ｙ，ｓ）のエントロピーであり、ｐ_iが離散確率である。
【００１７】
また、本発明の一好適な実施形態に従って、画像の中の顕著性のある領域を決定する方法において、ａ）画像の中の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと、ｂ）前記領域のそれぞれに対してエントロピー値を計算するステップと、ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別するステップと、ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと、ｅ）前記ピーク・エントロピー領域のうちの各選択されたものに対して、ｆ）ピーク・エントロピーの少なくとも１つの隣接領域を選択するステップと、ｇ）前記選択されたピーク・エントロピー領域と前記少なくとも１つの隣接領域に対してｘ、ｙ及びｓのそれぞれの平均及び分散を決定するステップであって、前記分散の最大値が所定のスレッショルドを越えない、前記決定するステップと、ｈ）前記ピーク・エントロピー領域の組から、前記平均（ｘ，ｙ，ｓ）点から所定の距離内にあるいずれの領域を除去するステップと、ｉ）前記平均値を格納することにより、関心の領域を指定するステップとを備える方法が提供される。
【００１８】
更に、本発明の一好適な実施形態に従って、この方法は更に、前記重み付けされたピーク・エントロピー値の順序でステップｅ）を実行するステップを含む。
本発明は更に、請求項１１に従った画像伝送の方法、及び請求項１２及び１３に従った装置を備える。
本発明は、添付図面と関係した以下の詳細な説明から当業者に一層十分に理解され且つ認められるであろう。
【００１９】
［好適な実施形態の詳細な説明］
本発明は、異なる空間点及びスケールの両方の顕著性のある点（ｓａｌｉｅｎｃｅ）を比較することができるように、顕著性の従来技術の尺度を拡張する。本発明により、ある一定の顕著性スケール及び顕著性の空間的位置を同時に選択することが可能になる。特徴が異なる顕著性値を異なるスケールで持ち得ることがこの概念に本来的に備わっている。本発明により、これらを直接比較することが可能になる。
【００２０】
信号処理に対する大部分のマルチスケール・アプローチは、２つの主要カテゴリの中に入る。第１のカテゴリのスキームは、信号の完全なマルチスケール表現を処理することにより信号のマルチスケールの性質を捕捉しようと試みる。第２のカテゴリのスキームは、信号を表すため１つの最良のスケール又は最良の１組のスケールを見つけ、多くの場合関心の特定のスケールを選定するため完全なマルチスケール表現をパース（ｐａｒｓｅ）するよう試みる。本発明は、第２のこれら２つのアプローチの一般的範囲における開発である。
【００２１】
アイコン・スケール選択及び顕著性値の計算
本発明の方法は、変化するスケール・パラメータを備えるエントロピー・スケール・メトリックの挙動を考えることにより最良に説明される。
スケール選択の問題が図１Ａ及び図１Ｂを参照すると分かる。図１Ａは、代表的アイコン１０の単純化された図である。図１Ｂは、点Ｐ₁及びＰ₂に対するエントロピー分析の単純化されたグラフである。
【００２２】
図１Ａにおいては、アイコン１０は画像内の特徴を説明するため示されている。その特徴が、説明の目的のため円として示されている。実際の画像においては、特徴は、この理想化されたケースとは形状について明瞭且つ根本的に異なり得る。
【００２３】
図１Ａを見ると、円１２を備えるアイコン１０が示され、その円１２には２つの点Ｐ₁及びＰ₂が円１２の端部と中心のそれぞれに示されている。点Ｐ₁及びＰ₂を含む円１２全体は、画像の上で全体に黒のアイコン／特徴であると理解すべきである。しかしながら、図１Ａは、点Ｐ₁及びＰ₂の位置が図面上で分かるようにするため、円１２内の範囲をハッチングした領域として示している。
【００２４】
円１２の周りの正方形１４は、スケールに対する境界正方形を表し、そのスケールにおいて、点Ｐ₂を中心に描いたとき、アイコン１０に対するエントロピーのピークが生じる。このエントロピー・ピークが、図１Ｂにおいて、Ｐ２とマークされたエントロピー・プロットの最大として示されている。
【００２５】
図１Ｂにおいて、プロットＰ１及びＰ２の両方において点Ｐ₁及びＰ₂のそれぞれにおいて明らかに１つの最大が存在する。Ｐ₁とＰ₂のうちのどちらがピーク・エントロピーのみに基づいて最も顕著性があるかは、Ｐ₁とＰ₂の両方が異なるスケールとはいえピーク・エントロピー値を持つので明らかではないであろう。従って、両方のプロットは、適切なスケールを決定するに等しく有効であるように見えるであろう。
【００２６】
しかしながら、図１Ｂにおいてはまた、エントロピー対スケールについての２つのプロットが異なるピーク幅を持つことが分かり得る。図１Ｂにおいては、Ｐ₁に対するプロットがＰ₂に対するプロットのほぼ２倍の幅広である。多数のスケールにわたり存在する特徴が特に顕著性があることを共通に仮定する。しかしながら、前述したように、顕著性は、予測不能性に関して定義された複雑性に基づいている。実際の画像において、これは、少数のスケール及び空間的位置に存在し、従って、比較的まれであると考えられる。画像が全ての空間的位置及びスケールにおいて複雑であり且つ予測不能性である場合、それは、ランダムな画像のようであるか又はフラクタルのようであるかのいずれかであろう。従って、図１Ｂにおいて、Ｐ₂のピークが、実際にはＰ₁のピークより一層大きな顕著性がある。所与の点が、異なるスケールにおいてそれぞれ、エントロピーの幾つかのピークを持ち得ることに注目すべきである。
【００２７】
図１Ｂのこの分析は、画像上の異なる点の周りで取られたエントロピー・プロットの幅が有効な指標として働き得ることを示している。とりわけ、ピーク高さのみに基づく顕著性推定によっては、図１Ｂ上の２つのプロットの間を区別することが可能でない。
【００２８】
ここで、本発明の一好適な実施形態に従って動作して、アイコンの顕著性のある点を決定する方法の単純化されたフロー・チャートである図２を参照する。
図２の方法において、典型的には最小スケール値ｓ₁に初期化された（ステップ２００）半径ｓの円形領域が、画像の中の座標（ｘ，ｙ）においてピクセルの周りで定義される（ステップ２１０）。次いで、該領域内のピクセルの値の確率密度関数（ＰＤＦ）が、推定される（ステップ２２０）。その値は、グレー・レベル強度値、カラー・レベル、又は画像の特徴に対して望ましい関心の種類を定義するため用いられる任意の他の特性であり得る。事前定義されたカーネル（ｋｅｒｎｅｌ）がサンプル・セットの中のデータ点上に置かれる場合、パルツェン窓ＰＤＦ推定器を用いることが好ましい。従って、ＰＤＦ推定は、データ軸にまたがる全てのカーネルの和である。ガウス・カーネル（Ｇａｕｓｓｉａｎｋｅｒｎｅｌ）が、その数学的取り扱いやすさ（ｔｒａｃｔａｂｉｌｉｔｙ）及びその結果生じる平滑なＰＤＦ推定のため用いられるのが好ましく、そこではσがＰＤＦ推定に適用された平滑化の程度を制御する。任意のビンニングがないので、エントロピー値が線形強度シフトの下で安定である。
【００２９】
基本的ヒストグラム・ビンニング方法を、パルツェン窓ＰＤＦ推定アルゴリズムの代わりに用い得る。この方法においては、カーネル（例えば、ガウス・カーネル）を各データ点上に置き次いで全てのカーネルを加算してＰＤＦ推定値を計算する代わりに、データ軸を単純にビンの数、例えば１６又は３２ビンに分割し、各ビンは、上側及び下側データ値を持つ。各ビンに対する計数が保持され、そしてそのビンに対する上側データ値と下側データ値との間にある局所的窓内の全てのピクセルに対して増分される。
【００３０】
一旦ＰＤＦが計算されると、領域（ｘ，ｙ，ｓ）のエントロピーＨが次の公式を用いて計算される（ステップ２３０）。
【００３１】
【数５】

ここで、ｐ_iは離散確率であり、そして０＜ｐ_i≦１である。
【００３２】
次いで、半径ｓが次のスケール増分だけ増大され（ステップ２４０）、そして前のステップが、ｓ₁と最大スケール値ｓ₂との間の全てのスケールのｓに対して繰り返される（ステップ２５０）。一旦エントロピーがピクセル（ｘ，ｙ）に対してｓ₁とｓ₂との間の全ての領域に対して計算されると、直前及び直後の領域のエントロピーに関してピーク・エントロピーを有するそれらの領域が決定される（ステップ２６０）。
【００３３】
次いで、各ピーク領域のエントロピーが、そのピーク幅推定値に比例する値Ｗ（ｘ，ｙ，ｓ）に従って重み付けされ（ステップ２７０）、それにより次の公式を用いて顕著性Ｓの尺度を与える。
【００３４】
【数６】

ここで、
【００３５】
【数７】

次いで、ステップ２００−２７０が、画像の中の全てのピクセルに対して繰り返されるのが好ましい（ステップ２８０）。一旦ピーク・エントロピーの領域のエントロピー値が重み付けされると、それらは、好ましくは重み付けされたピーク・エントロピー値によりランク付けされ、こうしてピーク顕著性によるピクセルのランク付けをもたらす（ステップ２９０）。
【００３６】
本発明の方法は、顕著性の計算においてピーク幅を重み付け係数として用いるために新規である。しかしながら、ピーク幅推定のため選択される実際の技術が、ピーク幅を用いる広い発想の更なる改善を表す。
【００３７】
本発明者は、ピークで測定されたヒストグラムの勾配の絶対値の和を計算を含むピーク幅の推定の技術を選定した。ここで意味するヒストグラムは、図１ＡにおけるＰ₁及びＰ₂のような点の周りの強度分布の連続的確率密度関数（ＰＤＦ）に対する近似である。和が大きい場合、これは、強度分布におけるピーク（図１参照）がかなりとがっていることを示す。小さい値の和は、ピークがかなり幅広い可能性があることを示す。差の絶対値の和の計算の利点は、それがピーク幅の単純な測定に対して別途処理しなければならない特定のケースを回避する点である。これらの特定のケースは、本発明者がピーク幅の単純な測定を実行するため選定した場合、計算を遅くするであろう。従って、差の絶対値の和の計算は、強固であり、そして計算で著しい遅延を被らない。
【００３８】
差の絶対値の和の計算は、次の公式を用いた前述の計算である。
【００３９】
【数８】

従って、Ｗは、スケールｓにより重み付けされた差の絶対値の和である。
【００４０】
単純な３タップ平均化が、雑音に対する強固さを増大するため、エントロピー値を重み付けする前に、ピーク幅推定値に適用され得る。一旦重み付け値が計算されると、各スケールｓでのピーク幅推定値に比例する値Ｗ（ｘ，ｙ，ｓ）を、ｓ−１、ｓ、ｓ＋１での値の平均と置き換える。その平均は、
【００４１】
【数９】

である。
【００４２】
最小及び最大スケールで、この演算は通常実行されないであろう。
【００４３】
領域選択及びクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）
エントロピー最大の単一の点を強固に選ぶ（ｐｉｃｋ）ことが有利である。これは、雑音又は小さい動き量のような様々な画像化条件においてこれらの点の持久性に依拠する。画像の中の雑音の存在がランダマイザー（ｒｏｎｄｏｍｉｚｅｒ）としてふるまい、そして一般的にエントロピー値を増大させ、高エントロピー値より低エントロピー値により多く影響を及ぼすことが知られている。しかしながら、雑音の影響はまた、最大の周りの局所的エントロピー表面の形状に大きく依存する。幅の狭いピークの最大点が幅広のピークの最大点より雑音による影響が少ないので、エントロピー最大の単一の点を選ぶ強固さは、ピークの鋭さに依拠する。
【００４４】
エントロピー表面の形状は、３つの主要因、即ち、元の画像強度表面、サンプリング窓又は関心の領域（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）（ＲＯＩ）の形状、及びＲＯＩのサイズ（スケール）に依存する。ＲＯＩの形状は、これによりエントロピー値が回転方向に一定であることが可能になるので円形である。画像表面への依存性は、サンプリングＲＯＩサイズ及び／又は形状と関心の画像特徴との間の不整合の結果である。スケールを正しく調整し、且つＲＯＩの形状が固定であると仮定すると、この依存性は制御可能でなく、且つエントロピー空間の中で単一の点を選ぶことが強固な方法でないことに当然の結果としてなる。
【００４５】
より強固な方法は、エントロピー空間の中で点よりむしろ領域を選ぶことであろう。顕著性のある領域内の個々のピクセルが雑音に任意の所与の瞬間に影響され得るとはいえ、雑音にそれらの全てが影響を受ける可能性があり、それにより領域は全体として顕著性でなくなる。
【００４６】
ここで図３を参照する。図３は、本発明の一好適な実施形態に従って動作する、顕著性のある領域を選択する方法の単純化されたフロー・チャートである。
図３の方法において、図２において決定されたようにピーク・エントロピーの領域のみが処理される。これらの領域の処理は次のとおりである。
【００４７】
図２の方法により決定されるように、最高の顕著性のピーク領域（ｘ，ｙ，ｓ）が選択される（ステップ３００）。ピークそれ自体（ｘ，ｙ，ｓ）は、領域の中心点により定義される。
【００４８】
次いで、Ｋ個の極めて近いピーク領域が選択される（ステップ３１０）。近さは、（ｘ，ｙ，ｓ）空間において、ベクトル距離（ｘ²＋ｙ²＋ｓ²）の平方和に基づいて定義され得る。Ｋの値は、検出されている特徴の雑音強固さを決定する。より高いＫ値はより大きな領域をもたらし、十分に特定された特性、例えば画像の中の自動車が検出される。より小さいＫ値により、より精緻な詳細の特徴、例えば画像の中の自動車のアンテナを検出することが可能になる。Ｋは、事前定義された分散スレッショルドを越えるまで適合されるのが好ましい。
【００４９】
一旦Ｋ個のピーク領域が選択されたピーク領域に対して決定されると、ｘ、ｙ及びｓの平均及び分散が、選択された領域に対して計算される（ステップ３２０）。次いで、３つの分散のうちの最大のものが、スレッショルドと比較される。スレッショルドの値は、既知のクラスタリング・アルゴリズムに従って、典型的には０．７に設定され得る（ステップ３３０）。スレッショルドより小さい分散は、典型的には、領域が十分クラスタリングされていることを示し、その場合ｘ、ｙ及びｓの平均値が格納される（ステップ３４０）。
【００５０】
次いで、平均（ｘ，ｙ，ｓ）点からの平均値を乗算した距離Ｄ内にあるＫ個の領域のうちのそれらのものは、図２の方法により生成された顕著性のピーク領域のリストから除去される（ステップ３５０）。Ｄは、任意の値、好ましくは、３×標準偏差に比例する値のような、分散に関連した適応値に設定され得る。
【００５１】
スレッショルドより大きい分散（ステップ３３０）は、典型的には、クラスタリングが見つからないことを示し、その場合、点は、孤立点として格納され得て、Ｋの値が、クラスタリングが達成されるまで低減され得て、多分、単一の点まで下がるか、さもなければ点が単純に顕著性のある点のリストに残り得て、それが何か他のものに関してクラスタリングするかどうかを見る（ステップ３７０）。
【００５２】
次いで、ステップ３００−３５０は、ピーク・エントロピーの全領域が好ましくは重み付けされたピーク・エントロピー値の順序で処理されてしまうまで、ピーク・エントロピーの次に最も高い残りの領域について実行される。
【００５３】
従って、このクラスタリング方法は、図２の顕著性計算への雑音の影響に対して責任を負い、そして顕著性空間において非常に高い相関性がある高いエントロピーの点に配慮している。
領域が点領域である場合、分散はゼロであることになる。唯２つの領域を計算で用いる場合、分散計算を捨てることができる。
【００５４】
図４は、図２及び図３の方法の実行の結果を示す。図４において、顕著性のあるアイコンが、本発明の方法を用いて、２つの画像３０と３２との間で整合された。その実行において、顕著性のある領域及びスケールが、２つの画像３０と３２との中で選択された。アイコン同士は、それら２つの画像同士間で最良に整合するアイコンを見つけるため、３４で相関が取られた。
【００５５】
事前処理段階を用いて、本明細書で説明される方法を実行する前に元の画像の中の雑音を低減し得る。拡散方法は、それらの雑音低減及び平滑化特性のため広く知られており、そして元の信号のスケール−空間表現に対して有効であるとして広く引用されている。スケール空間方法は、連続的に平滑化する操作により元の信号をある一定数のスケールで表すよう試みる。ガウス・フィルタを用いた平滑化と等価である線形拡散が、最も一般的平滑化を与えると見られるとはいえ、実験は、非線形の等方性拡散及び非線形異方性拡散が好ましいことを示した。非線形の等方性拡散及び非線形の異方性拡散方法は、平滑化を調整し、それにより事前定義された重要な端部が平滑化されない。非線形の等方性拡散においては、平滑化は、局所的勾配関数により重み付けされる。非線形の異方性拡散方法においては、平滑化はまた、端部の方向に向けられる。非線形の異方性拡散はまた、端部で雑音を除去する。
【００５６】
画像伝送方法
本発明はまた、画像伝送の方法を含む。この画像伝送の方法は、前述の方法を備える。
特に、ピクセルをランク付けし、且つ画像における顕著性を決定する方法は、画像の重要な領域を識別する方法を提供する。そのような識別を用いて、優先的に伝送される画像の部分を識別することができる。
【００５７】
例えば、画像が無線リンクを介して移動無線機（ＰＭＲ）又は移動電話機へ又はそれから送信され得る。使用可能な無線リンクの帯域幅は、実質的に、画像から伝送されることができるデータ量を制限する場合がある。非常に高くランク付けされたピクセル又は最も顕著性のある領域は、他のデータより多く伝送され得る。実際、これらは、例えば、画像が時間と共に迅速に変化する期間中に伝送される画像の部分のみであり得る。
【００５８】
装置
本発明は方法に関して上記で説明した。しかしながら、本発明はまた、本発明に従って機能する装置を含む。
【００５９】
そのような装置の実施形態が添付図５に図示されている。図５の装置（５００）は、画像の中のピクセルを顕著性の程度によりランク付けするよう働く。この装置は、
ａ）画像内の複数のピクセルのそれぞれに対して複数の領域を定義する手段（５１０）を備え、前記領域のそれぞれが、座標ｘ，ｙにおける前記ピクセルのうちの任意のものに対して異なるスケールｓを有し、
ｂ）前記領域のそれぞれに対してエントロピー値を計算する手段（５３０）と、
ｃ）ピーク・エントロピー値を含む領域である任意のピーク・エントロピー領域を識別する手段（５６０）と、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けする手段（５７０）と、
ｅ）前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けする手段（５９０）と、を更に備える。
【００６０】
また図５に、「獲得及びフレーム構造」ユニット５０８が示されており、該「獲得及びフレーム構造」ユニット５０８は、画像を走査するカメラを含む。そのようなユニットは、当業者に既知であり、従って、更に詳細には説明しない。ＰＤＦ推定器５２０は、本発明の方法を参照して前述したように確率密度関数を提供する。
【００６１】
本発明はまた、画像伝送装置へ拡張する。画像伝送装置は、上記で説明したような且つ一般的に図５と関係して説明したような装置を備える。画像伝送装置は、優先の伝送に対して画像の顕著性のある領域を選択し得る。特に、伝送が無線リンクを介して移動無線機又は携帯無線機（ＰＭＰ）あるいは移動電話機へ又はそれらから行われる場合、伝送が、選択された領域を備え、又はこれらの領域が、他の領域より一層頻繁に伝送され得る。
画像伝送装置は、移動又は携帯無線機（ＰＭＲ）又は移動電話機の一部を形成し得る。
【００６２】
様々な特徴マップ
本発明の基本的方法及び装置において、我々は、顕著性のための記述子として強度値の局所分布を用いた。しかしながら、本発明はまた、これに制限されるものではない。特定の作業に対する任意の適切な特徴マップを手近で用い得る。
【００６３】
例えば、指紋画像の分析を実行する際に、隆起部の分岐点及び終点は、共通に、顕著性があると共通に考えられる。この作業に対して、我々は、端部方向特徴マップを使用する。顕著性がない部分は、単一のスケール及び単一の優勢方向における線から成る顕著性のない部分である。分岐点及び終点は、多くの端部方向、及び多分スケールから成る。強度値のＰＤＦを用いる代わりに、我々は、端部方向及びスケールのＰＤＦを用いる。図６は、この方法を用いて見つけられた指紋画像の最も顕著性のある部分及びそれらのそれぞれのスケールを示す。図７参照のこと。
従って、本発明の方法及び装置は、顕著性の決定の際に任意の適切な特徴マップを用いることができる。
【００６４】
顕著性のある領域の整合
整合処理は、多くのコンピュータ視覚作業に必要な非常に共通の操作である。例えば、対象認識においては、対象のデータベースからの適切なモデルを見つけなければならない。これは、共通に、データベース内の全てのモデルと画像の特徴との間の整合を試験することを網羅的に試みることにより行われる。
【００６５】
本発明の顕著性方法は、各モデルに対して格納する必要のあるデータ量を低減することによりそのような作業の性能を改善することができる。従って、これは、モデル検索の複雑性を低減する。これが２つの主要方法である。即ち、
【００６６】
（ｉ）それは、格納することが必要である記述子の数を低減する。顕著性のある領域のみが記述される。
（ｉｉ）各顕著性のある領域のためのそれぞれのスケールが格納される。従って、検索空間の次元が低減される。これは、我々が顕著性ビットのスケールを知り、そのためモデルと画像との間の多くのスケールを試用する必要がないからである。
【００６７】
作業のための適切な記述子は、それが顕著性特徴マップのため用いられるものより一層強力（又は記述的）であるように選定されるべきである。図４に示される整合例においては、我々は、ピクセル値のベクトルを直接用いた。これは、非常に強力な記述子と見ることができる。
【００６８】
一部の応用においては、高次元の統計的又は幾何学的形状の不変性（ｉｎｖａｒｉａｎｃｅ）のような差別が一層少ない記述子を用いることが一層適切である場合がある。これらは、回転方向の又は測光の不変性のような便益を与える。
一旦顕著性のある領域が選択されると、それらは、整合作業に用いられ得る。
【００６９】
本明細書に開示された方法及び装置は、当業者が本発明の実施形態のうちのいずれかを低減するため必要とされ得る商業的に入手可能なハードウエア及びソフトウエアを容易に適応させて、必要以上の実験なしで且つ通常の技術を用いて実行するのを可能にするに十分な方法で記載した。
【００７０】
本発明が幾つかの特定の実施形態を参照して記載されたが、その記載は、全体として本発明の例示であることを意図し、本発明を示した実施形態に限定するものと解釈すべきでない。特に本明細書に示していないが、本発明の真の範囲内にある様々な修正が当業者にとってあり得ることが認められるべきである。
【図面の簡単な説明】
【図１】図１Ａは、本発明を理解するに有効な代表的アイコン１０の単純化された図である。
図１Ｂは、本発明を理解するに有効な、図１Ａの点Ｐ₁及びＰ₂に対するエントロピー分析の単純化されたグラフである。
【図２】図２は、本発明の一好適な実施形態に従って動作する、アイコンの顕著性を決定する方法の単純化されたフロー・チャートである。
【図３】図３は、本発明の一好適な実施形態に従って動作する、顕著性領域を選択する方法の単純化されたフロー・チャートである。
【図４】図４は、図２及び図３の方法の実行の結果を示す単純化された画像図である。
【図５】図５は、本発明の一実施形態に従って、画像の中のピクセルを顕著性の程度によりランク付けする装置を図示する。
【図６】図６は、本発明を、指紋画像における顕著性特徴及びスケールの認識に適用を図示する。
【図７】図７は、本発明を、指紋画像における顕著性特徴及びスケールの認識に適用を図示する。

Claims

画像内のピクセルを顕著性の程度によりランク付けする方法において、
ａ）画像内の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと、
ｂ）前記領域のそれぞれに対してエントロピー値を計算するステップと、
ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別するステップと、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと、
ｅ）前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けするステップと
を備える方法。
前記計算するステップｂ）が、各前記領域内の前記ピクセルに対して確率密度関数（ＰＤＦ）推定値を計算するステップを備える請求項１記載の方法。
前記計算するステップｂ）が、パルツェン窓ＰＤＦ推定器を用いて計算するステップを備える請求項２記載の方法。
前記計算するステップｂ）が、ヒストグラム・ビンニングを用いて計算するステップを備える請求項２記載の方法。
前記重み付けするステップｄ）を実行する前に、前記ピーク幅推定値に対して３タップ平均化を適用するステップを更に備える請求項１記載の方法。
前記重み付けステップｄ）が、公式

に従った値Ｗ（ｘ，ｙ，ｓ）に従って重み付けするステップを備え、
ここで、

であり、Ｈ（ｘ，ｙ，ｓ）が局所的エントロピーである
請求項１記載の方法。
画像の中の顕著性のある領域を決定する方法において、
ａ）画像の中の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと、
ｂ）前記領域のそれぞれに対してエントロピー値を計算するステップと、
ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別するステップと、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと、
ｅ）前記ピーク・エントロピー領域のうちの各選択されたものに対して、
ｉ）ピーク・エントロピーの少なくとも１つの隣接領域を選択するステップと、
ｉｉ）前記選択されたピーク・エントロピー領域と前記少なくとも１つの隣接領域に対してｘ、ｙ及びｓのそれぞれの平均及び分散を決定するステップであって、前記分散の最大値が所定のスレッショルドを越えない、前記決定するステップと、
ｉｉｉ）前記ピーク・エントロピー領域の組から、前記平均（ｘ，ｙ，ｓ）点から所定の距離内にあるいずれの領域を除去するステップと、
ｉｖ）前記平均値を格納することにより、関心の領域を指定するステップと
を備える方法。
前記重み付けされたピーク・エントロピー値の順序でステップｅ）を実行するステップを更に備える請求項７記載の方法。
前記領域が点の領域であり、且つ分散がゼロである請求項７記載の方法。
２つの領域のみが存在し、且つ分散の計算が廃棄される請求項７記載の方法。
ａ）画像内の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと、
ｂ）前記領域のそれぞれに対してエントロピー値を計算するステップと、
ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別するステップと、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと、
ｅ）前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けするステップと
を備える画像伝送方法。
ａ）画像の中の複数のピクセルのそれぞれに対して複数の領域を定義するステップであって、前記領域のそれぞれが、座標（ｘ，ｙ）における前記ピクセルのうちの任意のものに対して、異なるスケールｓを有する、前記定義するステップと、
ｂ）前記領域のそれぞれに対してエントロピー値を計算するステップと、
ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別するステップと、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けするステップと、
ｅ）前記ピーク・エントロピー領域のうちの各選択されたものに対して、
ｉ）ピーク・エントロピーの少なくとも１つの隣接領域を選択するステップと、
ｉｉ）前記選択されたピーク・エントロピー領域と前記少なくとも１つの隣接領域に対してｘ、ｙ及びｓのそれぞれの平均及び分散を決定するステップであって、前記分散の最大値が所定のスレッショルドを越えない、前記決定するステップと、
ｉｉｉ）前記ピーク・エントロピー領域の組から、前記平均（ｘ，ｙ，ｓ）点から所定の距離内にあるいずれの領域を除去するステップと、
ｉｖ）前記平均値を格納することにより、関心の領域を指定するステップと
を備える画像伝送方法。
画像内のピクセルを顕著性の程度によりランク付けする装置において、
ａ）画像内の複数のピクセルのそれぞれに対して複数の領域を定義する手段を備え、前記領域のそれぞれが、座標ｘ，ｙにおける前記ピクセルのうちの任意のものに対して異なるスケールｓを有し、
ｂ）前記領域のそれぞれに対してエントロピー値を計算する手段と、
ｃ）ピーク・エントロピー値を有する前記領域のいずれかを識別する手段と、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けする手段と、
ｅ）前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けする手段と、を更に備える装置。
画像内のピクセルを顕著性の程度によりランク付けする装置を備え、
前記のピクセルをランク付けする装置が、
ａ）画像内の複数のピクセルのそれぞれに対して複数の領域を定義する手段を備え、前記領域のそれぞれが、座標ｘ，ｙにおける前記ピクセルのうちの任意のものに対して異なるスケールｓを有し、
ｂ）前記領域のそれぞれに対してエントロピー値を計算する手段と、
ｃ）ピーク・エントロピー値を含む領域である任意のピーク・エントロピー領域を識別する手段と、
ｄ）前記ピーク・エントロピー領域のそれぞれの前記ピーク・エントロピー値を、前記ピーク・エントロピー値のピーク幅推定値に対応する重み付け値により重み付けする手段と、
ｅ）前記領域を前記の重み付けされたピーク・エントロピー値によりランク付けすることにより、前記ピクセルをランク付けする手段と、を更に備える、画像伝送装置。