JP4293690B2 - 画像の特徴付け方法 - Google Patents
画像の特徴付け方法 Download PDFInfo
- Publication number
- JP4293690B2 JP4293690B2 JP28821099A JP28821099A JP4293690B2 JP 4293690 B2 JP4293690 B2 JP 4293690B2 JP 28821099 A JP28821099 A JP 28821099A JP 28821099 A JP28821099 A JP 28821099A JP 4293690 B2 JP4293690 B2 JP 4293690B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- texture
- test
- uniform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の色又はテクスチャのコンテンツに基づいて画像を特徴付ける方法に関し、より詳細には、埋め込み空間情報を有する色又はテクスチャの統計値を用いて画像を特徴付ける方法に関する。
【０００２】
【従来の技術】
画像の特徴付けは、画像に予め選択された測度を適用した結果に基づきその画像を識別記述するプロセスである。画像の特徴付けは、画像コンテンツが画像のインデクシングと検索に有効であるディジタル画像ライブラリのような多数の用途に有効に用いられる。画像の特徴付けが実用的で有効であるためには、画像にその測度を適用した結果が、（１）異なる画像を十分に識別でき、（２）或る特定の種類の画像変換に対し不変であり、（３）ノイズに不感で、（４）計算が容易で、（５）コンパクト、でなければならない。画像を特徴づける種々の方法が、識別属性を示す画像記述子と共に使用されまた提案されている。
Ｓｗａｉｎ他による論文「色インデクシング(COLOR INDEXING)」は、色ヒストグラムを用い画像を特徴付けることを記述している。画像の色ヒストグラムは、画素すなわちピクセルの頻度分布をピクセルの色の関数として計算することにより得る。色ヒストグラムは、視軸を中心とした画像の回転または平行移動に対し不変である。色ヒストグラムは、異なる特徴を有する画像の場合、著しい差異を示すことができる。しかしながら、画像中の特徴に関する全ての空間情報は、色ヒストグラムの作成時に破棄される。従って、２枚の画像が各色同数の画素を有する場合、これらの画像を色ヒストグラムで識別することは不可能である。これは、２枚の画像が全く異なるサイズと形状を特徴としていたとしても同じである。
【０００３】
図８は、異なるスケールの特徴を有する２枚の画像を示す図である。例えば、図８（ａ）と図８（ｂ）の２枚の画像は、２種の同色（同じ線影を付けた）の幾何学的な特徴を有し、各特徴図形の総面積は同じで、画素数も同一である。これら２枚の画像は、各々の特徴はサイズと数が明らかに異なっているのに色ヒストグラムでは識別できない。一方、これらの画像は、人間の目で容易に識別できる。
【０００４】
色ヒストグラムの種々の実施性能を改善するために幾つかの方法が提案されている。Ｓｔｒｉｃｋｅｒ他は、論文「カラー画像の類似性(SIMILARITY OF COLOR)」において、色モーメントの使用を提案している。色モーメントは、ピクセルの色の母集団分布の形状と位置に関する統計的な測度である。特に、色モーメントは、平均，標準偏差及び歪度を含んでいる。色ヒストグラムに含まれている情報を色モーメントで表現すると、非常にコンパクトな画像記述子が得られる。Ｆｕｎｔ他は、その論文「色定数色インデクシング(COLOR CONSTANT COLOR INDEXING)」において、画像の隣接領域からの三原色である赤緑青（ＲＧＢ）のピクセルの割合を用いて強度変化の効果を低減させることを提案している。Ｒｕｂｎｅｒ他は論文「カラー画像の１空間のナビゲーション(NAVIGATING THROUGH A SPACE OF COLOR IMAGES)」において、ＲＧＢ色空間における類似色のクラスタのプロットである色シグニチャを用いることを提案している。色シグニチャを用いると、１画像を記述するのに必要なデータ量を色ヒストグラムに要するデータ量と比較して減少させることができる。これらの方法は、色ヒストグラムより、画像記述子の実施性能を幾つかの面において改善する。しかしながら、色ヒストグラムと同様、空間情報が全然保存されない。
【０００５】
色ヒストグラムの構成時に破棄される幾つかの空間情報を保存することを試みた幾つかのプロセスが提案されている。Ｐａｓｓ他は、論文「コンテンツベースによる画像検索用ヒストグラムの更新(HISTOGRAM REFINEMENT FOR CONTENT BASED IMAGED RETRIEVAL)」において、色ヒストグラムを色コヒーレンスベクトルで更新することを提案している。このプロセスにおいて、画素の色のコヒーレンスは、隣接領域中の他の画素のコヒーレンスに関連して決定される。これは、各色の画素数が同数で、従って２枚の画像の色ヒストグラムが同一であっても、画像中の特徴の差異により、色のコヒーレンスである各色の画素数が変化することを意味する。色コヒーレンスベクトルは、若干の空間情報を記述子に埋め込む。残念ながら、これには、従来のヒストグラムと比較し２倍の付加的な記憶容量を要する。
【０００６】
Ｒｉｃｋｍａｎ他は、論文「色要素ヒストグラムを用いたコンテンツベースによる画像検索(CONTENT-BASED IMAGE RETRIEVAL USING COLOUR TUPLE HISTOGRAMS)」において、無作為に位置決めした三角形色要素の各頂点における色相ヒストグラムを構成することによる画像の特徴付けを提案している。三角形要素の各頂点は離れているので、若干の空間情報は保留される。残念ながら、色要素データから画像の優勢色を決定することは困難である。さらに、保持された空間情報は、通常の解釈が困難であり、従って、画像データベースのインデクシングにこの情報を用いることは困難である。
【０００７】
画像の特徴付けのための“色コレログラム(Color correlograms)”が、Ｈｕａｎｇ他の論文「色コレログラムを用いた画像インデクシング(IMAGE INDEXING USING COLOR CORRELOGRAMS)」に提案されている。色コレログラムは、特定色のピクセルが、画像中の特定色のピクセルから特定の半径距離にある確率を量子化する。色コレログラムは、画像上の１点からの異なるスケール又は距離における色コヒーレンスを測定する技法を提供する。しかしながら、コレログラムから画像の優勢色を決定することは困難であり、通常の人間のセンスでのコレログラムの解釈も困難である。
【０００８】
Ｓｍｉｔｈ他は、論文「視覚的探査コンテンツベースによる視覚クエリーシステムを用いた色領域によるクエリー(QUERYING BY COLOR REGIONS USING THE VISUALSEEK CONTENT-BASED VISUAL QUERY SYSTEM)」において、色の領域を用いる画像の特徴付け方法を提案している。色データを変換し、画像の色を量子化し、次にフィルタで処理し優勢色領域を強調する。“色セット”値を抽出し、しきい値レベルを越える色セット値を保持することによりヒストグラムを近似させる。この画像の特徴付け方法は画像の分割を必要とし、プロセスが難しく、計算量が多大である。領域表現はリジッドであり、画像の回転又は平行移動により変化する。
【０００９】
“ブロブワールド”は、Ｃａｒｓｏｎ他が論文「領域にベースによる画像クエリー(REGION-BASED IMAGE QUERYING)」中で提案した画像の表現方法である。この方法において、画像は、“ブロブ”と呼ばれる色とテクスチャの１セットの局部的コヒーレント領域に分割される。画像の“ブロブワールド”表現は、分割された色ブロブの位置，サイズ及び色を記録した結果である。この方法は、画像に関するかなりの空間情報を提供するが、しかし、画像の“ブロブワールド”表現はリジッドであり、画像の回転又は平行移動により変化する。さらに、画像の分割プロセスは容易でなく、かなりの計算機資源を要する。
【００１０】
従って、要望されているのは、記述子に十分な空間情報を埋め込み、画像をそのコンテンツに基づき識別できる画像の特徴付け方法である。さらに、その方法は、或る種の画像変換に対し不変であり、計算機と蓄積装置の資源を保持し、ノイズに不感で、通常のセンスで容易に解釈できなければならない。
【００１１】
【発明が解決しようとする課題】
本発明は、上述のごとき実情に鑑みてなされたものであり、複数の画素を含む空間構成要素を規定するステップと、前記空間構成要素に対応する多数のテスト領域の輪郭を画像上に配置するステップと、前記輪郭を描いたテスト領域における前記画像の色又はそれに代わるテクスチャを量子化するステップと、量子化された色又はそれに代わるテクスチャを含む前記テスト領域の数を計数するステップと、より成る画像の特徴付け方法を提供する。この発明の方法を用いて得られたデータは、画像の回転又は平行移動に対する高い不変性を示す一方で、異なるスケールの特徴を持つ画像を識別するための十分な埋め込み空間情報を含んでいる。さらに、統計的方法を用いデータを非常にコンパクトに表現できる。又、計算も簡単である。
【００１２】
【課題を解決するための手段】
請求項１の発明は、画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、各々の前記テスト領域の色を量子化する色量子化ステップと、（ｄ）計数手段が、前記色量子化ステップで量子化された色を含んだ前記テスト領域の数を、色毎に計数するステップと、を有し、前記色量子化ステップは、前記テスト領域中の色が均一の色である場合には該均一の色を量子化し、前記テスト領域中の色が非均一な色で構成される場合には複数の量子化レベルの色に量子化することを特徴としたものである。
【００１３】
請求項２の発明は、請求項１の発明において、前記色量子化ステップは、各々の前記テスト領域の色を、平均色と代表色の少なくとも１つとして量子化することを特徴としたものである。
【００１４】
請求項３の発明は、請求項１の発明において、前記色量子化ステップは、各々の前記テスト領域の色を、赤，緑，青の各色の強度の平均として量子化することを特徴としたものである。
【００１６】
請求項４の発明は、請求項１の発明において、（ｅ）テスト手段が、前記画像上の各々の前記テスト領域の色が十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴としたものである。
【００１８】
請求項５の発明は、画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、前記画像上の各々の前記テスト領域のテクスチャを量子化するテクスチャ量子化ステップと、（ｄ）計数手段が、前記テクスチャ量子化ステップで量子化されたテクスチャを含んだ前記テスト領域の数を、テクスチャ毎に計数するステップと、を有し、前記テクスチャ量子化ステップは、前記テスト領域中のテクスチャが均一のテクスチャである場合には該均一のテクスチャを量子化し、前記テスト領域中のテクスチャが非均一なテクスチャで構成される場合には複数の量子化レベルのテクスチャに量子化することを特徴としたものである。
【００１９】
請求項６の発明は、請求項５の発明において、前記テクスチャ量子化ステップは、各々の前記テスト領域のテクスチャを、平均テクスチャとして量子化することを特徴としたものである。
【００２１】
請求項７の発明は、請求項５の発明において、（ｅ）テスト手段が、前記画像上の各々の前記テスト領域のテクスチャが十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴としたものである。
【００２３】
【発明の実施の形態】
本発明の上記及び他の目的、特徴及び利益は、添付の図面を参照して以下の詳細な説明を読めば、容易に理解されよう。
本発明による画像の特徴付け方法においては、色又はテクスチャを予め規定したサイズと形状の複数の領域毎に量子化する。これらの領域は予め定めた計画に従って画像上に配置するのが好ましい。画像のこれら領域の色又はテクスチャのデータ或いは本方法を用いて得た関連統計データは、画像を記述し画像を識別する上で有効である。得られたデータは、画像の記述子として参照される。
【００２４】
図１は、テスト領域を描いた異なる色又はテクスチャの特徴を含む画像を示す図で第１色の三角形特徴２と第２色の円形特徴４を持つ画像へ本方法の応用を示す図である。画像の残部の色は、第３の背景色である。多数の正方形テスト領域６を画像上に描く。テスト領域のサイズと形状は、複数の画素すなわちピクセルを取り囲む予め規定された空間構成要素のサイズと形状に対応することが好ましい。図１に図示されたテスト領域を規定する空間構成要素は正方形であるが、この要素のサイズと形状には制限は無い。テスト領域の特定の形状とサイズは、本発明の方法を用いる用途により規定することができる。矩形又は円形のような正則形状は、無定形状すなわちブロブ形状よりも多くの応用においてより好便である。又、テスト領域は、散乱弾に似た画素（ピクセル）の散乱パターンであって良い。同様に、画像上のテスト領域の配置プランは図１に示した直線で囲まれたパターンに制限されず、本方法を用いる用途によって規定できる。
【００２５】
図１において多数のテスト領域６が完全に三角形特徴２の領域内に入っている。これらのテスト領域内の画像の色は均一な第１色である。同様に、多数のテスト領域が完全に円形特徴４の領域内又は背景内に入っている。これらのテスト領域内の画像の色は均一で、第２色又は背景色として各々量子化できる。程度は異なるが、残りのテスト窓は２つ以上の領域に重なり合っている。これらの領域中の色は均一ではない。
【００２６】
図２は、図１の画像上により大きいスケールでテスト領域を描いた場合を示す図である。テスト領域の形状とテスト領域の配置プランと同様に、テスト領域のサイズはその用途において決定される。但し、画像に関する空間情報は、データ又は画像記述子に埋め込まれる。理由は、テスト領域はスケールを有する、即ちテスト領域は複数の画素を囲んでいるからである。図１，２を比較するとわかるようにテスト領域を変えると各色のテスト領域数が変化する。
【００２７】
図３は、８つの正方形の特徴及び８つの円形の特徴で特徴付ける画像を示す図、図４は、１つの正方形の特徴と１つの円形の特徴で特徴付ける画像で、各特徴が図３における８つの同一幾何学形状の特徴と等しい面積を有している画像を示す図である。同様に、２つの画像の個々の色領域のサイズが異なると、各色のテスト領域数が同様に変化する。例えば、図３の画像の８個の正方形特徴１０と８個の円形特徴１２の総面積は、それぞれ図４の画像の正方形特徴２０と円形特徴２２の総面積と等しい。その結果、色の関数としての画素の母集団分布は、２枚の画像とも等しくなる。しかしながら、画像の個々の色領域のサイズが異なるために、各均一色のテスト領域数はテスト領域の測度が一定である場合でも変化する。図４において、円形特徴の色を含むテスト領域の方が、図３の円形特徴で完全に満たされているテスト領域より多い。大きい均一色領域又は“ブロブ”を含む画像は、小さいより分散した色領域を有する画像より、これらブロブの均一色を有するテスト領域を多く生み出す。
【００２８】
図１において、若干のテスト領域は均一色領域の中に完全に含まれているが、若干のテスト領域は、２つ以上の色領域に重なって含まれている。その結果、これらの領域の色は均一でなく、画像を記述する際に有利なように量子化されねばならない。例えば、各赤，緑，青（ＲＧＢ）ピクセルの平均値、ＲＧＢピクセル値の変換，平均色又はＲＧＢ強度値のベクトル和が、非均一色のテスト領域の色を記述するために使用できる。非均一な色を持つ各テスト領域は、恐らく２つ又はそれ以上の色領域が重なっており、どの他のテスト領域からもある程度異なっていると考えられるので、非均一な色のテスト領域の数だけ、多数の平均色又はピクセル強度の組み合わせが有り得る。可能な入力値をより少数の量子化レベルにマッピングすれば色数を削減できる。例えば、ＲＧＢ色データは、赤緑青の寄与割合が或る特定の範囲内にあるテスト領域の母集団として表現できる。
【００２９】
図１及び図２に見られるように、小数のテスト領域のみが画像の特徴境界内に完全に含まれ、従って真に均一の色を有している。但し、図１のように若干の場合、テスト領域の殆ど（全部ではない）が特定の色をもつ。均一色を持つ領域の集合に含まれるテスト領域数は、その用途において、“殆ど”均一のデータ領域に含まれる均一性のテストを含めることにより増大させることができる。同様に、殆ど均一である画像領域を受け入れることは、多数の均一色領域を含まない画像の場合に必要である。
【００３０】
例えば、均一性のテストは、テスト領域中の画素の色の標準偏差に基づき行うことができる。テスト領域ε内の色チャネルｋのピクセル値の標準偏差をσkとすると、均一性は次式で定義される。
【００３１】
【数式１】
【００３２】
式中、ｗkは色チャネルｋの重み係数である。
上記に代わる均一性テスト関数は、基本成分解析に基づくことができる。マトリックスＡはＡ＝（Ｐij）MXNとして定義される。ここで、Ｐijはテスト領域εのｉ番目のピクセルのｊ番目の色成分である。Ａの特異値は、特異値の分解によって決められる。ρk（ｋ＝１，２，…）を大きさ降順のマトリックスＡの特異値であるとすると、均一性は下式で定義される。
【００３３】
【数式２】
【００３４】
式中、Ｗkは特異値Ｐk（ｋ＞１）に対応する重み係数である。
画像を特徴付ける本方法により得られたデータは、この分野ではよく知られている統計的表現に組み込むことができる。“色ブロブ”のヒストグラムを作成し、それらの色の関数としてテスト領域の母集団の頻度分布を表すことができる。所与の画像Ｉに対して、色ブロブのヒストグラムは、スケールｓの全テスト領域の母集団分布である。尚、ｓは画素中のテスト領域サイズである。この色ブロブのヒストグラムは、集合Ｃに属する各量子化色ｃ（即ち、ｃ∈Ｃ）に対して１つの要素ｈs,cを有する配列ｈsとして定義される。
【００３５】
【数式３】
【００３６】
式中、Ｃは全ての量子化された色の集合であり、Ｉsは画像Ｉ中のサイズｓの全ての色ブロブの集合である。
色関数としてのテスト領域の母集団分布は、色ブロブヒストグラムの統計的モーメントである色ブロブモーメントによって記述することもできる。この方法は、色ブロブモーメントが極めてコンパクトな画像記述子であると云う利点を提供する。所与の画像Ｉに対して、各色チャネルｋ内のサイズｓのテスト領域の母集団分布の第１，第２及び第３の統計的モーメントは、次の通りである。
平均値（μ）（第１モーメント）：
【００３７】
【数式４】
【００３８】
標準偏差（σ）（第２モーメント）：
【００３９】
【数式５】
【００４０】
歪度（λ）（第３モーメント）：
【００４１】
【数式６】
【００４２】
式中、ｃk（ε）は、ｃ（ε）のｋ番目の色成分である。
図５は、本発明の第１実施例において得られた画像データ例を示す図で、処理画像より得られるデータは、量子化された色の集合μ0〜μ10として表現でき、その際、量子化した色の１つに一致する十分に均一な色を有するテスト領域の数を共に示すことができる。言い換えれば、μsが赤色で、６つのテスト領域が十分に均一な赤色であれば、μsは総計６を持つ。その結果、個々のピクセルの色の総和ではなく、各項目が十分に均一な色を有するテスト領域数を合計するヒストグラムが得られる。異なるテスト領域サイズｓで画像を処理して追加データを得る。多数の画像から得たデータは、画像の比較目的に使用することができる。
【００４３】
図６は、同一サイズ及び形状の特徴を有し、その特徴が平行移動及び回転した２枚の類似画像を示す図である。画像を特徴付ける本方法の第２の好ましい特性は、記述子が画像特徴の回転と平行移動に対し不変であることである。図６（ａ），（ｂ）の２つの画像では、正方形の特徴領域は水平方向と垂直方向に移動し、三角形の特徴領域は９０度回転している。各特徴の均一色を有するテスト領域数は不変である。等方性色領域の場合、色ブロブのヒストグラムと色ブロブのモーメントが画像特徴の平行移動と回転に対し不変であることを示すことができる。
【００４４】
本発明による画像の特徴付け方法は、画像のテクスチャ又は表面外観に基づく画像の特徴付けにおいて同様に有利である。色は点特性であり、色ヒストグラム又は画素の色特性の他の表現法によって記述でき、一方、テクスチャは局部的な近傍特性であり、テクスチャ記述子は、画素の周辺領域の特性を記述する。画像を特徴付ける本方法を応用する際に、個別のテスト領域のテクスチャは、異方性，指向性及びコントラストのような平均テクスチャ記述子によって表現することができる。テクスチャ記述子はテクスチャブロブのヒストグラムで統計的に記述することができる。画像Ｉに対して、ｓ画素を含むテスト領域に対するテクスチャブロブのヒストグラムは、Ｔに含まれる各量子化テクスチャモデルｔに対し１個の要素ｈs,tを有する１つの配列ｈsとして定義されたサイズｓのテスト領域の母集団分布である。
【００４５】
【数式７】
【００４６】
式中、Ｔは全ての量子化テクスチャモデルを含む集合である。
所与の画像Ｉに対して、スケールｓのテスト領域に対するテクスチャブロブのモーメントは、各テクスチャバンドｋにおけるサイズｓのテスト領域の頻度分布の第１，第２及び第３の統計的モーメントである。即ち、
平均値（μ）（第１モーメント）：
【００４７】
【数式８】
【００４８】
標準偏差（σ）（第２モーメント）：
【００４９】
【数式９】
【００５０】
歪度（λ）（第３モーメント）：
【００５１】
【数式１０】
【００５２】
式中、ｔk（ε）は、ｔ（ε）のｋ番目の成分である。
上記の技法は、色又はテクスチャの標準偏差に基づき、十分に均一なテスト領域の総数を計数する。残念ながら、標準偏差のためのしきい値の選択が難しい。しきい値がゼロであれば、十分に均一なテスト領域は無くなる。一方、しきい値が大きいと、多数のテスト領域があまり均一でなくても計数される。
【００５３】
図７は、本発明の第２の実施例において得られた画像データ例を示す図で、本発明の追加の実施形態としては、各テスト領域毎に量子化色に関する色分布の割合の計算を含んでいる。結果として得られるマトリックスは、色の割合の関数として各量子化色の発現数を持つ。図７の１００％の欄は図５に示した先述の技法の単一欄（ｓ＝ｘ１）と同じであることに注意すべきである。
【００５４】
再度図１乃至図４を参照する。便宜上、互いに間隔を置いたテスト領域のセットを示し、この技法を説明する。平行移動と回転に対する不変性を高めるために、この好ましい技法は、画像内の各ピクセルにテスト領域を配置することを含んでいる。
【００５５】
テスト領域のサイズは、十分に均一なテスト領域数に十分な影響をもつ。図３及び図４を参照する。使用テスト領域を、図３の正方形，円形の特徴１０，１２より大きく、但し、図４の正方形，円形の特徴２０，２２より小さいように選択すると、図３の処理では十分に均一な領域は得られないという結果をもたらす。しかしながら、図４の処理では、幾つかの十分に均一な領域をもたらす。このように、十分に均一なテスト領域数の違いが増大し、かような測度を用いる画像間の識別が容易になる。
【００５６】
ここに記述した技法は、Ｙ／Ｃｂ／Ｃｒのような適当な色空間に適用できる。画像上のテスト領域のパターンとサイズは、要望に応じ変更またはランダムとすることができる。
【００５７】
上記の説明に使用してきた用語と表現は、説明のために使用したものであり、限定するものではなく、図示し説明してきた特徴又はその部分の同等の用語及び表現を除外する意図は全く無い。
【００５８】
【発明の効果】
本発明の画像の特徴付け方法によって、記述子に十分な空間情報を埋め込み、画像をそのコンテンツに基いて識別可能になる。さらに、その方法は、或る種の画像変換に対し不変であり、計算機と蓄積装置の資源を保持し、ノイズに不感で、通常のセンスで容易に解釈可能である。本発明の方法を用いて得られたデータは、画像の回転又は平行移動に対する高い不変性を示す一方で、異なるスケールの特徴を持つ画像を識別するための十分な埋め込み空間情報を含んでいる。さらに、統計的方法を用いデータを非常にコンパクトに表現できる。又、計算も簡単である。
【図面の簡単な説明】
【図１】テスト領域を描いた異なる色又はテクスチャの特徴を含む画像を示す図である。
【図２】画像上により大きいスケールで描いたテスト領域を有する図１の画像を示す図である。
【図３】８つの正方形の特徴及び８つの円形の特徴で特徴付ける画像を示す図である。
【図４】１つの正方形の特徴と１つの円形の特徴で特徴付ける画像で、各特徴が図３における８つの同一幾何学形状の特徴と等しい面積を有している画像を示す図である。
【図５】本発明の第１の実施例において得られた画像データ例を示す図である。
【図６】同一サイズ及び形状の特徴を有し、その特徴が平行移動及び回転した２枚の類似画像を示す図である。
【図７】本発明の第２の実施例において得られた画像データ例を示す図である。
【図８】異なるスケールの特徴を有する２枚の画像を示す図である。
【符号の説明】
２…第１色の三角形特徴、４…第２色の円形特徴、６…テスト領域、１０，２０…正方形特徴、１２，２２…円形特徴。
【発明の属する技術分野】
本発明は、画像の色又はテクスチャのコンテンツに基づいて画像を特徴付ける方法に関し、より詳細には、埋め込み空間情報を有する色又はテクスチャの統計値を用いて画像を特徴付ける方法に関する。
【０００２】
【従来の技術】
画像の特徴付けは、画像に予め選択された測度を適用した結果に基づきその画像を識別記述するプロセスである。画像の特徴付けは、画像コンテンツが画像のインデクシングと検索に有効であるディジタル画像ライブラリのような多数の用途に有効に用いられる。画像の特徴付けが実用的で有効であるためには、画像にその測度を適用した結果が、（１）異なる画像を十分に識別でき、（２）或る特定の種類の画像変換に対し不変であり、（３）ノイズに不感で、（４）計算が容易で、（５）コンパクト、でなければならない。画像を特徴づける種々の方法が、識別属性を示す画像記述子と共に使用されまた提案されている。
Ｓｗａｉｎ他による論文「色インデクシング(COLOR INDEXING)」は、色ヒストグラムを用い画像を特徴付けることを記述している。画像の色ヒストグラムは、画素すなわちピクセルの頻度分布をピクセルの色の関数として計算することにより得る。色ヒストグラムは、視軸を中心とした画像の回転または平行移動に対し不変である。色ヒストグラムは、異なる特徴を有する画像の場合、著しい差異を示すことができる。しかしながら、画像中の特徴に関する全ての空間情報は、色ヒストグラムの作成時に破棄される。従って、２枚の画像が各色同数の画素を有する場合、これらの画像を色ヒストグラムで識別することは不可能である。これは、２枚の画像が全く異なるサイズと形状を特徴としていたとしても同じである。
【０００３】
図８は、異なるスケールの特徴を有する２枚の画像を示す図である。例えば、図８（ａ）と図８（ｂ）の２枚の画像は、２種の同色（同じ線影を付けた）の幾何学的な特徴を有し、各特徴図形の総面積は同じで、画素数も同一である。これら２枚の画像は、各々の特徴はサイズと数が明らかに異なっているのに色ヒストグラムでは識別できない。一方、これらの画像は、人間の目で容易に識別できる。
【０００４】
色ヒストグラムの種々の実施性能を改善するために幾つかの方法が提案されている。Ｓｔｒｉｃｋｅｒ他は、論文「カラー画像の類似性(SIMILARITY OF COLOR)」において、色モーメントの使用を提案している。色モーメントは、ピクセルの色の母集団分布の形状と位置に関する統計的な測度である。特に、色モーメントは、平均，標準偏差及び歪度を含んでいる。色ヒストグラムに含まれている情報を色モーメントで表現すると、非常にコンパクトな画像記述子が得られる。Ｆｕｎｔ他は、その論文「色定数色インデクシング(COLOR CONSTANT COLOR INDEXING)」において、画像の隣接領域からの三原色である赤緑青（ＲＧＢ）のピクセルの割合を用いて強度変化の効果を低減させることを提案している。Ｒｕｂｎｅｒ他は論文「カラー画像の１空間のナビゲーション(NAVIGATING THROUGH A SPACE OF COLOR IMAGES)」において、ＲＧＢ色空間における類似色のクラスタのプロットである色シグニチャを用いることを提案している。色シグニチャを用いると、１画像を記述するのに必要なデータ量を色ヒストグラムに要するデータ量と比較して減少させることができる。これらの方法は、色ヒストグラムより、画像記述子の実施性能を幾つかの面において改善する。しかしながら、色ヒストグラムと同様、空間情報が全然保存されない。
【０００５】
色ヒストグラムの構成時に破棄される幾つかの空間情報を保存することを試みた幾つかのプロセスが提案されている。Ｐａｓｓ他は、論文「コンテンツベースによる画像検索用ヒストグラムの更新(HISTOGRAM REFINEMENT FOR CONTENT BASED IMAGED RETRIEVAL)」において、色ヒストグラムを色コヒーレンスベクトルで更新することを提案している。このプロセスにおいて、画素の色のコヒーレンスは、隣接領域中の他の画素のコヒーレンスに関連して決定される。これは、各色の画素数が同数で、従って２枚の画像の色ヒストグラムが同一であっても、画像中の特徴の差異により、色のコヒーレンスである各色の画素数が変化することを意味する。色コヒーレンスベクトルは、若干の空間情報を記述子に埋め込む。残念ながら、これには、従来のヒストグラムと比較し２倍の付加的な記憶容量を要する。
【０００６】
Ｒｉｃｋｍａｎ他は、論文「色要素ヒストグラムを用いたコンテンツベースによる画像検索(CONTENT-BASED IMAGE RETRIEVAL USING COLOUR TUPLE HISTOGRAMS)」において、無作為に位置決めした三角形色要素の各頂点における色相ヒストグラムを構成することによる画像の特徴付けを提案している。三角形要素の各頂点は離れているので、若干の空間情報は保留される。残念ながら、色要素データから画像の優勢色を決定することは困難である。さらに、保持された空間情報は、通常の解釈が困難であり、従って、画像データベースのインデクシングにこの情報を用いることは困難である。
【０００７】
画像の特徴付けのための“色コレログラム(Color correlograms)”が、Ｈｕａｎｇ他の論文「色コレログラムを用いた画像インデクシング(IMAGE INDEXING USING COLOR CORRELOGRAMS)」に提案されている。色コレログラムは、特定色のピクセルが、画像中の特定色のピクセルから特定の半径距離にある確率を量子化する。色コレログラムは、画像上の１点からの異なるスケール又は距離における色コヒーレンスを測定する技法を提供する。しかしながら、コレログラムから画像の優勢色を決定することは困難であり、通常の人間のセンスでのコレログラムの解釈も困難である。
【０００８】
Ｓｍｉｔｈ他は、論文「視覚的探査コンテンツベースによる視覚クエリーシステムを用いた色領域によるクエリー(QUERYING BY COLOR REGIONS USING THE VISUALSEEK CONTENT-BASED VISUAL QUERY SYSTEM)」において、色の領域を用いる画像の特徴付け方法を提案している。色データを変換し、画像の色を量子化し、次にフィルタで処理し優勢色領域を強調する。“色セット”値を抽出し、しきい値レベルを越える色セット値を保持することによりヒストグラムを近似させる。この画像の特徴付け方法は画像の分割を必要とし、プロセスが難しく、計算量が多大である。領域表現はリジッドであり、画像の回転又は平行移動により変化する。
【０００９】
“ブロブワールド”は、Ｃａｒｓｏｎ他が論文「領域にベースによる画像クエリー(REGION-BASED IMAGE QUERYING)」中で提案した画像の表現方法である。この方法において、画像は、“ブロブ”と呼ばれる色とテクスチャの１セットの局部的コヒーレント領域に分割される。画像の“ブロブワールド”表現は、分割された色ブロブの位置，サイズ及び色を記録した結果である。この方法は、画像に関するかなりの空間情報を提供するが、しかし、画像の“ブロブワールド”表現はリジッドであり、画像の回転又は平行移動により変化する。さらに、画像の分割プロセスは容易でなく、かなりの計算機資源を要する。
【００１０】
従って、要望されているのは、記述子に十分な空間情報を埋め込み、画像をそのコンテンツに基づき識別できる画像の特徴付け方法である。さらに、その方法は、或る種の画像変換に対し不変であり、計算機と蓄積装置の資源を保持し、ノイズに不感で、通常のセンスで容易に解釈できなければならない。
【００１１】
【発明が解決しようとする課題】
本発明は、上述のごとき実情に鑑みてなされたものであり、複数の画素を含む空間構成要素を規定するステップと、前記空間構成要素に対応する多数のテスト領域の輪郭を画像上に配置するステップと、前記輪郭を描いたテスト領域における前記画像の色又はそれに代わるテクスチャを量子化するステップと、量子化された色又はそれに代わるテクスチャを含む前記テスト領域の数を計数するステップと、より成る画像の特徴付け方法を提供する。この発明の方法を用いて得られたデータは、画像の回転又は平行移動に対する高い不変性を示す一方で、異なるスケールの特徴を持つ画像を識別するための十分な埋め込み空間情報を含んでいる。さらに、統計的方法を用いデータを非常にコンパクトに表現できる。又、計算も簡単である。
【００１２】
【課題を解決するための手段】
請求項１の発明は、画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、各々の前記テスト領域の色を量子化する色量子化ステップと、（ｄ）計数手段が、前記色量子化ステップで量子化された色を含んだ前記テスト領域の数を、色毎に計数するステップと、を有し、前記色量子化ステップは、前記テスト領域中の色が均一の色である場合には該均一の色を量子化し、前記テスト領域中の色が非均一な色で構成される場合には複数の量子化レベルの色に量子化することを特徴としたものである。
【００１３】
請求項２の発明は、請求項１の発明において、前記色量子化ステップは、各々の前記テスト領域の色を、平均色と代表色の少なくとも１つとして量子化することを特徴としたものである。
【００１４】
請求項３の発明は、請求項１の発明において、前記色量子化ステップは、各々の前記テスト領域の色を、赤，緑，青の各色の強度の平均として量子化することを特徴としたものである。
【００１６】
請求項４の発明は、請求項１の発明において、（ｅ）テスト手段が、前記画像上の各々の前記テスト領域の色が十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴としたものである。
【００１８】
請求項５の発明は、画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、前記画像上の各々の前記テスト領域のテクスチャを量子化するテクスチャ量子化ステップと、（ｄ）計数手段が、前記テクスチャ量子化ステップで量子化されたテクスチャを含んだ前記テスト領域の数を、テクスチャ毎に計数するステップと、を有し、前記テクスチャ量子化ステップは、前記テスト領域中のテクスチャが均一のテクスチャである場合には該均一のテクスチャを量子化し、前記テスト領域中のテクスチャが非均一なテクスチャで構成される場合には複数の量子化レベルのテクスチャに量子化することを特徴としたものである。
【００１９】
請求項６の発明は、請求項５の発明において、前記テクスチャ量子化ステップは、各々の前記テスト領域のテクスチャを、平均テクスチャとして量子化することを特徴としたものである。
【００２１】
請求項７の発明は、請求項５の発明において、（ｅ）テスト手段が、前記画像上の各々の前記テスト領域のテクスチャが十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴としたものである。
【００２３】
【発明の実施の形態】
本発明の上記及び他の目的、特徴及び利益は、添付の図面を参照して以下の詳細な説明を読めば、容易に理解されよう。
本発明による画像の特徴付け方法においては、色又はテクスチャを予め規定したサイズと形状の複数の領域毎に量子化する。これらの領域は予め定めた計画に従って画像上に配置するのが好ましい。画像のこれら領域の色又はテクスチャのデータ或いは本方法を用いて得た関連統計データは、画像を記述し画像を識別する上で有効である。得られたデータは、画像の記述子として参照される。
【００２４】
図１は、テスト領域を描いた異なる色又はテクスチャの特徴を含む画像を示す図で第１色の三角形特徴２と第２色の円形特徴４を持つ画像へ本方法の応用を示す図である。画像の残部の色は、第３の背景色である。多数の正方形テスト領域６を画像上に描く。テスト領域のサイズと形状は、複数の画素すなわちピクセルを取り囲む予め規定された空間構成要素のサイズと形状に対応することが好ましい。図１に図示されたテスト領域を規定する空間構成要素は正方形であるが、この要素のサイズと形状には制限は無い。テスト領域の特定の形状とサイズは、本発明の方法を用いる用途により規定することができる。矩形又は円形のような正則形状は、無定形状すなわちブロブ形状よりも多くの応用においてより好便である。又、テスト領域は、散乱弾に似た画素（ピクセル）の散乱パターンであって良い。同様に、画像上のテスト領域の配置プランは図１に示した直線で囲まれたパターンに制限されず、本方法を用いる用途によって規定できる。
【００２５】
図１において多数のテスト領域６が完全に三角形特徴２の領域内に入っている。これらのテスト領域内の画像の色は均一な第１色である。同様に、多数のテスト領域が完全に円形特徴４の領域内又は背景内に入っている。これらのテスト領域内の画像の色は均一で、第２色又は背景色として各々量子化できる。程度は異なるが、残りのテスト窓は２つ以上の領域に重なり合っている。これらの領域中の色は均一ではない。
【００２６】
図２は、図１の画像上により大きいスケールでテスト領域を描いた場合を示す図である。テスト領域の形状とテスト領域の配置プランと同様に、テスト領域のサイズはその用途において決定される。但し、画像に関する空間情報は、データ又は画像記述子に埋め込まれる。理由は、テスト領域はスケールを有する、即ちテスト領域は複数の画素を囲んでいるからである。図１，２を比較するとわかるようにテスト領域を変えると各色のテスト領域数が変化する。
【００２７】
図３は、８つの正方形の特徴及び８つの円形の特徴で特徴付ける画像を示す図、図４は、１つの正方形の特徴と１つの円形の特徴で特徴付ける画像で、各特徴が図３における８つの同一幾何学形状の特徴と等しい面積を有している画像を示す図である。同様に、２つの画像の個々の色領域のサイズが異なると、各色のテスト領域数が同様に変化する。例えば、図３の画像の８個の正方形特徴１０と８個の円形特徴１２の総面積は、それぞれ図４の画像の正方形特徴２０と円形特徴２２の総面積と等しい。その結果、色の関数としての画素の母集団分布は、２枚の画像とも等しくなる。しかしながら、画像の個々の色領域のサイズが異なるために、各均一色のテスト領域数はテスト領域の測度が一定である場合でも変化する。図４において、円形特徴の色を含むテスト領域の方が、図３の円形特徴で完全に満たされているテスト領域より多い。大きい均一色領域又は“ブロブ”を含む画像は、小さいより分散した色領域を有する画像より、これらブロブの均一色を有するテスト領域を多く生み出す。
【００２８】
図１において、若干のテスト領域は均一色領域の中に完全に含まれているが、若干のテスト領域は、２つ以上の色領域に重なって含まれている。その結果、これらの領域の色は均一でなく、画像を記述する際に有利なように量子化されねばならない。例えば、各赤，緑，青（ＲＧＢ）ピクセルの平均値、ＲＧＢピクセル値の変換，平均色又はＲＧＢ強度値のベクトル和が、非均一色のテスト領域の色を記述するために使用できる。非均一な色を持つ各テスト領域は、恐らく２つ又はそれ以上の色領域が重なっており、どの他のテスト領域からもある程度異なっていると考えられるので、非均一な色のテスト領域の数だけ、多数の平均色又はピクセル強度の組み合わせが有り得る。可能な入力値をより少数の量子化レベルにマッピングすれば色数を削減できる。例えば、ＲＧＢ色データは、赤緑青の寄与割合が或る特定の範囲内にあるテスト領域の母集団として表現できる。
【００２９】
図１及び図２に見られるように、小数のテスト領域のみが画像の特徴境界内に完全に含まれ、従って真に均一の色を有している。但し、図１のように若干の場合、テスト領域の殆ど（全部ではない）が特定の色をもつ。均一色を持つ領域の集合に含まれるテスト領域数は、その用途において、“殆ど”均一のデータ領域に含まれる均一性のテストを含めることにより増大させることができる。同様に、殆ど均一である画像領域を受け入れることは、多数の均一色領域を含まない画像の場合に必要である。
【００３０】
例えば、均一性のテストは、テスト領域中の画素の色の標準偏差に基づき行うことができる。テスト領域ε内の色チャネルｋのピクセル値の標準偏差をσkとすると、均一性は次式で定義される。
【００３１】
【数式１】
式中、ｗkは色チャネルｋの重み係数である。
上記に代わる均一性テスト関数は、基本成分解析に基づくことができる。マトリックスＡはＡ＝（Ｐij）MXNとして定義される。ここで、Ｐijはテスト領域εのｉ番目のピクセルのｊ番目の色成分である。Ａの特異値は、特異値の分解によって決められる。ρk（ｋ＝１，２，…）を大きさ降順のマトリックスＡの特異値であるとすると、均一性は下式で定義される。
【００３３】
【数式２】
式中、Ｗkは特異値Ｐk（ｋ＞１）に対応する重み係数である。
画像を特徴付ける本方法により得られたデータは、この分野ではよく知られている統計的表現に組み込むことができる。“色ブロブ”のヒストグラムを作成し、それらの色の関数としてテスト領域の母集団の頻度分布を表すことができる。所与の画像Ｉに対して、色ブロブのヒストグラムは、スケールｓの全テスト領域の母集団分布である。尚、ｓは画素中のテスト領域サイズである。この色ブロブのヒストグラムは、集合Ｃに属する各量子化色ｃ（即ち、ｃ∈Ｃ）に対して１つの要素ｈs,cを有する配列ｈsとして定義される。
【００３５】
【数式３】
式中、Ｃは全ての量子化された色の集合であり、Ｉsは画像Ｉ中のサイズｓの全ての色ブロブの集合である。
色関数としてのテスト領域の母集団分布は、色ブロブヒストグラムの統計的モーメントである色ブロブモーメントによって記述することもできる。この方法は、色ブロブモーメントが極めてコンパクトな画像記述子であると云う利点を提供する。所与の画像Ｉに対して、各色チャネルｋ内のサイズｓのテスト領域の母集団分布の第１，第２及び第３の統計的モーメントは、次の通りである。
平均値（μ）（第１モーメント）：
【００３７】
【数式４】
標準偏差（σ）（第２モーメント）：
【００３９】
【数式５】
歪度（λ）（第３モーメント）：
【００４１】
【数式６】
式中、ｃk（ε）は、ｃ（ε）のｋ番目の色成分である。
図５は、本発明の第１実施例において得られた画像データ例を示す図で、処理画像より得られるデータは、量子化された色の集合μ0〜μ10として表現でき、その際、量子化した色の１つに一致する十分に均一な色を有するテスト領域の数を共に示すことができる。言い換えれば、μsが赤色で、６つのテスト領域が十分に均一な赤色であれば、μsは総計６を持つ。その結果、個々のピクセルの色の総和ではなく、各項目が十分に均一な色を有するテスト領域数を合計するヒストグラムが得られる。異なるテスト領域サイズｓで画像を処理して追加データを得る。多数の画像から得たデータは、画像の比較目的に使用することができる。
【００４３】
図６は、同一サイズ及び形状の特徴を有し、その特徴が平行移動及び回転した２枚の類似画像を示す図である。画像を特徴付ける本方法の第２の好ましい特性は、記述子が画像特徴の回転と平行移動に対し不変であることである。図６（ａ），（ｂ）の２つの画像では、正方形の特徴領域は水平方向と垂直方向に移動し、三角形の特徴領域は９０度回転している。各特徴の均一色を有するテスト領域数は不変である。等方性色領域の場合、色ブロブのヒストグラムと色ブロブのモーメントが画像特徴の平行移動と回転に対し不変であることを示すことができる。
【００４４】
本発明による画像の特徴付け方法は、画像のテクスチャ又は表面外観に基づく画像の特徴付けにおいて同様に有利である。色は点特性であり、色ヒストグラム又は画素の色特性の他の表現法によって記述でき、一方、テクスチャは局部的な近傍特性であり、テクスチャ記述子は、画素の周辺領域の特性を記述する。画像を特徴付ける本方法を応用する際に、個別のテスト領域のテクスチャは、異方性，指向性及びコントラストのような平均テクスチャ記述子によって表現することができる。テクスチャ記述子はテクスチャブロブのヒストグラムで統計的に記述することができる。画像Ｉに対して、ｓ画素を含むテスト領域に対するテクスチャブロブのヒストグラムは、Ｔに含まれる各量子化テクスチャモデルｔに対し１個の要素ｈs,tを有する１つの配列ｈsとして定義されたサイズｓのテスト領域の母集団分布である。
【００４５】
【数式７】
式中、Ｔは全ての量子化テクスチャモデルを含む集合である。
所与の画像Ｉに対して、スケールｓのテスト領域に対するテクスチャブロブのモーメントは、各テクスチャバンドｋにおけるサイズｓのテスト領域の頻度分布の第１，第２及び第３の統計的モーメントである。即ち、
平均値（μ）（第１モーメント）：
【００４７】
【数式８】
標準偏差（σ）（第２モーメント）：
【００４９】
【数式９】
歪度（λ）（第３モーメント）：
【００５１】
【数式１０】
式中、ｔk（ε）は、ｔ（ε）のｋ番目の成分である。
上記の技法は、色又はテクスチャの標準偏差に基づき、十分に均一なテスト領域の総数を計数する。残念ながら、標準偏差のためのしきい値の選択が難しい。しきい値がゼロであれば、十分に均一なテスト領域は無くなる。一方、しきい値が大きいと、多数のテスト領域があまり均一でなくても計数される。
【００５３】
図７は、本発明の第２の実施例において得られた画像データ例を示す図で、本発明の追加の実施形態としては、各テスト領域毎に量子化色に関する色分布の割合の計算を含んでいる。結果として得られるマトリックスは、色の割合の関数として各量子化色の発現数を持つ。図７の１００％の欄は図５に示した先述の技法の単一欄（ｓ＝ｘ１）と同じであることに注意すべきである。
【００５４】
再度図１乃至図４を参照する。便宜上、互いに間隔を置いたテスト領域のセットを示し、この技法を説明する。平行移動と回転に対する不変性を高めるために、この好ましい技法は、画像内の各ピクセルにテスト領域を配置することを含んでいる。
【００５５】
テスト領域のサイズは、十分に均一なテスト領域数に十分な影響をもつ。図３及び図４を参照する。使用テスト領域を、図３の正方形，円形の特徴１０，１２より大きく、但し、図４の正方形，円形の特徴２０，２２より小さいように選択すると、図３の処理では十分に均一な領域は得られないという結果をもたらす。しかしながら、図４の処理では、幾つかの十分に均一な領域をもたらす。このように、十分に均一なテスト領域数の違いが増大し、かような測度を用いる画像間の識別が容易になる。
【００５６】
ここに記述した技法は、Ｙ／Ｃｂ／Ｃｒのような適当な色空間に適用できる。画像上のテスト領域のパターンとサイズは、要望に応じ変更またはランダムとすることができる。
【００５７】
上記の説明に使用してきた用語と表現は、説明のために使用したものであり、限定するものではなく、図示し説明してきた特徴又はその部分の同等の用語及び表現を除外する意図は全く無い。
【００５８】
【発明の効果】
本発明の画像の特徴付け方法によって、記述子に十分な空間情報を埋め込み、画像をそのコンテンツに基いて識別可能になる。さらに、その方法は、或る種の画像変換に対し不変であり、計算機と蓄積装置の資源を保持し、ノイズに不感で、通常のセンスで容易に解釈可能である。本発明の方法を用いて得られたデータは、画像の回転又は平行移動に対する高い不変性を示す一方で、異なるスケールの特徴を持つ画像を識別するための十分な埋め込み空間情報を含んでいる。さらに、統計的方法を用いデータを非常にコンパクトに表現できる。又、計算も簡単である。
【図面の簡単な説明】
【図１】テスト領域を描いた異なる色又はテクスチャの特徴を含む画像を示す図である。
【図２】画像上により大きいスケールで描いたテスト領域を有する図１の画像を示す図である。
【図３】８つの正方形の特徴及び８つの円形の特徴で特徴付ける画像を示す図である。
【図４】１つの正方形の特徴と１つの円形の特徴で特徴付ける画像で、各特徴が図３における８つの同一幾何学形状の特徴と等しい面積を有している画像を示す図である。
【図５】本発明の第１の実施例において得られた画像データ例を示す図である。
【図６】同一サイズ及び形状の特徴を有し、その特徴が平行移動及び回転した２枚の類似画像を示す図である。
【図７】本発明の第２の実施例において得られた画像データ例を示す図である。
【図８】異なるスケールの特徴を有する２枚の画像を示す図である。
【符号の説明】
２…第１色の三角形特徴、４…第２色の円形特徴、６…テスト領域、１０，２０…正方形特徴、１２，２２…円形特徴。
Claims (7)
- 画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、各々の前記テスト領域の色を量子化する色量子化ステップと、（ｄ）計数手段が、前記色量子化ステップで量子化された色を含んだ前記テスト領域の数を、色毎に計数するステップと、を有し、
前記色量子化ステップは、前記テスト領域中の色が均一の色である場合には該均一の色を量子化し、前記テスト領域中の色が非均一な色で構成される場合には複数の量子化レベルの色に量子化することを特徴とする画像を特徴付ける方法。 - 前記色量子化ステップは、各々の前記テスト領域の色を、平均色と代表色の少なくとも１つとして量子化することを特徴とする請求項１に記載の方法。
- 前記色量子化ステップは、各々の前記テスト領域の色を、赤，緑，青の各色の強度の平均として量子化することを特徴とする請求項１に記載の方法。
- （ｅ）テスト手段が、前記画像上の各々の前記テスト領域の色が十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴とする請求項１に記載の方法。
- 画像を特徴付ける方法において、（ａ）空間構成要素規定手段が、複数の画素を含む空間構成要素を規定するステップと、（ｂ）テスト領域配置手段が、前記空間構成要素に対応するテスト領域を前記画像上に複数配置するステップと、（ｃ）量子化手段が、前記画像上の各々の前記テスト領域のテクスチャを量子化するテクスチャ量子化ステップと、（ｄ）計数手段が、前記テクスチャ量子化ステップで量子化されたテクスチャを含んだ前記テスト領域の数を、テクスチャ毎に計数するステップと、を有し、
前記テクスチャ量子化ステップは、前記テスト領域中のテクスチャが均一のテクスチャである場合には該均一のテクスチャを量子化し、前記テスト領域中のテクスチャが非均一なテクスチャで構成される場合には複数の量子化レベルのテクスチャに量子化することを特徴とする画像を特徴付ける方法。 - 前記テクスチャ量子化ステップは、各々の前記テスト領域のテクスチャを、平均テクスチャとして量子化することを特徴とする請求項５に記載の方法。
- （ｅ）テスト手段が、前記画像上の各々の前記テスト領域のテクスチャが十分に均一であるかを示す均一性をテストするステップを、さらに有することを特徴とする請求項５に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/183,598 US6516100B1 (en) | 1998-10-29 | 1998-10-29 | Method for image characterization using color and texture statistics with embedded spatial information |
| US09/183598 | 1998-10-29 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000137823A JP2000137823A (ja) | 2000-05-16 |
| JP2000137823A5 JP2000137823A5 (ja) | 2006-03-23 |
| JP4293690B2 true JP4293690B2 (ja) | 2009-07-08 |
Family
ID=22673502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28821099A Expired - Fee Related JP4293690B2 (ja) | 1998-10-29 | 1999-10-08 | 画像の特徴付け方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US6516100B1 (ja) |
| EP (1) | EP0997846A3 (ja) |
| JP (1) | JP4293690B2 (ja) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3748172B2 (ja) * | 1998-12-09 | 2006-02-22 | 富士通株式会社 | 画像処理装置 |
| JP2000187731A (ja) * | 1998-12-21 | 2000-07-04 | Ricoh Co Ltd | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7417640B1 (en) | 1999-01-29 | 2008-08-26 | Lg Electronics Inc. | Method for dominant color setting of video region and data structure and method of confidence measure extraction |
| US6542632B1 (en) * | 1999-02-01 | 2003-04-01 | Sharp Laboratories Of America, Inc. | Method for image characterization using color and texture statistics with embedded spatial information |
| GB2349460B (en) | 1999-04-29 | 2002-11-27 | Mitsubishi Electric Inf Tech | Method of representing colour images |
| US7212667B1 (en) * | 1999-05-17 | 2007-05-01 | Samsung Electronics Co., Ltd. | Color image processing method for indexing an image using a lattice structure |
| KR100294924B1 (ko) * | 1999-06-24 | 2001-07-12 | 윤종용 | 영상분할 장치 및 방법 |
| US7046842B2 (en) * | 1999-08-17 | 2006-05-16 | National Instruments Corporation | System and method for color characterization using fuzzy pixel classification with application in color matching and color match location |
| US7221780B1 (en) * | 2000-06-02 | 2007-05-22 | Sony Corporation | System and method for human face detection in color graphics images |
| US7453468B2 (en) * | 2000-11-29 | 2008-11-18 | Xerox Corporation | Intelligent color to texture converter |
| US7062084B2 (en) * | 2000-12-01 | 2006-06-13 | Sharp Laboratories Of America, Inc. | Method for image description using color and local spatial information |
| US7119924B2 (en) * | 2001-09-28 | 2006-10-10 | Xerox Corporation | Detection and segmentation of sweeps in color graphics images |
| US7440611B2 (en) * | 2002-01-31 | 2008-10-21 | Sharp Laboratories Of America, Inc. | Method for image characterization using color and texture statistics with embedded spatial information |
| EP2302590A1 (en) * | 2003-07-04 | 2011-03-30 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for representing a group of images |
| US8922594B2 (en) * | 2005-06-15 | 2014-12-30 | Sharp Laboratories Of America, Inc. | Methods and systems for enhancing display characteristics with high frequency contrast enhancement |
| US8004511B2 (en) * | 2004-12-02 | 2011-08-23 | Sharp Laboratories Of America, Inc. | Systems and methods for distortion-related source light management |
| US8913089B2 (en) * | 2005-06-15 | 2014-12-16 | Sharp Laboratories Of America, Inc. | Methods and systems for enhancing display characteristics with frequency-specific gain |
| US8120570B2 (en) * | 2004-12-02 | 2012-02-21 | Sharp Laboratories Of America, Inc. | Systems and methods for tone curve generation, selection and application |
| US8111265B2 (en) * | 2004-12-02 | 2012-02-07 | Sharp Laboratories Of America, Inc. | Systems and methods for brightness preservation using a smoothed gain image |
| US7961199B2 (en) * | 2004-12-02 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for image-specific tone scale adjustment and light-source control |
| US7800577B2 (en) * | 2004-12-02 | 2010-09-21 | Sharp Laboratories Of America, Inc. | Methods and systems for enhancing display characteristics |
| US7982707B2 (en) * | 2004-12-02 | 2011-07-19 | Sharp Laboratories Of America, Inc. | Methods and systems for generating and applying image tone scale adjustments |
| US9083969B2 (en) * | 2005-08-12 | 2015-07-14 | Sharp Laboratories Of America, Inc. | Methods and systems for independent view adjustment in multiple-view displays |
| US8947465B2 (en) * | 2004-12-02 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Methods and systems for display-mode-dependent brightness preservation |
| US7782405B2 (en) * | 2004-12-02 | 2010-08-24 | Sharp Laboratories Of America, Inc. | Systems and methods for selecting a display source light illumination level |
| US7768496B2 (en) * | 2004-12-02 | 2010-08-03 | Sharp Laboratories Of America, Inc. | Methods and systems for image tonescale adjustment to compensate for a reduced source light power level |
| US7924261B2 (en) * | 2004-12-02 | 2011-04-12 | Sharp Laboratories Of America, Inc. | Methods and systems for determining a display light source adjustment |
| US20070070365A1 (en) * | 2005-09-26 | 2007-03-29 | Honeywell International Inc. | Content-based image retrieval based on color difference and gradient information |
| GB2431797B (en) * | 2005-10-31 | 2011-02-23 | Sony Uk Ltd | Image processing |
| US7839406B2 (en) * | 2006-03-08 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for enhancing display characteristics with ambient illumination input |
| JP4890185B2 (ja) * | 2006-09-29 | 2012-03-07 | 本田技研工業株式会社 | 車両用変速機 |
| WO2008044270A1 (fr) * | 2006-10-05 | 2008-04-17 | Panasonic Corporation | Dispositif d'affichage électroluminescent |
| US7826681B2 (en) * | 2007-02-28 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for surround-specific display modeling |
| US8345038B2 (en) * | 2007-10-30 | 2013-01-01 | Sharp Laboratories Of America, Inc. | Methods and systems for backlight modulation and brightness preservation |
| US8155434B2 (en) * | 2007-10-30 | 2012-04-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image enhancement |
| US8378956B2 (en) * | 2007-11-30 | 2013-02-19 | Sharp Laboratories Of America, Inc. | Methods and systems for weighted-error-vector-based source light selection |
| US9177509B2 (en) * | 2007-11-30 | 2015-11-03 | Sharp Laboratories Of America, Inc. | Methods and systems for backlight modulation with scene-cut detection |
| US8207932B2 (en) * | 2007-12-26 | 2012-06-26 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light illumination level selection |
| US8223113B2 (en) * | 2007-12-26 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with variable delay |
| US8179363B2 (en) * | 2007-12-26 | 2012-05-15 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with histogram manipulation |
| US8169431B2 (en) * | 2007-12-26 | 2012-05-01 | Sharp Laboratories Of America, Inc. | Methods and systems for image tonescale design |
| US8203579B2 (en) * | 2007-12-26 | 2012-06-19 | Sharp Laboratories Of America, Inc. | Methods and systems for backlight modulation with image characteristic mapping |
| US8531379B2 (en) | 2008-04-28 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image compensation for ambient conditions |
| US9794448B1 (en) * | 2008-06-04 | 2017-10-17 | Hao-jan Chang | Visible multiple codes system, method and apparatus |
| US8416179B2 (en) | 2008-07-10 | 2013-04-09 | Sharp Laboratories Of America, Inc. | Methods and systems for color preservation with a color-modulated backlight |
| US9330630B2 (en) * | 2008-08-30 | 2016-05-03 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with rate change control |
| US8165724B2 (en) * | 2009-06-17 | 2012-04-24 | Sharp Laboratories Of America, Inc. | Methods and systems for power-controlling display devices |
| US20110001737A1 (en) * | 2009-07-02 | 2011-01-06 | Kerofsky Louis J | Methods and Systems for Ambient-Adaptive Image Display |
| CN108446706B (zh) * | 2018-02-27 | 2021-01-19 | 西安交通大学 | 一种基于颜色主分量提取的磨粒材质自动识别方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2603946B2 (ja) | 1986-09-26 | 1997-04-23 | オリンパス光学工業株式会社 | 画像間の対応領域の検出装置 |
| JP2603144B2 (ja) | 1990-01-17 | 1997-04-23 | 富士写真フイルム株式会社 | 画像ファイリング装置 |
| US5309228A (en) | 1991-05-23 | 1994-05-03 | Fuji Photo Film Co., Ltd. | Method of extracting feature image data and method of extracting person's face data |
| US5509111A (en) | 1992-04-27 | 1996-04-16 | International Business Machines Corporation | Color image region management system and color image region management method and color image region retrieval method |
| US5446543A (en) | 1992-07-24 | 1995-08-29 | Kabushiki Kaisha Toshiba | Method and apparatus for extracting a pattern of color from an object using a neural network |
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| JP3234064B2 (ja) | 1993-09-02 | 2001-12-04 | キヤノン株式会社 | 画像検索方法並びにその装置 |
| JPH07146871A (ja) | 1993-11-24 | 1995-06-06 | Hitachi Ltd | 静止画検索装置および静止画検索方法 |
| US5606655A (en) | 1994-03-31 | 1997-02-25 | Siemens Corporate Research, Inc. | Method for representing contents of a single video shot using frames |
| US5521841A (en) | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
| US6246804B1 (en) * | 1994-11-15 | 2001-06-12 | Canon Kabushiki Kaisha | Image retrieval method and apparatus using a compound image formed from a plurality of detected regions |
| US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
| US5873080A (en) * | 1996-09-20 | 1999-02-16 | International Business Machines Corporation | Using multiple search engines to search multimedia data |
| US5901245A (en) * | 1997-01-23 | 1999-05-04 | Eastman Kodak Company | Method and system for detection and characterization of open space in digital images |
-
1998
- 1998-10-29 US US09/183,598 patent/US6516100B1/en not_active Expired - Fee Related
-
1999
- 1999-10-08 JP JP28821099A patent/JP4293690B2/ja not_active Expired - Fee Related
- 1999-10-26 EP EP99121354A patent/EP0997846A3/en not_active Withdrawn
-
2000
- 2000-09-28 US US09/676,279 patent/US6445835B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0997846A2 (en) | 2000-05-03 |
| EP0997846A3 (en) | 2002-10-02 |
| US6516100B1 (en) | 2003-02-04 |
| US6445835B1 (en) | 2002-09-03 |
| JP2000137823A (ja) | 2000-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4293690B2 (ja) | 画像の特徴付け方法 | |
| Liu et al. | Content-based image retrieval using color difference histogram | |
| US7062084B2 (en) | Method for image description using color and local spatial information | |
| Rana et al. | Boosting content based image retrieval performance through integration of parametric & nonparametric approaches | |
| Eidenberger | How good are the visual MPEG-7 features? | |
| Bedi et al. | Mean distance local binary pattern: a novel technique for color and texture image retrieval for liver ultrasound images | |
| US6542632B1 (en) | Method for image characterization using color and texture statistics with embedded spatial information | |
| Wang et al. | Robust color image retrieval using visual interest point feature of significant bit-planes | |
| Ang et al. | Image retrieval based on multidimensional feature properties | |
| Bai et al. | Fake generated painting detection via frequency analysis | |
| KR100323364B1 (ko) | 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법 | |
| Pavithra et al. | Optimized feature integration and minimized search space in content based image retrieval | |
| US7440611B2 (en) | Method for image characterization using color and texture statistics with embedded spatial information | |
| CN106649611B (zh) | 一种基于邻域旋转直角模式的图像检索方法 | |
| You et al. | The technique of color and shape-based multi-feature combination of trademark image retrieval | |
| Hafiane et al. | Local relational string and mutual matching for image retrieval | |
| Vandenbroucke et al. | Unsupervised color-image segmentation by multicolor space iterative pixel classification | |
| Ustubioglu et al. | Improved copy-move forgery detection based on the CLDs and colour moments | |
| Varish et al. | Image retrieval scheme using efficient fusion of color and shape moments | |
| Shaila et al. | Smooth weighted colour histogram using human visual perception for content-based image retrieval applications | |
| Abbas | Computer-aided decision support system for classification of pigmented skin lesions | |
| Sebai et al. | Improving high-resolution satellite images retrieval using Linear SVM classifier and data augmentation | |
| Dai et al. | Unbalanced region matching based on two-level description for image retrieval | |
| Koubaroulis et al. | Illumination invariant object recognition using the MNS method | |
| Ashok et al. | Content based Image Retrieval using Histogram and LBP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |