JPH1185982A - 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像から画像特徴量としてテクスチャの基本
パターンを抽出し、このテクスチャの基本パターンを用
いて画像間の比較を行うことにより、精度よく画像検索
が可能となる画像特徴量比較装置を提供する。 【解決手段】 本発明の画像特徴量比較装置は、画素の
特徴量に基づいて異なる画像間の比較を行う画像特徴量
比較装置であって、画像を入力し（Ｓ３０１）、画像の
テクスチャの周期性を求め（Ｓ３０４）、求められた周
期性に基づいて、画像のテクスチャの基本パターンを抽
出し（Ｓ３０６）、抽出した基本パターンを正規化し
（Ｓ３０７）、シフトさせた（Ｓ３０８）後、基本パタ
ーンを画像と関連づけて特徴量として画像データベース
に登録する（Ｓ３０９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の特徴量を用
いて異なる画像間の比較を行う画像特徴量比較装置に関
するものである。

【０００２】

【従来の技術】一般に、画像データベースは、画像デー
タに、作成日、修正日、ファイル名、ファイルフォーマ
ット等の属性情報と、キーワード、形状特徴、色味、音
声等の検索情報とを付加し、保管・管理する。このよう
な画像データベースにおいて、データを登録する際に、
属性情報が自動的に付加されることは一般的に行われて
いる。画像データベースにおいて、画像データを検索す
る場合、キーとなる画像と、検索対象となる画像との特
徴量を比較する必要があるが、このとき、特徴量として
画像のテクスチャパターンを用いることは有効な手段で
ある。このため、画像におけるテクスチャの構造的情報
を抽出するための効率的な方法が要望される。

【０００３】

【発明が解決しようとする課題】テクスチャの構造的情
報を抽出する方法として、例えば、「画像認識の基礎[I
I]−特徴抽出、エッジ検出、テクスチャ解析」（森俊二
他著、オーム社）に開示された方法がある。ここでは、
厳密な手法により画像におけるテクスチャの基本パター
ンと配置を抽出する手法が説明されているが、処理が複
雑で処理速度の面で現実的でない。

【０００４】また、画像からテクスチャ情報を抽出する
方法として、特開平５−２８２６６号公報に開示された
発明がある。この発明では、画像を正方形状のブロック
に分割し、各ブロック毎に特徴量を算出している。しか
し、この方法では、テクスチャ構造パターンの抽出まで
は行っていない。

【０００５】本発明は上記問題を解決するためになされ
たものであり、その目的とするところは、画像から画像
特徴量としてテクスチャの基本パターンを抽出し、画像
のテクスチャの基本パターンを用いて画像間の比較を行
うことにより、精度よく画像検索が可能となる画像特徴
量比較装置を提供することにある。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る第１の画像特徴量比較装置は、多値化
された画素情報が二次元格子状に配列されてなるテクス
チャを含む画像から画像の特徴量を抽出し、該特徴量に
基づいて異なる画像間の比較を行う画像特徴量比較装置
において、画像を、画像の特徴量とともに記憶する画像
記憶手段と、画像のテクスチャの周期性を求める周期性
検出手段と、該周期性検出手段により求められた周期性
に基づいて、画像のテクスチャの基本パターン及び該基
本パターンのテクスチャにおける配置情報を前記特徴量
として抽出する抽出手段とを備える。

【０００７】また、前記第１の画像特徴量比較装置にお
いて、前記周期性検出手段により求められた周期性のう
ち二方向の周期性を用いて、前記画像からテクスチャの
基本パターンを抽出してもよい。

【０００８】また、前記画像特徴量比較装置において、
前記抽出手段は、前記基本パターンを抽出した後に、さ
らに該基本パターンを所定の画像サイズおよび形状に正
規化してもよい。

【０００９】また、前記画像特徴量比較装置において、
前記基本パターンが複数の構成要素からなる場合、前記
抽出手段は、前記基本パターンを抽出した後に、前記基
本パターンにおいて構成要素が中心付近に集中するよう
に、前記各構成要素を、画像の特徴を保持しながらシフ
トさせてもよい。

【００１０】また、前記画像特徴量抽出比較装置におい
て、検索キーとなる画像を指定する画像指定手段と、前
記検索キーとなる画像に対するテクスチャの基本パター
ンと、前記画像記憶手段中に保持される検索対象の画像
に対するテクスチャの基本パターンとに基づいて、両画
像間の類似度を計算する類似度計算手段と、該類似度計
算手段による類似度に基づき、両画像が類似しているか
否かを判断する判断手段と、該類似度判断手段による判
断結果に基づき、両画像が類似しているときに、前記検
索対象の画像を検索結果として出力する画像出力手段と
を備えてもよい。

【００１１】本発明に係る第２の画像特徴量比較装置
は、画像に含まれるテクスチャの基本パターンを、該基
本パターンとともに画像と関連づけて保持する画像記憶
手段と、検索キーとなる画像を指定する画像指定手段
と、前記検索キーとなる画像に対するテクスチャの基本
パターン及び該基本パターンのテクスチャにおける配置
情報と、前記画像記憶手段中に保持された検索対象の画
像に対するテクスチャの基本パターン及び該基本パター
ンのテクスチャにおける配置情報とに基づき、両画像間
の類似度を計算する類似度計算手段と、該類似度計算手
段による類似度に基づき、類似しているか否かを判断す
る判断手段と、該判断手段による判断結果に基づき、両
画像が類似しているときに、前記の検索対象画像を検索
結果として出力する画像出力手段とを備える。

【００１２】本発明に係る第１のコンピュータ読み取り
可能な記録媒体は、多値化された画素情報が二次元格子
状に配列されてなるテクスチャを含む画像から画像の特
徴量を抽出し、該特徴量に基づいて画像間の比較を行う
画像特徴量比較プログラムであって、画像を入力するス
テップと、画像のテクスチャの周期性を求めるステップ
と、該求められた周期性に基づいて、画像のテクスチャ
の基本パターン及び該基本パターンのテクスチャにおけ
る配置情報を前記特徴量として抽出するステップとを有
するプログラムを記録する。

【００１３】本発明に係る第２のコンピュータ読み取り
可能な記録媒体は、画像に含まれるテクスチャの基本パ
ターンを、該基本パターンとともに画像と関連づけて画
像記憶手段中に保持させるステップと、検索キーとなる
画像を指定するステップと、前記検索キーとなる画像に
対するテクスチャの基本パターン及び基本パターンのテ
クスチャにおける配置情報と、前記画像記憶手段中に保
持される検索対象の画像に対するテクスチャの基本パタ
ーン及び配置情報とに基づき、両画像間の類似度を計算
するステップと、該類似度計算手段による類似度に基づ
き、前記両画像が類似しているか否かを判断するステッ
プと、該判断した結果に基づき、前記両画像が類似して
いるときに、前記の検索対象画像を検索結果として出力
するステップとを有するプログラムを記録する。

【００１４】

【発明の実施の形態】以下、添付の図面を用いて本発明
に係る画像特徴量比較装置の実施の形態を説明する。

【００１５】本実施形態の画像特徴量比較装置は、画像
からテクスチャの中に周期的に現われる基本的なパター
ン（以下、「基本パターン」という。）をパターンの大
きさや歪みに依存しない方法で抽出し、このパターンを
画像の特徴量として保存する。また、このテクスチャの
基本パターンを用いて画像間の比較を行うことにより、
正確かつ高速な画像の比較検索を可能とする。

【００１６】＜画像特徴量比較装置の全体構成＞図１に
本実施形態の画像特徴量比較装置（以下、「システム」
と称す。）の概略構成図を示す。図１に示すように、シ
ステムは中央演算処理（以下、「ＣＰＵ」と称す。）を
備え、システム全体を制御する制御装置１を中心として
構成される。ＣＰＵには例えばインテル社製のペンティ
アム等が用いられる。この制御装置１には、画像あるい
は文字等の表示や、操作のための表示等を行うディスプ
レイ２と、各種入力、指示操作等を行うためのキーボー
ド３およびマウス４と、データ保管媒体であるフロッピ
ーディスク装置５ａおよびハードディスク装置６と、文
字や画像データ等を印刷するプリンタ７と、画像データ
を取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格
納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂ
と、音声出力のためのスピーカ１０と、音声入力のため
のマイクロホン１１とが接続される。

【００１７】図２に本システムのブロック図を示す。Ｃ
ＰＵ２０１には、データバス２２０を介して、本システ
ムを制御するプログラムが格納されているＲＯＭ２０３
と、ＣＰＵ２０１が制御のために実行するプログラムや
データを一時的に格納するＲＡＭ２０４とが接続され
る。また、ＣＰＵ２０１にデータバス２２０を介して接
続される回路には、画像あるいは文字等の表示のためデ
ィスプレイ２を制御する表示制御回路２０５と、キーボ
ード３からの入力を転送制御するキーボード制御回路２
０６と、マウス４からの入力を転送制御するマウス制御
回路２０７と、フロッピーディスク装置５ｂを制御する
フロッピーディスク装置制御回路２０８と、ハードディ
スク装置６を制御するハードディスク装置制御回路２０
９と、プリンタ７への出力を制御するプリンタ制御回路
２１０と、スキャナ８を制御するスキャナ制御回路２１
１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装
置制御回路２１２と、スピーカ１０を制御するスピーカ
制御回路２１３と、マイクロホン１１を制御するマイク
ロホン制御回路２１４とがある。さらに、ＣＰＵ２０１
には、システムを動作させるために必要な基準クロック
を発生させるためのクロック２０２が接続され、また、
各種拡張ボードを接続するための拡張スロット２１５が
データバス２２０を介して接続される。なお、拡張スロ
ット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩ
Ｉボードを介してフロッピーディスク装置５ｂ、ハード
ディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９
ｂ等を接続してもよい。

【００１８】なお、上記システムにおいて、画像データ
保管媒体としてはフロッピーディスク５ａ、ハードディ
スク装置６を用いているが、光磁気ディスク（ＭＯ）等
の他の情報記憶媒体でもよい。また、画像データ入力装
置としてスキャナ８を用いているが、スチルビデオカメ
ラやデジタルカメラ等の他のデータ入力装置であっても
よい。さらに、出力装置としてプリンタ７を用いている
が、デジタル複写機等の他の出力装置であってもよい。
また、本システムでは、データの管理システムを実現す
るプログラムをＲＯＭ２０３に格納する。しかし、本プ
ログラムの一部または全部をフロッピーディスク５ａや
ハードディスク装置６やＣＤ−ＲＯＭ９ｂ等の情報記憶
媒体に格納しておき、必要に応じて情報記憶媒体よりプ
ログラムおよびデータをＲＡＭ２０４に読み出し、これ
を実行させてもよい。

【００１９】＜画像特徴量比較装置で用いるデータベー
ス＞また、本システムは画像データを保管、管理するた
め、データおよびその検索キーとなる付加情報等を含む
画像データベースを有する。この画像データベースはハ
ードディスク装置６等の情報記憶媒体上に論理的に構成
されている。図３に、本システムの画像データベースの
構成の一例を示す。図３に示すデータベース５０は、管
理する画像情報である「画像データ」と、その画像デー
タに対する検索キーの１つである「キーワード」と、画
像データの特徴を示す特徴量等の情報から構成される。
なお、図３においては、特徴量の１つとして、基本パタ
ーンを特定するためのテクスチャの周期性を示す情報
（方向θ、周期ｄ）およびパターン情報を保持している
例を示している。

【００２０】＜画像特徴量比較装置の制御動作＞以下
に、本システムの具体的な制御動作についてフローチャ
ートを用いて説明する。

【００２１】＜メインフロー＞図４は本システムにおい
て実行されるプログラムのメインルーチンを示すフロー
チャートである。本プログラムが起動されると、まず、
以降の各処理で必要なフラグ等のイニシャライズや、初
期メニュー画面の表示等を行う初期設定処理が行われる
（Ｓ１）。図５にこの初期メニュー画面の一例を示す。
初期メニュー画面２１上では、所定の処理を選択するた
めの選択項目２３〜２５がアイコンとして表示されてお
り、この選択項目２３〜２５の１つがユーザにより選択
されることにより所定の処理が実行される。なお、本シ
ステムにおいては、ディスプレイ２等上に表示された初
期メニュー画面２１等の設定画面上で、ユーザにより、
キーボード３やマウス４等を介して各種処理の選択、設
定値の入力等が行われる。ステップＳ１の後、初期メニ
ュー画面２１上でユーザによるメニュー選択がなされた
か否かを判定する（Ｓ２）。ステップＳ２において、
「テクスチャ抽出」２３が選択されれば、指定された画
像データからテクスチャの基本パターンを抽出し、画像
データとともに画像データベース５０に登録する等の処
理を行うテクスチャ抽出処理（Ｓ３）へ進み、その後、
ステップＳ６へ進む。ステップＳ２において、「テクス
チャ比較検索」２４が選択されれば、指定された画像デ
ータと、データベース５０に登録されている画像データ
のテクスチャを比較し、類似する画像データを検索する
処理を行うテクスチャ比較検索処理（Ｓ４）へ進み、そ
の後、ステップＳ６へ進む。ステップＳ２において、
「その他のメニュー」２５が選択されれば、その他のメ
ニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進
む。ステップＳ２において、メニュー選択されなけれ
ば、なにもせずにステップＳ６へ進む。ステップＳ６で
は、その他の処理を実行し、すべての処理が終わるとス
テップＳ２へ戻り、以後、同様の処理が繰り返される。

【００２２】ここで、その他のメニュー処理（Ｓ５）に
ついては、一般的な検索システムと基本的に同様であ
り、本願発明に直接関係しないのでここでの説明は省略
する。以下に、テクスチャ抽出処理（ステップＳ３）お
よびテクスチャ比較検索処理（ステップＳ４）について
詳細に説明する。

【００２３】＜テクスチャ抽出処理＞最初に、画像のテ
クスチャの基本パターンを抽出するテクスチャ抽出処理
（ステップＳ３）について図６のフローチャートを用い
て説明する。

【００２４】まず、ユーザの指示によりデータベース５
０から画面２９上で指定された画像データを取得する
（Ｓ３０１）。次に、取得した画像データを正規化する
（Ｓ３０２）。ここで、正規化とは、画像処理時間の短
縮とノイズの削減の目的のために、画像データを所定の
形状、大きさにすることである。本実施例では１２０×
１２０ピクセルの大きさの画像に収まるように縦横比を
維持したまま縮小する。画像データは正規化された後、
以降の処理のためグレー化され、二値化される（Ｓ３０
３）。

【００２５】次に、画像のテクスチャを解析し、テクス
チャの周期性を求める（Ｓ３０４）。周期性とは、テク
スチャのある方向θにおいて、同じパターンが、ある距
離間隔（周期）ｄ毎にある頻度以上で繰り返されること
を示すものである。周期性は周期ｄと方向θとにより表
される。なお、周期ｄと方向θが算出されても、繰り返
しパターンの出現頻度が低いものは周期性がないとす
る。テクスチャの解析手法としては、従来より知られて
いる濃度共起行列や濃度差分統計量や濃度ランレングス
行列等を用いる手法がある。本実施形態では、濃度共起
行列を用いて画像のテクスチャの周期ｄとその方向θを
求めるものとする。すなわち、画像の中心を通る４つの
方向θ（０°、４５°、９０°、１３５°）に対して、
テクスチャの周期性を濃度共起行列を用いて求める。こ
の濃度共起行列を用いたテクスチャの周期と方向を求め
る方法については、例えば、従来技術で示した「画像認
識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解
析」に詳しく述べられているので、ここでの説明は省略
する。

【００２６】テクスチャの周期性（すなわち、周期ｄと
方向θ）を求めた後、テクスチャに周期性があるか否か
を判断する（Ｓ３０５）。本実施形態では、少なくとも
２つの方向に対して周期性がある場合にテクスチャに周
期性があると判断する。２つ以上の方向に対して周期性
がある場合は、高い周期性を示すものから２つが選択さ
れる。すなわち、同じパターンが繰り返される頻度がよ
り高い方向を２つ選択し、これらの方向に周期性がある
とする。ステップＳ３０５での判断の結果、周期性があ
る場合はステップＳ３０６へ進み、周期性がない場合は
処理を終了する。

【００２７】ステップ３０６では、ステップＳ３０５で
求めた２つの周期性に基づいてテクスチャの基本パター
ンを切り出す。ここで、この基本パターンの抽出方法に
ついて説明する。

【００２８】例えば、テクスチャを解析した結果、２つ
の周期性（方向θ，周期d）＝（０°，３）、（４５
°，２）が得られた場合を考える。これらの方向と周期
に基づきテクスチャを構成する基本パターンを抽出す
る。この場合、抽出された基本パターンは図７の（ａ）
に示すようになる。

【００２９】さらに、本実施形態においては、抽出する
基本パターンの各画素値の精度を向上させるため、図７
の（ｂ）に示すように、パターンＰ５の位置を中心とし
て画像の中心を含み、基本パターンと合同な９個のパタ
ーンＰ１〜Ｐ９からなる領域を検査領域とし、この検査
領域内の各パターンＰ１〜Ｐ９の画素の値に基づいて、
基本パターンの各画素値を求める。このとき、基本パタ
ーンの画素値は、検査領域を構成する各パターンＰ１〜
Ｐ９内の対応する位置にある画素の値の平均を採用した
り、画素の値の出現頻度の最も高い値を採用したり等の
統計的処理により決定される。例えば、図７の（ｃ）に
示すような、９個のパターンからなる領域により基本パ
ターンの各画素値を決定する場合、１つのパターンにお
いて上段の一番右側にある画素について見ると、パター
ンＰ３におけるこの位置の画素値は「１」（図中「黒」
で示されるところを画素値「１」とする。）であり、他
のパターンＰ１、Ｐ２、４〜Ｐ９におけるこの位置の画
素は「０」（図中「白」で示されるところを画素値
「０」とする。）であるため、基本パターンにおける当
該位置の画素値は、最頻出の値である「０」とする。こ
のようにして得られた基本パターンを図７の（ｄ）に示
す。

【００３０】このように、複数のパターンからなる領域
から基本パターンの各画素値が決定されるため、基本パ
ターン候補の範囲内に少々のノイズが入っていても取り
除かれる。また、テクスチャのパターンにねじれがある
場合（例えば、ビルの窓を斜めから撮影したときに近く
は大きく、遠くは小さく見えるような場合）にも平均化
された基本パターンを得ることができる。

【００３１】ステップＳ３０６において基本パターンを
抽出した後、この基本パターンを所定の大きさ、形状に
正規化する（Ｓ３０７）。正規化は、例えば、基本パタ
ーンを３２×３２ピクセルの正方形の画像に変形するこ
とにより行われる。ここで、ピクセル数は、テクスチャ
比較検索処理（Ｓ４）時に高速処理が可能なようにあま
り大きな数にならないように、かつ基本パターンの特徴
が失われないような大きさに設定される必要がある。

【００３２】次に、正規化された基本パターンにおい
て、基本パターンを構成する構成要素を、基本パターン
全体として画像の特徴が失われないように、画像の中心
に集中するようにシフトさせることにより最終的な基本
パターンを得る（Ｓ３０８）。例えば、正規化（３０
７）後に、図８の（ａ）に示す基本パターンが得られた
とき、基本パターンを構成する構成要素を画像の中心に
シフトさせ、図８の（ｂ）に示すような基本パターンに
する。このように、画像の中心に集中するようにシフト
した後の基本パターンを用いることにより、同じ基本パ
ターンを有するテクスチャどうしを比較した場合、比較
が容易になり、基本パターンを切り出す場所がずれた場
合でも、同じ基本パターンを有するテクスチャであると
判定できるようになる。また、基本パターンを人間が見
た場合、感覚的に基本パターンを認識しやすいといった
利点もある。基本パターンの具体的なシフト方法につい
ては後述する。

【００３３】ステップ３０８で基本パターンをシフトし
た後、この基本パターンと、基本パターンの配置情報、
すなわち、基本パターンを抽出するための２つの周期性
に関する情報とを、画像のテクスチャ特徴量とし、画像
データと関連づけて画像データベース５０に登録する
（Ｓ３０９）。以上のようにして、本実施形態の画像特
徴量比較装置は、画像からテクスチャの基本パターンを
特徴量として抽出し、画像データと共に画像データベー
ス５０に登録する。このようにして、本システムは、画
像から特徴量として基本パターンを抽出し、画像に関連
させて画像データベース５０に登録する。

【００３４】以下に、前述のステップＳ３０８における
基本パターンのシフト方法について具体的に説明する。
本実施形態では、基本パターンの画素値が１となる画素
を質点とし、正規化された基本パターンの中心を通る二
方向に軸をとり、これらの軸を回転軸として各回転方向
に回転させた場合に、基本パターンのそれぞれの方向の
慣性モーメントが最小となるように、基本パターンを構
成する画像をシフトさせる。以下に、これを具体的に説
明する。

【００３５】今、図８において、（ａ）に示す基本パタ
ーンをシフトし、（ｂ）に示す基本パターンを得る場合
を考える。なお、図８では、正規化サイズは８×８ピク
セルとしている。最初に、図８の（ａ）に示す基本パタ
ーンのＸ方向、Ｙ方向それぞれの画素値「１」（図中、
「黒」で示す画素）が出現する頻度を求める。まずＸ方
向について考える。Ｘ方向の各列毎の画素値「１」とな
る画素の出現頻度をデータ列Ｐ＿Ｘで表すと、これは図
９の（ａ）に示すようになる。

【００３６】次に、Ｘ方向に垂直となる軸を中心として
基本パターンを回転させたときの慣性モーメントＩxに
ついて考える。まず、図９の（ａ）に示すデータ列Ｐ＿
Ｘを半分に分割した後、前半部を元のデータ列Ｐ＿Ｘの
後ろに付加し、後半部を元のデータ列Ｐ＿Ｘの前に付加
することにより、図９の（ｂ）に示す拡張したデータ列
Ｅｘｔ＿Ｘを生成する。このようにして得られるデータ
列Ｅｘｔ＿Ｘを用いて慣性モーメントＩxを計算する。
慣性モーメントＩxは正規化サイズ分のデータに対して
計算される。したがって、図９の例では、Ｘ方向の正規
化サイズは８ピクセルであるので、回転軸の前後４ピク
セル分のデータが慣性モーメントＩxについて計算対象
となる（Ｙ方向についても同様とする。）。

【００３７】ここで、回転軸について考える。データ列
Ｅｘｔ＿Ｘにおいて、慣性モーメントＩxを計算すると
きの回転軸の位置は、正規化されたときの画像サイズが
奇数であるか偶数であるかにより異なる。図１０は正規
化サイズが偶数および奇数の場合のデータ列Ｅｘｔ＿Ｘ
に対する回転軸の位置の決め方を説明したものである。
画像サイズが偶数であるときは図１０の（ａ）のように
列と列との間に回転軸を設定し、画像サイズが奇数であ
るときは図１０の（ｂ）のように列（画素）の中心に軸
を設定する。したがって、図９に示す例では、正規化サ
イズが偶数であるので、図１０の（ａ）のように列と列
との間に回転軸を設定する。

【００３８】図９の（ｂ）に示すデータ列Ｅｘｔ＿Ｘに
おいて、回転軸の位置ｉを０から７まで順次変更してい
き、その都度、慣性モーメントＩxを計算し、慣性モー
メントＩxが最小となるときの回転軸の位置ｉを決定す
る。慣性モーメントＩxが最小となる回転軸の位置ｉを
求めた後、このときの回転軸の位置と、正規化された基
本パターンの中心軸Ａx、Ａyとの差分だけ、画像を中心
位置にシフトさせることにより基本パターンが画像の中
心に集中して位置するようになる。

【００３９】図９で示す拡張したデータ列Ｅｘｔ＿Ｘに
ついて回転軸の位置を順次変化させた場合の回転軸を中
心として前後４列分による慣性モーメントＩx(i)を計算
した結果を以下に示す。ここで、iは回転軸のｘ方向の
位置を示す。回転軸からの距離は図１０の（ａ）に示す
値を用いた。 Ｉx(0)＝０×３．５²＋０×２．５²＋１×１．５²＋６×０．５²＋ ６×０．５²＋５×１．５²＋４×２．５²＋０×３．５²＝４１．５…（１） Ｉx(1)＝０×３．５²＋１×２．５²＋６×１．５²＋６×０．５²＋ ５×０．５²＋４×１．５²＋０×２．５²＋０×３．５²＝３１．５…（２） Ｉx(2)＝１×３．５²＋６×２．５²＋６×１．５²＋５×０．５²＋ ４×０．５²＋０×１．５²＋０×２．５²＋０×３．５²＝６５．５…（３） Ｉx(3)＝６×３．５²＋６×２．５²＋５×１．５²＋４×０．５²＋ ０×０．５²＋０×１．５²＋０×２．５²＋１×３．５²＝１３５．５…（４ ） Ｉx(4)＝６×３．５²＋５×２．５²＋４×１．５²＋０×０．５²＋ ０×０．５²＋０×１．５²＋１×２．５²＋６×３．５²＝１９３．５…（５ ） Ｉx(5)＝５×３．５²＋４×２．５²＋０×１．５²＋０×０．５²＋ ０×０．５²＋１×１．５²＋６×２．５²＋６×３．５²＝１９９．５…（６ ） Ｉx(6)＝４×３．５²＋０×２．５²＋０×１．５²＋０×０．５²＋ １×０．５²＋６×１．５²＋６×２．５²＋５×３．５²＝１６１．５…（７ ） Ｉx(7)＝０×３．５²＋０×２．５²＋１×１．５²＋１×０．５²＋ ６×０．５²＋６×１．５²＋５×２．５²＋４×３．５²＝９５．５…（８）

【００４０】上記の計算結果により、回転軸の位置ｉが
１のとき慣性モーメントＩxが最小となる、すなわち、
Ｘ方向において、第１列と第２列との間に回転軸がある
場合に慣性モーメントＩxが最小となる。このとき、こ
の回転軸と中心軸との差分は３画素となる。これによ
り、Ｘ方向に３画素分シフトさせる必要があることがわ
かる。

【００４１】同様に、Ｙ方向の各行に対して画素「１」
の出現頻度Ｐ＿Ｙ及びＹ方向の拡張したデータ列Ｅｘｔ
＿Ｙを求めると、これらは図１１に示すようになる。慣
性モーメントＩy(i)（i＝０〜７）を計算し、最小値を
求めると、Ｉy(1)が最小となる。したがって、Ｙ方向に
３画素分シフトさせればよいことがわかる。以上のよう
にして、Ｘ、Ｙ方向のシフト量を求めた後、図９の
（ａ）に示す画像をＸ方向に３画素分、Ｙ方向に３画素
分だけ、中心軸方向にシフトさせることにより、図９の
（ｂ）に示す基本パターンが得られる。このように本実
施形態では、基本パターンの中心を通過する軸に対する
画像の慣性モーメントが最小となるように画像をシフト
させることにより、抽出したテクスチャの基本パターン
を、基本パターンを切り出す位置にかかわらず認識が容
易となる基本パターンにすることができる。

【００４２】なお、本実施形態では、画像の慣性モーメ
ントが最小となるように基本パターンを画像の中心に位
置するようにシフトさせているが、他の方法として最も
特徴量のある部分、例えば何かしら大きな固まりのよう
なものを中心に位置するようにシフトする方法も考えら
れる。

【００４３】＜テクスチャ比較検索処理のフロー＞次
に、テクスチャ比較検索処理（Ｓ４）について図１２の
フローチャートを用いて説明する。ここでは、画像検索
を行う場合に、検索キーとなる画像（以下、「キー画
像」という。）がユーザーによりキーボード３等を介し
て画面上で指定され、このキー画像のテクスチャの基本
パターンとよく似た基本パターンを持つ画像を画像デー
タベース５０から検索し、ディスプレイ２等の表示部に
表示する処理を説明する。

【００４４】まず、ユーザーが指定したキー画像のテク
スチャ情報をデータベース５０からロードする（Ｓ４０
１）。ここで、テクスチャ情報には、前述のテクスチャ
抽出処理（Ｓ３）で抽出した画像の基本パターンや、そ
の他の画像の特徴量が含まれる。検索対象の画像データ
ベース５０においてレコードポインタをトップに移動す
る（Ｓ４０２）。レコードポインタにより指定される検
索対象画像のテクスチャ情報をデータベース５０からロ
ードする（Ｓ４０３）。キー画像のテクスチャ基本パタ
ーンと、検索対象画像のテクスチャ基本パターン画像と
の類似度を計算する（Ｓ４０４）。類似度の計算の詳細
については後述する。その後、計算された類似度に基づ
いて、検索対象画像とキー画像が類似しているか否かを
判定する（Ｓ４０５）。両画像が類似していない場合
は、ステップＳ４０８に進み、類似している場合は、ス
テップＳ４０６に進む。

【００４５】ステップＳ４０６では、現在のレコードポ
インタが示す画像の画像情報をロードする。ここで、画
像情報には、画像データ並びに画像データのファイル名
もしくは画像データの保管位置を示すパス名等の属性情
報等が含まれる。ロードした画像情報を検索結果として
ディスプレイ２等の表示部に表示し（Ｓ４０７）、ステ
ップＳ４０８に進む。検索結果の表示例として、サムネ
イル画像を表示する方法、画像の名前を表示する方法、
サムネイルを生成した元画像のファイル名やパスを表示
する方法、元画像の入手先を表示する方法などのバリエ
ーションが考えられる。又は、類似性があると判定した
結果の画像の数をカウントし、その数を表示する方法も
考えられる。

【００４６】ステップＳ４０８では、レコードポインタ
を一つ進める。その後、画像データベース５０中に、レ
コードポインタで示される次の検索対象の画像データが
あるか否かを判定する（Ｓ４０９）。画像データベース
５０中に新たに検索するデータがなければ処理は終了
し、データがあればステップＳ４０３に戻り、画像デー
タベース５０において検索対象がなくなるまで、上記の
処理を繰り返す。

【００４７】このようにして、テクスチャ比較検索処理
においては、画像間の比較を行う際に、テクスチャ抽出
処理で抽出された後、正規化され、中心にシフトされた
基本パターンを用いることにより、データベース５０か
らロードした基本パターンを、加工することなくそのま
ま比較検索処理に使用できるため、比較処理が効率よく
かつ正確に行える。

【００４８】以下に、ステップＳ４０４におけるキー画
像と比較対象画像との間の類似度の計算方法の一例を示
す。類似度は、２つの画像の濃度１の画素がどれだけ近
くにあるかを定量的に算出することにより求められる。
すなわち、以下の３つの値Ｐ0〜Ｐ2を用いて計算され
る； Ｐ0：比較対象画像において、キー画像における濃度１
の画素位置に対応する位置に濃度１の画素がある確率、 Ｐ1：比較対象画像において、キー画像における濃度１
の画素位置に対応する位置の上下左右に濃度１の画素が
ある確率、 Ｐ2：比較対象画像において、キー画像における濃度１
の画素位置に対応する位置から市外区距離が２となる位
置に濃度１の画素がある確率。

【００４９】これらの値を用いて、類似度Ｄは以下の式
で求められる。 Ｄ＝（Ｗ0・Ｐ0＋Ｗ1・Ｐ1＋Ｗ2・Ｐ2）／（Ｗ0＋Ｗ1＋Ｗ2） …（９） ここで、Ｗ0はＰ0のウェイト、Ｗ1はＰ1のウェイト、Ｗ
2はＰ2のウェイトであり、Ｗ0＞Ｗ1＞Ｗ2を満たす関係
にある。したがって、類似度Ｄは大きい程、２つの画像
がより類似していることを示す。この類似度Ｄを所定値
と比較し、類似度Ｄが所定値より大きいときに類似性が
あると判断する。

【００５０】以上のようにして、本実施形態の画像特徴
量比較装置では、画像の周期と方向に基づいてテクスチ
ャの基本パターンを抽出し、正規化し、基本パターンが
中心に集中するようにシフトさせた後、画像に対して特
徴量として付加する。このようにして得られる画像のテ
クスチャの基本パターンを用いて画像間の比較を行うこ
とにより、画像の比較検索時において効率よく画像の検
索処理が行える。

【００５１】

【発明の効果】本発明の第１の画像特徴量比較装置によ
れば、画像のテクスチャの周期性に基づいて、画像の特
徴量として、テクスチャの基本パターンを抽出すること
ができる。

【００５２】また、第１の画像特徴量比較装置におい
て、抽出された基本パターンを正規化し、所定の大き
さ、形状にする。これにより、大きさ、形状の異なる画
像間で、画像を比較し、類似性等の判断を行う場合に容
易に判断を行うことができ、画像の検索比較処理等にお
いて処理効率を向上することができる。

【００５３】また、第１の画像特徴量比較装置におい
て、抽出した基本パターンが複数の構成要素からなる場
合は、これらの構成要素ができるだけ集中するように、
基本パターンの特徴を保持しつつ、構成要素をシフトす
ることにより、より認識しやすい基本パターンを形成す
ることができ、画像の検索比較処理等において処理効率
を向上することができる。

【００５４】さらに、第１および第２の画像特徴量比較
装置によれば、キー画像と類似の画像を比較・検索する
際に、画像のテクスチャの基本パターンを用いて類似性
の判断を行うため、類似性の判断が容易に行える。この
際、所定の大きさ、形状に正規化され、また、画像が中
心に位置するようにシフトされた基本パターンを用いる
ことにより、より高速に、かつ、正確に比較・検索処理
が行える。

【図面の簡単な説明】

【図１】 本実施形態の画像特徴量比較装置の構成の概
略を示す図。

【図２】 制御装置を中心としたブロック図。

【図３】 画像データベースの構成図。

【図４】 画像特徴量比較装置のメインのフローチャー
ト。

【図５】 データ入力または設定等の画面の表示例を示
した図。

【図６】 画像特徴量比較装置におけるテクスチャ抽出
処理のフローチャート。

【図７】 テクスチャの周期と方向に基づいて抽出され
た基本パターンを示す図。

【図８】 基本パターンのシフトの具体例を説明した
図。

【図９】 慣性モーメントを求める方法を説明するため
のＸ方向のデータ列を示した図。

【図１０】 回転軸の設定を説明するための図。

【図１１】 慣性モーメントを求める方法を説明するた
めのＹ方向のデータ列を示した図。

【図１２】 画像特徴量比較装置におけるテクスチャ比
較検索処理のフローチャート。

【符号の説明】

１…制御装置、 ２…ディスプレイ、 ３…キーボー
ド、 ４…マウス、 ５ａ…フロッピーディスク、 ５
ｂ…フロッピーディスク装置、 ６…ハードディスク、
７…プリンタ、 ８…スキャナ、 ９ａ…ＣＤ−ＲＯ
Ｍ、 ９ｂ…ＣＤ−ＲＯＭ装置、 １０…スピーカ、
１１…マイク、 ２１…初期設定画面、２３〜２５…選
択用アイコン、 ２９，３０…設定用画面、 ５０…画
像データベース、 ２０１…ＣＰＵ、 ２０２…クロッ
ク、 ２０３…ＲＯＭ、 ２０４…ＲＡＭ。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 多値化された画素情報が二次元格子状に
   配列されてなるテクスチャを含む画像から画像の特徴量
   を抽出し、該特徴量に基づいて異なる画像間の比較を行
   う画像特徴量比較装置において、 画像を、画像の特徴量とともに記憶する画像記憶手段
   と、 画像のテクスチャの周期性を求める周期性検出手段と、 該周期性検出手段により求められた周期性に基づいて、
   画像のテクスチャの基本パターン及び該基本パターンの
   テクスチャにおける配置情報を前記特徴量として抽出す
   る抽出手段とを備えたことを特徴とする画像特徴量比較
   装置。
2. 【請求項２】 請求項１に記載の画像特徴量比較装置に
   おいて、 前記周期性検出手段により求められた周期性のうち二方
   向の周期性を用いて、前記画像からテクスチャの基本パ
   ターンを抽出することを特徴とする画像特徴量比較装
   置。
3. 【請求項３】 請求項１に記載の画像特徴量比較装置に
   おいて、 前記抽出手段は、前記基本パターンを抽出した後に、さ
   らに該基本パターンを所定の画像サイズおよび形状に正
   規化することを特徴とする画像特徴量比較装置。
4. 【請求項４】 請求項１に記載の画像特徴量比較装置に
   おいて、 前記抽出手段は、前記基本パターンを抽出した後に、前
   記基本パターンにおいて、前記基本パターンを構成する
   構成要素が中心付近に集中するように、前記各構成要素
   を、画像の特徴を保持しながらシフトさせることを特徴
   とする画像特徴量抽出比較装置。
5. 【請求項５】 請求項３または請求項４に記載の画像特
   徴量比較装置において、 検索キーとなる画像を指定する画像指定手段と、 前記検索キーとなる画像に対するテクスチャの基本パタ
   ーン及び配置情報と、前記画像記憶手段中に保持される
   検索対象の画像に対するテクスチャの基本パターン及び
   配置情報とに基づいて、両画像間の類似度を計算する類
   似度計算手段と、 該類似度計算手段による類似度に基づき、前記両画像が
   類似しているか否かを判断する判断手段と、 該類似度判断手段による判断結果に基づき、両画像が類
   似しているときに、前記検索対象の画像を検索結果とし
   て出力する画像出力手段とを備えたことを特徴とする画
   像特徴量抽出比較装置。
6. 【請求項６】 画像に含まれるテクスチャの基本パター
   ンを、該基本パターンとともに画像と関連づけて保持す
   る画像記憶手段と、 検索キーとなる画像を指定する画像指定手段と、 前記検索キーとなる画像に対するテクスチャの基本パタ
   ーン及び基本パターンのテクスチャにおける配置情報
   と、前記画像記憶手段中に保持される検索対象の画像に
   対するテクスチャの基本パターン及び配置情報とに基づ
   き、両画像間の類似度を計算する類似度計算手段と、 該類似度計算手段による類似度に基づき、前記両画像が
   類似しているか否かを判断する判断手段と、 該判断手段による判断結果に基づき、前記両画像が類似
   しているときに、前記の検索対象画像を検索結果として
   出力する画像出力手段とを備えたことを特徴とする画像
   特徴量抽出比較装置。
7. 【請求項７】 多値化された画素情報が二次元格子状に
   配列されてなるテクスチャを含む画像から画像の特徴量
   を抽出し、該特徴量に基づいて画像間の比較を行う画像
   特徴量比較プログラムであって、 画像を入力するステップと、 画像のテクスチャの周期性を求めるステップと、 該求められた周期性に基づいて、画像のテクスチャの基
   本パターン及び該基本パターンのテクスチャにおける配
   置情報を前記特徴量として抽出するステップとを有する
   ことを特徴とするプログラムを記録したコンピュータ読
   み取り可能な記録媒体。
8. 【請求項８】 画像に含まれるテクスチャの基本パター
   ンを、該基本パターンとともに画像と関連づけて画像記
   憶手段中に保持させるステップと、 検索キーとなる画像を指定するステップと、 前記検索キーとなる画像に対するテクスチャの基本パタ
   ーン及び基本パターンのテクスチャにおける配置情報
   と、前記画像記憶手段中に保持される検索対象の画像に
   対するテクスチャの基本パターン及び配置情報とに基づ
   き、両画像間の類似度を計算するステップと、 該類似度計算手段による類似度に基づき、前記両画像が
   類似しているか否かを判断するステップと、 該判断した結果に基づき、前記両画像が類似していると
   きに、前記の検索対象画像を検索結果として出力するス
   テップとを有することを特徴とするプログラムを記録し
   たコンピュータ読み取り可能な記録媒体。