JP3726442B2 - 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 - Google Patents
画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3726442B2 JP3726442B2 JP23597997A JP23597997A JP3726442B2 JP 3726442 B2 JP3726442 B2 JP 3726442B2 JP 23597997 A JP23597997 A JP 23597997A JP 23597997 A JP23597997 A JP 23597997A JP 3726442 B2 JP3726442 B2 JP 3726442B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- texture
- feature amount
- periodicity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像の特徴量を用いて異なる画像間の比較を行う画像特徴量比較装置に関するものである。
【0002】
【従来の技術】
一般に、画像データベースは、画像データに、作成日、修正日、ファイル名、ファイルフォーマット等の属性情報と、キーワード、形状特徴、色味、音声等の検索情報とを付加し、保管・管理する。このような画像データベースにおいて、データを登録する際に、属性情報が自動的に付加されることは一般的に行われている。画像データベースにおいて、画像データを検索する場合、キーとなる画像と、検索対象となる画像との特徴量を比較する必要があるが、このとき、特徴量として画像のテクスチャパターンを用いることは有効な手段である。このため、画像におけるテクスチャの構造的情報を抽出するための効率的な方法が要望される。
【0003】
【発明が解決しようとする課題】
テクスチャの構造的情報を抽出する方法として、例えば、「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」(森俊二他著、オーム社)に開示された方法がある。ここでは、厳密な手法により画像におけるテクスチャの基本パターンと配置を抽出する手法が説明されているが、処理が複雑で処理速度の面で現実的でない。
【0004】
また、画像からテクスチャ情報を抽出する方法として、特開平5−28266号公報に開示された発明がある。この発明では、画像を正方形状のブロックに分割し、各ブロック毎に特徴量を算出している。しかし、この方法では、テクスチャ構造パターンの抽出までは行っていない。
【0005】
本発明は上記問題を解決するためになされたものであり、その目的とするところは、画像から画像特徴量としてテクスチャの基本パターンを抽出し、画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、精度よく画像検索が可能となる画像特徴量比較装置を提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像特徴量比較装置は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて異なる画像間の比較を行う画像特徴量比較装置において、画像を、画像の特徴量とともに記憶する画像記憶手段と、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求める周期性検出手段と、該周期性検出手段により求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出する抽出手段と、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録する登録手段とを備える。
【0007】
また、前記第1の画像特徴量比較装置において、前記周期性検出手段により求められた周期性のうち二方向の周期性を用いて、前記画像からテクスチャの基本パターンを抽出してもよい。
【0008】
また、前記画像特徴量比較装置において、前記抽出手段は、前記基本パターンを抽出した後に、さらに該基本パターンを所定の画像サイズおよび形状に正規化してもよい。
【0009】
また、前記画像特徴量比較装置において、前記基本パターンが複数の構成要素からなる場合、前記抽出手段は、前記パターンを抽出した後に、前記パターンの中心付近において回転軸を設定し、該回転軸を中心に前記パターンを構成する構成要素を回転させたときに前記パターンの慣性モーメントが最小となるように、前記各構成要素を、画像の特徴を保持しながら前記回転軸付近に集中するようにシフトさせることで前記基本パターンを得てもよい。
【0010】
また、前記画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、前記検索キーとなる画像に対するテクスチャの基本パターン及び周期性に関する情報と、前記画像記憶手段中に保持される検索対象の画像に対するテクスチャの基本パターン及び周期性に関する情報とに基づいて、両画像間の類似度を計算する類似度計算手段と、該類似度計算手段による類似度に基づき、両画像が類似しているか否かを判断する判断手段と、該類似度判断手段による判断結果に基づき、両画像が類似しているときに、前記検索対象の画像を検索結果として出力する画像出力手段とを備えてもよい。
【0012】
本発明に係るコンピュータ読み取り可能な記録媒体は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて画像間の比較を行う画像特徴量比較プログラムであって、画像を入力するステップと、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求めるステップと、該求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出するステップと、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録するステップとを有するプログラムを記録する。
【0014】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像特徴量比較装置の実施の形態を説明する。
【0015】
本実施形態の画像特徴量比較装置は、画像からテクスチャの中に周期的に現われる基本的なパターン(以下、「基本パターン」という。)をパターンの大きさや歪みに依存しない方法で抽出し、このパターンを画像の特徴量として保存する。また、このテクスチャの基本パターンを用いて画像間の比較を行うことにより、正確かつ高速な画像の比較検索を可能とする。
【0016】
<画像特徴量比較装置の全体構成>
図1に本実施形態の画像特徴量比較装置(以下、「システム」と称す。)の概略構成図を示す。図1に示すように、システムは中央演算処理(以下、「CPU」と称す。)を備え、システム全体を制御する制御装置1を中心として構成される。CPUには例えばインテル社製のペンティアム等が用いられる。この制御装置1には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ2と、各種入力、指示操作等を行うためのキーボード3およびマウス4と、データ保管媒体であるフロッピーディスク装置5aおよびハードディスク装置6と、文字や画像データ等を印刷するプリンタ7と、画像データを取り込むためのスキャナ8と、CD−ROM9aに格納されたデータを読み出すためのCD−ROM装置9bと、音声出力のためのスピーカ10と、音声入力のためのマイクロホン11とが接続される。
【0017】
図2に本システムのブロック図を示す。CPU201には、データバス220を介して、本システムを制御するプログラムが格納されているROM203と、CPU201が制御のために実行するプログラムやデータを一時的に格納するRAM204とが接続される。また、CPU201にデータバス220を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ2を制御する表示制御回路205と、キーボード3からの入力を転送制御するキーボード制御回路206と、マウス4からの入力を転送制御するマウス制御回路207と、フロッピーディスク装置5bを制御するフロッピーディスク装置制御回路208と、ハードディスク装置6を制御するハードディスク装置制御回路209と、プリンタ7への出力を制御するプリンタ制御回路210と、スキャナ8を制御するスキャナ制御回路211と、CD−ROM装置9bを制御するCD−ROM装置制御回路212と、スピーカ10を制御するスピーカ制御回路213と、マイクロホン11を制御するマイクロホン制御回路214とがある。さらに、CPU201には、システムを動作させるために必要な基準クロックを発生させるためのクロック202が接続され、また、各種拡張ボードを接続するための拡張スロット215がデータバス220を介して接続される。なお、拡張スロット215にSCSIIボードを接続し、このSCSIIボードを介してフロッピーディスク装置5b、ハードディスク装置6、スキャナ8またはCD−ROM装置9b等を接続してもよい。
【0018】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク5a、ハードディスク装置6を用いているが、光磁気ディスク(MO)等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ8を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ7を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、データの管理システムを実現するプログラムをROM203に格納する。しかし、本プログラムの一部または全部をフロッピーディスク5aやハードディスク装置6やCD−ROM9b等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをRAM204に読み出し、これを実行させてもよい。
【0019】
<画像特徴量比較装置で用いるデータベース>
また、本システムは画像データを保管、管理するため、データおよびその検索キーとなる付加情報等を含む画像データベースを有する。この画像データベースはハードディスク装置6等の情報記憶媒体上に論理的に構成されている。図3に、本システムの画像データベースの構成の一例を示す。図3に示すデータベース50は、管理する画像情報である「画像データ」と、その画像データに対する検索キーの1つである「キーワード」と、画像データの特徴を示す特徴量等の情報から構成される。なお、図3においては、特徴量の1つとして、基本パターンを特定するためのテクスチャの周期性を示す情報(方向θ、周期d)およびパターン情報を保持している例を示している。
【0020】
<画像特徴量比較装置の制御動作>
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【0021】
<メインフロー>
図4は本システムにおいて実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる(S1)。図5にこの初期メニュー画面の一例を示す。初期メニュー画面21上では、所定の処理を選択するための選択項目23〜25がアイコンとして表示されており、この選択項目23〜25の1つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ2等上に表示された初期メニュー画面21等の設定画面上で、ユーザにより、キーボード3やマウス4等を介して各種処理の選択、設定値の入力等が行われる。ステップS1の後、初期メニュー画面21上でユーザによるメニュー選択がなされたか否かを判定する(S2)。ステップS2において、「テクスチャ抽出」23が選択されれば、指定された画像データからテクスチャの基本パターンを抽出し、画像データとともに画像データベース50に登録する等の処理を行うテクスチャ抽出処理(S3)へ進み、その後、ステップS6へ進む。ステップS2において、「テクスチャ比較検索」24が選択されれば、指定された画像データと、データベース50に登録されている画像データのテクスチャを比較し、類似する画像データを検索する処理を行うテクスチャ比較検索処理(S4)へ進み、その後、ステップS6へ進む。ステップS2において、「その他のメニュー」25が選択されれば、その他のメニュー処理を行い(S5)、その後、ステップS6へ進む。ステップS2において、メニュー選択されなければ、なにもせずにステップS6へ進む。ステップS6では、その他の処理を実行し、すべての処理が終わるとステップS2へ戻り、以後、同様の処理が繰り返される。
【0022】
ここで、その他のメニュー処理(S5)については、一般的な検索システムと基本的に同様であり、本願発明に直接関係しないのでここでの説明は省略する。以下に、テクスチャ抽出処理(ステップS3)およびテクスチャ比較検索処理(ステップS4)について詳細に説明する。
【0023】
<テクスチャ抽出処理>
最初に、画像のテクスチャの基本パターンを抽出するテクスチャ抽出処理(ステップS3)について図6のフローチャートを用いて説明する。
【0024】
まず、ユーザの指示によりデータベース50から画面29上で指定された画像データを取得する(S301)。次に、取得した画像データを正規化する(S302)。ここで、正規化とは、画像処理時間の短縮とノイズの削減の目的のために、画像データを所定の形状、大きさにすることである。本実施例では120×120ピクセルの大きさの画像に収まるように縦横比を維持したまま縮小する。画像データは正規化された後、以降の処理のためグレー化され、二値化される(S303)。
【0025】
次に、画像のテクスチャを解析し、テクスチャの周期性を求める(S304)。周期性とは、テクスチャのある方向θにおいて、同じパターンが、ある距離間隔(周期)d毎にある頻度以上で繰り返されることを示すものである。周期性は周期dと方向θとにより表される。なお、周期dと方向θが算出されても、繰り返しパターンの出現頻度が低いものは周期性がないとする。テクスチャの解析手法としては、従来より知られている濃度共起行列や濃度差分統計量や濃度ランレングス行列等を用いる手法がある。本実施形態では、濃度共起行列を用いて画像のテクスチャの周期dとその方向θを求めるものとする。すなわち、画像の中心を通る4つの方向θ(0°、45°、90°、135°)に対して、テクスチャの周期性を濃度共起行列を用いて求める。この濃度共起行列を用いたテクスチャの周期と方向を求める方法については、例えば、従来技術で示した「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」に詳しく述べられているので、ここでの説明は省略する。
【0026】
テクスチャの周期性(すなわち、周期dと方向θ)を求めた後、テクスチャに周期性があるか否かを判断する(S305)。本実施形態では、少なくとも2つの方向に対して周期性がある場合にテクスチャに周期性があると判断する。2つ以上の方向に対して周期性がある場合は、高い周期性を示すものから2つが選択される。すなわち、同じパターンが繰り返される頻度がより高い方向を2つ選択し、これらの方向に周期性があるとする。ステップS305での判断の結果、周期性がある場合はステップS306へ進み、周期性がない場合は処理を終了する。
【0027】
ステップ306では、ステップS305で求めた2つの周期性に基づいてテクスチャの基本パターンを切り出す。ここで、この基本パターンの抽出方法について説明する。
【0028】
例えば、テクスチャを解析した結果、2つの周期性(方向θ,周期d)=(0°,3)、(45°,2)が得られた場合を考える。これらの方向と周期に基づきテクスチャを構成する基本パターンを抽出する。この場合、抽出された基本パターンは図7の(a)に示すようになる。
【0029】
さらに、本実施形態においては、抽出する基本パターンの各画素値の精度を向上させるため、図7の(b)に示すように、パターンP5の位置を中心として画像の中心を含み、基本パターンと合同な9個のパターンP1〜P9からなる領域を検査領域とし、この検査領域内の各パターンP1〜P9の画素の値に基づいて、基本パターンの各画素値を求める。このとき、基本パターンの画素値は、検査領域を構成する各パターンP1〜P9内の対応する位置にある画素の値の平均を採用したり、画素の値の出現頻度の最も高い値を採用したり等の統計的処理により決定される。例えば、図7の(c)に示すような、9個のパターンからなる領域により基本パターンの各画素値を決定する場合、1つのパターンにおいて上段の一番右側にある画素について見ると、パターンP3におけるこの位置の画素値は「1」(図中「黒」で示されるところを画素値「1」とする。)であり、他のパターンP1、P2、4〜P9におけるこの位置の画素は「0」(図中「白」で示されるところを画素値「0」とする。)であるため、基本パターンにおける当該位置の画素値は、最頻出の値である「0」とする。このようにして得られた基本パターンを図7の(d)に示す。
【0030】
このように、複数のパターンからなる領域から基本パターンの各画素値が決定されるため、基本パターン候補の範囲内に少々のノイズが入っていても取り除かれる。また、テクスチャのパターンにねじれがある場合(例えば、ビルの窓を斜めから撮影したときに近くは大きく、遠くは小さく見えるような場合)にも平均化された基本パターンを得ることができる。
【0031】
ステップS306において基本パターンを抽出した後、この基本パターンを所定の大きさ、形状に正規化する(S307)。正規化は、例えば、基本パターンを32×32ピクセルの正方形の画像に変形することにより行われる。ここで、ピクセル数は、テクスチャ比較検索処理(S4)時に高速処理が可能なようにあまり大きな数にならないように、かつ基本パターンの特徴が失われないような大きさに設定される必要がある。
【0032】
次に、正規化された基本パターンにおいて、基本パターンを構成する構成要素を、基本パターン全体として画像の特徴が失われないように、画像の中心に集中するようにシフトさせることにより最終的な基本パターンを得る(S308)。例えば、正規化(307)後に、図8の(a)に示す基本パターンが得られたとき、基本パターンを構成する構成要素を画像の中心にシフトさせ、図8の(b)に示すような基本パターンにする。このように、画像の中心に集中するようにシフトした後の基本パターンを用いることにより、同じ基本パターンを有するテクスチャどうしを比較した場合、比較が容易になり、基本パターンを切り出す場所がずれた場合でも、同じ基本パターンを有するテクスチャであると判定できるようになる。また、基本パターンを人間が見た場合、感覚的に基本パターンを認識しやすいといった利点もある。基本パターンの具体的なシフト方法については後述する。
【0033】
ステップ308で基本パターンをシフトした後、この基本パターンと、基本パターンの配置情報、すなわち、基本パターンを抽出するための2つの周期性に関する情報とを、画像のテクスチャ特徴量とし、画像データと関連づけて画像データベース50に登録する(S309)。以上のようにして、本実施形態の画像特徴量比較装置は、画像からテクスチャの基本パターンを特徴量として抽出し、画像データと共に画像データベース50に登録する。このようにして、本システムは、画像から特徴量として基本パターンを抽出し、画像に関連させて画像データベース50に登録する。
【0034】
以下に、前述のステップS308における基本パターンのシフト方法について具体的に説明する。
本実施形態では、基本パターンの画素値が1となる画素を質点とし、正規化された基本パターンの中心を通る二方向に軸をとり、これらの軸を回転軸として各回転方向に回転させた場合に、基本パターンのそれぞれの方向の慣性モーメントが最小となるように、基本パターンを構成する画像をシフトさせる。以下に、これを具体的に説明する。
【0035】
今、図8において、(a)に示す基本パターンをシフトし、(b)に示す基本パターンを得る場合を考える。なお、図8では、正規化サイズは8×8ピクセルとしている。最初に、図8の(a)に示す基本パターンのX方向、Y方向それぞれの画素値「1」(図中、「黒」で示す画素)が出現する頻度を求める。まずX方向について考える。X方向の各列毎の画素値「1」となる画素の出現頻度をデータ列P_Xで表すと、これは図9の(a)に示すようになる。
【0036】
次に、X方向に垂直となる軸を中心として基本パターンを回転させたときの慣性モーメントIxについて考える。まず、図9の(a)に示すデータ列P_Xを半分に分割した後、前半部を元のデータ列P_Xの後ろに付加し、後半部を元のデータ列P_Xの前に付加することにより、図9の(b)に示す拡張したデータ列Ext_Xを生成する。このようにして得られるデータ列Ext_Xを用いて慣性モーメントIxを計算する。慣性モーメントIxは正規化サイズ分のデータに対して計算される。したがって、図9の例では、X方向の正規化サイズは8ピクセルであるので、回転軸の前後4ピクセル分のデータが慣性モーメントIxについて計算対象となる(Y方向についても同様とする。)。
【0037】
ここで、回転軸について考える。データ列Ext_Xにおいて、慣性モーメントIxを計算するときの回転軸の位置は、正規化されたときの画像サイズが奇数であるか偶数であるかにより異なる。図10は正規化サイズが偶数および奇数の場合のデータ列Ext_Xに対する回転軸の位置の決め方を説明したものである。画像サイズが偶数であるときは図10の(a)のように列と列との間に回転軸を設定し、画像サイズが奇数であるときは図10の(b)のように列(画素)の中心に軸を設定する。したがって、図9に示す例では、正規化サイズが偶数であるので、図10の(a)のように列と列との間に回転軸を設定する。
【0038】
図9の(b)に示すデータ列Ext_Xにおいて、回転軸の位置iを0から7まで順次変更していき、その都度、慣性モーメントIxを計算し、慣性モーメントIxが最小となるときの回転軸の位置iを決定する。慣性モーメントIxが最小となる回転軸の位置iを求めた後、このときの回転軸の位置と、正規化された基本パターンの中心軸Ax、Ayとの差分だけ、画像を中心位置にシフトさせることにより基本パターンが画像の中心に集中して位置するようになる。
【0039】
図9で示す拡張したデータ列Ext_Xについて回転軸の位置を順次変化させた場合の回転軸を中心として前後4列分による慣性モーメントIx(i)を計算した結果を以下に示す。ここで、iは回転軸のx方向の位置を示す。回転軸からの距離は図10の(a)に示す値を用いた。
Ix(0)=0×3.52+0×2.52+1×1.52+6×0.52+6×0.52+5×1.52+4×2.52+0×3.52=41.5…(1)
Ix(1)=0×3.52+1×2.52+6×1.52+6×0.52+5×0.52+4×1.52+0×2.52+0×3.52=31.5…(2)
Ix(2)=1×3.52+6×2.52+6×1.52+5×0.52+4×0.52+0×1.52+0×2.52+0×3.52=65.5…(3)
Ix(3)=6×3.52+6×2.52+5×1.52+4×0.52+0×0.52+0×1.52+0×2.52+1×3.52=135.5…(4)
Ix(4)=6×3.52+5×2.52+4×1.52+0×0.52+0×0.52+0×1.52+1×2.52+6×3.52=193.5…(5)
Ix(5)=5×3.52+4×2.52+0×1.52+0×0.52+0×0.52+1×1.52+6×2.52+6×3.52=199.5…(6)
Ix(6)=4×3.52+0×2.52+0×1.52+0×0.52+1×0.52+6×1.52+6×2.52+5×3.52=161.5…(7)
Ix(7)=0×3.52+0×2.52+1×1.52+1×0.52+6×0.52+6×1.52+5×2.52+4×3.52=95.5…(8)
【0040】
上記の計算結果により、回転軸の位置iが1のとき慣性モーメントIxが最小となる、すなわち、X方向において、第1列と第2列との間に回転軸がある場合に慣性モーメントIxが最小となる。このとき、この回転軸と中心軸との差分は3画素となる。これにより、X方向に3画素分シフトさせる必要があることがわかる。
【0041】
同様に、Y方向の各行に対して画素「1」の出現頻度P_Y及びY方向の拡張したデータ列Ext_Yを求めると、これらは図11に示すようになる。慣性モーメントIy(i)(i=0〜7)を計算し、最小値を求めると、Iy(1)が最小となる。したがって、Y方向に3画素分シフトさせればよいことがわかる。以上のようにして、X、Y方向のシフト量を求めた後、図9の(a)に示す画像をX方向に3画素分、Y方向に3画素分だけ、中心軸方向にシフトさせることにより、図9の(b)に示す基本パターンが得られる。このように本実施形態では、基本パターンの中心を通過する軸に対する画像の慣性モーメントが最小となるように画像をシフトさせることにより、抽出したテクスチャの基本パターンを、基本パターンを切り出す位置にかかわらず認識が容易となる基本パターンにすることができる。
【0042】
なお、本実施形態では、画像の慣性モーメントが最小となるように基本パターンを画像の中心に位置するようにシフトさせているが、他の方法として最も特徴量のある部分、例えば何かしら大きな固まりのようなものを中心に位置するようにシフトする方法も考えられる。
【0043】
<テクスチャ比較検索処理のフロー>
次に、テクスチャ比較検索処理(S4)について図12のフローチャートを用いて説明する。ここでは、画像検索を行う場合に、検索キーとなる画像(以下、「キー画像」という。)がユーザーによりキーボード3等を介して画面上で指定され、このキー画像のテクスチャの基本パターンとよく似た基本パターンを持つ画像を画像データベース50から検索し、ディスプレイ2等の表示部に表示する処理を説明する。
【0044】
まず、ユーザーが指定したキー画像のテクスチャ情報をデータベース50からロードする(S401)。ここで、テクスチャ情報には、前述のテクスチャ抽出処理(S3)で抽出した画像の基本パターンや、その他の画像の特徴量が含まれる。検索対象の画像データベース50においてレコードポインタをトップに移動する(S402)。レコードポインタにより指定される検索対象画像のテクスチャ情報をデータベース50からロードする(S403)。キー画像のテクスチャ基本パターンと、検索対象画像のテクスチャ基本パターン画像との類似度を計算する(S404)。類似度の計算の詳細については後述する。その後、計算された類似度に基づいて、検索対象画像とキー画像が類似しているか否かを判定する(S405)。両画像が類似していない場合は、ステップS408に進み、類似している場合は、ステップS406に進む。
【0045】
ステップS406では、現在のレコードポインタが示す画像の画像情報をロードする。ここで、画像情報には、画像データ並びに画像データのファイル名もしくは画像データの保管位置を示すパス名等の属性情報等が含まれる。ロードした画像情報を検索結果としてディスプレイ2等の表示部に表示し(S407)、ステップS408に進む。検索結果の表示例として、サムネイル画像を表示する方法、画像の名前を表示する方法、サムネイルを生成した元画像のファイル名やパスを表示する方法、元画像の入手先を表示する方法などのバリエーションが考えられる。又は、類似性があると判定した結果の画像の数をカウントし、その数を表示する方法も考えられる。
【0046】
ステップS408では、レコードポインタを一つ進める。その後、画像データベース50中に、レコードポインタで示される次の検索対象の画像データがあるか否かを判定する(S409)。画像データベース50中に新たに検索するデータがなければ処理は終了し、データがあればステップS403に戻り、画像データベース50において検索対象がなくなるまで、上記の処理を繰り返す。
【0047】
このようにして、テクスチャ比較検索処理においては、画像間の比較を行う際に、テクスチャ抽出処理で抽出された後、正規化され、中心にシフトされた基本パターンを用いることにより、データベース50からロードした基本パターンを、加工することなくそのまま比較検索処理に使用できるため、比較処理が効率よくかつ正確に行える。
【0048】
以下に、ステップS404におけるキー画像と比較対象画像との間の類似度の計算方法の一例を示す。類似度は、2つの画像の濃度1の画素がどれだけ近くにあるかを定量的に算出することにより求められる。すなわち、以下の3つの値P0〜P2を用いて計算される;
P0:比較対象画像において、キー画像における濃度1の画素位置に対応する位置に濃度1の画素がある確率、
P1:比較対象画像において、キー画像における濃度1の画素位置に対応する位置の上下左右に濃度1の画素がある確率、
P2:比較対象画像において、キー画像における濃度1の画素位置に対応する位置から市外区距離が2となる位置に濃度1の画素がある確率。
【0049】
これらの値を用いて、類似度Dは以下の式で求められる。
D=(W0・P0+W1・P1+W2・P2)/(W0+W1+W2) …(9)
ここで、W0はP0のウェイト、W1はP1のウェイト、W2はP2のウェイトであり、W0>W1>W2を満たす関係にある。したがって、類似度Dは大きい程、2つの画像がより類似していることを示す。この類似度Dを所定値と比較し、類似度Dが所定値より大きいときに類似性があると判断する。
【0050】
以上のようにして、本実施形態の画像特徴量比較装置では、画像の周期と方向に基づいてテクスチャの基本パターンを抽出し、正規化し、基本パターンが中心に集中するようにシフトさせた後、画像に対して特徴量として付加する。このようにして得られる画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、画像の比較検索時において効率よく画像の検索処理が行える。
【0051】
【発明の効果】
本発明の第1の画像特徴量比較装置によれば、画像のテクスチャの周期性に基づいて、画像の特徴量として、テクスチャの基本パターンを抽出することができる。
【0052】
また、第1の画像特徴量比較装置において、抽出された基本パターンを正規化し、所定の大きさ、形状にする。これにより、大きさ、形状の異なる画像間で、画像を比較し、類似性等の判断を行う場合に容易に判断を行うことができ、画像の検索比較処理等において処理効率を向上することができる。
【0053】
また、第1の画像特徴量比較装置において、抽出した基本パターンが複数の構成要素からなる場合は、これらの構成要素ができるだけ集中するように、基本パターンの特徴を保持しつつ、構成要素をシフトすることにより、より認識しやすい基本パターンを形成することができ、画像の検索比較処理等において処理効率を向上することができる。
【0054】
さらに、第1および第2の画像特徴量比較装置によれば、キー画像と類似の画像を比較・検索する際に、画像のテクスチャの基本パターンを用いて類似性の判断を行うため、類似性の判断が容易に行える。この際、所定の大きさ、形状に正規化され、また、画像が中心に位置するようにシフトされた基本パターンを用いることにより、より高速に、かつ、正確に比較・検索処理が行える。
【図面の簡単な説明】
【図1】 本実施形態の画像特徴量比較装置の構成の概略を示す図。
【図2】 制御装置を中心としたブロック図。
【図3】 画像データベースの構成図。
【図4】 画像特徴量比較装置のメインのフローチャート。
【図5】 データ入力または設定等の画面の表示例を示した図。
【図6】 画像特徴量比較装置におけるテクスチャ抽出処理のフローチャート。
【図7】 テクスチャの周期と方向に基づいて抽出された基本パターンを示す図。
【図8】 基本パターンのシフトの具体例を説明した図。
【図9】 慣性モーメントを求める方法を説明するためのX方向のデータ列を示した図。
【図10】 回転軸の設定を説明するための図。
【図11】 慣性モーメントを求める方法を説明するためのY方向のデータ列を示した図。
【図12】 画像特徴量比較装置におけるテクスチャ比較検索処理のフローチャート。
【符号の説明】
1…制御装置、 2…ディスプレイ、 3…キーボード、 4…マウス、 5a…フロッピーディスク、 5b…フロッピーディスク装置、 6…ハードディスク、 7…プリンタ、 8…スキャナ、 9a…CD−ROM、 9b…CD−ROM装置、 10…スピーカ、 11…マイク、 21…初期設定画面、 23〜25…選択用アイコン、 29,30…設定用画面、 50…画像データベース、 201…CPU、 202…クロック、 203…ROM、 204…RAM。
Claims (6)
- 多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて異なる画像間の比較を行う画像特徴量比較装置において、
画像を、画像の特徴量とともに記憶する画像記憶手段と、
画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求める周期性検出手段と、
該周期性検出手段により求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出する抽出手段と、
前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録する登録手段と
を備えたことを特徴とする画像特徴量比較装置。 - 請求項1に記載の画像特徴量比較装置において、
前記周期性検出手段により求められた周期性のうち二方向の周期性を用いて、前記画像からテクスチャの基本パターンを抽出することを特徴とする画像特徴量比較装置。 - 請求項1に記載の画像特徴量比較装置において、
前記抽出手段は、前記基本パターンを抽出した後に、さらに該基本パターンを所定の画像サイズおよび形状に正規化することを特徴とする画像特徴量比較装置。 - 請求項1に記載の画像特徴量比較装置において、
前記抽出手段は、前記パターンを抽出した後に、前記パターンの中心付近において回転軸を設定し、該回転軸を中心に前記パターンを構成する構成要素を回転させたときに前記パターンの慣性モーメントが最小となるように、前記各構成要素を、画像の特徴を保持しながら前記回転軸付近に集中するようシフトさせることで前記基本パターンを得ることを特徴とする画像特徴量比較装置。 - 請求項1ないし請求項4のいずれか1つに記載の画像特徴量比較装置において、
検索キーとなる画像を指定する画像指定手段と、
前記検索キーとなる画像に対するテクスチャの基本パターン及び周期性に関する情報と、前記画像記憶手段中に保持される検索対象の画像に対するテクスチャの基本パターン及び周期性に関する情報とに基づいて、両画像間の類似度を計算する類似度計算手段と、
該類似度計算手段による類似度に基づき、前記両画像が類似しているか否かを判断する判断手段と、
該類似度判断手段による判断結果に基づき、両画像が類似しているときに、前記検索対象の画像を検索結果として出力する画像出力手段と
を備えたことを特徴とする画像特徴量比較装置。 - 多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて画像間の比較を行う画像特徴量比較プログラムであって、
画像を入力するステップと、
画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求めるステップと、
該求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出するステップと、
前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録するステップと
を有することを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23597997A JP3726442B2 (ja) | 1997-09-01 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
US09/137,234 US6381365B2 (en) | 1997-08-22 | 1998-08-20 | Image data processing apparatus and image data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23597997A JP3726442B2 (ja) | 1997-09-01 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1185982A JPH1185982A (ja) | 1999-03-30 |
JP3726442B2 true JP3726442B2 (ja) | 2005-12-14 |
Family
ID=16994033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23597997A Expired - Fee Related JP3726442B2 (ja) | 1997-08-22 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3726442B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019078520A1 (ko) * | 2017-10-18 | 2019-04-25 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463432B1 (en) * | 1998-08-03 | 2002-10-08 | Minolta Co., Ltd. | Apparatus for and method of retrieving images |
KR100367932B1 (ko) * | 1999-11-26 | 2003-01-14 | 주식회사 메디슨 | 초음파영상검색장치 |
AU2003223058A1 (en) * | 2002-05-22 | 2003-12-02 | Koninklijke Philips Electronics N.V. | Method of extracting a watermark |
JP4497399B2 (ja) * | 2004-01-20 | 2010-07-07 | 株式会社リコー | 模様画像検索装置及び模様画像検索プログラム |
JP5741007B2 (ja) | 2011-01-21 | 2015-07-01 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
JP5703777B2 (ja) * | 2011-01-24 | 2015-04-22 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
JP7346343B2 (ja) * | 2020-03-23 | 2023-09-19 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
-
1997
- 1997-09-01 JP JP23597997A patent/JP3726442B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019078520A1 (ko) * | 2017-10-18 | 2019-04-25 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
Also Published As
Publication number | Publication date |
---|---|
JPH1185982A (ja) | 1999-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
JP5665125B2 (ja) | 画像処理方法、及び、画像処理システム | |
US9201879B2 (en) | Method, apparatus and system for generating a feature vector | |
US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
CN101419612B (zh) | 图像处理设备和图像处理方法 | |
JP2816241B2 (ja) | 画像情報検索装置 | |
JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
US20080244384A1 (en) | Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus | |
JP2008225692A (ja) | 画像検索方法、装置およびプログラム | |
JP3726442B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
JPH10260983A (ja) | 画像検索装置及び方法 | |
JP3718967B2 (ja) | 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体 | |
JP2000305946A (ja) | 情報検索装置、情報検索方法、及び記憶媒体 | |
CN110309335B (zh) | 一种图片匹配方法、装置、设备及存储介质 | |
US20080181524A1 (en) | Image evaluation method, apparatus, and program | |
JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
JP2007034613A (ja) | 画像処理装置及びその方法 | |
JP4628278B2 (ja) | 表認識装置、及びコンピュータプログラム | |
JP2005208977A (ja) | 文書ファイリング装置および文書ファイリング方法 | |
US20080181525A1 (en) | Image evaluation method, apparatus, and program | |
JP2000305933A (ja) | 情報検索装置、情報検索方法、及び記憶媒体 | |
JP2009223563A (ja) | 表示処理装置、表示処理方法、表示処理プログラムおよび記録媒体 | |
JP3948943B2 (ja) | 図形認識方法及び装置 | |
JP2006134079A (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050331 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050331 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050726 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050919 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |