JP3539139B2

JP3539139B2 - Histogram making method of shape information, search method and device based on partial shape information, and storage medium storing search program based on partial shape information

Info

Publication number: JP3539139B2
Application number: JP18405397A
Authority: JP
Inventors: 浩樹赤間
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-02-19
Filing date: 1997-07-09
Publication date: 2004-07-07
Anticipated expiration: 2017-07-09
Also published as: JPH10293846A

Description

【０００１】
【発明の属する技術分野】
本発明は、形状情報のヒストグラム化方法に係り、特に、画像認識や画像に対する検索を行うマルチメディアシステムにおいて、画像の形状に関する特徴量を取得する形状情報のヒストグラム化方法に関する。
また、本発明は、部分形状情報による検索方法、製造及び部分形状情報による検索プログラムを格納した記憶媒体に係り、画像認識や画像に対する検索を行うマルチメディアシステムにおいて、画像内オブジェクトや図形の部分的な形状を使った部分形状情報による検索方法、装置及び部分形状情報による検索プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
多くの画像検索はヒストグラムをベースに行われている。なお、このヒストグラムは単にベクトルと言い換えても構わない。
【０００３】
画像からの部分画像を抽出する処理を持つ画像検索システムの場合には、画像の場合と同様に、その抽出された部分画像（以後、図形と呼ぶ）に対して形状や色の特徴量をヒストグラム化して比較する。
これまでの画像検索システムにおいて、色情報からのヒストグラム作成は頻繁に行われている。色が３色（白、灰色、黒）とした場合の例を図１５に示す。同図において、色情報をヒストグラム化するためには、それぞれの色の出現回数を求める。この場合には、白が１０４回、灰色が２１回、黒が４３回なので、１０４、２１、４３という３本の棒からなるヒストグラムを生成することができる。
【０００４】
同様に白黒図形の場合には、図１６のようになる。この例では、示していないが、通常は１６色や２７色を用いる。
これまで、形をヒストグラム化する手法については、エッジの方向を利用する方法や、４方向からの距離を利用する方法が存在している。エッジの方向を８種類（上、右上、右、右下、下、左下、左、左上）に限定した場合の例を図１７に示す。この場合には、上が４、右上が２、右が８、右下が２、下が４、左下が４、左が４、左上が４という８本の棒からなるヒストグラムを生成することができる。
【０００５】
４方向からの距離を利用する方法の例を図１８に示す。この場合、辺から図形までの距離をそのままヒストグラムとする。これを４辺それぞれに対して行うため、ヒストグラムは４つ生成される。これを４つとして扱うか１つに纏めて扱うかはシステムに依存する。
次に従来の類似図形の検索方法について説明する。
【０００６】
図１９に示す従来のキー図形入力部１２は、図形全体の形状に対する入力部しかなく、図形の全体の形状に対する入力部のみが存在する。
また、類似図形検索部（類似図形を含む画像の検索部１８）においても、ヒストグラム全体に対する類似度計算しか行っていない。
この主たる理由は、従来の形状検索の精度が悪く、形状検索自体が不可能であるためである。従って、擬似的に部分的な形状について検索を行いたい場合は、予め部分形状のテンプレート（突起、直線、丸み、等）を用意し、その範囲でデータベース（図形とベクトルの組の管理部１７）に格納する図形及び検索キー図形から各テンプレートへの類似度を特徴量としたものをベクトル値として抽出し、それらの類似度計算として実現している。
【０００７】
例えば、図２０の（ａ），（ｃ）〜（ｅ）はいずれも丸状の突起が２つあるという情報になる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の形状のヒストグラム化の手法には以下のような問題がある。
エッジ方向による方法では、エッジ方向の頻度を表しているため、たとえ、同じヒストグラムの形であっても、全く異なる図形である可能性が高い。また、直感的に形状の情報を表現しているも認識しがたい。
【０００９】
また、４辺からの距離による方法では、図形の形を素直に表現できるが、傾いた図形の場合には全く異なるヒストグラムになってしまう。また、内部に空間を持たない図形（例えば●）と、内部に空間を持つ図形（例えば、○）が同じになってしまう。
また、上記従来の部分形状のテンプレートを使った類似図形検索では、部分形状の種類が予め制限され、図２０に示すような微妙な違いを指定することが難しく、インタフェースとしても、２次元的ではなく、選択的なものしかない。
【００１０】
特に、単純なイラストでなく写真等から抽出したオブジェクトの場合は、影や光沢によって図形の一部が不明である場合や、オブジェクト間の重なり（前後関係）によって図形の一部が抽出できないことが多い。
このような応用に適用するためにも微妙な形状指定が可能で、部分的な形状情報だけでも検索が可能なシステムが求められている。
【００１１】
本発明は、上記の点に鑑みなされたもので、ヒストグラムが図形の形状を直感的に表現することが可能であり、より精度の高い類似図形の検索が可能な形状情報のヒストグラム化方法を提供することを目的とする。
更なる本発明の目的は、回転した図形に対してもマッチングを容易に行うことが可能な形状情報のヒストグラム化方法を提供することである。
【００１２】
更なる本発明の目的は、塗りつぶせない領域が発生した場合に、内部に空間を持つ図形についてもヒストグラム化を可能とする形状情報のヒストグラム化方法を提供することである。
更なる本発明の目的は、より柔軟な部分的な形状に対する類似検索手法及び装置を与えることが可能な部分形状情報による検索方法、装置及び部分形状情報による検索プログラムを格納した記憶媒体を提供することである。
【００１３】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
本発明は、画像情報の特徴量をヒストグラム（または、ベクトル）化し、該ヒストグラム同士を比較することで、類似像を検索するシステムにおける形状情報のヒストグラム化方法において、
画像情報から形状の特徴量を得る場合に、
特定の基準に基づいた円を描き（ステップ１）、
円の円周上の各点Ｘｉから中心に向かった直線を描き（ステップ２）、
直線が図形と最初にぶつかった地点をＺｉとし（ステップ３）、
または、直線が中心までに図形とぶつからない場合には円の中心をＺｉとし（ステップ４）、
点Ｘｉと地点Ｚｉとの距離をＤとし（ステップ５）、
各点Ｘｉにおけるヒストグラム値を距離Ｄとし（ステップ６）、
各点Ｘｉと地点Ｚｉの間を塗りつぶし、
塗りつぶせない領域が発生した場合には、
再度外周点から塗りつぶせなかった領域をヒストグラム化する処理を行い、
塗りつぶせなかった領域をヒストグラム化する処理を特定の回数または、塗りつぶせない領域が存在しなくなるまで繰り返す。
【００１９】
本発明は、利用者からの検索キー図形入力を行い、入力された該図形の特徴量のヒストグラム（または、ベクトル）として抽出し、該ヒストグラムとデータベース中のヒストグラム間の類似度の計算を行うことで、キー図形に近い図形の検索結果を返す部分形状情報による検索方法において、
検索キー図形の入力を行う際に、円で入力領域を制限し、
利用者は、入力領域を検索対象図形の重心を中心とする外接円、または、最小外接円とみなしたときの検索対象図形の一部分の形状を指定し、
入力された部分形状から外接円を使った形状のヒストグラム方法により、部分形状が指定された部分では、該部分形状の情報をヒストグラム化し、該部分形状が指定されなかった部分では、例外値を取るヒストグラムとし、
ヒストグラム内の例外値でない部分を検索キーとして、
データベース内のヒストグラムと最も類似する部分の検出を行い、
類似形状を検索する。
【００２０】
また、本発明の部分形状情報による検索方法は、利用者が部分図形がどの角度の範囲に存在するかを指定すると、指定された角度の範囲に対応するヒストグラムの部分に限定して、ヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する。
【００２１】
また、本発明の部分形状情報による検索方法は、部分形状の入力を受け付けると、利用者は、１つの検索対象図形の複数の部分形状の指定を行い、複数の図形間の角度の許容範囲の入力を行い、指定された角度の範囲の入力を行い、指定された角度範囲に対応するヒストグラムの部分に限定して、該ヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する。
【００２２】
また、本発明は、利用者からの検索キー図形の入力を行うキー図形入力手段と、該キー図形入力手段によって入力された図形の特徴量をヒストグラム（または、ベクトル）として抽出するヒストグラム作成手段と、該ヒストグラムとデータベース中に格納されているヒストグラム間の類似度計算を行うことで、検索キー図形に近い図形の検索結果を返す類似度算出手段とを有する部分形状情報による検索装置であって、
キー図形入力手段は、
円で入力領域を制限した部分キー図形の入力を行う部分キー図形入力手段と、利用者から入力領域を検索対象図形の重心を中心とする外接円、または、最小外接円とみなしたときの検索対象図形の一部分の形状を指定する部分形状入力手段を含み、
ヒストグラム作成手段は、
外接円を用いた形状のヒストグラム化方法を用いて、部分形状が指定された部分では、該部分形状の情報をヒストグラム化し、該部分形状が指定されなかった部分では、例外値をとるヒストグラムとする部分形状情報ヒストグラム化手段を含み、
類似度算出手段は、
ヒストグラム内の例外値でない部分を検索キーとして、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する部分的類似度算出手段を含む。
【００２３】
また、上記の部分形状入力手段は、利用者により指定された部分図形がどの角度の範囲に存在するかの指定を行う角度入力手段を含み、
部分的類似度算出手段は、角度入力手段により指定された角度の範囲に対応するヒストグラムの部分に限定して該ヒストグラム内の例外値でない部分を検索キー図形とし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する限定部分的類似度算出手段を含む。
【００２４】
また、上記の部分形状入力手段は、複数の部分形状の入力を受け付け、利用者は、１つの検索対象図形の複数の部分形状の指定を行う部分形状指定手段を含み、
部分的類似度算出手段は、角度入力手段で指定された角度の範囲に対応するヒストグラムの部分に限定して、該ヒストグラム内の例外値でない部分を検索キー図形とし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する検索キー設定手段を含む。
【００２５】
本発明は、利用者からの検索キー図形の入力を受け付けるキー図形入力ステップと、該キー図形入力ステップによって入力された図形の特徴量をヒストグラム（または、ベクトル）として抽出するヒストグラム作成ステップと、該ヒストグラムとデータベース中に格納されているヒストグラム間の類似度計算を行うことで、検索キー図形に近い図形の検索結果を返す類似度算出ステップとを実行する部分形状情報による検索プログラムを格納した記憶媒体であって、
キー図形入力ステップは、
円で入力領域を制限した部分キー図形の入力を受け取る部分キー図形入力ステップと、
利用者から、入力領域を検索対象図形の重心を中心とする外接円、または、最小外接円とみなしたときの検索対象図形の一部分の形状の指定を取得する部分形状入力ステップと、を実行し、
ヒストグラム作成ステップは、
外接円を用いた形状のヒストグラム化方法を用いて、部分形状が指定された部分では、該部分形状の情報をヒストグラム化し、該部分形状が指定されなかった部分では、例外値をとるヒストグラムとする部分形状情報ヒストグラム化ステップを実行し、
類似度算出ステップは、
ヒストグラム内の例外値でない部分を検索キー図形として、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する部分的類似度算出ステップを実行するプログラムを格納する。
【００２６】
上記の部分形状入力ステップは、
利用者により指定された部分図形がどの角度の範囲に存在するかの指定を受け取る角度入力ステップを実行し、
部分類似度算出ステップは、
角度入力ステップにより指定された角度の範囲に対応するヒストグラムの部分に限定して該ヒストグラム内の例外値でない部分を検索キー図形とし、データベース内のヒストグラム内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する限定部分的類似度算出ステップを実行する。
【００２７】
また、上記の部分形状入力ステップは、
複数の部分形状の入力を受け付け、利用者からの１つの検索対象図形の複数の部分形状の指定を受け取る部分形状指定ステップを実行し、
部分的類似度算出ステップは、
角度入力ステップで指定された角度の範囲に対応するヒストグラムの部分に限定して、該ヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索する検索キー設定ステップを実行する。
【００２８】
上記のように、画像情報の特徴量をヒストグラム（または、ベクトル）化し、そのヒストグラム同士を比較することで類似画像を検索するシステム内のその形状情報をヒストグラム化する部分について、画像情報からの形状の特徴量を得る場合に、特定の基準に基づいた円を描き、その円周上の各点Ｘi から中心に向かった直線を描きその直線が図形と最初にぶつかった地点をＺi とし、または、その直線が中心までに図形とぶつからない場合には、円の中心をＺi とし、ＤをＸi とＺi との距離とし、各点Ｘi におけるヒストグラム値をＤとすることで、直感的に優れた形状情報のヒストグラムが得られる。
【００２９】
さらに、本発明は、各Ｘi とＺi の間を塗りつぶし、塗りつぶせない領域が発生した場合には、再度外周点から塗りつぶせなかった領域をヒストグラム化する処理を行い、これを特定の回数または、塗りつぶせない領域が存在しなくなるまで、実行することで内部空間を持つ図形に対しても、その形状情報のヒストグラム化が可能となる。
【００３０】
なお、特定の基準に基づいた円として、想定する円を円の中心を図形の重心とし、円の半径を重心から最も遠い図形内の点と中心との距離とした場合と、想定する円を円の中心を図形の最小外接円とし、円の半径をその最小外接円の半径とした場合には、円の基準として、数学的に安定した基盤を与えることができ、多くのシステムで共通に利用する基準として有効である。
【００３１】
また、距離の基準を距離を円周上の点からＺi までの距離ではなく、中心からＺi までの距離とした場合は、全く同等の効果を持ち、距離を半径Ｒで正規化した（距離をＲで割った）距離を利用する場合は、距離基準としてユークリット距離以外を用いた場合に有効になる。例えば、距離基準として、画素数（コンピュータ画面上でのドット数）とした場合、半径距離が直線の角度によって変化してくる。
【００３２】
その場合、半径で正規化することで他の角度の距離との比較が可能になり、距離として画素数を用いることで、コンピュータ上での計算処理が容易になる。
さらに、生成されたヒストグラムについて、最も値の大きな位置、または、小さな位置Ｘi に着目し、その位置が定位置（例えば、先頭）にくるようにヒストグラムを巡回させ、ヒストグラムの図形の回転に対する正規化を行う仮定を持つことで回転した図形に対しても同一のヒストグラムを得ることが可能になり、検索システムの性能が向上できる。
【００３３】
なお、外周上の点からの直線が図形と最初にぶつかった地点をＺi とし、または、その直線が中心までに図形とぶつかった場合には、さらに、延長した直線上で図形と最初にぶつかった地点をＺi とし、もし、それでも図形にぶつからなければ中心から見てＸi の反対側の円周上の点をＺi とすることでも可能であり、この場合、図形内部に関する１回で取得できる情報量が若干増加する。
【００３４】
また、予め、等間隔にとった外周上の点からヒストグラムを作成するだけでなく、外周の全点（コンピュータ上で認識可能な全点）についてヒストグラムを作成し、最後にメディアン方などでヒストグラムの階数を調整することも可能であり、この場合には、外周上の点が飛ぶ（点と点との間隔があく）ことにより情報の欠陥を防ぐことが可能となる。
【００３５】
更に、本発明の部分形状情報による類似図形を検索する際に、図形の部分的な形状特徴を指定することにより、検索図形の検索が可能となる。
また、形状の指定は、部分的な図形を指定することにより、微妙なニュアンスの指定が可能となり、特徴的な部分が複数ある場合には、それらの形状の指定や、形状間の位置関係の指定等を行うことにより類似する図形の検索が可能となる。
【００３６】
【発明の実施の形態】
図２は、本発明の画像情報から形状の特徴量を得るための処理のフローチャートである。
ステップ１０１）特定の基準に基づいた円（中心位置Ｙ，半径Ｒ）を描く。
ステップ１０２）ステップ１０１で描いた円の円周上の各点Ｘi について以下の処理を繰り返す。
【００３７】
ステップ１０３）Ｘi と円の中心Ｙを結ぶ直線上でＸi から見て、初めて図形に接した地点をＺi とする。図形に接しなければ、中心または反対側の外周点をＺi とする。
ステップ１０４）Ｘi とＺi との距離をＡとする。
ステップ１０５）点Ｘi におけるヒストグラム値をＡとし、追加出力し、ステップ１０２に移行する。
【００３８】
図３は、本発明の塗りつぶせない領域が発生した場合の処理のフローチャートである。
ステップ２０１）特定の基準に基づいた円（中心位置Ｙ、半径Ｒ）を描く。
ステップ２０２）ステップ２０１で描いた円の円周上の各点Ｘi について以下の処理を繰り返し、全てのＸi についての処理が終了したらステップ２０６に移行する。
【００３９】
ステップ２０３）点Ｘi と円の中心Ｙを結ぶ直線上で、Ｘi から見て、初めて図形に接した地点をＺi とする図形に接しなければ、中心または反対側の外周点をＺi とする。
ステップ２０４）点Ｘi とＺi との距離をＡとする。
ステップ２０５）点Ｘi におけるヒストグラム値をＡとし、追加出力し、ステップ２０２に移行する。
【００４０】
ステップ２０６）各点Ｘi とＺi の間の領域は塗りつぶし、残った領域を図形と見做す。
ステップ２０７）残った領域がなければ終了する。
ステップ２０８）形状内部情報のヒストグラム化を行うために処理を繰り返す。
【００４１】
図４は、本発明の類似画像検索システムの構成例を示す。
同図に示す類似画像検索システム１００は、利用者から検索キー図形の入力を行うキー図形の入力部１１０、登録データ画像の入力部１２０、画像からの図形の抽出部１３０、図形の特徴量をヒストグラム（または、ベクトル）として抽出する図形情報のヒストグラム作成部１４０、図形とベクトルの組の管理部１５０、ヒストグラムとデータベース中のヒストグラム間の類似度計算を行うヒストグラム間の類似度算出部１６０、類似度によりキー図形に近い図形を検索する類似図形を含む画像の検索部１７０、類似画像の出力部１８０及び類似図形の出力部１９０から構成される。
【００４２】
キー図形の入力部１１０は、部分キー図形の入力部１１１と角度の入力部１１２とを有する。
部分キー図形入力部１１１は、円で入力領域を制限する。具体的には、利用者が円で制限した入力領域を検索対象図形の重心を中心とする外接円、または、最小外接円とみなしたときの検索対象図形の一部分の形状等の指定を取得する。また、部分キー図形入力部１１１は、複数の部分図形の入力を受け付け、利用者からの１つの検索対象図形の複数の部分形状の指定を受け付ける。
【００４３】
角度の入力部１１２は、利用者が部分キー図形入力部１１１で指定した部分図形がどの角度の範囲に存在するかを指定する。また、角度の入力部１１２は、複数の図形間の角度の許容範囲の入力も行う。
図形のヒストグラム（または、ベクトル）作成部１４０は、部分図形情報のヒストグラム作成部１４１を有する。部分図形情報のヒストグラム作成部１４１は、前述の外接円を用いた形状のヒストグラム方法を用いて、部分形状が指定された部分では、その形状の情報をヒストグラム化し、部分形状が指定されなかった部分では、例外値をとるヒストグラムとする。
【００４４】
ヒストグラム間の部分的類似度算出部１６０は、ヒストグラム間の部分的類似度算出部１６１を有する。部分的類似度算出部１６１は、ヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、その結果を類似度図形を含む画像の検索部１７０及び類似図形出力部１９０に転送する。また、部分的類似度算出部１６１は、角度の入力部１１２により指定された角度範囲に対応するヒストグラムの部分に限定して、ヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形の出力部１９０及び類似図形を含む画像の検索部１７０に転送する。さらに、部分的類似度算出部１６１は、角度の入力部１１２により取得した角度範囲に対応するヒストグラムの部分に限定してヒストグラム内の例外値でない部分を検索キーとし、データベース内のヒストグラムと最も類似する部分の検出を行い、類似図形を検索して、類似図形の出力部１９０、及び類似図形を含む画像の検索部１７０に転送する。
【００４５】
図５は、本発明の部分形状情報による検索方法を示すフローチャートである。
ステップ３０１）利用者は、キー図形の入力部１１０の部分キー図形の入力部１１１より円で制限した入力域を経由し、部分図形を入力する。
ステップ３０２）ステップ３０１の処理を部分図形の個数だけ繰り返す。
ステップ３０３）全ての部分図形の個数分の入力が終了したら、角度の入力部１１２より部分図形の角度の許容範囲の入力を行う、または、この入力を行わない場合にはスキップする。
【００４６】
ステップ３０４）角度の入力部１１２から複数の部分図形間の角度の許容範囲の入力を行う、または、この入力を行わない場合にはスキップする。
ステップ３０５）外接円の各点について以下の処理を繰り返し、全ての外接円の各点の処理が終了したらステップ３０９に移行する。
ステップ３０６）解錠が指定された部分かを判定し、そうであれば、ステップ３０７に移行し、そうでない場合にはステップ３０８に移行する。
【００４７】
ステップ３０７）図形情報のヒストグラム作成部１４０は、外接円を使った形状のヒストグラムを作成する。
ステップ３０８）ヒストグラム値として例外値を指定する。
ステップ３０９）角度の範囲指定が行われている場合には、ステップ３１１に移行し、行われていない場合にはステップ３１０に移行する。
【００４８】
ステップ３１０）ヒストグラム間の類似度算出部１６０は、ヒストグラム内の例外値でない部分のみを対象としてデータベース（図形とベクトルの組の管理部）１５０内のヒストグラムとの類似度を算出し、ステップ３１４に移行する。
ステップ３１１）角度からヒストグラムの範囲を算出する。
ステップ３１２）ヒストグラムの範囲について、比較起点をずらしながら以下のステップを繰り返し、範囲内の全ての起点における処理が終了したらステップ３１４に移行する。
【００４９】
ステップ３１３）ヒストグラム内の例外値でない部分のみを対象として、データベース１５０内のヒストグラムとの類似度を計算する。
ステップ３１４）類似図形の出力部１９０は、類似度の高い順に出力する。
【００５０】
【実施例】
以下、図面と共に本発明の実施例を説明する。
［形状情報のヒストグラム化の実施例］
最初に、形状情報のヒストグラム化に関する実施例について説明する。
まず、従来の技術の項で説明した図形に対して、図形の外側に円を描いた例を図６は、本発明の形状情報のヒストグラム化の一実施例の画像情報から形状の特徴量を得る過程を示す図（その１）である。
【００５１】
同図（Ａ）は図形の外側に円を描いた例であり、同図（Ｂ）は、図形の重心を中心として最も遠い点を半径Ｒとして外円を描いた例であり、同図（Ｃ）は、図形に外接する最小の円を描いた例である。
図６に示すこの（Ａ）〜（Ｃ）の過程において、図形の重心を求め、図形の外周をトレースすることで図形の重心を中心として最も遠い点を求め、図形の最大長（点Ａ，Ｂ）を求め、それと外周トレース点との作る角度の中で最小の角度の点Ｃを求め、その角度が鋭角の場合には、最大長の点と点Ｃから外接円を求め、その角度が鈍角の場合には、点Ａ，Ｂを直径とする円を外接円とすることが可能であり、容易に実装可能である。
【００５２】
さらに、別の図形について説明する。
図７は、本発明の形状情報のヒストグラム化の一実施例の画像情報から形状の特徴量を得る過程を示す図（その２）である。
同図（Ａ）は図形の外側に円を描いた例であり、同図（Ｂ）は、図形の重心を中心として最も遠い点を半径Ｒとして外円を描いた例であり、同図（Ｃ）は、図形に外接する最小の円を描いた例である。なお、重心は同図（Ｂ）において白丸で示した。
【００５３】
図７において、円周を１６分割した各点Ｘi に対し、その点から中心に向かう直線を引いた例を図８に示す。同図において、Ｘi から中心に向かう直線を引いた場合に、外円の取り方によってヒストグラムは変化する。この時、図形に最初にぶつかった地点で直線を止めておく。この地点をＺｉとする。そして、図８（Ａ）に対し、その各直線の長さをヒストグラム化した例を図９に示し、図形のＸi とＺi の間の領域を塗りつぶした状態を図７に示す。但し、図９、図１０では、分かり易さのために、外周上の１６点ではなく、識別可能な全点を対象として塗りつぶしている。図１０では、残った領域、ヒストグラムに反映されなかった内部領域が存在することを示している。
【００５４】
そこで当該内部領域に対して、再度ヒストグラム化を行うために、外周から直線を引いた状態を図１１に示す。同図からヒストグラムを求め、先程のヒストグラムとあわせれば、内部状態をも表現したヒストグラムとなる。
さらに、この２回目のヒストグラム過程でも、領域が残れば、その領域が無くなるまで、このヒストグラム化の過程を繰り返すことができる。
【００５５】
また、図１１に対するヒストグラムを回転に対する巡回によって正規化する例を図１２に示す。この例では、ヒストグラム中の最小の値の地点に注目し、その地点がヒストグラムの先頭にくるように巡回させて正規化している。この正規化によって、図９の図形は図１２内の図形のように正規化されたことになり、回転した図形に対してもヒストグラムが一致するようになる。
【００５６】
［部分形状情報による検索の実施例］
・第１の実施例
図１３は、本発明の部分形状情報による検索の第１の実施例の部分的な図形に対するヒストグラムの作成及び検索の例を示す。
同図（Ａ）は、図形全体が指定された場合のヒストグラムである。一方、同図（Ｂ）は図形の一部のみが指定された場合のヒストグラムの例である。同図（Ｂ）に示す図形が指定されていない部分ｂ５〜ｂ１５については例外値として最大値をとっているが、例えば、負の値などでも構わない。
【００５７】
次に、検索の例を示す。
データベース内に格納されている図形に対しては、全体のヒストグラムが作成されており、キー図形に対しては、部分的なヒストグラムが作成される。
図１３（Ａ）をデータベース内図形のヒストグラム、図１３（Ｂ）をキー図形ヒストグラムとすると、キー図形内の例外値でない部分ｂ１〜ｂ４について対応するａ１〜ａ５に対して類似度の算出を行う。
【００５８】
例えば、類似度をユークリッド距離Ｌａとし、ｓｑｒｌ（ｋ）をｋの平方根とした場合、
Ｌａ＝ｓｑｒｌ（（ｂ１−ａ１）^*（ｂ１−ａ１）＋（ｂ２−ａ２）^*（ｂ２−ａ２）＋（ｂ３−ａ３）^*（ｂ３−ａ３）＋（ｂ４−ａ４）^*（ｂ−ａ４））
が類似度算出の式となり、この場合Ｌａの値は０となる（ユークリッド距離の場合、小さい程類似度が高い）。
【００５９】
次に、入力時に角度の指定があった場合の検索の例を示す。
再びキー図形を図１３（Ｂ）とし、その角度の許容範囲として円の右側に存在するとの指定があった場合、図１３（Ａ）のデータベース内の図形のヒストグラムとの比較は、比較の始点を０度〜１８０度分変えながら行う。この場合、円を１６等分してヒストグラム化しているので、１８０度は９本のヒストグラムとなり、キー図形が４本のヒストグラムで表現されているので、６回の比較が必要となる。つまり、以下のそれぞれの類似度を求め、
Ｌ０＝ｓｑｒｔ（（ｂ１−ａ１）・（ｂ１−ａ１）＋（ｂ２−ａ２）・（ｂ２−ａ２）＋（ｂ３−ａ３）・（ｂ３−ａ３）＋（ｂ４−ａ４）^*（ｂ４−ａ４））
Ｌ１＝ｓｑｒｔ（（ｂ１−ａ２）・（ｂ１−ａ２）＋（ｂ２−ａ３）・（ｂ２−ａ３）＋（ｂ３−ａ４）・（ｂ３−ａ４）＋（ｂ４−ａ５）^*（ｂ４−ａ５））
Ｌ２＝ｓｑｒｔ（（ｂ１−ａ３）・（ｂ１−ａ３）＋（ｂ２−ａ４）・（ｂ２−ａ４）＋（ｂ３−ａ５）・（ｂ３−ａ５）＋（ｂ４−ａ６）^*（ｂ４−ａ６））
Ｌ３＝ｓｑｒｔ（（ｂ１−ａ４）・（ｂ１−ａ４）＋（ｂ２−ａ５）・（ｂ２−ａ５）＋（ｂ３−ａ６）・（ｂ３−ａ６）＋（ｂ４−ａ７）^*（ｂ４−ａ７））
Ｌ４＝ｓｑｒｔ（（ｂ１−ａ５）・（ｂ１−ａ５）＋（ｂ２−ａ６）・（ｂ２−ａ６）＋（ｂ３−ａ７）・（ｂ３−ａ７）＋（ｂ４−ａ８）^*（ｂ４−ａ８））
Ｌ５＝ｓｑｒｔ（（ｂ１−ａ６）・（ｂ１−ａ６）＋（ｂ２−ａ７）・（ｂ２−ａ７）＋（ｂ３−ａ８）・（ｂ３−ａ８）＋（ｂ４−ａ９）^*（ｂ４−ａ９））
その中の最小値をそのデータベース内図形の最大の類似度とする。これを他のデータベース内の図形についても行い、最大の類似度の図形から順に出力する。
・第２の実施例
本実施例では、図形の部分的な特徴を指定した場合の検索例を示す。
【００６０】
図１４は、本発明の部分形状による第２の実施例の検索キー（部分形状）の指定の例を示す。
図１４において、（ｈ）をキー指定すると、そのヒストグラム形状は、例えば、図２０（ａ）〜（ｆ）の耳の部分のヒストグラムや、（ｇ）の頭の部分のヒストグラムが近いので、類似度の高いものとなる。
【００６１】
また、図１４（ｈ）と共にその角度を±５度以内と指定すると、図１６の（ａ），（ｅ）〜（ｇ）の最も類似度の高い部分との角度が±５度を越えるので、検索結果から除かれる。
なお、この結果は、角度の入力のＧＵＩには影響されず、テキスト入力であってもスライダ入力方法であっても構わない。
【００６２】
また、従来では区別しにくかった微妙な違いの指定も可能になる。
図１４（ｈ）を指定した場合、図２０の（ｃ）〜（ｅ）が最も類似度が高くなる。また、図１４（ｉ）を指定した場合、図２０の（ａ）が最も類似度が高くなる。
・第３の実施例
本実施例では、図形の部分的な特徴を複数指定した場合の検索例を示す。
【００６３】
図１４の（ｊ）のような指定をし、その２つの図形間の角度の許容度を図１４の（ｊ）〜（ｋ）まで許すとした場合、図２０（ｃ）〜（ｆ）までが適合する。（ａ），（ｂ）は、間が狭過ぎるために適合せず、（ｇ）は間が広過ぎるために適合しない。
上記では、指定が２つの場合を示したが、３つ以上の場合についても同様である。
【００６４】
角度の指定方法については、指定対象図形の選択方法として最近傍の図形間の許容度を指定する場合と、最遠の図形間の許容度を指定する場合があり、図形内の基準点としては、最近点（図１４（ｊ）の耳の頭初）、中心点、最遠点（図１４）（ｊ）の耳の下側）などがあるが、いずれでもよい。
さらに、図１４（ｌ）に示すように、検索キー図形が内部形状を持つ場合については、前述の形状情報のヒストグラム化方法に示したように、図形内部の情報のヒストグラム化も行っておけば同様に実現可能である。
【００６５】
この場合、図２０（ａ），（ｄ），（ｅ）等の類似度が他に比べて高くなる。
なお、角度が指定されない場合とは、キー図形の角度のみを有効とする場合で、角度を無視する（＝回転に対する正規化を行う）場合は、角度を０〜３６０度と指定した場合と考える。
なお、上記の部分形状情報による検索については、図４に示す構成について図５に示すフローチャートに沿ったプログラムを構築し、当該プログラムを類似画像を検索するためのコンピュータに接続されるディスク装置等の記憶媒体に格納しておき、類似画像検索処理時に適宜呼び出して実行することも可能である。
【００６６】
また、上記のプログラムをフロッピーディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格納することも可能である。
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能となる。
【００６７】
【発明の効果】
上述のように、本発明によれば、図形の外部の円周上から図形への距離をヒストグラムとすることで、ヒストグラムは図形の形状を直観的に表現するものとなる。
さらに、ヒストグラムの回転による正規化を行うことが、回転した図形に対してのマッチングを容易に行うことができる。
【００６８】
また、塗りつぶせない領域が発生した場合に、再度外周点から塗りつぶせなかった領域への距離をヒストグラムとし、これを何回かまたは塗りつぶせない領域が存在しなくなるまで実行することで、内部に空間を持つ図形についてもヒストグラム化が可能になる。
これらにより、従来のエッジ方向や４方向からの距離を使った形状に関する類似図形検索システムに比べ、より精度の高い類似図形の検索が可能になる。
【００６９】
また、本発明の部分形状による類似画像検索によれば、図形の部分的な形状特徴を指定することにより、図形検索が可能となる。その形状の指定は、従来に比べて微妙なニュアンスの指定が可能となる。さらに、特徴的な部分が複数あれば、それらの形状の指定とその形状間の位置関係について指定による検索も可能になる。
【００７０】
また、本発明を他の特徴（色調、テクスチャ、大きさ、位置、向き、等）の情報を組み合わせて指定すれば、より多様な検索が可能になる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の画像情報から形状の特徴量を得るための処理のフローチャートである。
【図３】本発明の塗りつぶせない領域が発生した場合の処理のフローチャートである。
【図４】本発明の類似画像検索システムの例を示す図である。
【図５】本発明の部分形状情報による検索方法を示すフローチャートである。
【図６】本発明の形状情報のヒストグラム化の一実施例の画像情報から形状の特徴量を得る過程を示す図（その１）である。
【図７】本発明の形状情報のヒストグラム化の一実施例の画像情報から形状の特徴量を得る過程を示す図（その２）である。
【図８】本発明の形状情報のヒストグラム化の一実施例の図７における例の円周を１６分割した点に対して中心に向かって直線を引いた例である。
【図９】本発明の形状情報のヒストグラム化の一実施例の円周上の各点から中心に向かう直線上で最初に図形と接した点までの距離をヒストグラムにする例である。
【図１０】本発明の形状情報のヒストグラム化の一実施例の外周上の点と図形または、中心までの間を塗りつぶした例である。
【図１１】本発明の形状情報のヒストグラム化の一実施例の残った領域に対して再度外周上の各点から直線を引いた例である。
【図１２】本発明の形状情報のヒストグラム化の一実施例のヒストグラムを最長値が先頭に来るように巡回させた例である。
【図１３】本発明の部分形状による第１の実施例の部分的なヒストグラムの作成及び検索の例を示す図である。
【図１４】本発明の部分形状による第２の実施例の検索キー（部分形状）の指定の例である。
【図１５】従来の色情報をヒストグラム化する例である。
【図１６】従来の色情報をヒストグラム化する例である。
【図１７】従来のエッジ方向をヒストグラムにする例である。
【図１８】従来の４辺から図形までの距離をヒストグラムにする例である。
【図１９】従来の画像検索システムの例である。
【図２０】微妙な図形の差の例である。
【符号の説明】
１００類似画像検索システム
１１０キー図形の入力部
１１１部分キー図形の入力部
１１２角度の入力部
１２０登録データ画像の入力部
１３０画像からの図形の抽出部
１４０図形情報のヒストグラム（または、ベクトル）作成部
１４１部分図形情報のヒストグラム作成部
１５０図形とベクトルの組の管理部（データベース）
１６０ヒストグラム間の類似度（または、ベクトル間の距離）算出部
１６１ヒストグラム間の部分的類似度算出部
１７０類似図形を含む画像の検索部
１８０類似画像の出力部
１９０類似図形の出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for forming a histogram of shape information, and more particularly, to a method of forming a histogram of shape information for acquiring a feature amount related to a shape of an image in a multimedia system for performing image recognition and image search.
The present invention also relates to a storage method storing a search method based on partial shape information, a manufacturing program, and a search program based on partial shape information. The present invention relates to a search method and apparatus using partial shape information using various shapes and a storage medium storing a search program using partial shape information.
[0002]
[Prior art]
Many image searches are based on histograms. This histogram may be simply referred to as a vector.
[0003]
In the case of an image retrieval system having a process of extracting a partial image from an image, a feature amount of a shape or a color is extracted from the extracted partial image (hereinafter referred to as a figure) in the same manner as in the case of an image. And compare.
In conventional image search systems, histogram creation from color information is frequently performed. FIG. 15 shows an example in which three colors (white, gray, and black) are used. In the figure, in order to make the color information into a histogram, the number of appearances of each color is obtained. In this case, since white is 104 times, gray is 21 times, and black is 43 times, a histogram composed of three bars of 104, 21, and 43 can be generated.
[0004]
Similarly, in the case of a monochrome figure, the result is as shown in FIG. Although not shown in this example, normally 16 colors or 27 colors are used.
Heretofore, as a method of converting a shape into a histogram, there are a method using an edge direction and a method using distances from four directions. FIG. 17 shows an example in which the edge directions are limited to eight types (upper, upper right, right, lower right, lower, lower left, left, upper left). In this case, it is possible to generate a histogram consisting of eight bars, 4 at the top, 2 at the top right, 8 at the right, 2 at the bottom right, 4 at the bottom, 4 at the bottom left, 4 at the left, and 4 at the top left. it can.
[0005]
FIG. 18 shows an example of a method using distances from four directions. In this case, the distance from the side to the figure is directly used as a histogram. Since this is performed for each of the four sides, four histograms are generated. Whether to treat them as four or collectively one depends on the system.
Next, a conventional method for searching for a similar figure will be described.
[0006]
The conventional key figure input section 12 shown in FIG. 19 has only an input section for the entire shape of the figure, and has only an input section for the entire shape of the figure.
In addition, the similar figure search unit (the search unit 18 for images including similar figures) also performs only the similarity calculation for the entire histogram.
The main reason for this is that the accuracy of the conventional shape search is poor, and the shape search itself is impossible. Therefore, when it is desired to search for a partial shape in a pseudo manner, a template (projection, straight line, roundness, etc.) of the partial shape is prepared in advance, and a database (a figure and vector set management unit 17) is prepared within that range. Is extracted as a vector value from the graphic stored in the search key graphic and the search key graphic as a feature amount, and the similarity calculation is realized.
[0007]
For example, (a) and (c) to (e) of FIG. 20 each indicate information that there are two round projections.
[0008]
[Problems to be solved by the invention]
However, the above-described conventional method of forming a histogram of a shape has the following problems.
In the method based on the edge direction, since the frequency in the edge direction is represented, it is highly possible that the shapes are completely different even if they have the same histogram shape. In addition, it is difficult to recognize shape information intuitively.
[0009]
Further, in the method based on the distance from the four sides, the shape of the figure can be expressed in a straightforward manner, but in the case of an inclined figure, a completely different histogram results. In addition, a figure having no space inside (for example, ●) is the same as a figure having space inside (for example, ○).
Further, in the similar graphic search using the conventional partial shape template, the types of the partial shapes are limited in advance, and it is difficult to specify a subtle difference as shown in FIG. There is nothing but selective.
[0010]
In particular, in the case of an object extracted from a photograph or the like instead of a simple illustration, a part of the figure may not be extracted due to shadow or gloss, or a part of the figure may not be extracted due to an overlap between objects (a context). Many.
In order to apply to such applications, there is a demand for a system that can specify a delicate shape and that can search using only partial shape information.
[0011]
The present invention has been made in view of the above points, and provides a method of forming a histogram of shape information in which a histogram can intuitively represent a shape of a figure and a more accurate search for a similar figure can be performed. The purpose is to do.
It is a further object of the present invention to provide a method for forming a histogram of shape information which can easily perform matching even with a rotated figure.
[0012]
It is a further object of the present invention to provide a method for forming a histogram of shape information, which enables a figure having a space inside to be formed into a histogram when an area that cannot be filled occurs.
A further object of the present invention is to provide a search method and apparatus using partial shape information and a storage medium storing a search program using partial shape information, which can provide a more flexible similarity search method and apparatus for partial shapes. That is.
[0013]
[Means for Solving the Problems]
FIG. 1 is a diagram for explaining the principle of the present invention.
The present invention provides a method for forming a histogram of shape information in a system for searching for a similar image by converting a feature amount of image information into a histogram (or a vector) and comparing the histograms with each other.
When obtaining the feature of a shape from image information,
Draw a circle based on specific criteria (Step 1)
Draw a straight line from each point Xi on the circumference of the circle toward the center (step 2),
The point where the straight line first hits the figure is Zi (step 3),
Alternatively, if the straight line does not collide with the figure by the center, the center of the circle is set to Zi (step 4),
The distance between the point Xi and the point Zi is D (step 5),
A histogram value at each point Xi is defined as a distance D.And(Step 6),
Fill between points Xi and Zi,
If there is an area that cannot be filled,
Perform processing to turn the area that could not be filled from the outer peripheral point into a histogram again,
The process of converting the unpainted area into a histogram is repeated a specific number of times or until there is no unpainted area.
[0019]
According to the present invention, a search key figure is input from a user, and the input is performed.TheBy extracting as a histogram (or vector) of a feature amount of a figure and calculating the similarity between the histogram and a histogram in a database, a search method based on partial shape information that returns a search result of a figure close to a key figure ,
When entering a search key figure, limit the input area with a circle,
The user specifies the shape of a part of the search target graphic when the input area is regarded as a circumcircle centered on the center of gravity of the search target graphic or the minimum circumscribed circle,
By using a histogram method of a shape using a circumscribed circle from the input partial shape, information on the partial shape is converted into a histogram in a portion where the partial shape is specified, and an exceptional value is obtained in a portion where the partial shape is not specified. A histogram,
Using the parts of the histogram that are not exceptional values as search keys,
Detect the most similar part of the histogram in the database,
Search for similar shapes.
[0020]
Further, the search method using the partial shape information of the present invention, when the user specifies in which angle range the partial graphic exists, is limited to the portion of the histogram corresponding to the specified angle range, and Is used as a search key, a portion most similar to the histogram in the database is detected, and a similar figure is searched.
[0021]
In the search method based on partial shape information according to the present invention, when an input of a partial shape is received, a user designates a plurality of partial shapes of one search target graphic and sets an allowable range of angles between the plurality of graphics. Input, input the range of the specified angle, limit to the part of the histogram corresponding to the specified angle range, and use the part that is not an exceptional value in the histogram as a search key, and compare it with the histogram in the database. A similar part is detected, and a similar figure is searched.
[0022]
The present invention also provides key figure input means for inputting a search key figure from a user, and histogram creation means for extracting a feature amount of the figure input by the key figure input means as a histogram (or vector). A similarity calculation means for performing a similarity calculation between the histogram and a histogram stored in a database to return a search result of a figure close to a search key figure.
Key figure input means
Partial key figure input means for inputting a partial key figure whose input area is restricted by a circle, and a search when the user regards the input area as a circumscribed circle centered on the center of gravity of the search target figure or a minimum circumscribed circle Including a partial shape input means for specifying a shape of a part of the target graphic,
Histogram creation means,
Using a method of forming a histogram using a circumscribed circle, a portion where a partial shape is specified is converted into a histogram of the information of the partial shape, and a portion where the partial shape is not specified is set as a histogram taking an exceptional value. Including partial shape information histogram generation means,
The similarity calculating means includes:
A part similar to the histogram in the database is detected by using a part that is not an exceptional value in the histogram as a search key, and a partial similarity calculating unit that searches for a similar figure is included.
[0023]
Further, the partial shape input means includes an angle input means for specifying which angle range the partial graphic specified by the user exists,
The partial similarity calculation means restricts only a part of the histogram corresponding to the range of the angle designated by the angle input means to a part other than the exceptional value in the histogram as a search key figure, and is most similar to the histogram in the database. It includes a limited partial similarity calculating means for detecting a part and searching for a similar figure.
[0024]
Further, the partial shape input means receives input of a plurality of partial shapes, and the user includes a partial shape designating means for designating a plurality of partial shapes of one search target graphic,
The partial similarity calculation means restricts only the portion of the histogram corresponding to the range of angles designated by the angle input means, sets a portion which is not an exceptional value in the histogram as a search key figure, and is most similar to the histogram in the database. And a search key setting means for detecting a part to be searched and searching for a similar figure.
[0025]
The present invention provides a key figure input for receiving a search key figure input from a user.StepsAnd histogram creation for extracting a feature amount of the figure input in the key figure input step as a histogram (or vector)StepsCalculating a similarity between the histogram and the histogram stored in the database, thereby returning a search result of a figure close to the search key figure.Step and executeA storage medium storing a search program based on partial shape information,
Key figure inputStepsIs
Partial key figure input to receive input of partial key figure with input area restricted by circleStepsWhen,
Partial shape input to obtain from the user the designation of the shape of a part of the search target graphic when the input area is regarded as a circumcircle centered on the center of gravity of the search target graphic or a minimum circumcirclePerform the steps and
Create histogramStepsIs
By using a method of forming a histogram using a circumscribed circle, information on the partial shape is converted into a histogram at a portion where the partial shape is specified, and a histogram having an exceptional value is set at a portion where the partial shape is not specified. Creating partial shape information histogramPerform the steps,
Similarity calculationStepsIs
Using a part that is not an exceptional value in the histogram as a search key figure, a part that is most similar to the histogram in the database is detected, and a partial similarity calculation that searches for a similar figure is performed.Stores the program that executes the step.
[0026]
Partial shape input aboveStepsIs
Angle input that receives the specification of which angle range the partial figure specified by the user existsPerform the steps,
Partial similarity calculationStepsIs
Angle inputStepsIs limited to the part of the histogram corresponding to the range of the angle specified by the above, a part that is not an exceptional value in the histogram is set as a search key figure, and a part most similar to the histogram in the histogram in the database is detected. Partial similarity calculation to search forPerform the steps.
[0027]
In addition, the above partial shape inputStepsIs
Partial shape specification that accepts input of multiple partial shapes and receives specification of multiple partial shapes of one search target graphic from the userPerform the steps,
Partial similarity calculationStepsIs
Angle inputStepsIs limited to the portion of the histogram corresponding to the range of angles specified by, and a portion that is not an exceptional value in the histogram is used as a search key, a portion most similar to the histogram in the database is detected, and a similar figure is searched. Search key settingPerform the steps.
[0028]
As described above, the feature amount of the image information is converted into a histogram (or vector), and the histogram is compared with each other to search for a similar image. In order to obtain the characteristic amount of, a circle based on a specific criterion is drawn, a straight line is drawn from each point Xi on the circumference to the center, and the point where the straight line first hits the figure is Zi, or If the straight line does not collide with the figure by the center, the center of the circle is Zi, D is the distance between Xi and Zi, and the histogram value at each point Xi is D. A histogram of the information is obtained.
[0029]
Further, according to the present invention, the area between Xi and Zi is filled, and when an area that cannot be filled occurs, a process of forming a histogram of the area that cannot be filled from the outer peripheral point is performed again, and this processing is performed a specified number of times or the area cannot be filled. By executing until the region no longer exists, a histogram of the shape information can be formed even for a figure having an internal space.
[0030]
In addition, as a circle based on a specific criterion, the assumed circle is the center of the circle at the center of the figure, and the radius of the circle is the distance between the center and the point in the figure farthest from the center of gravity. If the center of the circle is the minimum circumscribed circle of the figure and the radius of the circle is the radius of the minimum circumscribed circle, a mathematically stable base can be given as the basis of the circle, and it is common in many systems. It is effective as a standard to use.
[0031]
When the distance is not the distance from the point on the circumference to Zi but the distance from the center to Zi, the distance has the same effect, and the distance is normalized by the radius R (distance is defined as the distance). The use of a distance (divided by R) is effective when a distance other than the Euclidean distance is used as a distance reference. For example, when the number of pixels (the number of dots on a computer screen) is used as a distance reference, the radial distance changes depending on the angle of a straight line.
[0032]
In that case, normalization by radius enables comparison with distances at other angles, and calculation processing on a computer becomes easy by using the number of pixels as the distance.
Further, with respect to the generated histogram, focusing on the position having the largest value or the position Xi having the smallest value, the histogram is circulated so that the position comes to a fixed position (for example, the head), and the histogram is normalized with respect to the rotation of the figure. Makes it possible to obtain the same histogram even for a rotated figure, thereby improving the performance of the search system.
[0033]
The point where the straight line from the point on the outer circumference first hits the figure is Zi, or if the straight line hits the figure by the center, it further hits the figure on the extended straight line first. If the point is Zi, and if the figure still does not hit the figure, it is also possible to set the point on the circumference on the opposite side of Xi as seen from the center to be Zi. Increases slightly.
[0034]
Further, in addition to creating a histogram from points on the outer periphery at equal intervals in advance, a histogram is created for all points on the outer periphery (all points recognizable on a computer). It is also possible to adjust the number of floors. In this case, it is possible to prevent a defect in information by skipping a point on the outer circumference (the interval between the points is increased).
[0035]
Further, when searching for a similar graphic based on the partial shape information of the present invention, a search for a search graphic can be performed by designating a partial shape characteristic of the graphic.
In addition, when specifying a shape, it is possible to specify subtle nuances by specifying a partial figure. If there are multiple characteristic parts, the specification of those shapes and the positional relationship between the shapes are possible. By performing designation or the like, it becomes possible to search for similar graphics.
[0036]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 2 is a flowchart of a process for obtaining a feature amount of a shape from image information according to the present invention.
Step 101) Draw a circle (center position Y, radius R) based on a specific reference.
Step 102) The following processing is repeated for each point Xi on the circumference of the circle drawn in step 101.
[0037]
Step 103) On the straight line connecting Xi and the center Y of the circle, when Zi is viewed from Xi, the point that first contacts the figure is Zi. If it does not touch the figure, the center or the outer peripheral point on the opposite side is Zi.
Step 104: Let A be the distance between Xi and Zi.
Step 105) The histogram value at the point Xi is set to A, additional output is performed, and the process proceeds to Step 102.
[0038]
FIG. 3 is a flowchart of a process according to the present invention when an unpainted area occurs.
Step 201) Draw a circle (center position Y, radius R) based on a specific reference.
Step 202) The following processing is repeated for each point Xi on the circumference of the circle drawn in step 201, and when the processing for all Xi has been completed, the process proceeds to step 206.
[0039]
Step 203) On the straight line connecting the point Xi and the center Y of the circle, if the point that first comes into contact with the figure as viewed from Xi does not touch the figure that is Zi, the center or the outer peripheral point on the opposite side is Zi.
Step 204) Let A be the distance between points Xi and Zi.
Step 205) The histogram value at the point Xi is set to A, additional output is performed, and the process proceeds to Step 202.
[0040]
Step 206) The area between each point Xi and Zi is painted out, and the remaining area is regarded as a figure.
Step 207) If there is no remaining area, the process ends.
Step 208) The process is repeated to make the internal shape information into a histogram.
[0041]
FIG. 4 shows a configuration example of the similar image search system of the present invention.
The similar image search system 100 shown in FIG. 1 includes a key figure input unit 110 for inputting a search key figure from a user, a registered data image input unit 120, a figure extraction unit 130 from an image, Histogram creation unit 140 for figure information to be extracted as a histogram (or vector), management unit 150 for a set of figure and vector, similarity calculation unit 160 between histograms for calculating similarity between histogram and histogram in database, similarity The image search unit 170 includes a search unit 170 for an image including a similar figure for searching for a figure close to a key figure according to the degree, an output unit 180 for a similar image, and an output unit 190 for a similar figure.
[0042]
The key figure input unit 110 has a partial key figure input unit 111 and an angle input unit 112.
The partial key graphic input unit 111 limits the input area with a circle. Specifically, the user obtains a designation such as a shape of a part of the search target graphic when the input area limited by the circle is regarded as a circumscribed circle centered on the center of gravity of the search target graphic or a minimum circumscribed circle. . Further, the partial key graphic input unit 111 receives input of a plurality of partial figures and receives designation of a plurality of partial shapes of one search target figure from a user.
[0043]
The angle input unit 112 specifies in which angle range the partial graphic specified by the user with the partial key graphic input unit 111 exists. The angle input unit 112 also inputs an allowable range of angles between a plurality of figures.
The figure histogram (or vector) creation unit 140 includes a histogram creation unit 141 for partial figure information. The histogram creating unit 141 of the partial graphic information uses the above-described histogram method of the shape using the circumscribed circle to convert the information of the shape into a histogram at the portion where the partial shape is specified, and to convert the portion where the partial shape is not specified into the histogram. Now, let us consider a histogram that takes an exceptional value.
[0044]
The partial similarity calculating section 160 between the histograms has a partial similarity calculating section 161 between the histograms. The partial similarity calculation unit 161 uses a part that is not an exceptional value in the histogram as a search key, detects a part that is most similar to the histogram in the database, and uses the result as a search unit 170 for an image including a similarity figure and the similarity. The data is transferred to the graphic output unit 190. In addition, the partial similarity calculation unit 161 limits the part of the histogram corresponding to the angle range specified by the angle input unit 112 to a part that is not an exceptional value in the histogram as a search key, The most similar part is detected and transferred to a similar figure output unit 190 and a search unit 170 for images containing similar figures. Further, the partial similarity calculation unit 161 limits the portion of the histogram corresponding to the angle range acquired by the angle input unit 112 to a portion that is not an exceptional value in the histogram as a search key, and sets the most similarity to the histogram in the database. A similar part is detected, and a similar figure is searched for and transferred to a similar figure output unit 190 and a search unit 170 for an image including the similar figure.
[0045]
FIG. 5 is a flowchart illustrating a search method using partial shape information according to the present invention.
Step 301) The user inputs a partial graphic from the partial key graphic input unit 111 of the key graphic input unit 110 via an input area limited by a circle.
Step 302) The process of step 301 is repeated by the number of partial figures.
Step 303) When the input for the number of all the partial figures is completed, the angle input unit 112 inputs the allowable range of the angles of the partial figures, or skips if the input is not performed.
[0046]
Step 304) Input an allowable range of angles between a plurality of partial figures from the angle input unit 112, or skip if this input is not performed.
Step 305) The following processing is repeated for each point of the circumscribed circle, and when the processing of each point of all the circumscribed circles is completed, the process proceeds to step 309.
Step 306) It is determined whether or not the unlocking is the designated portion. If so, the process proceeds to Step 307; otherwise, the process proceeds to Step 308.
[0047]
Step 307) The histogram creating section 140 for graphic information creates a histogram having a shape using a circumscribed circle.
Step 308) Specify an exception value as a histogram value.
Step 309) If the angle range has been specified, the process proceeds to Step 311; otherwise, the process proceeds to Step 310.
[0048]
Step 310) The similarity calculation unit 160 between histograms calculates the similarity between the histogram and the histogram in the database (management unit of the set of the figure and the vector) 150 only for the part that is not an exceptional value in the histogram, and proceeds to step 314. Transition.
Step 311) The range of the histogram is calculated from the angle.
Step 312) For the range of the histogram, the following steps are repeated while shifting the comparison start point. When the processing at all the start points within the range is completed, the process proceeds to step 314.
[0049]
Step 313) The degree of similarity with the histogram in the database 150 is calculated for only the portion that is not an exceptional value in the histogram.
Step 314) The output unit 190 for similar graphics outputs in descending order of similarity.
[0050]
【Example】
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Example of Forming Histogram of Shape Information]
First, an embodiment related to forming a histogram of shape information will be described.
First, FIG. 6 shows an example in which a circle is drawn outside the figure with respect to the figure described in the section of the prior art, and FIG. It is a figure (the 1) showing the process of obtaining.
[0051]
FIG. 3A is an example in which a circle is drawn outside the figure, and FIG. 3B is an example in which an outer circle is drawn with the radius R being the point farthest from the center of gravity of the figure. C) is an example in which the smallest circle circumscribing the figure is drawn.
In the processes (A) to (C) shown in FIG. 6, the center of gravity of the figure is obtained, the outermost point of the figure is traced to find the farthest point around the center of gravity of the figure, and the maximum length of the figure (points A, B) is determined, and a point C having the smallest angle among the angles formed by it and the outer peripheral trace point is determined. If the angle is an acute angle, a circumscribed circle is determined from the point having the maximum length and the point C. In the case of an obtuse angle, a circle having diameters at points A and B can be a circumscribed circle, and can be easily mounted.
[0052]
Further, another graphic will be described.
FIG. 7 is a diagram (part 2) illustrating a process of obtaining a feature value of a shape from image information according to an embodiment of the present invention in which a histogram of shape information is formed.
FIG. 3A is an example in which a circle is drawn outside the figure, and FIG. 3B is an example in which an outer circle is drawn with the radius R being the point farthest from the center of gravity of the figure. C) is an example in which the smallest circle circumscribing the figure is drawn. The center of gravity is indicated by a white circle in FIG.
[0053]
FIG. 8 shows an example of drawing a straight line from the point Xi to the center at each point Xi obtained by dividing the circumference into 16 parts in FIG. In the figure, when a straight line from Xi to the center is drawn, the histogram changes depending on how to take the outer circle. At this time, stop the straight line at the point where the figure first hits the figure. This point is defined as Zi. FIG. 9 shows an example in which the length of each straight line is converted into a histogram with respect to FIG. 8A, and FIG. 7 shows a state in which the area between Xi and Zi of the figure is filled. However, in FIG. 9 and FIG. 10, not all 16 points on the outer periphery but all the identifiable points are painted for simplicity. FIG. 10 shows that there are remaining areas and internal areas not reflected in the histogram.
[0054]
FIG. 11 shows a state in which a straight line is drawn from the outer periphery in order to re-create a histogram for the internal region. When a histogram is obtained from the figure and combined with the previous histogram, a histogram expressing the internal state is obtained.
Further, even in the second histogram process, if a region remains, the process of forming a histogram can be repeated until the region disappears.
[0055]
FIG. 12 shows an example in which the histogram for FIG. 11 is normalized by cycling with respect to rotation. In this example, the point of the minimum value in the histogram is noted, and the point is normalized so that the point is circulated so as to be at the top of the histogram. By this normalization, the graphic in FIG. 9 is normalized like the graphic in FIG. 12, so that the histogram matches with the rotated graphic.
[0056]
[Example of search using partial shape information]
・ First embodiment
FIG. 13 shows an example of creating and retrieving a histogram for a partial figure in the first embodiment of retrieval using partial shape information according to the present invention.
FIG. 7A is a histogram when the entire figure is designated. On the other hand, FIG. 2B is an example of a histogram when only a part of the figure is designated. Although the maximum values are taken as exceptional values for the portions b5 to b15 in which the figure shown in FIG. 3B is not specified, for example, negative values may be used.
[0057]
Next, an example of a search will be described.
An entire histogram is created for a graphic stored in the database, and a partial histogram is created for a key graphic.
Assuming that FIG. 13A is a histogram of a figure in the database and FIG. 13B is a key figure histogram, the similarity is calculated for a1 to a5 corresponding to parts b1 to b4 that are not exceptional values in the key figure. .
[0058]
For example, if the similarity is the Euclidean distance La and sqrl (k) is the square root of k,
La = sqrl ((b1-a1)^*(B1-a1) + (b2-a2)^*(B2-a2) + (b3-a3)^*(B3-a3) + (b4-a4)^*(B-a4))
Is a formula for calculating the similarity. In this case, the value of La is 0 (in the case of the Euclidean distance, the smaller the value, the higher the similarity).
[0059]
Next, an example of a search when an angle is specified at the time of input will be described.
If the key figure is again shown in FIG. 13B and it is specified that the key figure exists on the right side of the circle as the allowable range of the angle, the comparison with the histogram of the figure in the database of FIG. Is changed by 0 to 180 degrees. In this case, since the circle is divided into 16 equal parts and made into a histogram, 180 degrees becomes nine histograms, and the key figure is expressed by four histograms, so six comparisons are required. That is, the following similarities are calculated,
L0 = sqrt ((b1-a1) · (b1-a1) + (b2-a2) · (b2-a2) + (b3-a3) · (b3-a3) + (b4-a4)^*(B4-a4))
L1 = sqrt ((b1-a2) · (b1-a2) + (b2-a3) · (b2-a3) + (b3-a4) · (b3-a4) + (b4-a5)^*(B4-a5))
L2 = sqrt ((b1-a3) · (b1-a3) + (b2-a4) · (b2-a4) + (b3-a5) · (b3-a5) + (b4-a6)^*(B4-a6))
L3 = sqrt ((b1-a4) · (b1-a4) + (b2-a5) · (b2-a5) + (b3-a6) · (b3-a6) + (b4-a7)^*(B4-a7))
L4 = sqrt ((b1-a5) · (b1-a5) + (b2-a6) · (b2-a6) + (b3-a7) · (b3-a7) + (b4-a8)^*(B4-a8))
L5 = sqrt ((b1-a6) · (b1-a6) + (b2-a7) · (b2-a7) + (b3-a8) · (b3-a8) + (b4-a9)^*(B4-a9))
The minimum value among them is the maximum similarity of the figure in the database. This is also performed for the figures in other databases, and the figures with the highest similarity are output in order.
・ Second embodiment
In the present embodiment, a search example when a partial feature of a graphic is designated will be described.
[0060]
FIG. 14 shows an example of specifying a search key (partial shape) according to the second embodiment using the partial shape of the present invention.
In FIG. 14, when the key (h) is designated by a key, the histogram shapes are similar because, for example, the histogram of the ear part in FIGS. 20A to 20F and the histogram of the head part in FIG. It will be a high degree.
[0061]
Also, if the angle is specified within ± 5 degrees together with FIG. 14H, the angle with the part with the highest similarity in FIGS. 16A, 16E to 16G exceeds ± 5 degrees. , Will be removed from the search results.
Note that this result is not affected by the angle input GUI, and may be a text input or a slider input method.
[0062]
In addition, it is possible to specify a subtle difference that has conventionally been difficult to distinguish.
When FIG. 14H is designated, the similarities of FIGS. 20C to 20E are the highest. When FIG. 14 (i) is designated, FIG. 20 (a) has the highest similarity.
・ Third embodiment
In the present embodiment, a search example in the case where a plurality of partial features of a graphic are designated will be described.
[0063]
If the designation as shown in (j) of FIG. 14 is made and the tolerance of the angle between the two figures is allowed from (j) to (k) in FIG. Is suitable. (A) and (b) do not fit because the space is too narrow, and (g) does not fit because the space is too wide.
In the above description, the case where there are two designations is shown, but the same applies to the case where there are three or more designations.
[0064]
Regarding the method of specifying the angle, there are cases where the tolerance between the nearest figures is specified as the method of selecting the target figure and the degree of tolerance between the farthest figures is specified. , The nearest point (at the beginning of the ear in FIG. 14 (j)), the center point, the farthest point (under the ear of (j) in FIG. 14), and the like.
Further, as shown in FIG. 14 (l), in the case where the search key figure has an internal shape, as shown in the above-mentioned method of forming a histogram of the shape information, the information inside the figure is also made into a histogram. It is equally feasible.
[0065]
In this case, the similarities in FIGS. 20 (a), (d), (e), etc. are higher than the others.
The case where the angle is not specified is a case where only the angle of the key figure is valid, and the case where the angle is ignored (= normalization for rotation is performed) is considered as a case where the angle is specified as 0 to 360 degrees. .
For the search using the partial shape information, a program according to the flowchart shown in FIG. 5 is constructed for the configuration shown in FIG. 4, and the program is executed by a disk device or the like connected to a computer for searching for similar images. It is also possible to store it in a storage medium and appropriately call and execute it during similar image search processing.
[0066]
Further, the above-described program can be stored in a portable storage medium such as a floppy disk or a CD-ROM.
It should be noted that the present invention is not limited to the above-described embodiment, but can be variously modified and applied within the scope of the claims.
[0067]
【The invention's effect】
As described above, according to the present invention, by making the histogram the distance from the outer circumference of the figure to the figure, the histogram intuitively expresses the shape of the figure.
Furthermore, performing normalization by rotation of the histogram makes it possible to easily perform matching with a rotated figure.
[0068]
In addition, when an unpainted area occurs, the distance from the outer peripheral point to the unpainted area is set as a histogram, and this is executed several times or until there is no unpainted area. Histograms can be created for figures.
As a result, it is possible to search for a similar figure with higher accuracy than in a conventional similar figure search system for a shape using a distance from an edge direction or four directions.
[0069]
Further, according to the similar image search based on the partial shape of the present invention, the graphic search can be performed by designating the partial shape feature of the graphic. In the specification of the shape, it is possible to specify a nuance more delicate than in the past. Furthermore, if there are a plurality of characteristic portions, it is possible to specify the shapes and search for the positional relationship between the shapes by specifying the shapes.
[0070]
Further, if the present invention is specified by combining information of other characteristics (color tone, texture, size, position, orientation, etc.), more various searches can be performed.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of the present invention.
FIG. 2 is a flowchart of a process for obtaining a feature amount of a shape from image information according to the present invention.
FIG. 3 is a flowchart of processing according to the present invention when an unpainted area occurs.
FIG. 4 is a diagram showing an example of a similar image search system according to the present invention.
FIG. 5 is a flowchart illustrating a search method based on partial shape information according to the present invention.
FIG. 6 is a diagram (part 1) illustrating a process of obtaining a feature amount of a shape from image information according to an embodiment of the present invention in which a histogram of shape information is formed.
FIG. 7 is a diagram (part 2) illustrating a process of obtaining a feature amount of a shape from image information according to an embodiment of the present invention in which the shape information is converted into a histogram.
FIG. 8 is an example of a histogram of shape information according to the embodiment of the present invention, in which a straight line is drawn toward the center with respect to a point obtained by dividing the circumference into 16 in the example in FIG. 7;
FIG. 9 is an example of a histogram of shape information according to an embodiment of the present invention, in which a distance from each point on the circumference to a point that first comes into contact with a figure on a straight line toward the center is plotted as a histogram.
FIG. 10 is an example in which a portion between a point on the outer periphery and a figure or a center is filled in a histogram of shape information according to an embodiment of the present invention.
FIG. 11 is an example in which a straight line is drawn again from each point on the outer periphery with respect to the remaining area in the embodiment of the histogram conversion of the shape information according to the present invention.
FIG. 12 is an example in which the histogram of one embodiment of the histogram of shape information according to the present invention is circulated so that the longest value comes first.
FIG. 13 is a diagram showing an example of partial histogram creation and retrieval according to the first embodiment based on the partial shape of the present invention.
FIG. 14 is an example of specifying a search key (partial shape) according to the second embodiment using a partial shape according to the present invention.
FIG. 15 is an example of converting conventional color information into a histogram.
FIG. 16 is an example of converting conventional color information into a histogram.
FIG. 17 is an example in which a conventional edge direction is used as a histogram.
FIG. 18 is an example in which a conventional distance from four sides to a figure is represented by a histogram.
FIG. 19 is an example of a conventional image search system.
FIG. 20 is an example of a subtle figure difference;
[Explanation of symbols]
100 Similar image search system
110 Key figure input section
111 Input part for partial key figure
112 Angle input section
120 Registration data image input section
130 Image Extraction Unit from Image
140 Histogram (or vector) generator for graphic information
141 Histogram Creation Unit for Partial Graphic Information
150 Management unit (database) for pairs of figures and vectors
160 Similarity between histograms (or distance between vectors) calculation unit
161 Partial similarity calculation unit between histograms
170 Searching unit for images containing similar figures
180 Output unit for similar images
190 Output unit for similar graphics

Claims

A histogram (or vector) of the feature amount of the image information is compared with each other, and the histograms are compared with each other.
When obtaining the feature of a shape from image information,
Draw a circle based on certain criteria,
Draw a straight line from each point Xi on the circumference of the circle to the center,
Let Zi be the point where the straight line first hits the figure,
Or, when the straight line does not collide with the figure by the center, the center of the circle is Zi,
The distance between the point Xi and the point Zi is D,
The histogram value at each point Xi is defined as a distance D ,
Painting between the points Xi and the points Zi,
If there is an area that cannot be filled,
Perform processing to turn the area that could not be filled from the outer peripheral point into a histogram again,
A method for forming a histogram of shape information, wherein the process of forming a histogram of an unpainted area is repeated a specific number of times or until there is no more unpainted area .

Perform a search key graphical input from a user, a histogram of the feature amount of the input the figure (or vector) extracted as, by performing the calculation of the similarity between histograms in the histogram and the database, the key figures In a search method using partial shape information that returns a search result for a figure close to
When inputting the search key figure, restrict the input area with a circle,
The user specifies the shape of a part of the search target graphic when the input area is regarded as a circumcircle centered on the center of gravity of the search target graphic, or a minimum circumscribed circle,
In the part where the partial shape is specified, the information of the partial shape is converted into a histogram by the histogram method of the shape using the circumscribed circle from the input partial shape, and in the part where the partial shape is not specified, the exception value is set. Take a histogram and
Using the parts of the histogram that are not exceptional values as search keys,
Detecting the most similar part to the histogram in the database,
A search method using partial shape information, wherein a similar shape is searched.

When the user specifies in which angle range the partial graphic exists,
Limited to the part of the histogram corresponding to the specified angle range, a part that is not an exceptional value in the histogram is used as a search key, and a part that is most similar to the histogram in the database is detected.
3. The search method according to claim 2, wherein similar graphics are searched.

Upon receiving the input of the partial shape, the user specifies a plurality of partial shapes of one search target graphic,
Enter the allowable range of angles between multiple figures,
By inputting the range of the specified angle, limited to the portion of the histogram corresponding to the specified angle range, a portion that is not an exceptional value in the histogram as a search key,
4. The search method according to claim 2, wherein a part most similar to the histogram in the database is detected to search for a similar figure.

Key figure input means for inputting a search key figure from a user, histogram creation means for extracting a feature amount of the figure input by the key figure input means as a histogram (or vector), A similarity calculation means for calculating a similarity between the histograms stored in the search key figure and returning a search result of a figure close to the search key figure.
Partial key figure input means for inputting a partial key figure whose input area is limited by a circle,
A circumscribed circle centered on the center of gravity of the search target graphic from the user, or a partial shape input means for designating a part of the search target graphic when considered as a minimum circumscribed circle;
The histogram creating means,
Using a method of forming a histogram using a circumscribed circle, a portion where a partial shape is specified is used as a histogram, and a portion where the partial shape is not specified is a histogram taking an exceptional value. Including partial shape information histogram making means,
The similarity calculating means,
A partial non-exceptional value in the histogram as a search key, a part similar to the histogram in the database is detected, and a partial similarity calculating unit for searching for a similar figure is included. Search device.

The partial shape input means,
Angle input means for specifying which angle range the partial graphic specified by the user exists in,
The partial similarity calculating means,
Restriction to a part of the histogram corresponding to the range of the angle designated by the angle input unit is performed, and a part which is not an exceptional value in the histogram is used as a search key figure, and a part most similar to the histogram in the database is detected. 6. The retrieval apparatus according to claim 5 , further comprising a limited partial similarity calculating means for retrieving a similar figure.

The partial shape input means,
Receiving a plurality of partial shapes input, the user includes a partial shape designating means for designating a plurality of partial shapes of one search target graphic,
The partial similarity calculating means,
Limiting to a part of the histogram corresponding to the angle range specified by the angle input means, a part that is not an exceptional value in the histogram is used as a search key figure, and detection of a part most similar to the histogram in the database is performed. 7. The retrieval apparatus based on partial shape information according to claim 5 , further comprising a retrieval key setting means for performing a retrieval for a similar figure.

A key figure input step for receiving an input of a search key figure from a user, a histogram creation step for extracting a feature amount of the figure input in the key figure input step as a histogram (or a vector); A similarity calculation between the histograms stored in the storage medium, and performing a similarity calculation step of returning a search result of a figure close to the search key figure. ,
The key figure input step includes:
A partial key figure input step for receiving an input of a partial key figure whose input area is limited by a circle,
From the user, a partial shape input step of obtaining a designation of the shape of a part of the search target graphic when the input area is regarded as a circumcircle centered on the center of gravity of the search target graphic or a minimum circumscribed circle , Run,
The histogram creation step includes:
Using a method of forming a histogram using a circumscribed circle, a portion where a partial shape is specified is converted into a histogram of the information of the partial shape, and a portion where the partial shape is not specified is set as a histogram taking an exceptional value. Execute the partial shape information histogram generation step,
The similarity calculating step includes:
A program for executing a partial similarity calculation step of detecting a portion most similar to the histogram in the database using a portion that is not an exceptional value in the histogram as a search key figure and searching for a similar figure is stored. A storage medium that stores a search program based on partial shape information.

The partial shape input step includes:
Performing an angle input step of receiving a specification of an angle range in which the partial graphic specified by the user exists ,
The partial similarity calculation step includes:
Restricting to a part of the histogram corresponding to the range of the angle specified by the angle input step , a part that is not an exceptional value in the histogram is used as a search key figure, and a part of the histogram in the database that is most similar to the histogram A storage medium storing a search program based on partial shape information according to claim 8, wherein a limited partial similarity calculating step of performing detection and searching for a similar graphic is executed .

The partial shape input step includes:
Executing a partial shape designation step of receiving input of the plurality of partial shapes and receiving designation of a plurality of partial shapes of one search target graphic from the user ;
The partial similarity calculating step includes:
Limiting to a part of the histogram corresponding to the range of the angle specified in the angle input step , a part that is not an exceptional value in the histogram is used as a search key, and a part most similar to the histogram in the database is detected. 10. A storage medium storing a search program based on partial shape information according to claim 8, wherein a search key setting step for searching for a similar figure is executed .