JP4951373B2 - 画像検索装置、画像検索方法、及びコンピュータプログラム - Google Patents

Description

本発明は、入力された文書画像データを保存しておき、必要に応じて呼び出して出力するデジタル複合機、文書管理システムなどの画像形成装置、あるいは画像処理装置において使用される画像検索装置、画像検索方法、及びこの画像検索方法を実行するためのコンピュータプログラムに関する。

一般に、画像データを入力して保存しておき、必要なときに保存しておいた画像データを呼び出すような画像検索装置、特に類似する画像を検索する画像検索装置において、画像等のデータ表示手段が十分な大きさをもたない場合、ユーザが保存されているデータを確認する方法として、名称、日付、登録者、ファイルサイズなどの情報をリストにして表示する方法、あるいは、サムネイルなどの画像全体の縮小画像を使用して直感的に選択できるようにする方法がある。ただし、縮小画像を使用したのでは、外見上似た構造の画像どうしを区別できないことがある（図７参照）。

このような縮小画像を使用した際、外見上似た構造の画像どうしを区別技術として、例えば特許文献１あるいは２記載の発明が知られている。特許文献１記載の発明は、画像データやワードプロセッサで作成した文書、表計算ソフトのデータなど電子データを縮小画像作成部が読み込み縮小画像を作成し、差異判定部が、ここで作成された複数の縮小画像間の類似度を求め、類似度が所定の閾値よりも大きい場合は、差異画像作成部により類似する画像の中で差異のある部分の領域を切り出し、その部分を画像表示部に表示するというものである。また、特許文献２記載の発明は、複数の文書のそれぞれのレイアウトを抽出し当該レイアウトに基づき文書を区分する文書区分手段と、前記各文書中の類似していない個所を抽出する非類似個所抽出手段と、非類似個所抽出手段が抽出した個所のみを表示する非類似個所表示手段とを有し、さらに前記各文書中の類似している個所を抽出する類似個所抽出手段、類似個所抽出手段が抽出した個所のみを表示する類似個所表示手段を有するというものである。これらの発明は、縮小画像が類似していれば、もとの画像を分割した部分画像の中の類似度が小さいものを抽出して表示するようにしている。これによれば、画像データ全体の縮小画像どうしが類似していて判別困難であっても、差異の大きい部分を表示するため区別が可能となる。

また、縮小画像が似ている画像どうしを区別する方法として、特許文献３記載の発明がある。この発明は、文書ファイルを取得する文書ファイル取得手段と、文書ファイル取得手段により取得した文書ファイルにかかる画像の縮小画像を生成する縮小画像生成手段と、ディスプレイに表示された前記縮小画像がポインタ指定された場合に、文書ファイルにかかる画像上の処理領域を決定する処理領域決定手段と、処理領域内の情報を前記文書ファイルから抽出する処理領域内情報抽出手段と、処理領域内情報抽出手段が抽出した処理領域内情報を所定の大きさでディスプレイに表示する処理領域内情報表示手段と備えたもので、表示されている縮小画像の着目する部分をオペレータが指定したとき、その指定部分周辺の領域を縮小画像のもとになった画像データから抽出し、その領域から情報を抽出し、抽出した情報を出力表示するものである。これによれば、着目する部分の情報を表示することで縮小画像が似ている画像データどうしでも区別が可能となる。
特開２００３−３３１２９９号公報 特開２００５−０６３２２０号公報 特開２００５−０１７５９２号公報

しかしながら、特許文献１及び２記載の発明では、検索結果を多数表示したい場合には、表示装置のサイズが限定されるため該検索結果の縮小画像を表示するが、縮小画像では画像の特徴がユーザに把握しづらい。そこで検索結果の特徴領域画像を表示するため前記特許文献１及び２に記載された技術が知られている。

しかし、特許文献１及び２に記載された技術における特徴領域画像は、検索結果として表示される他の画像における部分画像と類似度が一番小さい（似ていない）画像であり、他の画像との関係における相対的な特徴画像にすぎず、本来の画像の特徴的な領域でない場合がある。さらに、検索結果として表示される画像が多いとそれだけ計算量が多くなり、処理速度低下の要因となっていた。

また、特許文献３記載の発明では、類似した縮小画像のどの部分に着目すれば区別が可能か効率よく指定するためには、どのあたりが違いそうかという事前の情報、もしくは経験的な予測などが必要であり、それを知らなければ手当たりしだいに着目する部分を指定することになり、非効率である。さらに、着目する部分を指定してから、もとの画像データの領域を抽出して処理するため、その処理時間だけ待つことになる。処理内容が複雑になれば、より待ち時間が増えることになって不便である。

そこで、本発明が解決すべき課題は、複雑な処理を必要とせず、短時間で効率よく所望の画像データを得ることにある。

前記課題を解決するため、第１の手段は、指定した画像データに類似する画像を検索する画像検索装置において、前記画像データに類似する画像を検索する手段と、前記検索する手段により検索された前記画像をキーとして当該画像と関連付けて保存されている特徴領域画像を抽出し、表示画面に表示させる手段とを備え、前記表示させる手段は、当該特徴領域画像の種別に応じた順番で所定の時間間隔をもって前記表示画面に複数の前記特徴領域画像を表示させることを特徴とする。

第２の手段は、第１の手段において、前記表示させる手段が前記特徴領域画像の種別に応じた大きさで表示させることを特徴とする画像検索装置。

第３の手段は、第１又は第２の手段において、前記表示させる手段が前記特徴領域画像の種別に応じ、表示する特徴領域画像と表示しない特徴領域画像とに区別し、表示する特徴画像のみを表示させることを特徴とする。

第４の手段は、第１ないし第３のいずれかの手段において、前記表示させる手段が代表的な特徴領域の位置情報を求めておき、複数の代表的な特徴領域を切り替えて表示するときに表示する特徴領域の順位を位置情報によって決定することを特徴とする。

第５の手段は、第１ないし第３のいずれかの手段において、前記表示させる手段が代表的な特徴領域の大きさ情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を大きさ情報によって決定することを特徴とする。

第６の手段は、第１ないし第５のいずれかの手段において、前記表示させる手段が代表的な特徴領域の属性情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を属性情報によって決定することを特徴とする。

第７の手段は、第１ないし第６のいずれかの手段において、前記表示画面の表示可能な大きさに代表的特徴領域を変倍して表示することを特徴とする。

第８の手段は、指定した画像データに類似する画像をコンピュータによって検索する画像検索方法において、前記画像データに類似する画像を演算装置が検索する工程と、検索された前記画像をキーとして当該画像と関連付けて保存されている特徴領域画像を前記コンピュータのメモリに抽出する工程と、前記メモリに抽出された特徴領域画像の種別に応じた順番で所定の時間間隔で表示画面に複数の前記特徴領域画像を表示する工程と、を備え、表示された前記特徴領域画像に基づいて画像検索を行うことを特徴とする。

第９の手段は、第８の手段において、前記特徴領域画像を表示する工程で当該特徴領域画像を表示する際、当該特徴領域画像の種別に応じた大きさで表示させることを特徴とする画像検索方法。

第１０の手段は、第８又は第９の手段において、前記特徴領域画像を表示する工程で当該特徴領域画像を表示する際、前記特徴領域画像の種別に応じ、表示する特徴領域画像と表示しない特徴領域画像とに区別し、表示する特徴画像のみを表示することを特徴とする。

第１１の手段は、第８ないし第１０のいずれかの手段において、前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の位置情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を位置情報によって決定することを特徴とする。

第１２の手段は、第８ないし第１０のいずれかの手段において、前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の大きさ情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を大きさ情報によって決定することを特徴とする。

第１３の手段は、第８ないし第１２のいずれかの手段において、前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の属性情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を属性情報によって決定することを特徴とする。

第１４の手段は、第８ないし第１３のいずれかの手段において、前記特徴領域画像を表示する工程で前記表示画面の表示可能な大きさに代表的特徴領域を変倍して表示することを特徴とする。

第１５の手段は、第８ないし第１４のいずれかの手段に係る画像検索方法における前記工程をコンピュータに実行させるコンピュータプログラムを特徴とする。

なお、後述の実施形態では、画像データに類似する画像を検索する手段、及び表示させる手段は中央演算装置８に、表示画面は画像表示部２にそれぞれ対応し、特徴領域画像は検索する手段により検索された画像をキーとして当該画像と関連付けて補助記憶装置６に保存され、特徴領域画像は特徴領域抽出部４によって抽出される。

本発明によれば、入力された画像データに対して代表的な特徴領域を複数抽出しておき、その特徴領域画像の種別に応じた順番で所定の時間間隔をもって表示画面に複数の特徴領域画像を表示するので、複雑な処理を必要とせず、短時間で効率よく所望の画像データを得ることができる。

以下、図面を参照し、本発明の実施形態について説明する。

図１は本発明の一実施形態に係る画像検索装置の概略構成を示すブロック図である。同図において、画像検索装置はスキャナ等の画像入力部１、液晶ディスプレイ等の入力された画像データや保存されている画像データを表示する画像表示部２、マウスやタッチパネル等、画像データに対して指定領域や注目点などの情報を入力する情報入力部３、画像データから代表的な特徴領域を抽出する特徴領域抽出部４、処理するデータを一時的に記憶する主メモリ５、画像データと関連付けられた複数の代表的な特徴領域とを関連づけて保存する補助記憶装置６、ネットワークを通じて外部とデータをやりとりする場合に使用する通信装置７、及び処理を制御する中央演算装置８からなる。

図２は図１の中央演算装置８によって実行される前記画像処理装置の処理手順を示すフローチャートで、図２（ａ）が画像データ入力時、図２（ｂ）が画像データ出力時の手順を示している。

まず、図２（ａ）において、画像が入力されると（ステップＳ１０１）、入力された画像データに対して、特徴領域抽出部４によって、レイアウトの解析（ステップＳ１０２）、領域の切り出し（ステップＳ１０３）、切り出された領域を文章、タイトル、図、写真、表などに識別する属性識別（ステップＳ１０４）を順次実行し、代表的な特徴領域を抽出する。レイアウトの解析、領域の切り出し、領域属性の識別には、ここで特に述べないが、例えば特開平７−３７０３６号公報、あるいは特開平９−１１４９２３号公報に開示されているような公知の方法が使用できる。

一般に、視覚によって複数の画像データから所望の画像データを選択するとき、文書全体の内容を理解するよりも、含まれる図や写真、タイトルなどの目立つ特徴的な領域をざっと見ることで見当をつけることが多い。したがって、代表的な特徴領域としては、図６に示すように原稿１０から切り出された領域の中から図Ｒ１、写真、表Ｒ２、タイトルＲ３といった属性（種別）の領域を、代表的な特徴領域として画像データに関連づけて保存する。画像データは、補助記憶装置６の他に、通信装置を介してネットワークに接続された他の補助記憶装置に保存することも可能である。なお、Ｒ４は文字領域を示す。

図７は図６に示した原稿１０とこの原稿１０に類似した原稿１０’全体を縮小して画像表示部（表示画面）２に並べて表示した状態を示す図である。この表示からレイアウトは同一なので、原稿の細部を見なければこの原稿（文書）の内容を理解することは難しい。そこで、本実施形態では、以下のように表示する。

すなわち、保存された画像データが呼び出されたときには、画像表示部２に対して該画像データに関連づけられた１つ以上の領域Ｒ１，Ｒ２，Ｒ３と該画像データの代表的な（部分）領域画像Ｒ１ａ，Ｒ２ａ，Ｒ３ａとが並列に表示された表示画面が、一定の時間おきに（１）→（２）→（３）のように順次送られ、図８に示すように該画像データの代表的な（部分）領域画像として切り替えて画像表示部２に表示される。このように属性領域Ｒ１，Ｒ２，Ｒ３と代表的特徴領域Ｒ１ａ，Ｒ２ａ，Ｒ３ａを複数関連づけて保有しておき、それらを順次表示することによって、類似した代表的特徴領域を含む画像データ間での識別を可能にし、所望の画像データの選択を容易にすることができる。図２（ｂ）はこのときの処理手順を示すもので、画像データがロードされ（ステップＳ２０１）、特徴領域の表示が更新され（ステップＳ２０２）、順次表示され（ステップＳ２０３）、この表示から画像を選択して（ステップＳ２０４）出力させる（ステップＳ２０５）。

図８に示したように複数の属性領域Ｒ１，Ｒ２，Ｒ３と代表的特徴領域Ｒ１ａ，Ｒ２ａ，Ｒ３ａを一定時間で切り替えて表示する代わりオペレータからの指示によって切り替えて表示することもできる。このときの処理手順を図３に示す。図３はオペレータからの指示によって切り替えて表示する処理手順を示すフローチャートである。

この処理手順では、図２（ｂ）に示した処理手順のステップＳ２０３で特徴領域が表示された後、オペレータから指示があると、表示の切り替えが行われ（ステップＳ３０１）、ステップＳ２０２に戻って再度特徴量の表示を更新し、順次表示するように設定されている。

このように処理すると、代表的特徴領域の数が多い場合、一定時間での切り替えを待ちきれない場合がある。その切り替えのタイミングをオペレータが指示することによって、より効率的に所望の画像データを選択することができる。

前記ステップＳ１０１から画像が入力されるが、入力された画像データの内容によっては、レイアウト解析、領域切り出し、領域属性識別の結果としての代表的な特徴領域に誤りがあったり、不要な図などを含む場合がある。そのため、代表的な特徴領域を抽出した後、表示手段に順次表示し、オペレータに画像データに関連づけて保存すべきかどうか取捨選択を促す。オペレータがすべての代表的な特徴領域として抽出された領域の取捨選択が終了してから、画像データと選ばれた代表的特徴領域とを関連づけて保存する。

このときの処理手順を図４に示す。図４はオペレータが画像データに代表的な特徴領域を関連づけて保存すべきかどうかを取捨選択する処理の処理手順を示すフローチャートである。図４において、画像が入力されると（ステップＳ１０１）、入力された画像データに対して、特徴領域抽出部４によって、レイアウトの解析（ステップＳ１０２）、領域の切り出し（ステップＳ１０３）、切り出された領域を文章、タイトル、図、写真、表などに識別する属性識別（ステップＳ１０４）を順次実行し、代表的な特徴領域を抽出する。次いで、代表的な特徴領域を抽出した後、表示手段に順次表示する（ステップＳ４０１）。オペレータが画像データに関連づけて保存すべきかどうか取捨選択し（ステップＳ４０２）、すべての代表的な特徴領域として抽出された領域の取捨選択が終了すると（ステップＳ４０３）、画像データと選ばれた代表的特徴領域とを関連づけて保存する（ステップＳ１０５’）。

このように代表的な特徴領域の取捨を実施することによって、誤りや不要な領域を削減することが可能となり、効率的に所望の画像データを選択することができる。

また、前述のように前記ステップＳ１０１から画像が入力されるが、入力された画像データの内容によっては、レイアウト解析、領域切り出し、領域属性識別の結果としての代表的な特徴領域に抽出もれを含む場合がある。そのため、代表的な特徴領域を抽出した後、表示手段に順次表示し、オペレータが代表的な特徴領域を情報入力手段によって指定するかどうかの判断を促す。領域を指定するとしたならば、表示手段に画像データを表示し、情報入力手段によって指定したい領域を入力し、それによって得られた領域を代表的な特徴領域として、画像データと関連づけて保存する。

このときの処理手順を図５に示す。図５はオペレータが情報入力手段によって指定するかどうかを取捨選択する処理の処理手順を示すフローチャートである。図４において、画像が入力されると（ステップＳ１０１）、入力された画像データに対して、特徴領域抽出部４によって、レイアウトの解析（ステップＳ１０２）、領域の切り出し（ステップＳ１０３）、切り出された領域を文章、タイトル、図、写真、表などに識別する属性識別（ステップＳ１０４）を順次実行し、代表的な特徴領域を抽出する。次いで、代表的な特徴領域を抽出した後、表示手段に順次表示する（ステップＳ５０１）。オペレータが代表的な特徴領域を追加するかどうかを取捨選択し（ステップＳ５０２）、追加分が全て終了すると（ステップＳ５０３→Ｓ５０２）、画像データと選ばれた代表的特徴領域とを関連づけて保存する（ステップＳ１０５’）。

このようにオペレータによる代表的な特徴領域の指定を可能にすることによって、代表的な特徴領域の抽出漏れを防ぐことが可能となり、効率的に所望の画像データを選択することができる。

ところで、前述のような各処理では、ステップＳ１０２のレイアウト解析、ステップＳ１０３の領域切り出し、ステップＳ１０４の領域属性識別の結果としての代表的な特徴領域が得られる。そこで、これら特徴領域についての特性に応じて各種ソートを行ってデータ識別を行うこともできる。例えば、特徴領域の重心など特定部分の位置、大きさ、種類などである。

１）特徴領域の重心など、特定部分の位置の順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする場合
この場合は、特徴領域の重心など、特定部分の位置の順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする。一般的に、横書きの文書画像では左上から右方向に視線を動かし、徐々に下へ見ていくが、その順に代表的な特徴領域を表示すれば、文書画像データを読むときに現れる順序で代表的な特徴領域を表示することが可能となり、それによって画像データを区別することがある。

このように位置情報に応じた順序で代表的な特徴領域を表示すると、画像データの内容の直感的な理解を助け、効率的に所望の画像データを選択することができる。

２）特徴領域の大きさの順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする場合
この場合は、特徴領域の面積など、大きさの順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする。一般的に、画像データに含まれる代表的な特徴領域は、大きいほうがより目立つ。したがって、画像データに含まれる代表的な特徴領域のうち、小さい特徴領域よりも大きい特徴領域によって画像データを区別することがある。

このように大きさ情報に応じた順序で代表的な特徴領域を表示すると、画像データの内容の直感的な理解を助け、効率的に所望の画像データを選択することができる。

３）特徴領域の種類などの属性の順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする場合
この場合は、特徴領域の種類などの属性の順にソートしておき、代表的な特徴領域を切り替えて表示するときの表示する順序を、そのソートした順に従うようにする。一般的に、画像データに含まれる代表的な特徴領域のうち、タイトル等の文字情報よりも、写真や図等のより印象的な属性のものによって画像データを区別することがある。

このように属性情報に応じた順序で代表的な特徴領域を表示すると、画像データの内容の直感的な理解を助け、効率的に所望の画像データを選択することができる。

図２のステップＳ２０２では一定時間ごとに代表的な特徴領域を表示手段に送って（更新させて）表示させているが、特徴領域の属性に応じて表示する時間を変更することもできる。特徴領域が図や写真であるのに比べタイトル等の文字を含む場合、その内容を読むことになり、図や写真などと同じ表示時間では、内容を確認できないことがある。そのため、ステップＳ１０４で入力時に識別した属性をチェックし、その属性が文字を含むような領域であったときには表示時間を長めに設定する。これにより文字を読む時間が確保され、画像データの内容の理解を助けることになる。その結果、効率的に所望の画像データを選択することができる。なお、特徴領域画像の表示する順番あるいは時間等はユーザが任意に変更できるようにすることもできる。

ところで、画像表示部２の代表的な特徴領域の表示では、図８に示すようにそのままの大きさで表示していたが、表示の大きさを変更することもできる。一般にＭＦＰなどの画像処理（形成）装置では、小さな表示装置（画像表示部２）しか持たないものが多い。したがって、画像データの部分領域である特徴領域も、表示装置の表示可能な領域に収まらない可能性がある。また、逆に表示装置の表示可能な大きさに比べ、特徴領域が小さくて判別しづらい可能性もある。そこで、図９に示すように属性領域と代表的な特徴領域を画像表示部２に表示可能な大きさに変倍して見やすく表示する。これにより効率的に所望の画像データを選択することができる。図９に示す例では、拡大された属性領域をＲ１ｂ，Ｒ２ｂ，Ｒ３ｂ、代表的な特徴領域をＲ３ｃ，Ｒ１ｃ，Ｒ２ｃで示している。この場合も（１）→（２）→（３）というように表示の切り替えが行われる。

図９に示すように代表的な特徴領域Ｒ１ｃ，Ｒ２ｃ，Ｒ３ｃを画像表示部２の表示可能な大きさに変倍して表示するときに、各領域Ｒ１，Ｒ２，Ｒ３の相対的大きさの比を保存しながら図１０に示すように変倍することもできる。すなわち、最も大きな代表的特徴領域Ｒ３を画像表示部２の表示可能な大きさ（鎖線で示す枠２ａ）の画像Ｒ３ｂに変倍した倍率で各属性領域及び特徴領域を変倍する。図では、タイトル領域Ｒ３を変倍した変倍率で変倍した図領域Ｒ１ｄと表領域Ｒ２ｄ、及び当該領域に対応する同一倍率で変倍された代表的特徴領域Ｒ１ｅ及びＲ２ｅを示している。これにより変倍後であっても元画像の相対的な大きさの違いを保持しているので、それぞれの代表的特徴領域どうしの大きさの違いで直感的に画像データを区別できることがある。ただし、あまりに表示する大きさが小さくなって、画像の判別が不能になることを防ぐため、倍率の下限は必要である。なお、この場合も（１）→（２）→（３）というように表示の切り替えが行われる。

このように代表的な特徴領域の大きさの比を保存することによって、より直感的に画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。

代表的な特徴領域を表示手段の表示可能な大きさに変倍して表示するときに、各代表的な特徴領域の属性によって変倍する倍率を変更する。特に、タイトル等の文字を含む代表領域の場合、図や写真の領域よりも、表示する大きさが小さくなると判別が困難になる傾向がある。したがって、文字を含むような属性をもつ領域の場合、他の領域よりも大きめに倍率を変更するようにする。属性が文字を含むような領域であったときに、表示する倍率を大きめにすることで、画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。

また、オペレータの操作に応じて、指定した画像データの代表的な特徴領域のすべてを画像表示部２に一覧表示できるようにすることもできる。このような一覧表示するモードを加えることにより、直感的に画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。

なお、表示する代表的な特徴領域の１つとして、図７に示したような画像データ全体の縮小画像を加えることもできる。縮小画像を加えることにより代表的な特徴領域を順次切り替えて表示させるだけでなく、それらの配置に関する情報も得られることになる。これにより、画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。

以上のように本実施形態によれば、
（１）画像データに含まれる複数の代表的特徴領域を抽出して関連づけて保有しておき、それらを順次切り替えて表示することによって、類似した代表的特徴領域を含む画像データ間での表示手段における識別を可能にし、所望の画像データの選択を容易にすることができる。
（２）オペレータからの指示によって複数の代表的特徴領域を順次切り替えて表示することによって、より効率的に所望の画像データを選択することができる。
（３）特徴領域抽出手段によって抽出された代表的な特徴領域を取捨選択することによって、誤りや不要な領域を削減することが可能となり、効率的に所望の画像データを選択することができる。
（４）オペレータによる代表的な特徴領域の指定を可能にすることによって、代表的な特徴領域の抽出漏れを防ぐことが可能となり、効率的に所望の画像データを選択することができる。
（５）位置情報に応じた順序で代表的な特徴領域を表示、あるいは、大きさ情報に応じた順序で代表的な特徴領域を表示し、あるいは、属性情報に応じた順序で代表的な特徴領域を表示することによって、より直感的に画像データの内容の理解を助けることが可能となり、効率的に所望の画像データを選択することができる。
（６）属性が文字を含むような領域であったときに、表示時間を長めにすることによって、あるいは表示する倍率を大きめにすることによって、画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。
（７）代表的な特徴領域を表示手段の表示可能な大きさに変倍して見やすく表示することによって、効率的に所望の画像データを選択することができる。
（８）代表的な特徴領域の大きさの比を保存しながら表示することによって、より直感的に画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。
（９）一覧表示するモードを加えることによって直感的に画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。
（１０）代表的な特徴領域の一つとして画像データ全体の縮小画像を加えることによって画像データの内容の理解するのを助け、効率的に所望の画像データを選択することができる。
等の効果を奏する。

本発明の一実施形態に係る画像検索装置の概略構成を示すブロック図である。 図１の中央演算装置によって実行される前記画像処理装置の処理手順を示すフローチャートである。 オペレータからの指示によって切り替えて表示する処理手順を示すフローチャートである。 オペレータが画像データに代表的な特徴領域を関連づけて保存すべきかどうかを取捨選択する処理の処理手順を示すフローチャートである。 オペレータが情報入力手段によって指定するかどうかを取捨選択する処理の処理手順を示すフローチャートである。 原稿とその原稿から切り出された代表的な特徴領域との関係を示す図である。 類似した画像データ全体の縮小画像を並べて表示した状態を示す図である。 類似した画像データの代表的特徴領域を並べ、切り替えて表示した状態を示す図である。 図８に表示した画像データを表示枠に最大限大きく変倍した状態を示す図である。 図８に表示した画像データを相対的な大きさの比を保持して変倍した状態を示す図である。

符号の説明

１ 画像入力部
２ 画像表示部
３ 情報入力部
４ 特徴領域抽出部
５ 主メモリ
６ 補助記憶装置
７ 通信装置
８ 中央演算装置

Claims (15)

1. 指定した画像データに類似する画像を検索する画像検索装置において、
   前記画像データに類似する画像を検索する手段と、
   前記検索する手段により検索された前記画像をキーとして当該画像と関連付けて保存されている特徴領域画像を抽出し、表示画面に表示させる手段と、
   を備え、
   前記表示させる手段は、当該特徴領域画像の種別に応じた順番で所定の時間間隔をもって前記表示画面に複数の前記特徴領域画像を表示させることを特徴とする画像検索装置。
2. 請求項１記載の画像検索装置において、
   前記表示させる手段は、前記特徴領域画像の種別に応じた大きさで表示させることを特徴とする画像検索装置。
3. 請求項１又は２記載の画像検索装置において、
   前記表示させる手段は、前記特徴領域画像の種別に応じ、表示する特徴領域画像と表示しない特徴領域画像とに区別し、表示する特徴画像のみを表示させることを特徴とする画像検索装置。
4. 請求項１ないし３のいずれか１項に記載の画像検索装置において、
   前記表示させる手段は、代表的な特徴領域の位置情報を求めておき、複数の代表的な特徴領域を切り替えて表示するときに表示する特徴領域の順位を位置情報によって決定することを特徴とする画像検索装置。
5. 請求項１ないし３のいずれか１項に記載の画像検索装置において、
   前記表示させる手段は、代表的な特徴領域の大きさ情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を大きさ情報によって決定することを特徴とする画像検索装置。
6. 請求項１ないし５のいずれか１項に記載の画像検索装置において、
   前記表示させる手段は、代表的な特徴領域の属性情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を属性情報によって決定することを特徴とする画像検索装置。
7. 請求項１ないし６のいずれか１項に記載の画像検索装置において、
   前記表示画面の表示可能な大きさに代表的特徴領域を変倍して表示することを特徴とする画像検索装置。
8. 指定した画像データに類似する画像をコンピュータによって検索する画像検索方法において、
   前記画像データに類似する画像を演算装置が検索する工程と、
   検索された前記画像をキーとして当該画像と関連付けて保存されている特徴領域画像を前記コンピュータのメモリに抽出する工程と、
   前記メモリに抽出された特徴領域画像の種別に応じた順番で所定の時間間隔で表示画面に複数の前記特徴領域画像を表示する工程と、
   を備え、表示された前記特徴領域画像に基づいて画像検索を行うことを特徴とする画像検索方法。
9. 請求項８記載の画像検索方法において、
   前記特徴領域画像を表示する工程で当該特徴領域画像を表示する際、当該特徴領域画像の種別に応じた大きさで表示させることを特徴とする画像検索方法。
10. 請求項８又は９記載の画像検索方法において、
    前記特徴領域画像を表示する工程で当該特徴領域画像を表示する際、前記特徴領域画像の種別に応じ、表示する特徴領域画像と表示しない特徴領域画像とに区別し、表示する特徴画像のみを表示することを特徴とする画像検索方法。
11. 請求項８ないし１０のいずれか１項に記載の画像検索方法において、
    前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の位置情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を位置情報によって決定することを特徴とする画像検索方法。
12. 請求項８ないし１０のいずれか１項に記載の画像検索装置において、
    前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の大きさ情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を大きさ情報によって決定することを特徴とする画像検索方法。
13. 請求項８ないし１２のいずれか１項に記載の画像検索方法において、
    前記特徴領域画像を表示する工程で当該特徴画像領域を表示する際、代表的な特徴領域の属性情報を求めておき、複数の代表的な特徴領域を切り替えて表示するとき、表示する特徴領域の順位を属性情報によって決定することを特徴とする画像検索方法。
14. 請求項８ないし１３のいずれか１項に記載の画像検索方法において、
    前記特徴領域画像を表示する工程で前記表示画面の表示可能な大きさに代表的特徴領域を変倍して表示することを特徴とする画像検索方法。
15. 請求項８ないし１４の画像検索方法における前記工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images