JP5283088B2 - 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム - Google Patents

Description

本発明は、入力画像に基づいて、複数の検索対象画像が記憶された記憶装置から所望する検索対象画像を検索する画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラムに関する。

従来から、入力画像に基づいて、複数の検索対象画像が記憶された記憶装置から所望する検索対象画像を検索する画像検索装置がある。例えば、下記特許文献１には、ユーザが描画する入力画像に基づいて算出される特徴量と、検索対象画像に基づいて予め算出される特徴量とを用いて入力画像と検索対象画像との画像間距離を測定し、同画像間距離が短い検索対象画像を入力画像に類似する画像として出力する画像検索装置が開示されている。この場合、特徴量は、入力画像および検索対象画像のＲ,Ｇ,Ｂ値を用いている。

特開２０００−７６２６９号公報

しかしながら、上記したような画像検索装置においては、入力画像に対してユーザが意図する検索対象画像とは異なる検索対象画像が検索結果として出力されることが頻繁に生じる。これは、画像入力装置を構成するマウスやペンタブレットでは、ユーザが検索対象画像と同一または類似する入力画像を描画することが極めて困難であるためと考えられる。このため、この種の画像検索装置においては、入力画像に対する同一または近似する画像の検索精度が低いとともに画像の検索に時間が掛かるという問題があった。

また、上記画像検索装置においては、入力画像に対する検索対象画像の検索は、両画像のＲ，Ｇ，Ｂ値のみに基づく特徴量を検索キーとして行なわれている。このため、ユーザが意図する検索対象画像に近い入力画像をユーザが描画した場合であっても、ユーザが意図する検索対象画像を正確に検索できないことがあり、入力画像に対する同一または近似する画像の検索精度自体が低いという問題があった。

本発明は上記問題に対処するためなされたもので、その目的は、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラムを提供することにある。

上記目的を達成するため、請求項１に記載した本発明の特徴は、画像を入力する画像入力手段と、検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段と、画像の属性に基づく特徴量であって画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と検索対象画像の属性に基づく検索対象画像特徴量とを比較して、検索対象画像記憶手段に記憶した検索対象画像の中から入力画像に近似する検索対象画像を抽出する検索対象画像抽出手段と、前記抽出された検索対象画像を検索結果として出力する検索結果出力手段とを備える画像検索装置において、前記画像の属性に基づく特徴量は、画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した大局的な相対的位置関係を表す第１の特徴量と、前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様パターンを３ないし５種類の特徴量グループに分類して統計処理することにより算出した局所的な相対的位置関係を表す第２の特徴量とで構成されていることにある。

この場合、請求項２に示すように、前記画像検索装置において、前記第２の特徴量における前記特徴量グループは、例えば、前記少なくとも２つの画素が、水平方向、垂直方向および互いに直交する２つの斜め方向の位置関係を含んで構成されているとよい。

この場合、請求項３に示すように、前記画像検索装置において、第１の特徴量および第２の特徴量における前記所定の条件に従ってそれぞれ抽出した複数の各画素は、例えば、入力画像および検索対象画像の各輪郭部を構成する画素であるとよい。

このように構成した請求項１に記載した本発明の特徴によれば、画像検索装置は、入力画像の属性に基づく入力画像特徴量と、検索対象である検索対象画像の属性に基づく検索対象画像特徴量とを比較することにより入力画像と同一または近似する画像を抽出している。この場合、入力画像および検索対象画像をそれぞれ表す特徴量は、画像を構成する各画素の画像全体の画素に対する大局的な相対的位置関係を表す第１の特徴量と、同画像を構成する各画素の同各画素に隣接する画素に対する局所的な相対的位置関係を表す第２の特徴量とによって構成されている。これにより、入力画像に対して大局的観点（第１の特徴量）と局所的観点（第２の特徴量）とから検索対象画像をその大きさ、配置位置および向きに関わらない形状情報に基づいて特定することができる。この結果、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。また、この場合、第２の特徴量は、注目画素に対する同注目画素に隣接する隣接画素の存否の態様パターンに応じて３種類ないし５種類の特徴量グループに振り分ける統計処理によって算出される。これにより、第２の特徴量は、互いの位置関係の全てのパターンごとに統計処理してその処理結果を記憶する場合に比べて記憶しなければならない情報量を極めて少なくすることができ、コンピュータ装置における記憶容量の使用量を抑えることができる。

また、請求項４に記載した本発明の他の特徴は、前記画像検索装置において、画像入力手段は、ユーザが描画する画像を入力するものであり、検索対象画像を検索するために画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶手段と、構成画像記憶手段に記憶した構成画像を最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成手段と、構成画像および組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出手段と、画像入力手段に構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して入力画像特徴量をそれぞれ算出する入力画像特徴量算出手段と、過去画像特徴量と入力画像特徴量とを比較して、構成画像および組合せ画像の中から入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出手段とを備え、検索結果出力手段は、検索対象画像抽出手段によって抽出された検索対象画像に加えて、近似過去画像に対応付けられた検索対象画像を検索結果として出力することにある。

このように構成した請求項４に係る本発明の他の特徴によれば、ユーザが検索対象画像を検索するために過去に入力した画像の構成画像を同検索対象画像に対応付けて記憶しておき、ユーザにより描画された画像の入力ごとに描画した全体画像と前記構成画像および同構成画像によって構成された組合せ画像とを比較して、同全体画像に近似する構成画像または組合せ画像を抽出する。そして、同抽出した構成画像または組合せ画像に対応付けられた検索対象画像を出力している。すなわち、同一の検索対象画像に対してユーザが描画した入力画像は、検索対象である検索対象画像より、同検索対象に対して同一または異なるユーザが過去に入力した過去画像に似ている可能性が極めて高い。このため、ユーザが描画した入力画像を検索対象画像と比較するより同入力画像を過去画像と比較した方が、ユーザが意図する検索対象画像を抽出し易い。また、この場合、ユーザが最終的に入力した画像と過去に入力した最終画像とを比較するより、ユーザによる画像の描画に応じて過去画像を構成する構成画像または同構成画像を組み合わせた組合せ画像と比較した方がより迅速に検索対象画像の検索を行うことができる。この結果、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。

また、請求項５に記載した本発明の他の特徴は、前記画像検索装置において、さらに、ユーザが検索結果の中から検索対象画像を指定するための検索画像指定手段を備え、構成画像記憶手段は、検索画像指定手段により検索画像が指定されたとき、最終入力画像を構成する構成画像を同検索画像に対応させて記憶することにある。

このように構成した請求項５に係る本発明の他の特徴によれば、ユーザが検索結果の中から検索対象画像を指定する操作によって、同検索画像を抽出するために描画された入力画像を構成する構成画像が同検索対象画像に対応付けられて記憶される。したがって、入力画像に基づいて検索される検索対象画像がユーザの意図に合った画像であるとして指定されるごとに同検索対象画像と対応付けられた構成画像および組合せ画像が増加する。これにより、幅広い態様の入力画像に対して検索対象画像が抽出されるようになり検索対象画像の検索精度が一層向上する。

また、請求項６に記載した本発明の他の特徴は、前記画像検索装置において、近似過去画像抽出手段は、同一の検索対象画像に対して画像入力手段に入力された入力画像を構成する構成画像の数に応じた数の構成画像または同構成画像で構成された組合せ画像に対応する過去画像特徴量と入力画像特徴量とを比較して近似過去画像を抽出することにある。

このように構成した請求項６に係る本発明の他の特徴によれば、画像入力手段に入力された入力画像と構成画像または組合せ画像とを比較する際、入力画像を構成する構成画像の数と同じ数の構成画像または組合せ画像と入力画像とを比較している。これにより、入力画像と同じ構成の構成画像または組合せ画像に対して比較処理が行われるため、全ての構成画像および組合せ画像との比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。

また、請求項７に係る本発明の他の特徴は、前記画像検索装置において、構成画像記憶手段は、構成画像とともに同構成画像が画像入力手段に入力された順番を筆順として記憶し、同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として記憶する高頻度組合せ画像記憶手段と、画像入力手段に構成画像が入力されるごとに、同画像入力装置に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される筆順組合せ画像を生成する筆順組合せ画像生成手段とを備え、入力画像特徴量算出手段は、筆順組合せ画像に対する前記特徴量である筆順組合せ画像特徴量を算出し、近似過去画像抽出手段は、過去画像特徴量のうち、高頻度組合せ画像に対応する過去画像特徴量と筆順組合せ画像特徴量との比較処理を他の過去画像特徴量および入力画像特徴量の比較処理に優先して実行することにより近似過去画像を抽出し、検索結果出力手段は、過去画像抽出手段にて高頻度組合せ画像が近似過去画像として抽出されたとき、同抽出された近似過去画像に対応付けられた検索対象画像を出力することにある。

このように構成した請求項７に係る本発明の他の特徴によれば、入力画像を構成する構成画像を描画する筆順のうち、互いに連続する筆順の構成画像で構成された組合せ画像の中から高い頻度で検索対象画像に対応付けられる組合せ画像を高頻度組合せ画像として記憶しておき、画像入力手段に入力された入力画像と組合せ画像とを比較する際、画像入力装置に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される入力画像と高頻度組合せ画像との比較処理を他の組合せ画像と入力画像との比較処理に優先して実行している。これは、本発明者が実験により、ユーザが同一の検索対象画像に対して入力画像を描画する際、筆順が連続する傾向にある２つ以上の構成画像が存在することに気付いたことにある。したがって、経験的に筆順が連続する傾向にある２つ以上の構成画像で構成される組合せ画像を高頻度組合せ画像として優先的に入力画像と比較することにより、入力画像に対する比較の順番を考慮せずに全ての構成画像および組合せ画像に対して比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。

また、請求項８に係る本発明の他の特徴は、前記画像検索装置において、同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として抽出する高頻度組合せ画像抽出手段を備えることにある。

このように構成した請求項８に係る本発明の他の特徴によれば、同一の検索対象画像に対して対応付けられる組合せ画像の中から同検索対象画像に高い頻度で対応付けられる高頻度組合せ画像が自動的に抽出される。これにより、効率良く、かつ確実に高頻度組合せ画像記憶手段に高頻度組合せ画像を記憶させることができ、検索対象画像の検索処理を短時間に精度良く行うことができる。

また、請求項９に係る本発明の他の特徴は、前記画像検索装置において、高頻度組合せ画像抽出手段は、同一の検索対象画像に対して複数の高頻度組合せ画像を抽出するとともに、同抽出した各高頻度組合せ画像における頻度に応じた優先度を算出し、近似過去画像抽出手段は、前記優先度の高い順に高頻度組合せ画像に対応する過去画像特徴量を用いて近似過去画像を抽出することにある。

このように構成した請求項９に係る本発明の他の特徴によれば、同一の検索対象画像に対して複数抽出した高頻度組合せ画像にそれぞれ優先度を付加し、同優先度に従って高頻度組合せ画像と入力画像とを比較するようにしている。これにより、単一の高頻度組合せ画像のみを抽出して入力画像と比較する場合に比べて、幅広い高頻度組合せ画像との比較ができるようになり、ユーザが意図する検索対象画像を短時間に精度良く検索することができる。

また、請求項１０に係る本発明の他の特徴は、前記画像検索装置において、検索対象画像記憶手段は、検索対象画像特徴量を記憶しており、検索対象画像抽出手段は、近似過去画像抽出手段により近似過去画像が抽出されなかったとき、検索対象画像特徴量と入力画像特徴量とを比較して、入力画像に近似する検索対象画像を抽出することにある。

このように構成した請求項１０に係る本発明の他の特徴によれば、入力画像に対して構成画像および組合せ画像を比較した後、同比較処理において近似過去画像が抽出されなかったとき、入力画像と検索対象画像とを比較して検索対象画像を抽出するようにしている。すなわち、入力画像を比較する際、入力画像に似た構成の構成画像および組合せ画像を優先して比較している。これにより、入力画像に対して検索対象画像を先に比較する場合に比べて効率的かつ高精度な検索処理を実行することができる。

また、請求項１１に係る本発明の他の特徴は、前記画像検索装置において、構成画像は、画像入力手段に一筆で入力された画像情報であることにある。これによれば、ユーザによる一筆ごとに検索対象画像の検索処理が実行されるため、ユーザにとって理解し易いとともに操作性の良い画像検索装置とすることができる。

また、請求項１２に係る本発明の他の特徴は、前記画像検索装置において、画像入力手段に対する画像の描画に用いるための部品画像を記憶する部品画像記憶手段を備え、構成画像は、画像入力手段を介して入力された部品画像であることにある。これによれば、マウスやペンタブレットなどの入力装置では描画が困難な画像や使用頻度の高い画像を予め部品画像記憶手段に用意しておくことで、入力画像を迅速かつ高精度に描画することができ、結果として検索対象画像の検索精度を向上させることができる。なお、本請求項１２に係る発明を前記請求項７に係る発明に適用した場合、前記請求項４に係る筆順は、部品画像を入力する順番に対応する。

また、本発明は画像検索装置の発明として実施できるばかりでなく、同画像検索装置に適用されるコンピュータプログラムとしても実施できるものである。

本発明の第1および第２実施形態に係る画像検索装置の概略構成を示すブロック図である。 検索対象画像、構成画像および組合せ画像の関係を模式的に示す説明図である。 図1に示す中央処理装置によって実行される第１の画像検索プログラムのフローチャートである。 図１に示す表示装置における表示状態を示す説明図である。 (ａ)〜(ｅ)は、特徴量における第１の特徴量の算出過程を説明するための説明図である。 特徴量における第２の特徴量の算出過程で用いられる２５種類の存否態様パターンを示す説明図である。 ２５種類の存否態様パターンを特定する際における互いに等価な画素パターンを説明するための説明図である。 特徴量における第２の特徴量を構成する５種類の特徴量グループの存否態様パターンを示す説明図である。 特徴量の算出過程において第１の特徴量と第２の特徴量とを統計処理する過程のイメージを示す説明図である。 検索対象画像、過去スケッチ画像および高頻度組合せ画像の関係を模式的に示す説明図である。 図1に示す中央処理装置によって実行される第２の画像検索プログラムのフローチャートである。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。 高頻度組合せ画像を抽出する過程を説明するための説明図である。

Ｗ１，Ｗ２，Ｗ３…ウィンドウ、ｉ…注目画素、ｒ…隣接画素、１００…画像検索装置、１０１…中央処理装置、１０２…主記憶装置、１０３…補助記憶装置、１０４…コンピュータ本体、１０５…入力装置、１０５ａ…キーボード、１０５ｂ…マウス、１０６…表示装置。

（第１実施形態）
以下、本発明に係る画像検索装置の第１実施形態について図面を参照しながら説明する。図１は、本発明に係る画像検索装置１００の構成を示すブロック図である。なお、本明細書において参照する図は、本発明の理解を容易にするために一部の構成要素を誇張して表わすなど模式的に表している。このため、各構成要素間の寸法や比率などは異なっていることがある。

（画像検索装置１００の構成）
画像検索装置１００は、中央処理装置（ＣＰＵ）１０１、主記憶装置１０２および補助記憶装置１０３を備えるコンピュータ本体１０４に、入力装置１０５および表示装置１０６が接続されて構成されたパーソナルコンピュータ（所謂パソコン）である。中央処理装置１０１は、図示しない演算装置および制御装置を備えており、主記憶装置１０２に記憶されたプログラムに従って各種演算処理を実行するとともに、主記憶装置１０２、補助記憶装置１０３、入力装置１０５および表示装置１０６の作動をそれぞれ制御する。主記憶装置１０２は、図示しないＲＯＭおよびＲＡＭなどから構成されており、中央処理装置１０１を作動させるためのプログラムやデータ、および同中央処理装置１０１が命令を実行する際に必要な各種情報を記憶する。

補助記憶装置１０３は、ハードディスク装置で構成されており、ＯＳ（オペレーティングシステム）や各種アプリケーションプログラム、具体的には、本発明を実現するための第１の画像検索プログラムなどをそれぞれ記憶している。この補助記憶装置１０３は、第１の画像検索プログラムの実行時においてプログラムの実行に必要な各種情報および各種画像（画像データ）の一時的または恒久的な保存に用いられる。具体的には、この補助記憶装置１０３には、複数の検索対象画像および過去スケッチ画像がそれぞれ記憶される。この場合、検索対象画像とは、第１の画像検索プログラムの実行により検索の対象となる画像である。

一方、過去スケッチ画像とは、第１の画像検索プログラムの実行による検索対象画像の検索に用いる画像であり、少なくとも１つの検索対象画像に対応付けられた構成画像および組合せ画像により構成されている。ここで、構成画像とは、過去に第１の画像検索プログラムの実行により検索対象画像の検索を行った際に、ユーザが意図する検索対象画像を抽出するために最終的に入力した入力画像の一部または全部を構成する画像である。また、組合せ画像とは、１つの入力画像を構成する複数の構成画像を互いに組み合わせた１つ以上の画像である。図２は、これら検索対象画像、構成画像および組合せ画像の関係の一例を模式的に示している。図２においては、検索対象画像１，２に対して過去スケッチ画像１が対応付けられているとともに、検索対象画像３に対して過去スケッチ画像２が対応付けられている。過去スケッチ画像１，２において、ユーザが意図する検索対象画像１〜３を抽出するために最終的に入力した入力画像は、組合せ画像のうち図示最下段に示した組合せ画像である。

入力装置１０５は、キーボート１０５ａおよびポインティングデバイスとしてのマウス１０５ｂから構成されており、主記憶装置１０２を介して中央処理装置１０１にユーザからの各種命令や各種データを入力する。具体的には、中央処理装置１０１に対して第１の画像検索プログラムの実行命令や検索対象画像の検索の条件となるスケッチ画像を入力する。表示装置１０６は、液晶ディスプレイ装置で構成されており、中央処理装置１０１の作動状態および各種プログラムの実行状態をユーザに向けて表示する。具体的には、第１の画像検索プログラムの実行時において、検索対象画像の検索の条件となるスケッチ画像を描画するためのユーザインターフェースや、検索結果となる検索対象画像を表示する。

（画像検索装置１００の作動）
上記のように構成した画像検索装置１００の作動について説明する。この画像検索装置１００による検索対象画像の検索処理の前提として、画像検索装置１００における補助記憶装置１０３には、第１の画像検索プログラムによる検索対象となる検索対象画像が同検索対象画像に基づいて算出される検索対象画像特徴量とともに所定の記憶領域に予め記憶されている。また、補助記憶装置１０３には、過去に画像検索プログラムの実行による検索対象画像の検索において検索対象画像の抽出に用いられた過去スケッチ画像が同検索対象画像と対応付けられて所定の記憶領域に記憶されている。この場合、補助記憶装置１０３には、過去スケッチ画像とともに、同過去スケッチ画像に基づいて算出される過去画像特徴量も記憶されている。なお、検索対象画像特徴量および過去画像特徴量については後述する。

まず、ユーザは、画像検索装置１００の電源を投入する。これにより、画像検索装置１００は、図示しないＯＳなどの所定のプログラムを実行してユーザからの指示を待つ待機状態となる。次に、ユーザは、画像検索装置１００を用いた画像の検索作業を開始する。具体的には、ユーザは、入力装置１０５を操作して画像検索の開始を画像検索装置１００（中央処理装置１０１）に指示する。この指示に応答して、画像検索装置１００（中央処理装置１０１）は、図３に示す第１の画像検索プログラムをステップＳ１００にて開始して、ステップＳ１０２にて、描画ツールを起動させる。

描画ツールは、入力装置１０５におけるマウス１０５ｂを用いて線画からなるスケッチ画像を入力するためのユーザインターフェースであり、第１の画像検索プログラムとは別に用意された描画ツールプログラム（図示せず）を実行することにより実現される。第１の画像検索プログラムおよび描画ツールプログラムの実行時における表示装置１０６の表示状態の一例を図４に示す。図４において、表示装置１０６の表示画面の奥行方向最背面にて略全面に表示されているウィンドウＷ１が第１の画像検索プログラムの基本操作画面である。このウィンドウＷ１の前面における表示画面の左半分に重ねられて表示されているウィンドウＷ２が検索対象画像を表示させる領域であり、同表示画面の右半分に表示されているウィンドウＷ３が描画ツールである。これらのウィンドウＷ１〜Ｗ３は、ユーザによるマウス１０５ｂの操作によって表示スケール、互いの位置関係および奥行方向の配置順序を任意に変更することができる。

これらのうち、ウィンドウＷ３内には、スケッチ画像を描画するための描画領域Ｗ３ａが設けられている。したがって、ユーザは、表示装置１０６の表示画面に表示されるカーソル（図示せず）をマウス１０５ｂの操作により描画領域Ｗ３ａ内で移動させながらマウス１０５ｂの押しボタンスイッチ（図示せず）を押下し続ける操作、すなわち、ドラッグ操作することにより操作描画領域Ｗ３ａ内に線図からなる画像を描画することができる（図においては、顔面が描画されている）。この描画ツールによって描画されるスケッチ画像は、ビットマップ（ラスタ）形式の画像データで表される。

次に、画像検索装置１００は、ステップＳ１０４にて、この第１の画像検索プログラムの終了判定を実行する。具体的には、画像検索装置１００は、ユーザによる画像検索プログラムの終了指令を検出するまでの間、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０６に進む。一方、画像検索装置１００は、ユーザによる第１の画像検索プログラムの終了指令の入力を検出したときには、同判定処理にて「Ｙｅｓ」と判定してステップＳ１２４に進む。

次に、画像検索装置１００は、ステップＳ１０６にて、検索対象画像が選択されたか否かを判定する。このステップＳ１０６における判定処理は、前記ウィンドウＷ２内に画像の検索結果として表示される検索対象画像の中からユーザによる画像の選択（指定）の有無を検出するものである。したがって、画像検索装置１００は、ウィンドウＷ２内に表示される検索対象画像に対してユーザによる画像の選択がなされるまでの間、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０８に進む。一方、画像検索装置１００は、ウィンドウＷ２内に表示される検索対象画像に対してユーザによる画像の選択がなされたとき、この判定処理において「Ｙｓｅ」と判定してステップＳ１１８に進む。

次に、画像検索装置１００は、ステップＳ１０８にて、スケッチ画像の入力の有無を判定する。具体的には、画像検索装置１００は、描画ツールを介して入力画像が取得されるまでの間、スケッチ画像の入力がないものとして、この判定処理にて「Ｎｏ」と判定し続けてステップＳ１０４に戻る。これにより、画像検索装置１００は、描画ツールを介して画像を取得するまで前記ステップＳ１０４〜ステップＳ１０８の各処理を繰り返し実行する。

一方、画像検索装置１００は、描画ツールを介して入力画像を取得した場合には、スケッチ画像の入力があったものとして、この判定処理にて「Ｙｅｓ」と判定してステップＳ１１０に進む。この場合、描画ツールによる入力画像の取得は、ユーザによる描画領域Ｗ３ａ内でのカーソルのドラッグ操作の終了を検出して行われる。すなわち、ユーザが描画領域Ｗ３ａ内で一筆書きを行うごとに入力画像の取得が行われる。

次に、画像検索装置１００は、ステップＳ１１０にて、入力したスケッチ画像を記憶する。この場合、画像検索装置１００は、描画領域Ｗ３ａ内に直近に描画された一筆分の描画画像のほかに、描画領域Ｗ３ａ内に描画された全ての描画画像を１つの入力画像として補助記憶装置１０３にそれぞれ一時的に記憶する。

次に、画像検索装置１００は、ステップＳ１１２にて、前記記憶した入力画像に対して特徴量を計算する。ここで、特徴量は、画像の属性（例えば、輝度情報、色彩情報、画像周波数、ヒストグラム、形状）に基づいてその画像の特徴を数値化した情報であり、第１の特徴量と第２の特徴量とから構成されている。本第１実施形態においては、テクスチャ解析におけるＬＢＰ（Local Binary patterns）の概念を応用して画像の形状に基づいて特徴量を算出する。

まず、第１の特徴量の算出処理について説明する。この第１の特徴量の算出処理は既に公知であるので、簡単な説明に留めておく（詳しくは、「映像メディア学会誌Vol.56,No4,p.653-658(2002)」、社団法人映像情報メディア学会を参照）。画像検索装置１００は、まず、ラスタ走査により入力画像の線画素を探索する。この線画素の探索処理は、原画像の平滑化、エッジ（輪郭）検出、２値化および細線化処理などの各処理によって行われる。次に、画像検索装置１００は、図５（ａ），（ｂ）示すように、探索した線画素を注目画素ｉとして方向ｘ（方向０〜方向７）に存在する線画素の総数ｃ_ｉｘを計算する。この場合、ある画像における線画素の総数は、対象とする画像によってそれぞれ異なるため、各方向の線画素の総数ｃ_ｉｘを全画素数で正規化した値を用いて閾値処理を実行する。これにより、画像の大きさに不変な特徴量となる。

次に、画像検索装置１００は、線画素の総数ｃ_ｉｘを下記数１に代入して判定値Ｓ_ｉｘを算出するとともに下記数２を用いてｆ_ｉｘを算出する（図５（ｃ））。なお、下記数１，数２において、Ｃは線画素の総数でありＴｈは頻度判定の閾値である。本第１実施形態においては、８方向に分割していることを考慮して１／８＝０.１２５、Ｔｈ＝０.１５とする。

次に、画像検索装置１００は、図５（ｄ），（ｅ）に示すように、８方向それぞれを各ビットと考えた８ビットの２進数と考え、この２進数（ｆ_ｉ７，ｆ_ｉ６，ｆ_ｉ５，ｆ_ｉ４，ｆ_ｉ３，ｆ_ｉ２，ｆ_ｉ１，ｆ_ｉ０）を１０進数に変換した値ｄ_ｉ（０≦ｄ_ｉ≦２５５）のヒストグラムに投票する。これにより、位置に不変な特徴量になる。これらの各処理をＣ個の全ての線画素に対して実行し、線画素間の相対位置関係をヒストグラムにまとめて２５６次元の第１の特徴量とする。これにより、ヒストグラムへの投票が注目画素ｉごとに行われて線画素の全線画素に対する相対的で大局的な位置関係が保存される。すなわち、入力全画像を構成する輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく第１の特徴量が算出される。

次に、第２の特徴量の算出処理について説明する。この第２の特徴量は、所謂高次局所自己相関特徴関数を利用して算出される。ここで高次局所自己相関特徴関数とは、注目画素ｉでの輝度値をｆ（ｉ）とするとその周囲のＮ次自己相関関数は、注目画素ｉの周囲のＮ個の変位（ａ_１，ａ_２，・・・，ａ_Ｎ）に対して下記数３によって定義されるものである。

本発明においては、局所的な特徴を算出するため、上記数３における次数Ｎは２まで、変位（ａ_１，ａ_２，・・・，ａ_Ｎ）は３×３の領域としている。これによれば、平行移動に関して互いに等価なものを除くと、注目画素ｉに対して注目画素ｉに隣接する隣接画素ｒの存否の態様は、図６に示すように、２５種類の存否態様パターンにまとめることができる。ここで、平行移動に関して等価なものとは、注目画素ｉを中心とする３×３のマトリクスにおいて、注目画素ｉと同注目画素ｉに隣接して存在する隣接画素ｒとを各画素間の相対的な位置関係を維持した状態で３×３のマトリクス内で水平方向、垂直方向および左右の斜め方向に１マス分だけそれぞれシフト（平行移動）させた各シフト画素パターンに対して、注目画素ｉを中心とする隣接画素ｒの位置関係が同一となる他の画素パターンである。

例えば、注目画素ｉを中心とする２つの隣接画素ｒからなる画素パターンＧＰの場合、３×３のマトリクス内で水平方向、垂直方向および左右の斜め方向に１マス分だけそれぞれシフト（平行移動）させた各シフト画素パターンＳＰ_１〜ＳＰ_８は、図７に示すようになる。これらのシフト画素パターンＳＰ_１〜ＳＰ_８のうち、シフト画素パターンＳＰ_１，ＳＰ_７は、注目画素ｉを中心とする２つの隣接画素ｒからなる他の画素パターンＯＰ１，ＯＰ_２と同一である。したがって、画素パターンＧＰに対して他の画素パターンＯＰ_１，ＯＰ_２はそれぞれ等価な関係にある画素パターンとしてまとめられる。

そして、本発明においては、この２５種類の存否態様パターンを５種類の特徴量グループに分類している。具体的には、図８に示すように、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに水平方向に存在する位置関係となる特徴量グループ０、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに垂直方向に存在する位置関係となる特徴量グループ１、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに右斜め方向に存在する位置関係となる特徴量グループ２、注目画素ｉおよび１つまたは２つの隣接画素ｒが互いに左斜め方向に存在する特徴量位置関係となるグループ３および特徴量グループ０〜特徴量グループ３のいずれにも属さない位置関係となる特徴量グループ４である。

この場合、特徴量グループ４には、注目画素ｉの周囲に隣接画素ｒが１つも存在しないパターンも含まれる。すなわち、特徴量グループ０〜特徴量グループ４の５種類の特徴量グループは、注目画素ｉの周囲に隣接画素ｒが１つも存在しない場合を含めて注目画素ｉの周囲に存在する隣接画素ｒの注目画素ｉに対する位置関係を５種類の位置関係ごとにまとめたものである。このような２５種類の存否態様パターンによるグルーピングは、本願発明者が、原画像における線画素を構成する各画素に対して前記２５種類の存否態様パターンへのマッチングテストを行なった結果、特定の存否態様パターンに対して度数分布が偏る傾向を見出したことに基づいている。

すなわち、画像検索装置１００は、前記探索した線画素における注目画素ｉに隣接する隣接画素ｒと注目画素ｉとの位置関係（隣接画素ｒが存在しない場合も含む）が前記２５種類の存否態様パターンのいずれに該当するかを特定するマッチング処理を実行する。そして、画像検索装置１００は、前記マッチング処理によって特定した存否態様パターンに基づいて注目画素ｉを前記特徴量グループにおける特徴量グループ０〜特徴量グループ４のいずれかに分類する。

例えば、図５（ａ）に示した注目画素ｉに対して分類される特徴量グループは、注目画素ｉおよび２つの隣接画素ｒが水平方向に沿って配置されているため、特徴量グループ０となる。また、例えば、注目画素ｉに対して隣接画素ｒが注目画素ｉの真下に１つだけ存在している場合には、注目画素ｉに対して隣接画素ｒが注目画素ｉの真上に１つだけ存在している場合に相当するため特徴量グループ１となる。また、例えば、図７に示した他の画素パターンＯＰ_１，ＯＰ_２に対して分類される特徴量グループは、他の画素パターンＯＰ_１，ＯＰ_２が画素パターンＧＰと等価であるため、特徴量グループ３となる。さらに、また、注目画素ｉに対して隣接画素ｒが３つ以上存在している場合には、特徴量グループ０〜特徴量グループ３のいずれにも属さない位置関係となる特徴量グループ４に分類される。なお、第１の特徴量および第２の特徴量の算出処理に先立って線画素の探索処理において細線化処理を実行しているため、注目画素ｉに対して３つ以上の隣接画素ｒが存在するケースは稀であり、このような３つ以上の隣接画素ｒが存在する注目画素ｉが以後の処理に与える影響は少ない。

画像検索装置１００は、これらの各処理を全ての線画素に対して実行し、線画素間の相対位置関係をヒストグラムにまとめて５次元の第２の特徴量とする。これにより、ヒストグラムへの投票が注目画素ｉごとに行われて線画素の隣接画素ｒに対する相対的で局所的な位置関係が保存される。すなわち、入力全画像を構成する輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく第２の特徴量が算出される。

そして、画像検索装置１００は、前記算出した第１の特徴量と第２の特徴量とを１つのヒストグラムにまとめる統計処理を実行するとともに統計処理結果を正規化して大きさに不変な特徴量とする。図９は、この第１の特徴量と第２の特徴量とを１つのヒストグラムにまとめる統計処理のイメージを示している。これらにより、輪郭について大きさ、位置、方向に無関係な形状情報のみに基づく１２８０次元（第１の特徴量２５６次元×第２の特徴量５次元）の特徴量が算出される。

また、画像検索装置１００は、入力画像を回転させた画像および同入力画像の鏡像画像についても特徴量をそれぞれ算出する。具体的には、入力画像を回転させた画像について第１の特徴量を算出する場合には、画像検索装置１００は、図５（ｄ）示す２値化した２進数を１ビットずつローテートすることにより８方向について回転させた第１の特徴量を算出する。また、入力画像を回転させた画像について第２の特徴量を算出する場合には、画像検索装置１００は、前記ローテートさせた向きと同じ方向に隣接画素を回転させた存否態様パターンを用いることにより第２の特徴量を算出する。

一方、入力画像の鏡像画像について第１の特徴量を算出する場合には、図５（ｄ）示す２値化した２進数を鏡像の関係になる２進数に並び替えた２進数によって第１の特徴量を算出する。また、入力画像の鏡像画像について第２の特徴量を算出する場合には、特徴量グループ３（右斜線）と特徴量グループ４（左斜線）とを入れ替えることにより第２の特徴量を算出する。これらにより、原画像を回転させたり鏡像画像を生成したりすることなく容易に入力画像を回転させた画像および同入力画像の鏡像画像について特徴量をそれぞれ算出することができる。このステップＳ１１２における特徴量の算出処理によって入力全画像に対する特徴量である入力画像特徴量が算出される。すなわち、このステップＳ１１２における特徴量の算出処理が、本発明に係る入力画像特徴量算出手段に相当する。

なお、画像検索装置１００の補助記憶装置１０３に記憶されている検索対象画像に対する検索対象画像特徴量および過去スケッチ画像に対する過去画像特徴量は、上記した各処理の実行によって算出された値である。この場合、検索対象画像は、前記と同様に、ビットマップ形式の画像データに変換された後、平滑化、エッジ（輪郭）検出、２値化および細線化の各処理を経て特徴量の算出処理が実行される。

次に、画像検索装置１００は、ステップＳ１１４にて、検索対象画像の検索処理を実行する。具体的には、画像検索装置１００は、入力画像に対する検索対象画像および過去スケッチ画像（構成画像および組合せ画像）の画像間距離を測定し、同距離が近い順に検索対象画像および過去スケッチ画像を配列させる。より具体的には、画像検索装置１００は、下記数４に示す式を用いて、入力画像特徴量に対する検索対象画像特徴量および過去画像特徴量の１２８０次元空間おけるベクトル距離（ユークリッド距離Ｄｉ）を算出し、算出したベクトル距離が短い順に対応する検索対象画像および過去スケッチ画像を配列させる。

上記数４において、Ｆ_ｓは入力画像特徴量であり、Ｆ_ｉは検索対象画像特徴量および過去画像特徴量であり、ｊは１２８０次元ある特徴量の各次元をそれぞれ表している。また、Ｋは、画像の回転と鏡像とに対応させるためのパターンの数であり、画像の回転と鏡像とを考慮しない通常の検索の場合にはＫ＝１、画像の回転を考慮した検索の場合にはＫ＝２、画像の鏡像を考慮した検索の場合にはＫ＝３、画像の回転と鏡像とを考慮した検索の場合にはＫ＝１６となる。これにより、入力画像の回転画像および鏡像画像についても検索対象画像および過去スケッチ画像に対して比較処理が実行され、入力画像に近似（同一も含む）している順番で検索対象画像および過去スケッチ画像が配列される。このステップＳ１１４の検索処理によって入力画像に似ている順番で配列された検索対象画像および過去スケッチ画像が、本発明に係る近似過去画像に相当する。すなわち、このステップＳ１１４における入力画像に対して検索対象画像を比較して抽出する処理が本発明に係る検索対象画像抽出手段に相当し、同入力画像に対する過去スケッチ画像を比較して抽出する処理が本発明に係る近似過去画像抽出手段に相当する。

このステップＳ１１４における検索対象画像の検索処理においては、入力画像に対して検索対象画像および過去スケッチ画像がそれぞれ比較処理される。この場合、ユーザが同一の検索対象画像を過去に検索している場合には、入力画像は、ユーザが意図とする検索対象画像より同検索画像を検索した際に描画した過去スケッチ画像に似ていることが多い。したがって、ユーザが同一の検索対象画像を過去に検索している場合には、過去スケッチ画像を介して目的とする検索対象画像が高順位で抽出され易くなる。

次に、画像検索装置１００は、ステップＳ１１６にて、検索結果を表示装置１０６に表示させる。具体的には、画像検索装置１００は、前記ステップＳ１１４の検索処理にて配列した順番で検索対象画像をウィンドウＷ２に表示させる。この場合、画像検索装置１００は、抽出された画像が検出対象画像である場合には、同検出対象画像をそのまま表示させ、同抽出された画像が過去スケッチ画像である場合には、同過去スケッチ画像に対応付けられた検索対象画像を表示装置１０６に表示させる。すなわち、このステップ１１６における検索結果の表示処理が、本発明に係る検索結果出力手段に相当する。そして、画像検索装置１００は、検索結果を表示装置１０６に表示させた後、ステップＳ１０４に戻る。

これにより、ユーザは、表示装置１０６に表示された検索結果を目視により確認して、検索結果の中に自らが意図する検索対象画像が存在しなければスケッチ画像の入力を続行する。この場合、ユーザがスケッチ画像を一筆描画するごとに検索対象画像の検索処理が実行されて表示装置１０６に検索結果が描画（一筆）ごとに更新されながら表示される（ステップＳ１０８〜ステップＳ１１６）。この場合においても、上記したように、ユーザが同一の検索対象画像を過去に検索している場合には、入力画像は目的とする検索対象画像より同検索対象画像を検索した際に描画した過去スケッチ画像に似ていることが多いため、入力画像の画像量がより少ない段階で目的とする検索対象画像が検索される。

そして、表示装置１０６のウィンドウＷ２内にユーザが意図する検索対象画像が表示された場合には、ユーザはマウス１０５ｂを操作して自らが意図する検索対象画像を選択（クリック）する。これにより、第１の画像検索プログラムにおけるステップＳ１０６の判定処理において「Ｙｅｓ」と判定されてステップＳ１１８に進む。ステップＳ１１８にて、画像検索装置１００は、ユーザによって選択された検索対象画像を拡大表示させる。

そして、画像検索装置１００は、ステップＳ１２０にて、過去スケッチ画像を生成する。具体的には、画像検索装置１００は、現時点において記憶している入力画像を検索対象画像の抽出に用いられた最終的な画像として確定し、同入力画像を構成する一筆ごとの画像を構成画像として前記ステップＳ１０６にて選択された検索対象画像に対応付けて恒久的にそれぞれ記憶する。また、画像検索装置１００は、各構成画像の特徴量を算出して過去画像特徴量として記憶する。

さらに、画像検索装置１００は、最終的な画像として確定した入力画像を構成する各構成画像をそれぞれ組み合わせた組合せ画像を生成し前記ステップＳ１０６にて選択された検索対象画像に対応付けて恒久的に記憶する。この場合においても、画像検索装置１００は、構成画像と同様に、組合せ画像に関する特徴量を計算して過去画像特徴量として記憶する。このステップＳ１２０における各処理が、本発明に係る構成画像記憶手段、組合せ画像生成手段および過去画像特徴量算出手段にそれぞれ相当する。そして、画像検索装置１００は、ステップＳ１２２にて、ウィンドウＷ３の描画領域Ｗ３ａ内に描画されている画像をクリア（消去）した後、ステップＳ１０４に戻る。

一方、表示装置１０６のウィンドウＷ２内に表示された検索結果の中にユーザが意図する検索対象画像が存在せず、検索対象画像の検索処理を終了する場合には、ユーザは、マウス１０５ｂを操作してウィンドウＷ１内に設けられている検索終了アイコン（図示せず）をクリックする。これにより、画像検索装置１００は、終了指令を入力することによりステップＳ１０４の判定処理にて「Ｙｅｓ」と判定してステップＳ１２４に進む。ステップＳ１２４において、画像検索装置１００は、描画ツールの実行を終了させる。そして、画像検索装置１００は、ステップＳ１２６にて、この画像検索プログラムの実行を終了する。すなわち、検索結果の中から検索対象画像を選択せずに画像検索プログラムを終了した場合には、過去スケッチ画像の生成処理は実行されない。

上記作動説明からも理解できるように、上記第１実施形態によれば、画像検索装置１００は、入力画像の属性に基づく入力画像特徴量と、検索対象である検索対象画像の属性に基づく検索対象画像特徴量および過去スケッチ画像の属性に基づく過去画像特徴量とを比較することにより入力画像と同一または近似する画像を抽出している。この場合、入力画像、検索対象画像および過去スケッチ画像をそれぞれ表す特徴量は、画像を構成する各画素の画像全体の画素に対する相対的な位置関係を表す第１の特徴量と、同画像を構成する各画素の同各画素に隣接する画素に対する相対的な位置関係を表す第２の特徴量とによって構成されている。これにより、入力画像に対して大局的観点（第１の特徴量）と局所的観点（第２の特徴量）とから検索対象画像および過去スケッチ画像をその大きさ、配置位置および向きに関わらない形状情報に基づいて特定することができる。これらの結果、入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。また、この場合、第２の特徴量は、注目画素に対する同注目画素に隣接する隣接画素の存否の態様に応じて３種類ないし５種類の特徴量グループに振り分ける統計処理によって算出される。これにより、第２の特徴量は、互いの位置関係の２５種類の全ての存否態様パターンごとに統計処理してその結果を記憶する場合に比べて記憶しなければならない情報量が極めて少なくなり、画像検索装置１００における補助記憶装置１０３の記憶容量の使用量を抑えることができる。

また、さらに、上記第１実施形態によれば、ユーザが検索対象画像を検索するために過去に入力した画像の構成画像および組合せ画像を同検索対象画像に対応付けて記憶しておき、ユーザにより描画された画像の入力ごとに描画した入力画像全体と前記構成画像および同構成画像によって構成された組合せ画像とを比較して、同入力画像全体に近似する構成画像または組合せ画像を抽出する。そして、同抽出した構成画像または組合せ画像に対応付けられた検索対象画像を出力している。すなわち、同一の検索対象画像に対してユーザが描画した入力画像は、検索対象である検索対象画像より、同検索対象に対して同一または異なるユーザが過去に入力した過去画像に似ている可能性が極めて高い。このため、ユーザが描画した入力画像を検索対象画像と比較するより同入力画像を過去画像と比較した方が、ユーザが意図する検索対象画像を抽出し易い。また、この場合、ユーザが最終的に入力した画像と過去に入力した最終画像とを比較するより、ユーザによる画像の描画ごとに過去画像を構成する構成画像または同構成画像を組み合わせた組合せ画像と比較した方がより迅速に検索対象画像の検索を行うことができる。この結果、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。

さらに、本発明の実施にあたっては、上記第１実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、上記第１実施形態においては、過去スケッチ画像を構成する組合せ画像を補助記憶装置１０３に記憶する構成とした。しかし、組合せ画像は、構成画像の組合せによって構成されているため、必ずしも組合せ画像を生成して記憶しておく必要はない。すなわち、第１の画像検索プログラムのステップＳ１１４における検索対象画像の検索処理時において、記憶している構成画像を用いて組合せ画像および同組合せ画像に関する特徴量を算出して検索対象画像の検索処理を実行するようにしてもよい。これによれば、組合せ画像、同組合せ画像に関する特徴量を記憶するための記憶領域を節約でき、補助記憶装置１０３の記憶容量を有効的に利用することができる。

また、上記第１実施形態においては、表示装置１０６に表示された検索結果の中から特定の検索対象画像が選択されることにより、同検索対象画像に対応付けられた過去スケッチ画像が生成されるように構成した。しかし、過去スケッチ画像と検索対象画像との対応付けは、必ずしも、検索結果として抽出された検索対象画像である必要はない。すなわち、ある検索対象画像を抽出（検索）するために入力されたスケッチ画像を過去画像としてもよい。換言すれば、ユーザが意図する検索対象画像を抽出できないスケッチ画像であっても、同検索対象画像を抽出するために描画される可能性が高いスケッチ画像であれば過去スケッチ画像とし用いることができる。これによっても、ユーザが描画した入力画像に対してユーザが意図する検索対象画像を短時間に精度良く検索することができる。

また、上記第１実施形態においては、入力画像に対して検索対象画像と過去スケッチ画像とを区別せずに一括して比較するように構成した（ステップＳ１１４）。しかし、過去スケッチ画像は、ユーザが過去に用いた画像であり入力画像により近い画像であるため、検索対象画像に優先して入力画像と過去スケッチ画像とを比較するように構成してもよい。また、この場合、入力画像を構成する構成画像の数と同じ数の構成画像で構成された組合せ画像を優先的に入力画像と比較するようにするとよい。これらによれば、より効率的かつ精度良く検索対象画像の検索を行うことができる。

また、上記第１実施形態においては、ユーザが過去に入力した画像の構成画像および組合せ画像に基づいて検索対象画像を検索するように構成した。これは、ユーザの手書きによるスケッチ画像に基づいて検索対象画像を効率良く検索するためである。しかし、構成画像および組合せ画像を用いることなく、入力画像と検索対象画像との比較処理のみによって検索対象画像を抽出することもできる。また、スケッチ画像とは異なる入力形態の画像に基づいて検索対象画像を検索する場合、例えば、イメージスキャナ、デジタルカメラ、ビデオカメラまたはインターネット上などからのデジタル画像データを直接取り込んで入力画像とする場合においても入力画像と検索対象画像との比較処理のみによって検索対象画像を抽出することもできる。

この場合、画像検索装置１００は、画像検索装置１００内に取り込んだ入力画像に対して入力画像特徴量を算出するとともに、同算出した入力画像特徴量と検索対象画像特徴量との比較処理によって検索対象画像を抽出する。また、この場合、入力画像における入力画像特徴量の算出処理も画像検索装置１００に入力画像を提供する外部機器側で実行するようにしてもよい。すなわち、外部機器側から入力画像と同入力画像に対応する入力画像特徴量とを画像検索装置１００に出力するように構成してもよい。さらに、画像検索装置１００の補助記憶装置１０３に記憶されている検索対象画像特徴量も、同様に、補助記憶装置１０３に検索対象画像を提供する外部機器側で算出して補助記憶装置１０３に記憶させるように構成することもできる。これらによれば、画像検索装置１００側に入力画像特徴量や検索対象画像特徴量を算出するための構成が不要となるため、画像検索装置１００の構成や各種計算処理を簡単にすることができる。

また、上記第１実施形態においては、特徴量を構成する第２の特徴量にける特徴量グループは、注目画素ｉに隣接する２つ以下の隣接画素ｒの存否の態様を５種類の存否態様パターンによって構成した。しかし、本発明者による実験によれば、特徴量グループは、注目画素ｉに隣接する２つ以下の隣接画素ｒの存否の態様からなる３種類ないし５種類の特徴量グループを用いることができる。例えば、上記第１実施形態における特徴量グループ２と特徴量グループ３とを１つの特徴量グループ２として合計４つの特徴量グループとしてもよいし、上記第１実施形態における特徴量グループ４を省略して合計４つの特徴量グループとしてもよい。また、上記第１実施形態における特徴量グループ２と特徴量グループ３とを１つの特徴量グループ２とするとともに、上記第１実施形態における特徴量グループ４を省略して合計３つの特徴量グループとしてもよい。これらによれば、第２の特徴量は、上記実施形態に比して記憶しなければならない情報量が更に少なくなるため、画像検索装置１００における補助記憶装置１０３の記憶容量の使用量をより抑えることができる。

（第２実施形態）
次に、本発明に係る画像検索装置の第２実施形態について図面を参照しながら説明する。この第２実施形態は、上記第１実施形態をベースにして検索対象画像の検索精度を更に向上させたものである。このため、上記第１実施形態と共通する部分の説明は省略して異なる部分についてのみ説明する。

この第２実施形態は、上記第１実施形態における過去スケッチ画像を構成する組合せ画像のうち、同一の検索対象画像に対応付けられる頻度が高い組合せ画像を他の組合せ画像に優先して検索対象画像の検索処理に用いることに特徴がある。具体的には、同一の検索対象画像に対応付けられた組合せ画像で、かつ筆順が連続する２つの構成画像で構成された組合せ画像の中から、同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として他の組合せ画像とは区別して補助記憶装置１０３内に記憶しておく。

この高頻度組合せ画像は、ユーザが同一の検索対象画像に対して入力画像を描画する際、筆順が連続する傾向にある２つ以上の構成画像が存在することに着目し、互いに同一の構成画像で構成され、かつ同一の筆順で描画された組合せ画像を入力画像との比較対象にしたものである。本発明者によれば、例えば、所謂「へのへのもへじ」を描画する際、ユーザごとにその筆順が異なることがあるが、そのような場合であっても「の」の次に「へ」を描画するという筆順は多くのユーザに共通していることを見出した。また、ユーザが自動車の側面図を描画する場合においては、自動車の前後のタイヤを連続して描画する、すなわち、「○」を連続して２つ並べて書く傾向が強いことを見出した。本発明は、上記したような経験則に着目して完成されたものである。

図１０は、本第２実施形態における検索対象画像、過去スケッチ画像および高頻度組合せ画像の関係を模式的に示している。なお、図１０においては、描画ツールに実際に描画した画像は省略している。図において、検索対象画像１には、３つの過去スケッチ画像１〜３が対応付けられて補助記憶装置１０３に記憶されている。各過去スケッチ画像１〜３において丸付き数字「１」〜「５」は、構成画像および組合せ画像を構成する構成画像の数を表している。そして、各過去スケッチ画像１〜３における組合せ画像のうち２つの構成画像で構成された組合せ画像（丸付き数字「２」の行の組合せ画像）の中から、描画ツールに描画した際、連続した筆順で描画した２つの構成画像で構成された組合せ画像であって（図においてグレーのハッチングを施した組合せ画像）、同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い高頻度組合せ画像にフラグを立てて他の組合せ画像と区別して補助記憶装置１０３内に記憶しておく。

（画像検索装置１００の作動）
次に、本第２実施形態における画像検索装置１００の作動について説明する。この画像検索装置１００による検索対象画像の検索処理の前提として、画像検索装置１００における補助記憶装置１０３には、上記第１実施形態と同様に、検索対象画像が検索対象画像特徴量とともに記憶されているとともに、過去スケッチ画像が過去画像特徴量とともに検索対象画像に対応付けられて記憶されている。そして、この過去スケッチ画像における組合せ画像の中には、前記高頻度組合せ画像が他の組合せ画像と区別して記憶されている。

ユーザは、上記第１実施形態と同様の手順を経て画像検索の開始を画像検索装置１００に指示する。この指示に応答して、画像検索装置１００は、図１１に示す第２の画像検索プログラムをステップＳ１００にて開始する。この第２の画像検索プログラムは、上記第１実施形態における第１の画像検索プログラムの一部のステップ（ステップＳ１１０）を変更するとともに、新たなステップ（ステップＳ１１１，ステップＳ１２１，ステップＳ１３０〜ステップＳ１３８）を加えたものである。したがって、第２の画像検索プログラムの作動説明においては、変更したステップおよび新たに追加したステップについて説明する。

画像検索装置１００は、描画ツールを介してユーザが描画した画像を取得した場合には、ステップＳ１１０’におけるスケッチ画像の記憶処理を実行する。この場合、画像検索装置１００は、描画領域Ｗ３ａ内に直近に描画された一筆分の描画画像を同描画画像の筆順とともに一時的に記憶する。ここで、描画画像の筆順とは、描画領域Ｗ３ａ内に描画画像が描画された順番を意味する。例えば、何も描画されていない描画領域Ｗ３ａ内に最初の一筆目で描画した描画画像の筆順は「１」であり、次の一筆で描画された描画画像の筆順は「２」である。なお、このステップＳ１１０’におけるスケッチ画像の記憶処理においては、上記第１実施形態と同様に、描画領域Ｗ３ａ内に描画された全ての描画画像を１つの入力画像として一時的に記憶する。

次に、画像検索装置１００は、ステップＳ１１１にて、前記取得した一筆分の描画画像が２筆目以降に描画された画像であるか否かを判定する。この場合、描画ツールを介して取得した直近の一筆分の描画画像が１筆目に描画されたものである場合には、この判定処理において「Ｎｏ」と判定されてステップＳ１１２に進み、ステップＳ１１４〜ステップＳ１１６の各処理が実行される。すなわち、一筆分の描画画像が１筆目に描画されたものである場合には、上記第１実施形態と同様に入力画像の特徴量が計算されて検索対象画の検索が行われる。これは、高頻度組合せ画像が２つの構成画像によって構成されていることに起因する。したがって、高頻度組合せ画像が3つの構成画像で構成されている場合には、ユーザにより最低３筆分の描画が行われる必要がある。

一方、描画ツールを介して取得した直近の一筆分の描画画像が２筆目以降に描画されたものである場合には、この判定処理において「Ｙｅｓ」と判定されてステップＳ１３０に進む。ステップＳ１３０にて、画像検索装置１００は、２筆組合せ画像を生成する。２筆組合せ画像は、直近に取得した一筆分の描画画像と同描画画像の一筆分前に描画された描画画像との組合せ画像である。この２筆組合せ画像を構成する描画画像の数は、高頻度組合せ画像を構成する構成画像の数に対応している。すなわち、この２筆組合せ画像が、本発明に係る筆順組合せ画像に相当する。

次に、画像検索装置１００は、ステップＳ１３２にて、前記生成した２筆組合せ画像の特徴量を算出する。この２筆組合せ画像の特徴量である２筆組合せ画像特徴量は、上記第１の実施形態と同様の計算処理によって算出された第１の特徴量および第２の特徴量によって構成されているため、その説明は省略する。

次に、画像検索装置１００は、ステップＳ１３４にて、検索対象画像の検索処理を実行する。このステップＳ１３４における検索対象画像の検索処理は、２筆組合せ画像に対する高頻度組合せ画像の画像間距離を測定し、同画像間距離が所定値以下の高頻度組合せ画像を抽出するものである。この場合、両画像間における画像間距離は、前記２筆組合せ画像特徴量と高頻度組合せ画像に対応する過去画像特徴量を用いて算出される。この画像間距離の算出は、上記第１実施形態と同様であるため、その説明は省略する。すなわち、このステップＳ１３４における検索対象画像の検索処理は、描画ツールを介して入力された直近の２筆分の描画画像と、筆順が連続する傾向にある２つの構成画像で構成された高頻度組合せ画像とを比較することにより、ユーザが意図する検索対象画像を早期かつ高精度に抽出するものである。なお、検索処理の結果、１つの２筆組合せ画像に対して検出対象画像が異なる複数の高頻度組合せ画像が抽出される場合がある。この場合、画像検索装置１００は、画像間距離が短い順に高頻度組合せ画像を配列して抽出する。

次に、画像検索装置１００は、ステップＳ１３６にて、前記ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出されたか否かを判定する。この場合、ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出された場合には、この判定処理にて「Ｙｅｓ」と判定されてステップＳ１３８に進み、ステップＳ１３８にて検索結果を表示装置１０６に表示させる。この場合、画像検索装置１００は、２筆組合せ画像に対して画像間距離が短い順に高頻度組合せ画像に対応付けられた検索対象画像をウィンドウＷ２に表示させる。そして、画像検索装置１００は、ステップＳ１０４に戻る。

一方、ステップＳ１３４における検索対象画像の検索処理によって高頻度組合せ画像が抽出されなかった場合には、この判定処理にて「Ｎｏ」と判定されてステップＳ１１２に進み、ステップＳ１１４〜ステップＳ１１６の各処理が実行される。すなわち、高頻度組合せ画像が抽出されなかった場合には、上記第１実施形態と同様に特徴量が計算されて検索対象画の検索が行われる。

次に、ステップＳ１２１における高頻度組合せ画像の抽出処理について説明する。このステップＳ１２１における高頻度組合せ画像の抽出処理は、表示装置１０６上に表示された検索結果の中からユーザによって特定の検索対象画像が選択された場合に、ステップＳ１０６、ステップＳ１１８およびステップＳ１２０の各処理を経て実行される。そして、この高頻度組合せ画像の抽出処理は、同一の検索対象画像に対応付けられた組合せ画像で、かつ筆順が連続する２つの構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像が高頻度組合せ画像として抽出される。

本第２実施形態においては、同一の検索対象画像に対応付けられた組合せ画像を過去スケッチ画像ごとに抽出し、同抽出した過去スケッチごとの組合せ画像の中から筆順が連続する２つの構成画像で構成された組合せ画像をそれぞれ抽出する。これにより、筆順が連続する２つの構成画像で構成された組合せ画像が過去スケッチ画像ごとに抽出される。この場合、抽出された各組合せ画像は、それぞれ同一の検索対象画像に対応付けられている。そして、これらの同一の検索対象画像に対応付けられた全ての組合せ画像において、同じ画像構成で構成された組合せ画像の数、換言すれば、過去スケッチ画像間において重複する組合せ画像の数を数える。これにより、同一検索対象画像に対応付けられる頻度が高い組合せ画像を特定することができる。

例えば、図１２（Ａ）〜（Ｃ）に示すように、ある自動車の検索対象画像に対して３通りの筆順で描画された入力画像（Ａ）〜（Ｃ）に対する高頻度組合せ画像の抽出処理について考える。まず、各入力画像（Ａ）〜（Ｃ）において、筆順が連続する２つの構成画像で構成された組合せ画像Ａ１，Ａ２、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３を生成する。次に、図１３〜図１５に示すように、各組合せ画像Ａ１，Ａ２、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３に対して、各入力画像（Ａ）〜（Ｃ）を構成する組合せ画像Ａ１，Ａ２、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３の中から画像構成が最も似ている組合せ画像Ａ１，Ａ２、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３を各入力画像（Ａ）〜（Ｃ）ごとに１つだけ特定する。

例えば、入力画像（Ａ）における組合せ画像Ａ１に似ている組合せ画像として、組合せ画像Ａ１，Ｂ４，Ｃ３が抽出される。この場合、各組合せ画像の比較処理は、各組合せ画像における各特徴量を用いて行う。ここで、抽出の基準となる組合せ画像を基準組合せ画像とし、基準組合せ画像に対して抽出された組合せ画像を抽出組合せ画像とする。次に、基準組合せ画像に対して抽出された抽出組合せ画像と、同各抽出組合せ画像を基準組合せ画像としたときに抽出された抽出組合せ画像とを比較して画像構成が同一の抽出組合せ画像の数を数える（図において括弧書きの数字）。

この計数処理を全ての抽出組合せ画像に対して実行し、基準組合せ画像ごとに合計値を算出する（図において右端の数字）。これにより、入力画像（Ａ）〜（Ｃ）ごとに重複する組合せ画像の数が計数される。すなわち、この計数値が最も大きい組合せ画像が、過去スケッチ画像間において最も重複する組合せ画像であり、同一検索対象画像に対応付けられる頻度が高い組合せ画像である。この例においては、組合せ画像Ａ１，Ｂ４，Ｃ３が同一検索対象画像に対応付けられる頻度が他の組合せ画像に比べて高い組合せ画像である。

上記作動説明からも理解できるように、上記第２実施形態によれば、入力画像を構成する構成画像を描画する筆順のうち、互いに連続する筆順の構成画像で構成された組合せ画像の中から高い頻度で検索対象画像に対応付けられる組合せ画像を高頻度組合せ画像として記憶しておき、ユーザにより描画された画像と組合せ画像とを比較する際、画像入力装置１００に対する直近の筆順から高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される入力画像と高頻度組合せ画像との比較処理を他の組合せ画像と入力画像との比較処理に優先して実行している。このため、経験的に筆順が連続する傾向にある２つ以上の構成画像で構成される組合せ画像を高頻度組合せ画像として優先的に入力画像と比較することにより、入力画像に対する比較の順番を考慮せずに全ての構成画像および組合せ画像に対して比較処理を実行する場合に比べて効率的かつ高精度な検索処理を実行することができる。

さらに、本発明の実施にあたっては、上記第２実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。なお、下記に示す各変形例は、上記第１実施形態に適用できることを排除するものでないことは当然である。

例えば、上記第２実施形態においては、表示装置１０６に表示された検索結果の中から特定の検索対象画像が選択されることにより、同検索対象画像に対応付けられた高頻度組合せ画像を自動的に抽出するように構成した。しかし、同一の検索対象物に対応付けられる組合せ画像の中からユーザが高頻度組合せ画像として指定して記憶させる構成であってもよい。すなわち、高頻度組合せ画像は、必ずしも画像検索装置１００による計算処理によって抽出する必要はない。また、高頻度組合せ画像の抽出方法も本第２実施形態に限定されるものではないことは、当然である。

また、上記第２実施形態においては、組合せ画像にフラグを立てることにより高頻度組合せ画像を他の組合せ画像と区別して記憶するように構成した。しかし、高頻度組合せ画像を他の組合せ画像と区別する方法は、当然、上記第２実施形態に限定されるものではない。例えば、同一の検索対象画像に対応付けられた組合せ画像の中から、高頻度組合せ画像として抽出した組合せ画像のみ集めたデータベースを生成するように構成してもよい。これによっても、上記第２実施形態と同様の効果が期待できる。

また、上記第２実施形態においては、連続する２つの筆順で描画された構成画像からなる組合せ画像の中から高頻度組合せ画像を抽出するように構成した。しかし、高頻度組合せ画像は、筆順が連続する２つ以上の構成画像で構成された組合せ画像の中から抽出するようにすれば、上記実施形態に限定されるものではない。すなわち、連続する３つ、または４つの筆順で描画された構成画像で構成される組合せ画像の中から高頻度組合せ画像を抽出するようにしてもよい。これらによっても、上記第２実施形態と同様の効果が期待できる。

また、上記第２実施形態においては、同一の検索対象画像に対応付けられた組合せ画像の中から１つの高頻度組合せ画像（Ａ１，Ｂ４，Ｃ３）を抽出するように構成した。しかし、高頻度組合せ画像を抽出する数は、必ずしも１つである必要はなく２つ以上抽出するように構成してもよい。この場合、抽出した複数の高頻度組合せ画像に対して頻度に応じた優先度を付し、２筆組合せ画像に対して優先度が高い高頻度組合せ画像から比較処理を実行するようにするとよい。これによっても、上記第２実施形態と同様の効果が期待できる。

また、上記第２実施形態においては、入力画像特徴量、過去画像特徴量、検索対象画像特徴量および２筆組合せ画像特徴量などの各特徴量を各画像の形状に基づいて算出するように構成した。しかし、これらの各特徴量は、画像の属性（例えば、輝度情報、色彩情報、画像周波数、ヒストグラム、形状）に基づいて算出すれば、当然、上記第２実施形態に限定されるものではない。これによっても、上記第２実施形態と同様の効果が期待できる。

また、上記第２実施形態においては、ユーザはマウス１０５ｂを操作して手書き感覚で入力画像を描画するように構成した。しかし、このような手書き感覚の描画形態に代えてまたは加えて、画像の描画に用いる部品画像を予め補助記憶装置１０３に記憶しておき、入力画像の描画の際に適宜、部品画像を用いて描画を行えるようにしてもよい。このような部品画像としては、マウスやペンタブレットなどの入力装置では描画が困難な画像や使用頻度の高い画像が考えられる。特に、人の顔画像は詳細に描き難いため、目、口、鼻、眉毛および髪型などの顔面の構成要素を予め部品画像として記憶しておき、入力画像の描画時には、所謂「福笑い」や「モンタージュ写真」を作成する感覚で入力画像を描画することができる。この場合、入力画像を手書きで描画した際における筆順は、部品画像を選択して入力装置に入力する順番に対応する。これによれば、入力画像の描画の作業性が向上するとともに、検索対象画像の検索精度も向上する。

Claims (14)

1. 画像を入力する画像入力手段と、
   検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段と、
   画像の属性に基づく特徴量であって前記画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と前記検索対象画像の属性に基づく検索対象画像特徴量とを比較して、前記検索対象画像記憶手段に記憶した前記検索対象画像の中から前記入力画像に近似する前記検索対象画像を抽出する検索対象画像抽出手段と、
   前記抽出された検索対象画像を検索結果として出力する検索結果出力手段とを備える画像検索装置において、
   前記画像の属性に基づく特徴量は、
   前記画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した大局的な相対的位置関係を表す第１の特徴量と、
   前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様パターンを３ないし５種類の特徴量グループに分類して統計処理することにより算出した局所的な相対的位置関係を表す第２の特徴量とで構成されていることを特徴とする画像検索装置。
2. 請求項１に記載した画像検索装置において、
   前記第２の特徴量における前記特徴量グループは、
   前記少なくとも２つの画素が、水平方向、垂直方向および互いに直交する２つの斜め方向の位置関係を含んで構成されている画像検索装置。
3. 請求項１に記載した画像検索装置において、
   前記第１の特徴量および前記第２の特徴量における前記所定の条件に従ってそれぞれ抽出した複数の各画素は、前記入力画像および前記検索対象画像の各輪郭部を構成する画素である画像検索装置。
4. 請求項１ないし請求項３のうちのいずれか１つに記載した画像検索装置において、
   前記画像入力手段は、ユーザが描画する画像を入力するものであり、
   前記検索対象画像を検索するために前記画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶手段と、
   前記構成画像記憶手段に記憶した前記構成画像を前記最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成手段と、
   前記構成画像および前記組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出手段と、
   前記画像入力手段に前記構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して前記入力画像特徴量をそれぞれ算出する入力画像特徴量算出手段と、
   前記過去画像特徴量と前記入力画像特徴量とを比較して、前記構成画像および前記組合せ画像の中から前記入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出手段とを備え、
   前記検索結果出力手段は、前記検索対象画像抽出手段によって抽出された前記検索対象画像に加えて、前記近似過去画像に対応付けられた前記検索対象画像を検索結果として出力することを特徴とする画像検索装置。
5. 請求項４に記載した画像検索装置において、さらに、
   前記ユーザが前記検索結果の中から前記検索対象画像を指定するための検索画像指定手段を備え、
   前記構成画像記憶手段は、前記検索画像指定手段により前記検索画像が指定されたとき、前記最終入力画像を構成する構成画像を同検索画像に対応させて記憶することを特徴とする画像検索装置。
6. 請求項４に記載した画像検索装置において、
   前記近似過去画像抽出手段は、同一の検索対象画像に対して前記画像入力手段に入力された入力画像を構成する構成画像の数に応じた数の前記構成画像または同構成画像で構成された前記組合せ画像に対応する前記過去画像特徴量と前記入力画像特徴量とを比較して前記近似過去画像を抽出することを特徴とする画像検索装置。
7. 請求項４に記載した画像検索装置において、
   前記構成画像記憶手段は、前記構成画像とともに同構成画像が前記画像入力手段に入力された順番を筆順として記憶し、
   同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の前記構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として記憶する高頻度組合せ画像記憶手段と、
   前記画像入力手段に前記構成画像が入力されるごとに、同画像入力装置に対する直近の筆順から前記高頻度組合せ画像を構成する構成画像の数だけ遡った数の筆順内に含まれる構成画像によって構成される筆順組合せ画像を生成する筆順組合せ画像生成手段とを備え、
   前記入力画像特徴量算出手段は、前記筆順組合せ画像に対する前記特徴量である筆順組合せ画像特徴量を算出し、
   前記近似過去画像抽出手段は、前記過去画像特徴量のうち、前記高頻度組合せ画像に対応する過去画像特徴量と前記筆順組合せ画像特徴量との比較処理を他の過去画像特徴量および入力画像特徴量の比較処理に優先して実行することにより前記近似過去画像を抽出し、
   前記検索結果出力手段は、前記過去画像抽出手段にて前記高頻度組合せ画像が前記近似過去画像として抽出されたとき、同抽出された近似過去画像に対応付けられた前記検索対象画像を出力することを特徴とする画像検索装置。
8. 請求項７に記載した画像検索装置において、
   同一の検索対象画像に対応付けられた組合せ画像で、かつ前記筆順が連続する２つ以上の前記構成画像で構成された組合せ画像の中から、前記同一検索対象画像に対応付けられる頻度が他の組合せ画像より高い組合せ画像を高頻度組合せ画像として抽出する高頻度組合せ画像抽出手段を備えることを特徴とする画像検索装置。
9. 請求項７または請求項８に記載した画像検索装置において、
   前記高頻度組合せ画像抽出手段は、同一の検索対象画像に対して複数の高頻度組合せ画像を抽出するとともに、同抽出した各高頻度組合せ画像における頻度に応じた優先度を算出し、
   前記近似過去画像抽出手段は、前記優先度の高い順に前記高頻度組合せ画像に対応する過去画像特徴量を用いて前記近似過去画像を抽出することを特徴とする画像検索装置。
10. 請求項４に記載した画像検索装置において、
    前記検索対象画像記憶手段は、前記検索対象画像特徴量を記憶しており、
    前記検索対象画像抽出手段は、前記近似過去画像抽出手段により前記近似過去画像が抽出されなかったとき、前記検索対象画像特徴量と前記入力画像特徴量とを比較して、前記入力画像に近似する前記検索対象画像を抽出することを特徴とする画像検索装置。
11. 請求項４に記載した画像検索装置において、
    前記構成画像は、前記画像入力手段に一筆で入力された画像情報であることを特徴とする画像検索装置。
12. 請求項４に記載した画像検索装置において、
    前記画像入力手段に対する画像の描画に用いるための部品画像を記憶する部品画像記憶手段を備え、
    前記構成画像は、前記画像入力手段を介して入力された前記部品画像であることを特徴とする画像検索装置。
13. 画像を入力する画像入力手段と、
    検索対象となる複数の検索対象画像をそれぞれ記憶する検索対象画像記憶手段とを備えた画像検索装置の作動を制御するコンピュータ装置に、
    画像の属性に基づく特徴量であって前記画像入力手段により入力された入力画像の属性に基づく入力画像特徴量と前記検索対象画像の属性に基づく検索対象画像特徴量とを比較して、前記検索対象画像記憶手段に記憶した前記検索対象画像の中から前記入力画像に近似する前記検索対象画像を抽出する検索対象画像抽出ステップと、
    前記抽出された検索対象画像を検索結果として出力する検索結果出力ステップとを実行させることにより前記画像入力手段に入力された入力画像に基づいて前記検索対象画像記憶手段から前記検索対象画像を検索するための画像検索用コンピュータプログラムであって、
    前記画像の属性に基づく特徴量は、
    前記画像を構成する各画素を所定の条件に従って複数抽出した各画素ごとに、注目画素から放射状に存在する他の画素数を所定の方向ごとに計数するとともに同所定の方向ごとに計数した画素数の分布状態を統計処理することにより算出した大局的な相対的位置関係を表す第１の特徴量と、
    前記複数抽出した各画素ごとに、前記注目画素に対する同注目画素に隣接する２つ以下の隣接画素の存否の態様パターンを３ないし５種類の特徴量グループに分類して統計処理することにより算出した局所的な相対的位置関係を表す第２の特徴量とで構成されていることを特徴とする画像検索用コンピュータプログラム。
14. 請求項１３に記載した画像検索用コンピュータプログラムにおいて、
    前記検索対象画像を検索するためにユーザが描画する画像を入力する前記画像入力手段に対して最終的に入力された最終入力画像を構成する構成画像を同検索対象画像に対応させて記憶する構成画像記憶ステップと、
    前記構成画像記憶ステップにて記憶した前記構成画像を前記最終入力画像単位で互いに組み合わせて組合せ画像を生成する組合せ画像生成ステップと、
    前記構成画像および前記組合せ画像に対する前記特徴量である過去画像特徴量をそれぞれ算出する過去画像特徴量算出ステップと、
    前記画像入力手段に前記構成画像が入力されるごとに、入力された全ての構成画像を含む入力画像に対して前記入力画像特徴量をそれぞれ算出する入力画像特徴量算出ステップと、
    前記過去画像特徴量と前記入力画像特徴量とを比較して、前記構成画像および前記組合せ画像の中から前記入力画像に近似する画像を近似過去画像として抽出する近似過去画像抽出ステップとを含み、
    前記検索結果出力ステップは、前記検索対象画像抽出ステップに抽出された前記検索対象画像に加えて、前記近似過去画像に対応付けられた前記検索対象画像を検索結果として出力することを特徴とする画像検索用コンピュータプログラム。