JP3674633B2 - 画像検索装置、電子スチルカメラ、および画像検索方法 - Google Patents
画像検索装置、電子スチルカメラ、および画像検索方法 Download PDFInfo
- Publication number
- JP3674633B2 JP3674633B2 JP2004332647A JP2004332647A JP3674633B2 JP 3674633 B2 JP3674633 B2 JP 3674633B2 JP 2004332647 A JP2004332647 A JP 2004332647A JP 2004332647 A JP2004332647 A JP 2004332647A JP 3674633 B2 JP3674633 B2 JP 3674633B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- recorded
- recording
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は画像の検索技術に関し、特に、描画入力した画像イメージを基に記録画像を検索する画像検索技術に関する。
デジタルカメラで撮像された被写体像は、ＣＣＤによる光電変換、信号変換及び信号処理等を経て画像データとして記憶媒体に記録される。この場合、画像データは記録媒体上に撮像した順番に記録されてゆく。
また、デジタルカメラの多くは液晶ディスプレイ等からなる表示装置を備えており、撮像後に記録媒体から読み出した再生画像を表示することもできる。しかし、このようなデジタルカメラで再生画像を表示する場合には、画像データは撮像した順序で記録媒体から読み出されるので、表示装置の画面上にも撮像順に表示される。
そして、記録画像の中から所望の画像を探し出そうとする場合には所望の画像が現われるまで再生画像をコマ送りしたり、サイズの小さい簡易画像（サムネイル画像）を１画面に複数枚表示（マルチ画面表示）してコマ送りし、所望の簡易画像が表示された場合にそれを指定して元の画像を再生して表示していた。
上記従来の検索方法は記録されている画像が少ない場合にはともかく、大量の画像が記録されている場合には所望の画像を探し出すためのコマ送りが煩わしいという問題点があった。また、これに加えて所望の画像を複数枚探し出す場合（所望の画像が記録画像の最後に有った場合）には記録画像を全て再生してコマ送りして探し出さなければならないという問題点があった。
コマ送りによる画像検索の他に、キーワードによって画像を検索することもできるが、この場合には予め画像に対応させてキーワードを登録する必要があり、画像入力時にキーワードを付加する必要がある他、画像とキーワードの対応付けをユーザが記憶したりメモしたりしておかなければならないという問題点があった。
本発明は、上記問題点を解決するためになされたものであり、検索用画像を基に所望の記録画像を検索する画像検索装置、電子スチルカメラ、および画像検索方法の提供を目的とする。
上記の目的を達成するために、第１の発明の画像検索装置は、複数の画像を記録する画像記録手段と、検索用画像を取得する画像取得手段と、この画像取得手段により取得された検索用画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用画像と類似度の高い記録画像を検索する第１の画像検索手段と、この第１の画像検索手段により検索された記録画像を検索用記録画像として用いるか否かを選択する選択手段と、この選択手段により検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する第２の画像検索手段と、前記選択手段により検索用記録画像として用いないことが選択された場合、前記第１の画像検索手段に対して次の記録画像の検索を行わせる制御手段と、を有することを特徴とする。
また、第２の発明は上記第１の発明の画像検索装置において、前記画像取得手段は、絵または図形を所定領域に描画入力する描画入力手段を含み、前記第１の画像検索手段は、前記描画入力手段により描画入力された絵または図形と前記画像記録手段に記録されている前記各画像とを比較して、前記絵または図形と類似度の高い記録画像を検索することを特徴とする。
また、第３の発明の画像検索装置は上記第１又は第２の発明の画像検索装置において、前記第１の画像検索手段により検索された記録画像を表示する表示手段を有することを特徴とする。
また、第４の発明の画像検索装置は上記第３の発明の画像検索装置において、前記表示手段は、前記第２の画像検索手段により検索された記録画像を表示する手段を含むことを特徴とする。
また、第５の発明の電子スチルカメラは、被写体を撮影し、撮影画像を出力する撮影手段と、この撮影手段から出力された撮影画像を複数記録する画像記録手段と、検索用画像を取得する画像取得手段と、この画像取得手段により取得された検索用画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用画像と類似度の高い記録画像を検索する第１の画像検索手段と、この第１の画像検索手段により検索された記録画像を検索用記録画像として用いるか否かを選択する選択手段と、この選択手段により検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する第２の画像検索手段と、前記選択手段により検索用記録画像として用いないことが選択された場合、前記第１の画像検索手段に対して次の記録画像の検索を行わせる制御手段と、を有することを特徴とする特徴とする。
また、第６の発明の画像検索方法は、検索用画像を取得する工程と、前記取得された検索用画像と画像メモリに記録されている各画像とを比較して、前記検索用画像と類似度の高い第１の記録画像を検索する工程と、前記検索された第１の記録画像を検索用記録画像として用いるか否かを選択する工程と、前記第１の記録画像を検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像メモリに記録されている各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する工程と、前記第１の記録画像を検索用記録画像として用いないことが選択された場合、前記取得された検索用画像と画像メモリに記録されている各画像とを比較して、前記検索用画像と類似度の高い次の記録画像を検索する工程と、前記検索された次の記録画像を検索用記録画像として用いるか否かを選択する工程と、前記次の記録画像を検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像メモリに記録されている各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する工程と、を有することを特徴とする。
以上説明したように、描画したイメージと記録画像を比較していわゆる曖昧検索を行なうので、早送りの手間やキーワード入力の煩わしさなしに画像記録メモリに記録された大量の画像の中からユーザのイメージに合った画像を探し出すことができる。また、色彩や位置を検索要素とした場合には、検索の精度が向上する。
また、最初に描画のイメージで記録画像を検索してから、検索で得た画像でさらに検索を行なうので、２枚目以降の検索画像は描画されたイメージ（描画図）よりも明確な像をもとにして検索できるので、検索精度が向上する。また、検索スピードも早くなる。
また、所望の記録画像を検索用の像として記録画像を検索するので簡単で正確且つ迅速な画像検索が実現できる。
また、撮影像で記録画像を検索するので簡単で正確且つ撮影現場での迅速な画像検索が実現できる。
また、輪郭を比較要素とすることにより画像認識が容易になる。また、色彩および／または位置を比較要素とすることにより認識精度が向上する。
また、記録画像の比較要素を予めメモリに登録しておき、検索時にそれを基に画像認識を行なえるので検索精度が向上するだけでなく、より高速な検索が可能となる。
また、候補画像が複数ある場合にマルチ表示できるので、ユーザは所望の画像をマルチ表示画面から即時に選ぶことができる。
また、検索用画像のうちの検索に適した部分画像だけで検索を行なえるので検索速度が更に向上するとともに、検索精度がより向上する。
また、イメージの入力を手書き入力で行なうのでイメージ入力が簡単でユーザにイメージ入力操作上の負担を与えない。
また、入力イメージ或いは画像の特徴要素と記録画像の特徴要素を比較するので、検索精度が高い。
また、認識結果の報知を液晶ディスプレイ等の画面への表示により行なうので、ユーザが一見して認識結果を知ることができる。また、画像検索装置による認識順位が高くてもユーザの所望する結果でない場合や、認識順位が低くてもユーザの所望する結果である場合があるが、認識結果を表示することによりユーザが真に所望する結果を得るチャンスがより増大する。
＜実施形態（１）＞
図１は本発明の描画入力による画像検索方法の概要説明図である。本実施の形態では、画像検索装置１００は指やタッチペン３Ａ等で手書きされた検索用描画図（検索したい画像の全体像または部分像を描いた図をいう）５０１，５０２，５０３（図１（ａ））の特徴要素と記録画像の部分画像５０１’，５０２’，５０３’、・・（図１（ｂ））の特徴要素との比較により特徴要素の一致度の高い記録画像を抽出して、候補画像１１１，１１２，１１３，１１４，・・として表示し（図１（ｃ））、表示された候補画像の中からユーザがイメージした画像（図１（ｃ）の例では画像１１１）を選択することにより、キーワード入力やコマ送りなしに所望の画像を容易に検索できる。
図１は本発明の描画入力による画像検索方法の概要説明図である。本実施の形態では、画像検索装置１００は指やタッチペン３Ａ等で手書きされた検索用描画図（検索したい画像の全体像または部分像を描いた図をいう）５０１，５０２，５０３（図１（ａ））の特徴要素と記録画像の部分画像５０１’，５０２’，５０３’、・・（図１（ｂ））の特徴要素との比較により特徴要素の一致度の高い記録画像を抽出して、候補画像１１１，１１２，１１３，１１４，・・として表示し（図１（ｃ））、表示された候補画像の中からユーザがイメージした画像（図１（ｃ）の例では画像１１１）を選択することにより、キーワード入力やコマ送りなしに所望の画像を容易に検索できる。
ここで、比較する特徴要素の例としては検索用描画図の輪郭特徴と記録画像の輪郭特徴（図８）や、検索用描画図の輪郭内部に施された色彩と部分画像の色彩（図９）、または検索用描画図の配置と部分画像の配置等（図１０）を挙げることができるがこれらに限定されない。
［回路構成例］
図２はデジタルカメラの構成例を示すブロック図であり、画像検索装置１００は撮像部１、描画入力部２、操作部３、制御部４、画像認識部５、作業用メモリ６，画像記録用メモリ７、画像再生部８、表示部９および液晶ディスプレイ（ＬＣＤ）１０を備えている。
図２はデジタルカメラの構成例を示すブロック図であり、画像検索装置１００は撮像部１、描画入力部２、操作部３、制御部４、画像認識部５、作業用メモリ６，画像記録用メモリ７、画像再生部８、表示部９および液晶ディスプレイ（ＬＣＤ）１０を備えている。
撮像部１は撮像レンズやレンズ駆動機構、絞り機構等の光学系と撮像レンズを介して集光された光学像を電気信号に変換する撮像素子と、撮像素子駆動部および得られた電気信号をデジタルデータに変換する信号変換部を有している。
操作部２は電源スイッチや処理選択ボタン等を備えている。ユーザが操作部２の電源スイッチや処理選択ボタン等を操作すると操作内容に対応した電気信号（コード）が制御部４に送られる。これにより、ユーザは制御部４に画像検索装置１００の起動や画像検索動作上必要な指示を与えることができる。
描画入力部３はペンまたは指で絵や線を描くとその結果が電気信号に変換される部材から構成されている。
描画入力部３として、本実施例では液晶ディスプレイ１０の上に設けた透明な感圧入力板（プラスチック等の材料からなる透明板に圧力を検知して電気信号を出力する複数の圧電素子を配設したもの）、タッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するよう構成したが、感圧素子を配設した平板（入力タブレット）を用いてタッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
また、液晶ディスプレイ１０の上に熱線を検知して電気信号を出力する感熱素子を複数配設した透明板（感熱透明板）を設け、指で描画やポイントがなされるとユーザの指から出る熱線を検知して電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
また、光線を出す入力ペンと液晶ディスプレイ１０の上に特定波長の光線を検知して電気信号を出力する光線検知素子を複数配設した透明板を設け、入力ペンでポイントがなされると入力ペンから出る特定波長の光線を検知して電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
なお、描画入力部３を設けずに、例えば、ＬＣＤ１０上にカーソルを表示させ、これをマウス或いはカーソルキー等で任意に移動させることにより描画するようにしてもよい。
描画入力部３として、本実施例では液晶ディスプレイ１０の上に設けた透明な感圧入力板（プラスチック等の材料からなる透明板に圧力を検知して電気信号を出力する複数の圧電素子を配設したもの）、タッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するよう構成したが、感圧素子を配設した平板（入力タブレット）を用いてタッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
また、液晶ディスプレイ１０の上に熱線を検知して電気信号を出力する感熱素子を複数配設した透明板（感熱透明板）を設け、指で描画やポイントがなされるとユーザの指から出る熱線を検知して電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
また、光線を出す入力ペンと液晶ディスプレイ１０の上に特定波長の光線を検知して電気信号を出力する光線検知素子を複数配設した透明板を設け、入力ペンでポイントがなされると入力ペンから出る特定波長の光線を検知して電気信号とタッチ位置の座標値（ｘ，ｙ）を出力するようにしてもよい。
なお、描画入力部３を設けずに、例えば、ＬＣＤ１０上にカーソルを表示させ、これをマウス或いはカーソルキー等で任意に移動させることにより描画するようにしてもよい。
制御部４はＣＰＵ，プログラム格納用メモリおよび一時記憶用メモリ（図示せず）を備え、画像検索装置１００の制御および本発明の画像検索処理の実行制御を行なう。プログラム格納用メモリはＲＯＭ等の不揮発性メモリからなり制御プログラムの他、画像検索処理プログラム群が格納されている。また、一時記憶用メモリはＲＡＭからなり、プログラムやデータを一時的に記憶する。そして、画像検索装置１００の起動時にプログラム格納用メモリから作業用メモリに制御プログラムと画像検索プログラム等が一時的に記憶され、ＣＰＵにより実行制御されて画像検索処理を実行する。
画像認識部５は描画入力した検索用描画図および記録画像の特徴要素の抽出を行なって両者の特徴の一致度を調べて認識処理を行なう。また、予め記録画像の特徴要素を用いて画像検索を行なうようにした場合には図１２に示したような特徴リストを記録する領域が確保される。
作業用メモリ６はＤＲＡＭ等からなり、画像認識等の際の画像データの記憶等に用いられる。
画像記録用メモリ７はフラッシュメモリやメモリカードまたは磁気ディスクや光ディスク等の記録媒体からなり、圧縮処理された撮影画像データが記録される。
画像再生部８は、読み出された記録画像データ（圧縮データ）の伸張処理を行なうため圧縮画像データを圧縮前の画像と同じ大きさで且つ同じ密度の画像に伸張する第１の伸張部と、圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より密度が粗い画像に伸張する第２の伸張部と、圧縮画像データを元の画像より小さなサイズの画像に伸張し、縮小画像を再生する画像縮小部を有している。
上記第１の伸張部では画像は元通りに復元（再生）されるが、記録されている画像の数が多い場合には検索時間がかかるので、本実施例では、後述する画像の特徴抽出時（図３，図４）には第２の伸張部を用いて画素密度を粗にして伸張を行なうようにして、再生速度を迅速化している。
また、画像縮小部は、画像認識部５で認識処理した画像のうちで一致度が所定範囲の画像が複数枚ある場合にそれらを１画面上に９画像（３×３）、１６画像（４×４）といったようにマルチ画像表示する場合に、表示する再生画像のサイズを縮小（１画面上に９画像の場合には１／９のサイズ、１６画像の場合には１／１６のサイズ、・・）するように伸張する。
なお、マルチ画像表示するように構成した場合で、画像検索装置１００がメモリ容量が十分に大きい画像記録用メモリを備えている場合には、上述のような画像縮小部を設けることなく画像の記録時に予め画像を複数のサイズに縮小して各画像と関連づけて記憶させておき、表示の際に必要なサイズの縮小画像を抽出できるようにしてもよい。
表示部９はビデオエンコーダおよびＶＲＡＭ等の画像メモリを有し、画像データや描画入力されたデータをイメージデータに変換してＶＲＡＭにビットマップイメージで展開して、液晶ディスプレイ（ＬＣＤ）９上に画像表示させる。
［実施例１−１］ 描画入力による画像検索動作（画像特徴の抽出を伴う例）
図３は本発明の画像検索方法に基づく画像検索装置１００の動作例を示すフローチャートであり、図４は図３のステップＳ６の描画図の特徴抽出処理の一実施例を示すフローチャートであり、図５は図３のステップＳ８の記録画像の特徴抽出処理の一実施例を示すフローチャートであり、図６は図３のステップＳ１０の画像認識処理の一実施例を示すフローチャートである。また、図７は描画用選択画面の例を示す図であり、図８は輪郭のみの描画入力による画像検索例の説明図であり、図９は色彩付の描画による画像検索例の説明図であり、図１０は描画図の位置指定による画像検索例の説明図である。
図３は本発明の画像検索方法に基づく画像検索装置１００の動作例を示すフローチャートであり、図４は図３のステップＳ６の描画図の特徴抽出処理の一実施例を示すフローチャートであり、図５は図３のステップＳ８の記録画像の特徴抽出処理の一実施例を示すフローチャートであり、図６は図３のステップＳ１０の画像認識処理の一実施例を示すフローチャートである。また、図７は描画用選択画面の例を示す図であり、図８は輪郭のみの描画入力による画像検索例の説明図であり、図９は色彩付の描画による画像検索例の説明図であり、図１０は描画図の位置指定による画像検索例の説明図である。
また、本実施例では描画入力部３として液晶ディスプレイ１０上に設けた、感圧素子を配置した透明なパネル（以下、画面１１０）を用いているが前述したようにこれに限定されない。ユーザはタッチペン３Ａを用いて画面１１０にタッチして輪郭図を入力したり色彩や表示位置を指定できる。
ステップＳ１：（描画方法の選択）
図３で、画像検索処理が起動されると液晶ディスプレイ１０の画面はクリアされ、白色表示される。また、図７（ａ）の例に示すように色なし描画指定アイコン９１および色彩見本９１１（白），９１２（緑），９１３（黄），９１４（茶），・・，９１９（黒）等の複数の色見本指定コマからなる帯状の色標本９２（図７（ｂ））が表示される。なお、図７（ｂ）の例では色見本９２を９色としたがこれに限定されず混合色を含む多数の色見本としてよい。また、色標本を個々の色見本で区分せずに白→暖色→中間色→寒色→黒色に至る色分布からなる帯としてもよい。また、色見本の形状を円グラフ状にしてもよい。
図３で、画像検索処理が起動されると液晶ディスプレイ１０の画面はクリアされ、白色表示される。また、図７（ａ）の例に示すように色なし描画指定アイコン９１および色彩見本９１１（白），９１２（緑），９１３（黄），９１４（茶），・・，９１９（黒）等の複数の色見本指定コマからなる帯状の色標本９２（図７（ｂ））が表示される。なお、図７（ｂ）の例では色見本９２を９色としたがこれに限定されず混合色を含む多数の色見本としてよい。また、色標本を個々の色見本で区分せずに白→暖色→中間色→寒色→黒色に至る色分布からなる帯としてもよい。また、色見本の形状を円グラフ状にしてもよい。
ユーザが色なし描画指定アイコン９１を選択（本実施例ではタッチペンでポイント）するとＳ２に遷移し、色指定アイコン９２を選択するとＳ３に遷移する。また、ポイント結果（どのアイコンを指定したか）はＲＡＭに（例えば、ポイントされた場合にアイコンに対応するフラグをオンにする等の方法により）記憶される。
ステップＳ２：（描画（色指定なし））
ユーザが画像検索装置１００の画面１１０にタッチペン３Ａを接触させながら輪郭図を描くと（図８（ａ））、描画入力部３によってその接触軌跡が電気信号に変換されて制御部４を介して表示部９のＶＲＡＭに送られると共に、画像認識部５に送られる。表示部９では受取った電気信号をラスタデータに変換してＶＲＡＭにビットマップイメージで展開し、検索用描画図のイメージを黒色（または黒色以外の単一色）で表示する。図８（ａ）の例はユーザが大きな山５０１、小さな山５０２および家５０３のイメージを検索用描画図として描いた例であり、描画された大きな山５０１、小さな山５０２および家５０３の検索用描画図が電気信号に変換される。なお、画面には位置指定アイコン９３と描画終了アイコン９４が表示される。
ユーザが画像検索装置１００の画面１１０にタッチペン３Ａを接触させながら輪郭図を描くと（図８（ａ））、描画入力部３によってその接触軌跡が電気信号に変換されて制御部４を介して表示部９のＶＲＡＭに送られると共に、画像認識部５に送られる。表示部９では受取った電気信号をラスタデータに変換してＶＲＡＭにビットマップイメージで展開し、検索用描画図のイメージを黒色（または黒色以外の単一色）で表示する。図８（ａ）の例はユーザが大きな山５０１、小さな山５０２および家５０３のイメージを検索用描画図として描いた例であり、描画された大きな山５０１、小さな山５０２および家５０３の検索用描画図が電気信号に変換される。なお、画面には位置指定アイコン９３と描画終了アイコン９４が表示される。
ステップＳ３：（描画（色彩指定あり））
ユーザが画像検索装置１００の画面１１０にタッチペン３Ａを接触させながら検索用描画図を描いたり、輪郭内部を塗り潰したり、斜線を引くと（図９（ａ））、描画入力部３によってそのイメージが電気信号に変換されて制御部４を介して表示部９のＶＲＡＭに送られると共に、画像認識部５に送られる。表示部９では受取った電気信号をＲ，Ｇ，Ｂのラスタデータに変換してＶＲＡＭにビットマップイメージで展開し描画イメージ（輪郭または輪郭および内部色で表現されたイメージ）を指定色で表示する。画面には、色標本９２，位置指定アイコン９３および描画終了アイコン９４が表示される。
ユーザが画像検索装置１００の画面１１０にタッチペン３Ａを接触させながら検索用描画図を描いたり、輪郭内部を塗り潰したり、斜線を引くと（図９（ａ））、描画入力部３によってそのイメージが電気信号に変換されて制御部４を介して表示部９のＶＲＡＭに送られると共に、画像認識部５に送られる。表示部９では受取った電気信号をＲ，Ｇ，Ｂのラスタデータに変換してＶＲＡＭにビットマップイメージで展開し描画イメージ（輪郭または輪郭および内部色で表現されたイメージ）を指定色で表示する。画面には、色標本９２，位置指定アイコン９３および描画終了アイコン９４が表示される。
なお、輪郭と内部の色を別にする場合には画面１１０に表示されている色標本９２をポイントして次の色を選択する。図９（ａ）の例はユーザが図８の大きな山５０１、小さな山５０２および家５０３のイメージに色彩（山５０１には緑色９１２を、山５０２には茶色９１４を、家５０３には黄色９１３）を施した例である。
また、ポイント結果は制御部４の記憶用メモリ（以下、ＲＡＭ）に記憶される。また、検索用描画図について指定色データ（コード）と輪郭および輪郭内部との対応づけを行ない、その結果をＲＡＭに記憶する。
また、ポイント結果は制御部４の記憶用メモリ（以下、ＲＡＭ）に記憶される。また、検索用描画図について指定色データ（コード）と輪郭および輪郭内部との対応づけを行ない、その結果をＲＡＭに記憶する。
対応付けは、例えば、検索用描画図の番号を「１」、輪郭コードを「１」、内部コードを「２」とし、輪郭および内部の指定色を同じ緑とし、緑の色コードを「０８」とした場合には、「１１０８２０８」として記憶するようにし、輪郭の指定色を青（コード＝「０３」）、内部の指定色を青（コード＝０６）とした場合には、「１１０３２０６」として記憶するようにして行なうことができる。
ステップＳ４：（位置指定）
また、画面１１０に表示されている位置指定アイコン９３がポイントされた場合には、ＲＡＭに確保された位置指定フラグのうちその検索用描画図に対応する位置指定フラグをオン（＝１）とする。なお、画面には描画追加アイコン９５と全描画終了アイコン９６が表示される。
また、画面１１０に表示されている位置指定アイコン９３がポイントされた場合には、ＲＡＭに確保された位置指定フラグのうちその検索用描画図に対応する位置指定フラグをオン（＝１）とする。なお、画面には描画追加アイコン９５と全描画終了アイコン９６が表示される。
ステップＳ５：（追加描画入力判定）
また、画面１１０に表示されている全描画終了アイコン９４（９６）がポイントされた場合には、制御部４は描画終了と判定してＳ６の特徴抽出処理に遷移する。また、検索用描画を追加する場合（図８（ａ），図９（ａ））には描画追加アイコン９５をポイントすると追加描画入力のために、ステップＳ１でポイントした結果に応じてＳ２またはＳ３に戻る。
また、画面１１０に表示されている全描画終了アイコン９４（９６）がポイントされた場合には、制御部４は描画終了と判定してＳ６の特徴抽出処理に遷移する。また、検索用描画を追加する場合（図８（ａ），図９（ａ））には描画追加アイコン９５をポイントすると追加描画入力のために、ステップＳ１でポイントした結果に応じてＳ２またはＳ３に戻る。
ステップＳ６：（描画図の特徴抽出）
画像認識部５は検索用描画図の特徴データを抽出する。なお、特徴データとして本実施例では輪郭特徴、輪郭特徴と色彩特徴、輪郭特徴と配置、輪郭特徴，色彩特徴および配置のいずれかを抽出する（図５：ステップＳ６−１〜Ｓ６−４）がこれらに限定されないことは前述したとおりである。
特徴データとしてどの組合せを抽出するかは、上記ステップＳ１〜Ｓ４でアイコン９１〜９３のどの組合せが選択されているかによる。以下、本ステップについて図４のフローチャートを基に説明する。なお、検索用描画図が複数描かれている場合（図８（ａ），図９（ａ））には各描画図単位に特徴抽出が行なわれる（すなわち、描画毎に切出し、順次特徴抽出を行なう）。
画像認識部５は検索用描画図の特徴データを抽出する。なお、特徴データとして本実施例では輪郭特徴、輪郭特徴と色彩特徴、輪郭特徴と配置、輪郭特徴，色彩特徴および配置のいずれかを抽出する（図５：ステップＳ６−１〜Ｓ６−４）がこれらに限定されないことは前述したとおりである。
特徴データとしてどの組合せを抽出するかは、上記ステップＳ１〜Ｓ４でアイコン９１〜９３のどの組合せが選択されているかによる。以下、本ステップについて図４のフローチャートを基に説明する。なお、検索用描画図が複数描かれている場合（図８（ａ），図９（ａ））には各描画図単位に特徴抽出が行なわれる（すなわち、描画毎に切出し、順次特徴抽出を行なう）。
・ステップＳ６−１；
図４で、画像認識部５はＤＲＡＭ６に展開されたラスタデータからに示すように矩形枠内の検索用描画図の輪郭を切出す。なお、検索用描画図として複数の図を描いた場合には描画単位に切出して記憶する（図８（ｂ），図９（ｂ））。また、切出した検索用描画図の数ｉをカウントすると共に検索用描画図に大きさの順に番号を付けるか記憶位置を大きさの順に入替える（逆順にソートする）。また、検索用描画図の大きさの比較基準は本実施例では外接枠の大きさ（外接枠の対角線の長さ）としたがこれに限定されない。
図４で、画像認識部５はＤＲＡＭ６に展開されたラスタデータからに示すように矩形枠内の検索用描画図の輪郭を切出す。なお、検索用描画図として複数の図を描いた場合には描画単位に切出して記憶する（図８（ｂ），図９（ｂ））。また、切出した検索用描画図の数ｉをカウントすると共に検索用描画図に大きさの順に番号を付けるか記憶位置を大きさの順に入替える（逆順にソートする）。また、検索用描画図の大きさの比較基準は本実施例では外接枠の大きさ（外接枠の対角線の長さ）としたがこれに限定されない。
・ステップＳ６−２；
切出した検索用描画図の特徴ベクトル（方向と線分の始点および長さの組で表される）を抽出し、輪郭特徴データとしてＲＡＭに記憶する。
輪郭特徴は、本実施例では、例えば、山５０１では山裾ａ（始点）から頂上ｂまでの線分の長さとその角度で現わされるベクトルＡ１と、頂上ｂ（始点）から山裾ｃまでの線分の長さとその角度で現わされるベクトルＡ２の組として与えられる。なお、山のピークが幾つもある場合にはそのピークを終点（または始点）としてベクトル成分を抽出する。また、家５０３のように輪郭が不連続の場合には節点ｐ１，ｐ２，・・を終点（または始点）としてベクトル成分を抽出する。また、輪郭が曲線や円弧を含んでいる場合には曲線を現わす関数の係数と初期値や円弧の曲率半径等を抽出する。
切出した検索用描画図の特徴ベクトル（方向と線分の始点および長さの組で表される）を抽出し、輪郭特徴データとしてＲＡＭに記憶する。
輪郭特徴は、本実施例では、例えば、山５０１では山裾ａ（始点）から頂上ｂまでの線分の長さとその角度で現わされるベクトルＡ１と、頂上ｂ（始点）から山裾ｃまでの線分の長さとその角度で現わされるベクトルＡ２の組として与えられる。なお、山のピークが幾つもある場合にはそのピークを終点（または始点）としてベクトル成分を抽出する。また、家５０３のように輪郭が不連続の場合には節点ｐ１，ｐ２，・・を終点（または始点）としてベクトル成分を抽出する。また、輪郭が曲線や円弧を含んでいる場合には曲線を現わす関数の係数と初期値や円弧の曲率半径等を抽出する。
・ステップＳ６−３：ステップＳ１〜Ｓ３でアイコン９２が選択された場合（色指定があった場合）には、画像認識部５は検索用描画図（図９（ｂ））の色特徴を抽出する。検索用描画図の色特徴は後述の記録画像の色特徴を抽出する場合と同様に色分布から求めることもできるが、本実施例では上記ステップＳ３で色彩ありの描画を行なった場合にＲＡＭに記憶した指定色データ（コード）と輪郭および輪郭内部との対応づけの結果（色データ）を色特徴として画像認識部５に与える。なお、本実施例では色特徴を当該検索用描画図に含まれる画素数とそれぞれの色画素Ｒ（赤），Ｇ（緑），Ｂ（青）との比率としているがこれに限定されない。ステップＳ１〜Ｓ３でアイコン９２が選択されなかった場合には、Ｓ６−４に遷移する。
・ステップＳ６−４：ＲＡＭに確保された位置指定フラグを調べ、検索用描画図に対応する位置指定フラグがオンの場合には、画像認識部５は画面上での検索用描画図の中心座標を抽出してＲＡＭに記憶する。中心座標は図９（ａ）の例に示すように切出された検索用描画図に外接する枠の中心点の座標（ａ，ｂ）として得ることができる。図１０（ａ）の例では検索用描画図７０１（家）に外接する枠７０１Ａとその中心が示されている。また、検索用描画図に対応する位置指定フラグがオフの場合には、Ｓ６−５に遷移する。
・スップＳ６−５：上記ステップＳ６−１で切出した検索用描画図について上記ステップＳ６−２〜Ｓ６−４の特徴抽出処理を繰り返し、切出した全ての検索用描画図について特徴抽出処理が終了するとＳ７に遷移する。
ステップＳ７：（画像データの簡易伸張）
上記ステップＳ７の検索用描画図の特徴抽出処理が終了したあと、制御部４は画像記録用メモリ７に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像再生部８の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張して作業用メモリ（以下、ＤＲＡＭ）５に記憶する。
上記ステップＳ７の検索用描画図の特徴抽出処理が終了したあと、制御部４は画像記録用メモリ７に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像再生部８の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張して作業用メモリ（以下、ＤＲＡＭ）５に記憶する。
ステップＳ８：（記録画像の特徴抽出）
画像認識部５はＤＲＡＭ６に記憶された１フレーム分の画像の特徴データを抽出する。なお、抽出する特徴データはステップＳ６の描画図の特徴抽出の場合と同様の特徴を抽出する。以下、本ステップについて図５のフローチャートを基に説明する。なお、画像中に複数の部分画像が含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出し、大きい順に検索用描画図と同じ数になるまで部分画像単位に特徴抽出を行なう（すなわち、大きな部分画像順に検索用描画図と同じ数になるまで順次切出しおよび特徴抽出を行なう）。
画像認識部５はＤＲＡＭ６に記憶された１フレーム分の画像の特徴データを抽出する。なお、抽出する特徴データはステップＳ６の描画図の特徴抽出の場合と同様の特徴を抽出する。以下、本ステップについて図５のフローチャートを基に説明する。なお、画像中に複数の部分画像が含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出し、大きい順に検索用描画図と同じ数になるまで部分画像単位に特徴抽出を行なう（すなわち、大きな部分画像順に検索用描画図と同じ数になるまで順次切出しおよび特徴抽出を行なう）。
・ステップＳ８−１；
画像認識部５はＤＲＡＭ６展開されたラスタデータから図８（ｃ）に示すように矩形枠内の画像の輪郭を切出す。
また、１フレームの画像に部分画像が複数含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出してＤＲＡＭ６に記憶する。なお、切出した部分画像の数がステップ６−１で切出した検索用描画図の数ｉを超える場合には大きい順にｉ個記憶する。なお、部分画像の大きさの比較基準は本実施例では外接枠の大きさ（外接枠の対角線の長さ）としたがこれに限定されない。
画像認識部５はＤＲＡＭ６展開されたラスタデータから図８（ｃ）に示すように矩形枠内の画像の輪郭を切出す。
また、１フレームの画像に部分画像が複数含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出してＤＲＡＭ６に記憶する。なお、切出した部分画像の数がステップ６−１で切出した検索用描画図の数ｉを超える場合には大きい順にｉ個記憶する。なお、部分画像の大きさの比較基準は本実施例では外接枠の大きさ（外接枠の対角線の長さ）としたがこれに限定されない。
・ステップＳ８−２；
切出した部分画像５０１’、５０２’、５０３’の特徴ベクトル（方向と線分の始点および長さの組で表される）や曲線を現わす関数の係数と初期値や曲率半径等を抽出して輪郭特徴データとしてＲＡＭに記憶する。なお、輪郭特徴の抽出方法は検索画像の抽出方法と同じでよい。
切出した部分画像５０１’、５０２’、５０３’の特徴ベクトル（方向と線分の始点および長さの組で表される）や曲線を現わす関数の係数と初期値や曲率半径等を抽出して輪郭特徴データとしてＲＡＭに記憶する。なお、輪郭特徴の抽出方法は検索画像の抽出方法と同じでよい。
・ステップＳ８−３：ステップＳ１〜Ｓ３でアイコン９２が選択された場合（色指定があった場合）には、画像認識部５は部分画像の色特徴を抽出してＲＡＭに記憶する。検索用描画図の色特徴は切出した部分画像の色分布から求めることができる。なお、本実施例では色特徴を当該部分画像に含まれる画素数とそれぞれの色画素Ｒ，Ｇ，Ｂとの比率としているがこれに限定されない。
図９（ｃ）の例はカラー画像の部分画像である山５０１’、５０２’および家５０３’の色分布の山５０１’は緑色成分が８０％以上、山５０２’には茶色成分が９０％、家５０３’には灰色成分７０％、黄色成分３０％）の例である。また、色特徴の抽出結果はその輪郭特徴データと関連付けられてＲＡＭに記憶される。また、ステップＳ１〜Ｓ３でアイコン９２が選択されなかった場合には、Ｓ８−４に遷移する。
・ステップＳ８−４：ＲＡＭに確保された位置指定フラグを調べ、検索用描画図（図１０（ｂ））に対応する位置指定フラグがオンの場合には、画像認識部５は画面上での部分画像の中心座標を抽出してＲＡＭに記憶する。中心座標は図１０（ｃ），（ｄ）の例に示すように部分画像７０１’に外接する枠の中心点の座標（ｃ，ｄ）または部分画像７０１”に外接する枠の中心点の座標（ｅ，ｆ）として得ることができる。また、検索用描画図に対応する位置指定フラグがオフの場合には、Ｓ８−５に遷移する。
・スップＳ８−５：上記ステップＳ８−１で切出した部分画像について上記ステップＳ８−２〜Ｓ８−４の特徴抽出処理を繰り返し、切出した全ての部分画像について特徴抽出処理が終了するとＳ９に遷移する。
ステップＳ９：（記録画像の特徴抽出繰り返し）
記録画像の全てについて特徴抽出が終るまで上記ステップＳ７，Ｓ８を繰り返す。
記録画像の全てについて特徴抽出が終るまで上記ステップＳ７，Ｓ８を繰り返す。
ステップＳ１０：（画像認識処理）
記録画像の特徴抽出が終ると制御部４は、検索用描画図の特徴データと各画像の特徴データを順次比較して一致率を算出する。そして、一致率が所定の閾値以上の画像について類似画像として認識し（一致率が１００％なら一致）、その画像を候補画像としてその画像番号をＲＡＭに記憶する。なお、検索用描画図が複数ある場合には、大きさの順に順次その特徴データと各部分画像の特徴データを比較し、総合一致率（検索用描画図画１つの場合には一致率と等しい）が所定の閾値以上の画像について類似画像として認識し、その画像を候補画像としてその画像番号をＲＡＭに記憶する。以下、本ステップについて図６のフローチャートを基に説明する。
記録画像の特徴抽出が終ると制御部４は、検索用描画図の特徴データと各画像の特徴データを順次比較して一致率を算出する。そして、一致率が所定の閾値以上の画像について類似画像として認識し（一致率が１００％なら一致）、その画像を候補画像としてその画像番号をＲＡＭに記憶する。なお、検索用描画図が複数ある場合には、大きさの順に順次その特徴データと各部分画像の特徴データを比較し、総合一致率（検索用描画図画１つの場合には一致率と等しい）が所定の閾値以上の画像について類似画像として認識し、その画像を候補画像としてその画像番号をＲＡＭに記憶する。以下、本ステップについて図６のフローチャートを基に説明する。
・ステップＳ１０−１；
ＲＡＭに記憶したｊ（ｊ＝１〜ｎ）番目の検索用描画図（図８（ｂ），図９（ｂ）または図１０（ｂ））の輪郭特徴データと、ＲＡＭに記憶した１フレーム分の画像の各部分画像（図８（ｃ），図９（ｃ），図１０（ｃ）または図１０（ｄ）で枠線で囲まれた画像）の輪郭特徴データを比較して輪郭特徴の一致率Γを求める。
ＲＡＭに記憶したｊ（ｊ＝１〜ｎ）番目の検索用描画図（図８（ｂ），図９（ｂ）または図１０（ｂ））の輪郭特徴データと、ＲＡＭに記憶した１フレーム分の画像の各部分画像（図８（ｃ），図９（ｃ），図１０（ｃ）または図１０（ｄ）で枠線で囲まれた画像）の輪郭特徴データを比較して輪郭特徴の一致率Γを求める。
輪郭特徴の一致率（以下、輪郭一致率）は本実施例では、切出した検索用描画図と部分画像の線分ベクトルや、曲線を現わす関数の係数と初期値や、円弧の曲率半径の一致率を求め、次に夫々の一致率の自乗平均を計算して輪郭一致率Γとしている。
具体的には、図１１に示すように、切出した検索用描画図５０１の原点を左下とした場合に検索用ベクトルを形成する各部分ベクトル（特徴データ）のうち右廻りにみて原点に最も近い部分ベクトル（図１１の例ではベクトルＡ１）の線分長Ａ１Ｌと（図１１（ａ））、部分画像５０１’の原点を左下とした場合に部分画像５０１’を形成する各部分ベクトルのうち右廻りにみて原点に最も近い部分ベクトル（実施例ではベクトルＢ１）の線分長Ｂ１Ｌ（図１１（ｂ））との比率Ｌｒ１（ｒ１＝Ｂ１Ｌ／Ａ１Ｌ）を求め、次に、ベクトルＡ１とベクトルＢ１の方向Ａ１θ，Ｂ１θの比率θｒ１を求める。そして、γ１＝（１−｜１−Ｌｒ１｜）×（１−｜１−θｒ１｜）＞ρρとして線分ベクトルＡ１の一致率γ１を求める。
具体的には、図１１に示すように、切出した検索用描画図５０１の原点を左下とした場合に検索用ベクトルを形成する各部分ベクトル（特徴データ）のうち右廻りにみて原点に最も近い部分ベクトル（図１１の例ではベクトルＡ１）の線分長Ａ１Ｌと（図１１（ａ））、部分画像５０１’の原点を左下とした場合に部分画像５０１’を形成する各部分ベクトルのうち右廻りにみて原点に最も近い部分ベクトル（実施例ではベクトルＢ１）の線分長Ｂ１Ｌ（図１１（ｂ））との比率Ｌｒ１（ｒ１＝Ｂ１Ｌ／Ａ１Ｌ）を求め、次に、ベクトルＡ１とベクトルＢ１の方向Ａ１θ，Ｂ１θの比率θｒ１を求める。そして、γ１＝（１−｜１−Ｌｒ１｜）×（１−｜１−θｒ１｜）＞ρρとして線分ベクトルＡ１の一致率γ１を求める。
また、原点に最も近い輪郭成分が曲線或いは円弧の場合には、曲線を現わす関数の係数の比率と初期値の比率、或いは曲率半径の比率を算出し、上述したベクトル成分の一致率算出と同様の方法で一致率γ１を求める。
この場合、一致率が１に近いほど類似度が高くγ１＝１で完全一致となる。ここで一致率γが０に近いほど類似度が低い。
この場合、一致率が１に近いほど類似度が高くγ１＝１で完全一致となる。ここで一致率γが０に近いほど類似度が低い。
次に、γ１＞ρのとき、検索用描画図５０１のベクトルＡ１の右隣の線分ベクトルＡ２の線分長Ａ２Ｌと、部分画像５０１’のベクトルＡ１の右隣の線分ベクトルＢ２の線分長Ｂ２Ｌとの比率Ｌｒ２（ｒ２＝Ｂ２Ｌ／Ａ２Ｌ）を求め、次に、ベクトルＡ２とベクトルＢ２の方向Ａ２θ，Ｂ２θの比率θｒ２を求めて線分ベクトルＡ２の一致率γ２を求める。
また右隣の輪郭成分が曲線或いは円弧の場合には、曲線を現わす関数の係数の比率と初期値の比率、或いは曲率半径の比率等を算出し、上述したベクトル成分の一致率算出と同様の方法で一致率γ２を求める。
また、図１１の例では検索用描画図５０１を山としたため線分ベクトルがＡ１，Ａ２の２つしか示されていないが、図８（ａ）の家５０３のように線分ベクトルや曲線或いは円弧が多い複雑な検索用描画図の場合には各線分について同様に一致率γ３，γ４，・・・，γｍ（ｍは線分ベクトルおよび曲線の数の和）を求める。
・ステップＳ１０−２；
次に、部分ベクトルの一致率γ１，γ２，γ３，・・・，γｍの自乗平均を求めて部分画像の輪郭一致率Γとし、ｆ番目の部分画像とｊ番目の検索用描画図との一致率Γｆｊが閾値ρを超えているか否かを判定し、Γｆｊ≧ρの場合にはＳ１０−３に遷移し、Γｆｊ＜ρの場合にはＳ１０−４に遷移する。
次に、部分ベクトルの一致率γ１，γ２，γ３，・・・，γｍの自乗平均を求めて部分画像の輪郭一致率Γとし、ｆ番目の部分画像とｊ番目の検索用描画図との一致率Γｆｊが閾値ρを超えているか否かを判定し、Γｆｊ≧ρの場合にはＳ１０−３に遷移し、Γｆｊ＜ρの場合にはＳ１０−４に遷移する。
・ステップＳ１０−３；
上記ステップＳ１０−２でΓｆｊ≧ρの場合には輪郭類似と認識して部分画像の部分画像番号ｆ、検索用描画図番号ｊおよび輪郭一致率ΓｆｊをＲＡＭに一時記憶する。なお、この場合、輪郭一致率Γ１１，Γ１２，・・・，Γｆｊ，・・・，Γｋｊの中から一致率の高い順に所定数の輪郭一致率（但し、輪郭一致率が閾値ρ以上のものが所定数に満たない場合には輪郭一致率が閾値ρ以上のもののみ）を抽出し、対応する部分画像番号および検索用描画図番号ｊと共にＲＡＭに記憶される（所定数以上の場合には一致率が低いものからリジェクトしていく）。
上記ステップＳ１０−２でΓｆｊ≧ρの場合には輪郭類似と認識して部分画像の部分画像番号ｆ、検索用描画図番号ｊおよび輪郭一致率ΓｆｊをＲＡＭに一時記憶する。なお、この場合、輪郭一致率Γ１１，Γ１２，・・・，Γｆｊ，・・・，Γｋｊの中から一致率の高い順に所定数の輪郭一致率（但し、輪郭一致率が閾値ρ以上のものが所定数に満たない場合には輪郭一致率が閾値ρ以上のもののみ）を抽出し、対応する部分画像番号および検索用描画図番号ｊと共にＲＡＭに記憶される（所定数以上の場合には一致率が低いものからリジェクトしていく）。
なお、本実施例では、線分長±８０％（＝誤差±２０％）、方向±８０％（＝誤差±２０％）の範囲を類似とし、閾値ρを０．６４（０．８×０．８＝０．６４）としたがこれに限定されない。
・ステップＳ１０−４；
そして、ｋ個の部分画像とｊ番目の検索用画像の輪郭一致率Γ１１，Γ１２，・・・，Γｆｊ，・・・，Γｋｊを得るまで上記Ｓ１０−１〜Ｓ１０−３の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−５に遷移する。
そして、ｋ個の部分画像とｊ番目の検索用画像の輪郭一致率Γ１１，Γ１２，・・・，Γｆｊ，・・・，Γｋｊを得るまで上記Ｓ１０−１〜Ｓ１０−３の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−５に遷移する。
また、本実施例では上述した方法により輪郭一致率を求め類似、非類似を判定（認識）しているがこれに限定されず、検索用描画図と記録画像の部分画像の輪郭イメージそのものを抽出して比較するようにしてもよく、また、公知の輪郭認識方法を用いてもよい。
・ステップＳ１０−５；
ステップＳ２でＲＡＭに記憶された指定色データ（コード）と輪郭および輪郭内部との対応づけの結果（アイコン９２が選択されたていたか否か（色指定があった場合））を調べ、色指定がされていた場合にはＳ１０−６に遷移し、色指定がされていなかった場合にはＳ１０−１１に遷移する。
ステップＳ２でＲＡＭに記憶された指定色データ（コード）と輪郭および輪郭内部との対応づけの結果（アイコン９２が選択されたていたか否か（色指定があった場合））を調べ、色指定がされていた場合にはＳ１０−６に遷移し、色指定がされていなかった場合にはＳ１０−１１に遷移する。
・ステップＳ１０−６；
画像認識部５は上記ステップＳ１０−４でＲＡＭに記憶された部分画像番号の部分画像について、ステップＳ６−３でＲＡＭに記憶したｊ番目の検索用描画図の色特徴データとステップＳ８−３でＲＡＭに記憶した色特徴データとを比較して色彩一致率ＲＧＢΓｊを求める。
画像認識部５は上記ステップＳ１０−４でＲＡＭに記憶された部分画像番号の部分画像について、ステップＳ６−３でＲＡＭに記憶したｊ番目の検索用描画図の色特徴データとステップＳ８−３でＲＡＭに記憶した色特徴データとを比較して色彩一致率ＲＧＢΓｊを求める。
具体的には、本実施例ではステップＳ６−３およびステップＳ８−３で述べたようにｊ番目の検索用描画図の色特徴を当該検索用描画図に含まれる画素数とそれぞれの色画素Ｒ，Ｇ，Ｂとの比率（ｃ１ｊ、ｃ２ｊ、ｃ３ｊ）：（ｊ＝１〜ｎ）とし、各部分画像の色特徴を当該部分画像に含まれる画素数とそれぞれの色画素Ｒ，Ｇ，Ｂとの比率（Ｃ１ｆ、Ｃ２ｆ、Ｃ３ｆ：（ｆ＝ｊ１〜ｋ））としているので、
ｆ番目の部分画像ｔとｊ番目の検索用描画図のＲ，Ｇ，Ｂの色特徴一致率、
Ｒγｆｊ＝Ｃ１ｆ／ｃ１ｊ、Ｇγ＝Ｃ２ｆ／ｃ２ｊ、Ｂγ＝Ｃ３ｆ／ｃ３ｊ
を求め、Ｒγｆｊ，ＧγｆｊおよびＢγｆｊの最小自乗平均をその部分画像ｆとｊ番目の検索用描画図の色彩一致率ＲＧＢΓｆｊとする。
ｆ番目の部分画像ｔとｊ番目の検索用描画図のＲ，Ｇ，Ｂの色特徴一致率、
Ｒγｆｊ＝Ｃ１ｆ／ｃ１ｊ、Ｇγ＝Ｃ２ｆ／ｃ２ｊ、Ｂγ＝Ｃ３ｆ／ｃ３ｊ
を求め、Ｒγｆｊ，ＧγｆｊおよびＢγｆｊの最小自乗平均をその部分画像ｆとｊ番目の検索用描画図の色彩一致率ＲＧＢΓｆｊとする。
・ステップＳ１０−７；
次に、色彩一致率が極端に低い場合にその部分画像番号等をＲＡＭから削除する（すなわち、部分画像をリジェクトする）ために、色彩一致率ＲＧＢΓｆｊと閾値ρ’を比較し、ＲＧＢΓｆｊ＜ρ’のときにはＳ１０−８に遷移し、ＲＧＢΓｆｊ≧ρ’のときにはＳ１０−８に遷移する。
次に、色彩一致率が極端に低い場合にその部分画像番号等をＲＡＭから削除する（すなわち、部分画像をリジェクトする）ために、色彩一致率ＲＧＢΓｆｊと閾値ρ’を比較し、ＲＧＢΓｆｊ＜ρ’のときにはＳ１０−８に遷移し、ＲＧＢΓｆｊ≧ρ’のときにはＳ１０−８に遷移する。
・ステップＳ１０−８；
ＲＡＭに記憶した輪郭一致率Γのうちからその部分画像番号に対応する輪郭一致率を削除してＳ１０−１０に遷移する。
ＲＡＭに記憶した輪郭一致率Γのうちからその部分画像番号に対応する輪郭一致率を削除してＳ１０−１０に遷移する。
例えば、図９で（ｂ）の検索用描画図５０３の色彩は茶色成分が多く、（ｃ）の部分画像５０３’は灰色成分が多くて色彩が異なり色彩一致率ＲＧＢγが閾値ρ’以下となるので非類似としてリジェクトされる（この場合、仮に、検索用描画図（部分画像）５０３と部分画像５０３’の輪郭一致率が高くても部分画像５０３’は非類似としてリジェクトされる。なお、本実施例ではρ’＝０．５としたがこれに限定されない。
・ステップＳ１０−９；
色彩一致率ＲＧＢΓｆｊをその部分画像番号ｆと対応づけてＲＡＭに記憶する。
・ステップＳ１０−９；
色彩一致率ＲＧＢΓｆｊをその部分画像番号ｆと対応づけてＲＡＭに記憶する。
・ステップＳ１０−１０；
そして、ｋ個の部分画像とｊ番目の検索用画像の色彩一致率ＲＧＢΓ１１，ＲＧＢΓ１２，・・・，ＲＧＢΓｆｊ，・・・，ＲＧＢΓｋｊを得るまで上記Ｓ１０−６〜Ｓ１０−８またはＳ１０−９の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−１１に遷移する。
そして、ｋ個の部分画像とｊ番目の検索用画像の色彩一致率ＲＧＢΓ１１，ＲＧＢΓ１２，・・・，ＲＧＢΓｆｊ，・・・，ＲＧＢΓｋｊを得るまで上記Ｓ１０−６〜Ｓ１０−８またはＳ１０−９の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−１１に遷移する。
・ステップＳ１０−１１；
ＲＡＭに確保された位置指定フラグを調べ、ｊ番目の検索用描画図に対応する位置指定フラグがオンの場合には位置指定ありとしてＳ１０−１２に遷移し、オフの場合には位置指定なしとしてＳ１０−１７に遷移する。
ＲＡＭに確保された位置指定フラグを調べ、ｊ番目の検索用描画図に対応する位置指定フラグがオンの場合には位置指定ありとしてＳ１０−１２に遷移し、オフの場合には位置指定なしとしてＳ１０−１７に遷移する。
・ステップＳ１０−１２；
画像認識部５はステップＳ６−４でＲＡＭに記憶した検索用描画図の中心座標と、ステップＳ８−４でＲＡＭに記憶した各部分画像の中心座標を比較し、ｆ番目の部分画像との位置一致率ＸΓｆｊを求める。
位置一致率は、本実施例では座標値の自乗平均の比率（すなわち、原点からの距離の比率）としている。
画像認識部５はステップＳ６−４でＲＡＭに記憶した検索用描画図の中心座標と、ステップＳ８−４でＲＡＭに記憶した各部分画像の中心座標を比較し、ｆ番目の部分画像との位置一致率ＸΓｆｊを求める。
位置一致率は、本実施例では座標値の自乗平均の比率（すなわち、原点からの距離の比率）としている。
例えば、図１０（ａ）の検索用描画図７０１の中心座標（ａ，ｂ）と図１０（ｃ）の部分画像７０１’の位置一致率は、
ＸΓ７０１’＝（ａ2 ＋ｂ2 ）1/2／（ｃ2 ＋ｄ2 ）1/2
で与えられ、検索用描画図７０１の中心座標（ａ，ｂ）と図１０（ｄ）の部分画像７０１”の位置一致率は、
ＸΓ７０１”＝（ａ2 ＋ｂ2 ）1/2／（ｅ2 ＋ｆ2 ）1/2
で与えられる。
ＸΓ７０１’＝（ａ2 ＋ｂ2 ）1/2／（ｃ2 ＋ｄ2 ）1/2
で与えられ、検索用描画図７０１の中心座標（ａ，ｂ）と図１０（ｄ）の部分画像７０１”の位置一致率は、
ＸΓ７０１”＝（ａ2 ＋ｂ2 ）1/2／（ｅ2 ＋ｆ2 ）1/2
で与えられる。
・ステップＳ１０−１３；
位置一致率ＸΓｆｊと閾値ρ”を比較し、ＸΓｆｊ＜ρ”のときにはＳ１０−１４に遷移し、ＸΓｆｊ≧ρ”のときにはＳ１０−１５に遷移する。
位置一致率ＸΓｆｊと閾値ρ”を比較し、ＸΓｆｊ＜ρ”のときにはＳ１０−１４に遷移し、ＸΓｆｊ≧ρ”のときにはＳ１０−１５に遷移する。
・ステップＳ１０−１４；
位置一致率ＸΓｆｊが閾値ρ”以下の場合にはその部分画像番号ｆに関連する輪郭一致率および色彩一致率等をＲＡＭから削除して（すなわち、部分画像をリジェクトして）Ｓ１０−１６に遷移する。
位置一致率ＸΓｆｊが閾値ρ”以下の場合にはその部分画像番号ｆに関連する輪郭一致率および色彩一致率等をＲＡＭから削除して（すなわち、部分画像をリジェクトして）Ｓ１０−１６に遷移する。
例えば、図１０で閾値をＸρ（＝０．８）としたとき、図１０（ｃ）の部分画像７０１’は位置がほぼ一致（ＸΓ７０１’＞ρ”）しているが、図１０（ｄ）の部分画像７０１”は位置が異なる（ＸΓ７０１”＜ρ”）ので部分画像はリジェクトされる（結果として、部分画像７０１”を含む記録画像は検索用描画図７０１の認識対象外となる）。
・ステップＳ１０−１５；
位置一致率ＸΓｆｊが閾値ρ”以上の場合にはその位置一致率ＸΓｆｊを部分画像番号ｆに対応づけてＲＡＭに記憶する。
位置一致率ＸΓｆｊが閾値ρ”以上の場合にはその位置一致率ＸΓｆｊを部分画像番号ｆに対応づけてＲＡＭに記憶する。
・ステップＳ１０−１６；
ｋ個の部分画像とｊ番目の検索用画像の位置一致ＸΓ１１，ＸΓ１２，・・・，ＸΓｆｊ，・・・，ＸΓｋｊを得るまで上記Ｓ１０−１２〜Ｓ１０−１４またはＳ１０−１５の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−１７に遷移する。
ｋ個の部分画像とｊ番目の検索用画像の位置一致ＸΓ１１，ＸΓ１２，・・・，ＸΓｆｊ，・・・，ＸΓｋｊを得るまで上記Ｓ１０−１２〜Ｓ１０−１４またはＳ１０−１５の動作を繰り返し、ｋ個の部分画像について上記処理が終るとＳ１０−１７に遷移する。
・ステップＳ１０−１７；
検索用描画図の全てについて一致率による比較が終るまで上記ステップＳ１０−１〜Ｓ１０−１６を繰り返し、検索用描画図の全てについて比較が終るとＳ１０−１７に遷移する。
検索用描画図の全てについて一致率による比較が終るまで上記ステップＳ１０−１〜Ｓ１０−１６を繰り返し、検索用描画図の全てについて比較が終るとＳ１０−１７に遷移する。
・ステップＳ１０−１８；
ここではＲＡＭに記憶されている部分画像番号の数（＝類似部分画像の数）を調べ、それが０の場合にはＳ１０−６に遷移する。
ここではＲＡＭに記憶されている部分画像番号の数（＝類似部分画像の数）を調べ、それが０の場合にはＳ１０−６に遷移する。
・ステップＳ１０−１９；
また、ＲＡＭに記憶されている部分画像番号の数が１以上の場合には、下記ａ〜ｄのいずれかのケースにより総合一致率を求める。
ａ：色指定および位置指定がない場合にはＲＡＭに記憶されている輪郭一致率の自乗平均値を総合一致率Ξγとする。
ｂ：色指定があった場合にはＲＡＭに記憶されている輪郭一致率および色彩一致率の自乗平均値を総合一致率Ξγとする。
ｃ：位置指定があった場合にはＲＡＭに記憶されている輪郭一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
ｄ：色彩指定および位置指定があった場合にはＲＡＭに記憶されている輪郭一致率，色彩一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
また、ＲＡＭに記憶されている部分画像番号の数が１以上の場合には、下記ａ〜ｄのいずれかのケースにより総合一致率を求める。
ａ：色指定および位置指定がない場合にはＲＡＭに記憶されている輪郭一致率の自乗平均値を総合一致率Ξγとする。
ｂ：色指定があった場合にはＲＡＭに記憶されている輪郭一致率および色彩一致率の自乗平均値を総合一致率Ξγとする。
ｃ：位置指定があった場合にはＲＡＭに記憶されている輪郭一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
ｄ：色彩指定および位置指定があった場合にはＲＡＭに記憶されている輪郭一致率，色彩一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
・ステップＳ１０−２０；
下記ａ〜ｄのいずれかのケースにより閾値を決定し、総合一致率Ξγと閾値を比較し、総合一致率Ξγ＜閾値の場合にはこの画像をリジェクトしてＳ１０−２２に遷移し、総合一致率Ξγ≧閾値の場合にはＳ１０−２１に遷移する。
下記ａ〜ｄのいずれかのケースにより閾値を決定し、総合一致率Ξγと閾値を比較し、総合一致率Ξγ＜閾値の場合にはこの画像をリジェクトしてＳ１０−２２に遷移し、総合一致率Ξγ≧閾値の場合にはＳ１０−２１に遷移する。
ａ：色指定および位置指定がない場合には閾値＝ρ（輪郭一致率の閾値）
ｂ：色指定があった場合には閾値＝ρ’（色彩一致率の閾値）
ｃ：位置指定があった場合には閾値＝ρ”（位置指定の閾値）
ｄ：色彩指定および位置指定があった場合には閾値ρ，ρ’，ρ”のうちの最大のものを閾値とする。
なお、本実施例では閾値ρ，ρ’，ρ”のうちの最大のものを閾値としたがこれに限定されず、ρ，ρ’，ρ”のいずかかか新たな閾値Ρを閾値としてもよい。
ｂ：色指定があった場合には閾値＝ρ’（色彩一致率の閾値）
ｃ：位置指定があった場合には閾値＝ρ”（位置指定の閾値）
ｄ：色彩指定および位置指定があった場合には閾値ρ，ρ’，ρ”のうちの最大のものを閾値とする。
なお、本実施例では閾値ρ，ρ’，ρ”のうちの最大のものを閾値としたがこれに限定されず、ρ，ρ’，ρ”のいずかかか新たな閾値Ρを閾値としてもよい。
・ステップＳ１０−２１；
総合一致率Ξγが閾値を超える場合にその画像を候補画像として、その画像番号をＲＡＭに記憶する。
総合一致率Ξγが閾値を超える場合にその画像を候補画像として、その画像番号をＲＡＭに記憶する。
ステップＳ１０−２２；
ＲＡＭに記録されている記録画像の特徴データについて上記ステップＳ１−１〜Ｓ１−５の認識処理を繰り返し、全ての記録画像について認識処理が終了するとＳ１１に遷移する。
ＲＡＭに記録されている記録画像の特徴データについて上記ステップＳ１−１〜Ｓ１−５の認識処理を繰り返し、全ての記録画像について認識処理が終了するとＳ１１に遷移する。
ステップＳ１１：（候補画像の表示方法決定）
ＲＡＭに記憶されている候補画像の画像番号を調べ、それが１個の場合にはＳ１２に遷移する。また、候補画像が複数の場合にはＳ１３に遷移する。候補画像がない場合にはＳ１４に遷移する。
ＲＡＭに記憶されている候補画像の画像番号を調べ、それが１個の場合にはＳ１２に遷移する。また、候補画像が複数の場合にはＳ１３に遷移する。候補画像がない場合にはＳ１４に遷移する。
ステップ１２：（１フレームの大きさの検索画像表示）
当該画像番号の画像データを画像記録用メモリ７から読み出して、画像再生部８の第１の伸張部で１フレーム分の画像データに伸張して検索画像イメージを再生して表示部９に送って液晶ディスプレイ１０に表示する。この場合、図８（ｃ）の例に示すように検索用描画図による認識対象となった部分画像（５０１’、５０２’、５０３’）を囲む枠線を表示するようにしてもよい。
当該画像番号の画像データを画像記録用メモリ７から読み出して、画像再生部８の第１の伸張部で１フレーム分の画像データに伸張して検索画像イメージを再生して表示部９に送って液晶ディスプレイ１０に表示する。この場合、図８（ｃ）の例に示すように検索用描画図による認識対象となった部分画像（５０１’、５０２’、５０３’）を囲む枠線を表示するようにしてもよい。
ステップＳ１３：（検索画像マルチ表示）
候補画像が複数個の場合には検索画像番号の画像データを順次画像記録用メモリ７から読み出して、画像再生部８の画像縮小部で画像を縮小して表示部８に送り検索画像イメージを再生して液晶ディスプレイ１０にマルチ表示する。この場合、図８（ｄ）に示すように候補画像が２〜４個の場合には縮小サイズを１／４として表示し、５〜９個の場合には縮小サイズを１／９、１０〜１６個の場合には縮小サイズを１／１６、といったように自動的に縮小サイズを選択する。
候補画像が複数個の場合には検索画像番号の画像データを順次画像記録用メモリ７から読み出して、画像再生部８の画像縮小部で画像を縮小して表示部８に送り検索画像イメージを再生して液晶ディスプレイ１０にマルチ表示する。この場合、図８（ｄ）に示すように候補画像が２〜４個の場合には縮小サイズを１／４として表示し、５〜９個の場合には縮小サイズを１／９、１０〜１６個の場合には縮小サイズを１／１６、といったように自動的に縮小サイズを選択する。
また、縮小サイズを１／４（または１／９）に固定し、候補画像が多くて１画面のマルチ表示では間に合わない場合には、次の画面にスクロールできるようにしてもよい。
マルチ表示された画像の中からユーザが所望の画像を指またはタッチペンでポイントするとＳ１２に遷移してその画像を１フレームの大きさの画像として表示する。
また、候補画像が複数個の場合にマルチ表示せず、１フレーム分のサイズの画像として１つずつ表示するようにしてもよい。この場合は、総合一致率の大きな画像から並べて（総合一致率で逆順ソートして）おき、ユーザのポイントにより順次、スクロール表示可能にすることが望ましい。
ステップＳ１４：（検索画像なしのメッセージ表示）
候補画像がなかった場合にはその旨のメッセージを表示して検索用描画図の入力（すなわち、描画のやり直し）を促す。
上記画像検索方法によれば、手書きの描画図と記録画像の類似性を認識して画像記録メモリをいわゆる曖昧検索するので、早送りの手間やキーワード入力の煩わしさなしに画像記録メモリに記録された大量の画像の中からユーザのイメージに合った画像を探し出すことができる。また、色彩や位置を検索要素とした場合には、検索の精度が向上する。
候補画像がなかった場合にはその旨のメッセージを表示して検索用描画図の入力（すなわち、描画のやり直し）を促す。
上記画像検索方法によれば、手書きの描画図と記録画像の類似性を認識して画像記録メモリをいわゆる曖昧検索するので、早送りの手間やキーワード入力の煩わしさなしに画像記録メモリに記録された大量の画像の中からユーザのイメージに合った画像を探し出すことができる。また、色彩や位置を検索要素とした場合には、検索の精度が向上する。
なお、図３のフローチャートでは全ての描画図および記録画像の特徴抽出処理（Ｓ６〜Ｓ８）を行なった後にまとめて画像認識処理（Ｓ１０）を行なうようにしたが、これに限定されず、例えば、画像認識処理中に順次必要に応じて特徴抽出処理を行なうようにしてもよい（すなわち、図３のフローでＳ６〜Ｓ８を行なわず、Ｓ６〜Ｓ８の処理をＳ１０の中で行なうようにする。
また、図３のフローチャートでは画像認識を描画図および記録画像の特徴要素の比較結果により認識を行なうようにしたが、これ以外の方法（例えば、描画図と記録画像のイメージ同士の比較処理や、公知の方法）により画像認識を行なってもよい（この場合、Ｓ６〜Ｓ８の特徴抽出処理は行なわない）。
［実施例１−２］ 描画入力による画像検索動作（予め抽出した画像の特徴要素を用いた例）
上記実施例１では描画図による検索のたびに描画図と記録画像の特徴を抽出して画像認識を行なったが、本実施例は記録画像の特徴を（記録画像の記録時等に）予め抽出して画像記録用メモリ７に確保した特徴リストに記録しておき、描画検索の際には描画図の特徴だけを抽出して、特徴リストに登録されている記録画像の特徴とを比較して画像認識を行なう例である。
上記実施例１では描画図による検索のたびに描画図と記録画像の特徴を抽出して画像認識を行なったが、本実施例は記録画像の特徴を（記録画像の記録時等に）予め抽出して画像記録用メモリ７に確保した特徴リストに記録しておき、描画検索の際には描画図の特徴だけを抽出して、特徴リストに登録されている記録画像の特徴とを比較して画像認識を行なう例である。
図１２は記録画像の特徴リストの一実施例の構造図であり、記録画像の特徴リスト８０は記録画像の画像番号を格納する画像番号欄８１と、当該画像の部分画像の特徴データを格納する部分画像特徴欄８２−１，８２−２，・・・，８２−ｎを備えている。また、各部分画像特徴欄８２は複数の輪郭特徴（例えば、線分の長さおよび方向によって規定される特徴ベクトル値，部分曲線の係数等や円弧の曲率半径）や、色彩特徴（例えば、部分画像の画素数に対する色画素（Ｒ，Ｇ，Ｂ）比率）や、部分画像の中心座標（ｘｉ，ｙｊ）を格納する細分欄を有している。
これら特徴値は画像記録用メモリ７への記録画像の入力時（撮像や外部画像処理装置からの受信画像の記録時）に自動的に格納することができる。
図１３は特徴リストへの画像の特徴データ登録処理時の動作例を示すフローチャートである。
図１３のステップＴ１では、撮像がなされた場合や（画像検索装置がデジタルカメラのような撮像部を備えている場合）或いは外部画像処理装置からの画像を受信した場合のように画像データ（通常は圧縮されている）の入力があるとそれを画像記録用メモリ７に記録する（画像データが圧縮されていない場合には圧縮処理を施して記録する）。
次に、ステップＴ２では当該画像の特徴抽出処理を行なう。ここでの特徴抽出処理はＤＲＡＭ６に記憶されている入力画像データについて行なうが、前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。但し、本実施例では色特徴および位置特徴を自動的に特徴リスト８０に登録するので、図５のステップＳ８−３での色指定の有無の判定およびステップＳ８−４での位置指定の有無の判定動作は行なわない（Ｔ２ではこれらの手順を削除する）。
図１３は特徴リストへの画像の特徴データ登録処理時の動作例を示すフローチャートである。
図１３のステップＴ１では、撮像がなされた場合や（画像検索装置がデジタルカメラのような撮像部を備えている場合）或いは外部画像処理装置からの画像を受信した場合のように画像データ（通常は圧縮されている）の入力があるとそれを画像記録用メモリ７に記録する（画像データが圧縮されていない場合には圧縮処理を施して記録する）。
次に、ステップＴ２では当該画像の特徴抽出処理を行なう。ここでの特徴抽出処理はＤＲＡＭ６に記憶されている入力画像データについて行なうが、前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。但し、本実施例では色特徴および位置特徴を自動的に特徴リスト８０に登録するので、図５のステップＳ８−３での色指定の有無の判定およびステップＳ８−４での位置指定の有無の判定動作は行なわない（Ｔ２ではこれらの手順を削除する）。
ステップＴ３では上記ステップＴ２で得た特徴データを各部分画像毎に部分画像特徴欄８２−１，８２−２，・・・，８２−ｉに格納すると共に画像番号欄８１に当該画像の画像番号を格納して、１画像分の特徴データを登録する。
ステップＴ４では入力画像の数だけ上記ステップＴ１〜Ｔ３を繰り返す。
図１４は特徴リストを備えた画像検索装置の画像検索動作例を示すフローチャートである。
図１４のステップＵ１ではユーザによる描画入力、色指定（任意）、位置指定（任意）等の描画入力処理を行なう。なお、描画入力処理は前述した図３のステップＳ１〜Ｓ５と同様の手順によって行なうことができる。
ステップＵ２では、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図３の画像のステップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と同様の手順によって行なうことができる。
ステップＵ３では、処理速度を向上させるために画像記録用メモリ７の特徴リスト８０をＲＡＭに一時記憶する。
ステップＵ４ではステップＵ２で抽出した検索用描画図の特徴と特徴リスト８０に登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。
図１４のステップＵ１ではユーザによる描画入力、色指定（任意）、位置指定（任意）等の描画入力処理を行なう。なお、描画入力処理は前述した図３のステップＳ１〜Ｓ５と同様の手順によって行なうことができる。
ステップＵ２では、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図３の画像のステップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と同様の手順によって行なうことができる。
ステップＵ３では、処理速度を向上させるために画像記録用メモリ７の特徴リスト８０をＲＡＭに一時記憶する。
ステップＵ４ではステップＵ２で抽出した検索用描画図の特徴と特徴リスト８０に登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。
ステップＵ５では候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図３の画像のステップＳ１１〜Ｓ１４と同様の手順によって行なうことができる。
上述したように、本実施例では描画図による検索時には記録画像の特徴抽出を行なわないので高速検索が可能となる。また、色彩や位置を検索要素とした場合でも高速検索ができるので、高速且つ精度の高い検索が可能となる。
上述したように、本実施例では描画図による検索時には記録画像の特徴抽出を行なわないので高速検索が可能となる。また、色彩や位置を検索要素とした場合でも高速検索ができるので、高速且つ精度の高い検索が可能となる。
＜実施形態（２）＞ 一次抽出画像による画像検索
本実施形態では、画像検索装置は前述した実施形態１と同様に指やタッチペン３Ａ等で手書き入力した検索用描画図の特徴要素と記録画像の特徴要素との比較により特徴要素の一致度の高い記録画像を候補画像として抽出するが、認識精度の高精度化と検索速度の高速化のために、実施形態１のように全ての画像について特徴要素の認識を行なわず、検索用描画図により検索された画像の一つを用いてその特徴要素と記録画像の特徴要素を比較して、一致率の高い画像を候補画像とし、表示した候補画像の中からユーザがイメージした画像を選択することによりキーワード入力やコマ送りなしに所望の画像を検索する。
本実施形態では、画像検索装置は前述した実施形態１と同様に指やタッチペン３Ａ等で手書き入力した検索用描画図の特徴要素と記録画像の特徴要素との比較により特徴要素の一致度の高い記録画像を候補画像として抽出するが、認識精度の高精度化と検索速度の高速化のために、実施形態１のように全ての画像について特徴要素の認識を行なわず、検索用描画図により検索された画像の一つを用いてその特徴要素と記録画像の特徴要素を比較して、一致率の高い画像を候補画像とし、表示した候補画像の中からユーザがイメージした画像を選択することによりキーワード入力やコマ送りなしに所望の画像を検索する。
なお、本実施形態では画像検索装置の回路構成は説明上、図２の例と同様とし、比較する特徴要素についても実施形態（１）の例と同様とするがそれらに限定されない。また、その他の説明図（図１，図７〜図１０、図１２，図１３）についても同様とする。
［実施例２−１］
図１５は一次抽出画像による画像検索例の説明図である。
図１５で、（ａ）はユーザによって手書き入力された検索用描画図５０１、５０３の例であり、（ｂ）は検索用描画図５０１、５０３の特徴要素を基に検索された画像（画像１０５）の例であり、（ｃ）は画像１０５はユーザの所望の画像ではなかったが、検索画像に類似した部分像５０１’、５０３’があるのでユーザが検索用画像として指定した結果、検索された複数の画像（画像１５１〜１５４）をマルチ表示した例である。
図１５は一次抽出画像による画像検索例の説明図である。
図１５で、（ａ）はユーザによって手書き入力された検索用描画図５０１、５０３の例であり、（ｂ）は検索用描画図５０１、５０３の特徴要素を基に検索された画像（画像１０５）の例であり、（ｃ）は画像１０５はユーザの所望の画像ではなかったが、検索画像に類似した部分像５０１’、５０３’があるのでユーザが検索用画像として指定した結果、検索された複数の画像（画像１５１〜１５４）をマルチ表示した例である。
図１６は一次抽出画像を用いた画像検索装置の動作例を示すフローチャートである。
ステップＶ１：（描画入力処理）
ここではユーザによる描画入力、色指定（任意）、位置指定（任意）等の描画入力処理を行なう。なお、描画入力処理は前述した図３のステップＳ１〜Ｓ５と同様の手順によって行なうことができる。
ステップＶ２：（検索用描画図の特徴抽出処理）
次に、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図３の画像のステップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と同様の手順によって行なうことができる。
ステップＶ３：（画像データの簡易伸張）
上記ステップＶ２での検索用描画図の特徴抽出処理が終了したあと、制御部４は画像記録用メモリ７に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像再生部８の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してＤＲＡＭ６に記憶する。
ステップＶ１：（描画入力処理）
ここではユーザによる描画入力、色指定（任意）、位置指定（任意）等の描画入力処理を行なう。なお、描画入力処理は前述した図３のステップＳ１〜Ｓ５と同様の手順によって行なうことができる。
ステップＶ２：（検索用描画図の特徴抽出処理）
次に、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図３の画像のステップＳ６（＝図４のステップＳ６−１〜Ｓ６−５）と同様の手順によって行なうことができる。
ステップＶ３：（画像データの簡易伸張）
上記ステップＶ２での検索用描画図の特徴抽出処理が終了したあと、制御部４は画像記録用メモリ７に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像再生部８の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してＤＲＡＭ６に記憶する。
ステップＶ４：（画像データの特徴抽出処理）
次に、ＤＲＡＭ６に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。
次に、ＤＲＡＭ６に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。
ステップＶ５：（記録画像の特徴抽出繰り返し）
記録画像の全てについて特徴抽出が終るまで上記ステップＶ３，Ｖ４を繰り返す。
記録画像の全てについて特徴抽出が終るまで上記ステップＶ３，Ｖ４を繰り返す。
ステップＶ６：（一次抽出処理）
ステップＶ２で抽出した検索用描画図の特徴とステップＶ４で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０のうち、図６のステップＳ１０−１〜Ｓ１０−２１までと同様の手順によって行なうことができる（ステップＳ１０−２２はこの場合不要）。
ステップＶ２で抽出した検索用描画図の特徴とステップＶ４で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０のうち、図６のステップＳ１０−１〜Ｓ１０−２１までと同様の手順によって行なうことができる（ステップＳ１０−２２はこの場合不要）。
ステップＶ７：（画像終了判定）
上記Ｖ６で候補画像がみつかった場合にはそれを一次抽出画像としてＶ９に遷移する。また、候補画像がみつからなかった場合には記録画像の終了判定を行ない、記録画像がまだある場合にはＶ６に戻ってつぎの候補画像の認識処理を行なう。
上記Ｖ６で候補画像がみつかった場合にはそれを一次抽出画像としてＶ９に遷移する。また、候補画像がみつからなかった場合には記録画像の終了判定を行ない、記録画像がまだある場合にはＶ６に戻ってつぎの候補画像の認識処理を行なう。
ステップＶ８：（一次抽出画像がない場合）
上記ステップＶ７で記録画像が終了したと判定された場合は一次抽出画像がみつからなかったものと判定して「一次抽出画像がない」旨のメッセージを液晶ディスプレイ１０に表示して描画図の再入力を促しＶ１に戻る。
上記ステップＶ７で記録画像が終了したと判定された場合は一次抽出画像がみつからなかったものと判定して「一次抽出画像がない」旨のメッセージを液晶ディスプレイ１０に表示して描画図の再入力を促しＶ１に戻る。
ステップＶ９：（一次抽出画像の表示）
ステップＶ６で抽出した候補画像をユーザに確認させるために、１フレーム分の大きさに伸張して液晶ディスプレイ１０に表示する。また、この際画面上に確認用アイコン（ＯＫアイコンとＮＯアイコン（図示せず））を表示する。
ステップＶ６で抽出した候補画像をユーザに確認させるために、１フレーム分の大きさに伸張して液晶ディスプレイ１０に表示する。また、この際画面上に確認用アイコン（ＯＫアイコンとＮＯアイコン（図示せず））を表示する。
ステップＶ１０：（一次抽出画像の確認）
ユーザがＯＫアイコンをポイントすると、表示された一次抽出画像を検索用画像として用いるものとしてＶ１１に遷移する。また、ＮＯアイコンがポイントされると次の抽出画像をヒットするためにＶ６に戻る。
ユーザがＯＫアイコンをポイントすると、表示された一次抽出画像を検索用画像として用いるものとしてＶ１１に遷移する。また、ＮＯアイコンがポイントされると次の抽出画像をヒットするためにＶ６に戻る。
ステップＶ１１：（一次抽出画像による画像認識処理）
ステップＶ６で抽出した一次抽出画像の特徴データはステップＶ４で求めてあるので、ＲＡＭに記憶されている一次抽出画像の特徴データとステップＶ４で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。
なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２まで）と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに一次抽出画像の特徴データを用いる。
ステップＶ６で抽出した一次抽出画像の特徴データはステップＶ４で求めてあるので、ＲＡＭに記憶されている一次抽出画像の特徴データとステップＶ４で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。
なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２まで）と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに一次抽出画像の特徴データを用いる。
ステップＶ１２：（候補画像表示処理）
記録画像の検索が全て終ると、候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図３の画像のステップＳ１１〜Ｓ１４と同様の手順によって行なうことができる。
記録画像の検索が全て終ると、候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図３の画像のステップＳ１１〜Ｓ１４と同様の手順によって行なうことができる。
上記方法によれば、２枚目以降の検索画像は手書きされたイメージ（描画図）よりもあいまいでない（すなわち、より正確な）像をもとにした特徴データを用いて検索できるので、実施形態１（実施例１−１）の場合よりも検索精度が向上する。また、検索スピードも早くなる。なお、上記ステップＶ９およびＶ１０は省略してもよい。
［実施例２−２］
なお、本実施形態で実施例１−２のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト（図１２）を画像記録用メモリ７に記録しておき、上記図１６のステップＶ１０を図１７のステップＶ１０−１、Ｖ１０−２で置き換えればよく、さらにステップＶ３〜Ｖ５が不要となるので検索精度が向上するだけでなく、高速検索が可能となる。
なお、本実施形態で実施例１−２のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト（図１２）を画像記録用メモリ７に記録しておき、上記図１６のステップＶ１０を図１７のステップＶ１０−１、Ｖ１０−２で置き換えればよく、さらにステップＶ３〜Ｖ５が不要となるので検索精度が向上するだけでなく、高速検索が可能となる。
図１７に一次抽出画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートを示す。
図１７ではステップＶ１０−１で、処理速度を向上させるために画像記録用メモリ７の特徴リストをＲＡＭに一時記憶する。
ステップＶ１０−２ではステップＶ６で抽出した一次抽出画像の特徴と特徴リストに登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。また、その他のステップの動作は図１６の場合と同様である。
図１７ではステップＶ１０−１で、処理速度を向上させるために画像記録用メモリ７の特徴リストをＲＡＭに一時記憶する。
ステップＶ１０−２ではステップＶ６で抽出した一次抽出画像の特徴と特徴リストに登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。また、その他のステップの動作は図１６の場合と同様である。
［実施例２−３］
上記実施例では手書の検索用描画図を用いて記録画像から候補画像を抽出し、それを用いてさらに記録画像から候補画像を検索したが、早送り等の公知の画像検索方法を含む検索方法によって得た画像を用いて記録画像を検索することもできる。すなわち、図１６または図１７のステップＶ１で早送り等の公知の検索方法を含む検索を行ない、ステップＶ２で検索された画像の特徴抽出処理を行なうようにし、ステップＶ６〜Ｖ９を削除する。なお、特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。これにより、正確で迅速な画像検索が実現できる。
上記実施例では手書の検索用描画図を用いて記録画像から候補画像を抽出し、それを用いてさらに記録画像から候補画像を検索したが、早送り等の公知の画像検索方法を含む検索方法によって得た画像を用いて記録画像を検索することもできる。すなわち、図１６または図１７のステップＶ１で早送り等の公知の検索方法を含む検索を行ない、ステップＶ２で検索された画像の特徴抽出処理を行なうようにし、ステップＶ６〜Ｖ９を削除する。なお、特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。これにより、正確で迅速な画像検索が実現できる。
［実施例２−４］ 不要部分の消去機能の付加
また、図１６、図１７で検索用に用いる一次抽出画像が人物の場合（例えば、他の記録画像に記録されている人物と同一人物で顔は同じであっても服装や姿勢が異なることが多い、このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分（人物の場合には顔）だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
また、図１６、図１７で検索用に用いる一次抽出画像が人物の場合（例えば、他の記録画像に記録されている人物と同一人物で顔は同じであっても服装や姿勢が異なることが多い、このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分（人物の場合には顔）だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
そこで、上記ステップＶ８で表示される一次抽出画像のうちの不要な像を消すことができるように、消去選択ボタンを設けて（或いは画面に消去指定アイコンを表示して）、ボタン操作をしたあと（或いはアイコンをポイントしたあと）、カーソルまたは指やタッチペンで消去範囲を指定するとその部分が消去できるようにする。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
＜実施形態（３）＞
本実施形態では撮像した画像を用いて記録画像を検索する。また、画像検索装置としてデジタルカメラのように撮像部および表示部を有する撮像装置を用いる。
すなわち、撮像の特徴要素と記録画像の特徴要素との比較により特徴要素の一致率の高い記録画像を候補画像とし、表示された候補画像の中からユーザがイメージした画像（図１（ｃ）の例では画像１１１）を選択することにより、キーワード入力やコマ送りなしに所望の画像を検索可能とする。
なお、本実施形態では比較する特徴要素についても実施形態（１）の例と同様とするが、それらに限定されない。
本実施形態では撮像した画像を用いて記録画像を検索する。また、画像検索装置としてデジタルカメラのように撮像部および表示部を有する撮像装置を用いる。
すなわち、撮像の特徴要素と記録画像の特徴要素との比較により特徴要素の一致率の高い記録画像を候補画像とし、表示された候補画像の中からユーザがイメージした画像（図１（ｃ）の例では画像１１１）を選択することにより、キーワード入力やコマ送りなしに所望の画像を検索可能とする。
なお、本実施形態では比較する特徴要素についても実施形態（１）の例と同様とするが、それらに限定されない。
［回路構成例］
図１８は、本発明を適用したデジタルカメラの回路構成例を示すブロック図であり、デジタルカメラ２００は、撮像部１１、操作部１２、制御部１３、画像認識部１４、ＤＲＡＭ１５、画像記録用メモリ１６、画像処理部１７，表示部１８、液晶ディスプレイ（ＬＣＤ）１９を備えている。
図１８は、本発明を適用したデジタルカメラの回路構成例を示すブロック図であり、デジタルカメラ２００は、撮像部１１、操作部１２、制御部１３、画像認識部１４、ＤＲＡＭ１５、画像記録用メモリ１６、画像処理部１７，表示部１８、液晶ディスプレイ（ＬＣＤ）１９を備えている。
撮像部１１は撮像レンズやレンズ駆動機構、絞り機構等の光学系と撮像レンズを介して集光された光学像を電気信号に変換する撮像素子と、撮像素子駆動部および得られた電気信号をデジタルデータに変換する信号変換部を有している。
操作部１２は電源スイッチや処理モード選択ボタン等の他、シャッターボタン等の撮像用ボタンまたスイッチほかを備えている。ユーザが操作部１２のスイッチやボタン等を操作すると操作内容に対応した電気信号（コード）が制御部１３に送られる。これにより、ユーザは制御部１３にデジタルカメラ２００の起動や処理動作上必要な指示を与えることができる。
制御部１３はＣＰＵ，プログラム格納用メモリ（ＲＯＭ）および一時記憶用メモリ（ＲＯＭ）（図示せず）を備え、デジタルカメラ２００全体の動作制御と、各処理モードでの処理の実行制御、例えば、撮像や画像の記録、再生、表示の他、本発明の画像検索処理を含む各種処理モードの実行制御を行なう。なお、画像検索処理モードではプログラム格納用メモリからＲＡＭに画像検索プログラムを一時的にロードし、画像検索処理の実行を制御する。
画像認識部１４は、画像検索処理モードで撮像した画像の特徴要素の抽出を行なってＲＡＭに記憶し、記録画像の特徴要素との一致度を調べて認識処理を行なう。
ＤＲＡＭ１５は撮像部１１によって取込まれた画像データの一時記憶や、再生された画像データの一時記憶、画像認識等の際の画像データの記憶等の他、処理に作業用バッファとして用いられる。
画像記録用メモリ１６はフラッシュメモリ或いはメモリカード等の記録媒体からなり、圧縮処理された撮影画像データが記録される。また、撮影画像よりサイズや記録密度の小さな簡易画像（サムネイル画像）データを記録することもできる。また、予め記録画像の特徴要素を用いて画像検索を行なうようにした場合には図１２に示したような特徴リストを記録する領域が確保される。また、画像データに画像管理を行なうようにした場合には画像データに加えて画像データをファイル単位に管理する画像ファイル管理リスト領域が確保される。
画像処理部１７は、画像データ伸張／データ圧縮部、カラープロセッサインターフェイス、通信インターフェイス、表示制御用インターフェイス等の回路で構成され、ＣＰＵによって動作制御されてデジタルカメラ２００の主要な動作、例えば、画像の取込み、撮像処理、画像データの圧縮、圧縮データの記録、再生（圧縮画像データの取り出し、圧縮画像データの伸張）等の画像処理動作を実行する。
また、画像データ伸張／圧縮部は画像データを圧縮する画像圧縮部と、図２の画像再生部と同様に圧縮画像データを圧縮前の画像と同じ大きさで且つ同じ密度の画像に伸張する第１の伸張部と、圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度（密度が粗いことをいう）の画像に伸張する第２の伸張部と、圧縮画像データを元の画像より小さなサイズの画像に伸張且つ縮小して再生する画像縮小部を有している。
なお、マルチ表示するように構成した場合で、デジタルカメラ２００がメモリ容量が十分に大きい画像記録用メモリを備えている場合には、上述のような画像縮小部を設けることなく画像の記録時に予め画像を複数のサイズに縮小して各画像と関連づけて記憶させておき、表示の際に必要なサイズの縮小画像を抽出することもできる。
表示部１８はビデオエンコーダおよびＶＲＡＭ等の画像メモリを有し、画像データや描画入力されたデータをイメージデータに変換してＶＲＡＭにビットマップ展開して、液晶ディスプレイ（ＬＣＤ）１９上に画像表示する。
［実施例３−１］
図１９は撮影画像による画像検索例の説明図である。図１９で、（ａ）に示す画像１９１は、１年前にデジタルカメラ２００で撮影した子供（幼児）の画像を記録画像の中から検索するために、検索用画像として撮像した幼児の画像である。
図１９は撮影画像による画像検索例の説明図である。図１９で、（ａ）に示す画像１９１は、１年前にデジタルカメラ２００で撮影した子供（幼児）の画像を記録画像の中から検索するために、検索用画像として撮像した幼児の画像である。
デジタルカメラ２００で幼児を撮像した後、処理モードを画像検索処理モードにすると、いま撮った乳児の画像１９１の特徴要素を抽出して記録画像の特徴要素と比較し、認識処理する。（ｂ）に示す子供の画像１９２と（ｃ）に示す母親と一緒の画像１９３は乳児の画像１９１の特徴要素をもとに検索され、表示された画像の例である。
図２０は撮影画像によるデジタルカメラの画像検索動作例を示すフローチャートである。
ステップＷ１：（撮像）
ＲＥＣモード（撮像／記録モード）で検索に用いる画像としたい被写体を撮像する。すなわち、ユーザが操作部２のシャッターボタンを押すと、被写体像が撮像部１１によって電気信号に変換され、被写体像が画像データとしてＤＲＡＭ１５に取込まれる。ＤＲＡＭ１５に取込まれた画像データは画像処理部１７でカラー処理の画像処理を施されて映像信号として表示部１８に送られて液晶ディスプレイ１９に静止画表示される。
ＲＥＣモード（撮像／記録モード）で検索に用いる画像としたい被写体を撮像する。すなわち、ユーザが操作部２のシャッターボタンを押すと、被写体像が撮像部１１によって電気信号に変換され、被写体像が画像データとしてＤＲＡＭ１５に取込まれる。ＤＲＡＭ１５に取込まれた画像データは画像処理部１７でカラー処理の画像処理を施されて映像信号として表示部１８に送られて液晶ディスプレイ１９に静止画表示される。
ステップＷ２：（画像検索処理モードの選択）
ここで、ユーザが操作部１２の機能選択ボタンに割当てられた画像検索処理モード選択ボタン（画面に画像検索処理モード選択アイコンを表示してもよい）を操作すると、画像検索処理モードとなりステップＷ３に遷移する（所定時間内に画像検索処理モード選択がなされない場合には画像記録処理に移行する）。なお、画像検索処理モードの選択をステップＷ１で行ない、撮像をステップＷ２で行なうようにしてもよい。この場合、ステップＷ２で撮像を行なった後に直ちにステップＷ３に移行してもよいが、撮像後、所定キーを操作するとステップＷ４に移行するようにしてもよい。
ここで、ユーザが操作部１２の機能選択ボタンに割当てられた画像検索処理モード選択ボタン（画面に画像検索処理モード選択アイコンを表示してもよい）を操作すると、画像検索処理モードとなりステップＷ３に遷移する（所定時間内に画像検索処理モード選択がなされない場合には画像記録処理に移行する）。なお、画像検索処理モードの選択をステップＷ１で行ない、撮像をステップＷ２で行なうようにしてもよい。この場合、ステップＷ２で撮像を行なった後に直ちにステップＷ３に移行してもよいが、撮像後、所定キーを操作するとステップＷ４に移行するようにしてもよい。
ステップＷ３：（撮像の特徴抽出処理）
次に、今撮像した画像の特徴抽出処理を行なう。なお、撮像した画像の特徴抽出処理は前述した図３の画像のステップＳ１０（＝図５のステップＳ８−１〜Ｓ８−５）までと同様の手順によって行なうことができる。但し、ステップＳ８−３での色指定の判定およびステップ８−４での位置指定の判定を行なわない。
次に、今撮像した画像の特徴抽出処理を行なう。なお、撮像した画像の特徴抽出処理は前述した図３の画像のステップＳ１０（＝図５のステップＳ８−１〜Ｓ８−５）までと同様の手順によって行なうことができる。但し、ステップＳ８−３での色指定の判定およびステップ８−４での位置指定の判定を行なわない。
ステップＷ４：（画像データの簡易伸張）
上記ステップＷ３での撮像の特徴抽出処理が終了したあと、制御部１３は画像記録用メモリ１６に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像処理部１７の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してＤＲＡＭ１５に記憶する。
上記ステップＷ３での撮像の特徴抽出処理が終了したあと、制御部１３は画像記録用メモリ１６に記録されている１画像分の画像データ（圧縮画像データ）を読み出して画像処理部１７の第２の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してＤＲＡＭ１５に記憶する。
ステップＷ５：（画像データの特徴抽出処理）
次に、ＤＲＡＭ１５に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。但し、ステップＳ８−３での色指定の判定およびステップ８−４での位置の判定確認を行なわない。
次に、ＤＲＡＭ１５に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図３の画像の特徴抽出処理（ステップＳ８（図５のＳ８−１〜Ｓ８−５））と同様の手順によって行なうことができる。但し、ステップＳ８−３での色指定の判定およびステップ８−４での位置の判定確認を行なわない。
ステップＷ６：（記録画像の特徴抽出繰り返し）
記録画像の全てについて特徴抽出が終るまで上記ステップＷ４，Ｗ５を繰り返す。
記録画像の全てについて特徴抽出が終るまで上記ステップＷ４，Ｗ５を繰り返す。
ステップＷ７：（撮像画像による画像認識処理）
ステップＷ３で抽出してＲＡＭに記憶した撮像画像の特徴データとステップＷ５で抽出した記録画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２まで）と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに撮像画像の特徴データを用いるものとし、また、ステップＳ１０−５〜Ｓ１０−１０での色指定の判定およびステップ１０−１１〜Ｓ１０−１６での位置指定の判定を行なわない。
ステップＷ３で抽出してＲＡＭに記憶した撮像画像の特徴データとステップＷ５で抽出した記録画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２まで）と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに撮像画像の特徴データを用いるものとし、また、ステップＳ１０−５〜Ｓ１０−１０での色指定の判定およびステップ１０−１１〜Ｓ１０−１６での位置指定の判定を行なわない。
ステップＷ８：（検索画像表示処理）
記録画像の検索が全て終ると、検索された候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図３の画像のステップＳ１１〜Ｓ１４と同様の手順によって行なうことができる。上記画像検索方式により、実施形態１，２の場合と比較してより正確な検索ができる。また、迅速な画像検索が可能となる。
記録画像の検索が全て終ると、検索された候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図３の画像のステップＳ１１〜Ｓ１４と同様の手順によって行なうことができる。上記画像検索方式により、実施形態１，２の場合と比較してより正確な検索ができる。また、迅速な画像検索が可能となる。
［実施例３−２］ 特徴リストを用いた例
また、本実施形態で実施例１−２のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト（図１２）を画像記録用メモリ１６に記録しておき、上記図２０のステップＷ７を図２１のステップＷ７−１、Ｗ７−２で置き換えればよく、ステップＷ４〜Ｗ６が不要となるので検索精度が向上するだけでなく、更に高速検索が可能となる。
また、本実施形態で実施例１−２のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト（図１２）を画像記録用メモリ１６に記録しておき、上記図２０のステップＷ７を図２１のステップＷ７−１、Ｗ７−２で置き換えればよく、ステップＷ４〜Ｗ６が不要となるので検索精度が向上するだけでなく、更に高速検索が可能となる。
図２１に撮像画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートを示す。
図２１ではステップＷ７−１で、処理速度を向上させるために画像記録用メモリ１６の特徴リストをＲＡＭに一時記憶する。
ステップＷ７−２ではステップＷ３で抽出した一次抽出画像の特徴と特徴リストに登録された各記録画像の特徴とを比較して画像認識処理を行ない、検索候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。また、その他のステップの動作は図２０の場合と同様である。
図２１ではステップＷ７−１で、処理速度を向上させるために画像記録用メモリ１６の特徴リストをＲＡＭに一時記憶する。
ステップＷ７−２ではステップＷ３で抽出した一次抽出画像の特徴と特徴リストに登録された各記録画像の特徴とを比較して画像認識処理を行ない、検索候補画像を求める。なお、画像認識処理は前述した図３の画像のステップＳ１０（＝図６のステップＳ１０−１〜Ｓ１０−２２）と同様の手順によって行なうことができる。また、その他のステップの動作は図２０の場合と同様である。
［実施例３−３］ 不要部分の消去機能の付加
また、図２０、図２１で検索用に用いる被写体が人物の場合（例えば、図１９（ａ）の幼児１９１）は記録画像に記録されている人物（例えば、図１９（ｂ）の乳児１９２）と同一人物で顔は同じであっても服装や姿勢が異なることが多い。このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分（人物の場合には顔）だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
また、図２０、図２１で検索用に用いる被写体が人物の場合（例えば、図１９（ａ）の幼児１９１）は記録画像に記録されている人物（例えば、図１９（ｂ）の乳児１９２）と同一人物で顔は同じであっても服装や姿勢が異なることが多い。このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分（人物の場合には顔）だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
そこで、上記ステップＷ１で表示される撮像画像のうち不要部分を消すことができるように、消去選択ボタンを設けて（或いは画面に消去指定アイコンを表示して）、ボタン操作がなされると（或いはアイコンがポイントされる）、カーソルまたは指やタッチペンで消去範囲を指定するとその部分が消去できるようにし、上記ステップＷ２での撮像からの特徴抽出を消去後の特定部分（例えば、顔）から行なう。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
以上本発明のいくつかの実施例について説明したが、本発明は上記実施例に限定されるものではなく種々の変形実施が可能であることはいうまでもない。
３ 描画入力部（描画入力手段）
５，１４ 画像認識部（描画特徴抽出手段、一次画像抽出手段、画像特徴抽出手段、画像認識手段、一次画像抽出手段）
７，１６ 画像記録用メモリ（画像記録手段）
９，１８ 表示部（報知手段）
１０，１９ 液晶ディスプレイ（報知手段）
１００，２００ デジタルカメラ（電子スチルカメラ；画像検索装置）
１９１ 撮影像
５０１，５０２，５０３，７０１ 検索用描画図（描画図；イメージ）
５，１４ 画像認識部（描画特徴抽出手段、一次画像抽出手段、画像特徴抽出手段、画像認識手段、一次画像抽出手段）
７，１６ 画像記録用メモリ（画像記録手段）
９，１８ 表示部（報知手段）
１０，１９ 液晶ディスプレイ（報知手段）
１００，２００ デジタルカメラ（電子スチルカメラ；画像検索装置）
１９１ 撮影像
５０１，５０２，５０３，７０１ 検索用描画図（描画図；イメージ）
Claims (6)
- 複数の画像を記録する画像記録手段と、
検索用画像を取得する画像取得手段と、
この画像取得手段により取得された検索用画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用画像と類似度の高い記録画像を検索する第１の画像検索手段と、
この第１の画像検索手段により検索された記録画像を検索用記録画像として用いるか否かを選択する選択手段と、
この選択手段により検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する第２の画像検索手段と、
前記選択手段により検索用記録画像として用いないことが選択された場合、前記第１の画像検索手段に対して次の記録画像の検索を行わせる制御手段と、
を有することを特徴とする画像検索装置。 - 前記画像取得手段は、絵または図形を所定領域に描画入力する描画入力手段を含み、
前記第１の画像検索手段は、前記描画入力手段により描画入力された絵または図形と前記画像記録手段に記録されている前記各画像とを比較して、前記絵または図形と類似度の高い記録画像を検索することを特徴とする請求項１記載の画像検索装置。 - 前記第１の画像検索手段により検索された記録画像を表示する表示手段を有することを特徴とする請求項１又は２記載の画像検索装置。
- 前記表示手段は、前記第２の画像検索手段により検索された記録画像を表示する手段を含むことを特徴とする請求項３記載の画像検索装置。
- 被写体を撮影し、撮影画像を出力する撮影手段と、
この撮影手段から出力された撮影画像を複数記録する画像記録手段と、
検索用画像を取得する画像取得手段と、
この画像取得手段により取得された検索用画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用画像と類似度の高い記録画像を検索する第１の画像検索手段と、
この第１の画像検索手段により検索された記録画像を検索用記録画像として用いるか否かを選択する選択手段と、
この選択手段により検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する第２の画像検索手段と、
前記選択手段により検索用記録画像として用いないことが選択された場合、前記第１の画像検索手段に対して次の記録画像の検索を行わせる制御手段と、
を有することを特徴とする電子スチルカメラ。 - 検索用画像を取得する工程と、
前記取得された検索用画像と画像メモリに記録されている各画像とを比較して、前記検索用画像と類似度の高い第１の記録画像を検索する工程と、
前記検索された第１の記録画像を検索用記録画像として用いるか否かを選択する工程と、
前記第１の記録画像を検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像メモリに記録されている各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する工程と、
前記第１の記録画像を検索用記録画像として用いないことが選択された場合、前記取得された検索用画像と画像メモリに記録されている各画像とを比較して、前記検索用画像と類似度の高い次の記録画像を検索する工程と、
前記検索された次の記録画像を検索用記録画像として用いるか否かを選択する工程と、
前記次の記録画像を検索用記録画像として用いることが選択された場合、該検索用記録画像と前記画像メモリに記録されている各画像とを比較して、前記検索用記録画像と類似度の高い記録画像を検索する工程と、
を有することを特徴とする画像検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004332647A JP3674633B2 (ja) | 2004-11-17 | 2004-11-17 | 画像検索装置、電子スチルカメラ、および画像検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004332647A JP3674633B2 (ja) | 2004-11-17 | 2004-11-17 | 画像検索装置、電子スチルカメラ、および画像検索方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25607898A Division JP3660943B2 (ja) | 1998-08-27 | 1998-08-27 | 画像検索装置および画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005063465A JP2005063465A (ja) | 2005-03-10 |
| JP3674633B2 true JP3674633B2 (ja) | 2005-07-20 |
Family
ID=34373903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004332647A Expired - Fee Related JP3674633B2 (ja) | 2004-11-17 | 2004-11-17 | 画像検索装置、電子スチルカメラ、および画像検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674633B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4545641B2 (ja) * | 2005-06-01 | 2010-09-15 | 日本電信電話株式会社 | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 |
| JP5009577B2 (ja) * | 2005-09-30 | 2012-08-22 | 富士フイルム株式会社 | 画像検索装置および方法並びにプログラム |
| JP4752628B2 (ja) * | 2006-06-06 | 2011-08-17 | 日本電気株式会社 | 描画検索システム、描画検索方法及び描画検索端末 |
| EP2092449A1 (en) * | 2006-11-14 | 2009-08-26 | Koninklijke Philips Electronics N.V. | Method and apparatus for identifying an object captured by a digital image |
| JP2009020689A (ja) * | 2007-07-11 | 2009-01-29 | Canon Inc | データ検索方法及びデータ検索装置 |
| JP5632472B2 (ja) | 2010-06-16 | 2014-11-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 映像検索装置、映像検索方法、記録媒体、プログラム、集積回路 |
| KR102065416B1 (ko) * | 2013-09-23 | 2020-01-13 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05274356A (ja) * | 1991-03-07 | 1993-10-22 | Electron Maaketeingu:Kk | オブジェクト検索システム |
| JPH0721198A (ja) * | 1993-06-17 | 1995-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法 |
| JPH08194716A (ja) * | 1995-01-17 | 1996-07-30 | Canon Inc | 画像処理方法及びその装置 |
-
2004
- 2004-11-17 JP JP2004332647A patent/JP3674633B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005063465A (ja) | 2005-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3660943B2 (ja) | 画像検索装置および画像検索方法 | |
| US8983229B2 (en) | Method, medium, and system with a combinational photograph thumbnail | |
| JP3982605B2 (ja) | 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム | |
| EP2219372B1 (en) | Image processing device, dynamic image reproduction device, and processing method and program used in the devices | |
| EP1912432B1 (en) | Digital camera | |
| US7643742B2 (en) | Electronic camera, image processing apparatus, image processing method and image processing computer program | |
| JP4383399B2 (ja) | 検出対象画像検索装置およびその制御方法 | |
| KR100862939B1 (ko) | 영상 기록 재생 시스템 및 영상 기록 재생 방법 | |
| JP6203188B2 (ja) | 類似画像検索装置 | |
| JP3674633B2 (ja) | 画像検索装置、電子スチルカメラ、および画像検索方法 | |
| US20100302429A1 (en) | Image processing apparatus and control method for image processing apparatus | |
| JP3332166B2 (ja) | 動画像の検索装置 | |
| CN112822394B (zh) | 显示控制方法、装置、电子设备及可读存储介质 | |
| JP5181841B2 (ja) | 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム | |
| CN113225451B (zh) | 图像处理方法、装置和电子设备 | |
| US8149317B2 (en) | Display device, photographing apparatus, and display method | |
| JP4371219B2 (ja) | デジタルカメラ | |
| JP2004272314A (ja) | 画像表示装置、画像表示方法、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP3858133B2 (ja) | 撮像方法および撮像装置 | |
| JP2008211506A (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| KR101477535B1 (ko) | 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
| JP5181935B2 (ja) | 画像処理装置、プログラム及び被写体検出方法 | |
| US20120098839A1 (en) | Image reproduction device, image reproduction method and program | |
| JP4591038B2 (ja) | 電子カメラ、画像分類装置、及びプログラム | |
| JP2000276489A (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041125 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050418 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |