JPWO2007004519A1 - 検索システム及び検索方法 - Google Patents

Abstract

検索元プリントアウト（１）を含む被写体をデジタルカメラ（１０）によって撮像すると、そのデジタルカメラ（１０）は、その撮影した画像データから、上記検索元プリントアウト（１）に対応する領域を抽出し、その抽出した領域の特徴量を抽出し、特徴量によって画像データが検索可能なデータベースが構築されたストレージ（２０）にアクセスして、上記抽出した特微量によって、上記データベースから、上記検索元プリントアウト（１）の原画像データを検索する。

Description

本発明は、データベースから画像データを検索する検索システム及び検索方法に関する。

近年、デジタルカメラで撮影した画像データについても、銀塩カメラで撮影した画像と同様に、それをプリントアウトして楽しむことが広く行われている。

そのようにプリントアウトしてしまった画像データを再プリントしようとするとき、その画像データの付帯情報（ファイル名、撮影日時、等）を参考に、画像記憶媒体からユーザが検索しなければならず、非常に手間がかかるものであった。

そこで、例えば、特開２００１−８８３７４号公報には、画像データ供給源から一度プリントアウトした画像のデータを簡易に探し出すことを目的に、プリントアウトした画像データを保存しておき、キーワード検索等が行えるようにしたストレージプリンタが提案されている。

しかしながら、上記特開２００１−８８３７４号公報に開示のストレージプリンタでは、画像そのもので検索するわけでは無いために、結局プリンタに内在するメモリ領域に多数の画像データが含まれている場合は、再プリントアウト画像候補が多数表示され、ユーザの選択に手間がかかるといった課題が生じる。

本発明は、上記の点に鑑みてなされたもので、プリントアウトした画像の原画像データを容易に探し出すことが可能な検索システム及び検索方法を提供することを目的とする。

本発明の検索システムの一態様は、プリントアウト画像を含む被写体を撮像手段によって撮像した画像データから、上記プリントアウト画像に対応する領域を抽出する領域抽出手段と、上記領域抽出手段によって抽出した領域の特徴量を抽出する特徴量抽出手段と、特徴量によって画像データが検索可能なデータベースにアクセスして、上記特徴量抽出手段により抽出した特微量によって、上記データベースから画像データを検索する検索手段と、を具備することを特徴とする。

また、本発明の検索方法の一態様は、プリントアウトした画像を基に画像データを検索する検索方法であり、プリントアウト画像を含む被写体を撮像手段によって撮像した画像データから、上記プリントアウト画像に対応する領域を抽出し、上記抽出した領域の特徴量を抽出し、特微量に応じて画像データが検索可能なデータベースにアクセスして、上記抽出した特微量によって、上記データベースから画像データを検索する、ことを特徴とする。

また、本発明の検索システムの別の態様は、被写体を撮像する撮像手段と、上記撮像手段によって撮影した領域の特徴量を抽出する特徴量抽出手段と、特微量によって画像データが検索可能な画像データベースにアクセスして、上記特徴量抽出手段により抽出した特微量によって、上記画像データベースから画像データを検索する検索手段と、上記検索手段の検索結果を複数表示する表示手段と、を具備することを特徴とする。

図１は、本発明の第１実施例に係る検索システムの概略構成を示す図である。 図２は、第１実施例に係る検索システムのブロック構成図である。 図３は、第１実施例に係る検索システムの動作フローチャートを示す図である。 図４は、プリントアウトの切り出し処理の詳細フローチャートを示す図である。 図５は、ＤＢとのマッチング処理の詳細フローチャートを示す図である。 図６は、ＤＢとのマッチング処理の別の例の詳細フローチャートを示す図である。 図７は、画像候補を１点だけ表示する場合のデジタルカメラの表示部の表示画面を示す図である。 図８は、９点の画像候補を表示する場合の表示画面を示す図である。 図９は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。 図１０は、特徴量データベースの作成方法の別の例を説明するためのフローチャートを示す図である。 図１１は、特徴量データベースの作成方法の更に別の例を説明するためのフローチャートを示す図である。 図１２は、特徴量データベースの作成方法の他の例を説明するためのフローチャートを示す図である。 図１３は、看板として駅の駅名表示板を撮影した場合の動作概念を説明するための図である。 図１４は、地図上に写真を表示した例を示す図である。 図１５は、地図上に写真を表示した別の例を示す図である。 図１６は、写真が多い場合の地図上への写真の表示例を示す図である。 図１７は、写真が多い場合の地図上への写真の別の表示例を示す図である。 図１８は、本発明の第２実施例に係る検索システムのブロック構成図である。 図１９は、第２実施例に係る検索システムの動作フローチャートを示す図である。 図２０は、プリントアウトの撮像処理の詳細フローチャートを示す図である。 図２１は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。 図２２は、本発明の第３実施例に係る検索システムの適用されたカメラ付携帯電話機のブロック構成図である。 図２３は、本発明の第４実施例に係る検索システムの動作フローチャートを示す図である。 図２４は、本発明の第５実施例に係る検索システムで用いられる概要テンプレートを説明するための図である。 図２５は、第５実施例に係る検索システムで用いられる詳細テンプレートを説明するための図である。 図２６は、原画像データと概要テンプレート及び詳細テンプレートとの位置関係を説明するための図である。 図２７は、第５実施例に係る検索システムの動作フローチャートを示す図である。 図２８は、画像データの中央部に注目した詳細テンプレートを説明するための図である。 図２９は、画像内に数箇所分散配置した詳細テンプレートを説明するための図である。 図３０は、注目領域を原画像データ撮影時の合焦位置においた詳細テンプレートを説明するための図である。 図３１は、概要テンプレートと詳細テンプレートとを同一画像に納めた複合テンプレートを説明するための図である。 図３２は、１６×１６テンプレートと、１２８×１２８テンプレートと、それらを組み合わせた複合テンプレートとを示す図である。 図３３は、概要テンプレートと同じ領域に対して作成した詳細テンプレートを説明するための図である。 図３４は、本発明の第６実施例に係る検索システムの動作フローチャートを示す図である。 図３５は、本発明の第７実施例におけるプリントアウトの切り出し処理の詳細フローチャートを示す図である。 図３６は、第７実施例で使用するエッジ抽出フィルタを説明するための図である。 図３７は、ハフ変換を説明するための図である。 図３８は、撮影画像視野内に注目領域が一つしかない場合の直線の抽出の例を示す図である。 図３９は、複数の注目領域がある場合の直線の抽出の例を示す図である。 図４０は、本発明の第８実施例におけるプリントアウトの切り出し処理の詳細フローチャートを示す図である。 図４１は、第８実施例におけるガイド枠と、それによって区切られた上辺領域、下辺領域、左辺領域、及び右辺領域を説明するための図である。 図４２は、第８実施例におけるプリントアウトの切り出し処理の詳細フローチャートを示す図である。 図４３は、撮影画像データと各直線抽出領域の画像データとの関係を説明するための図である。 図４４は、各直線抽出領域における各辺の存在角度範囲を説明するための図である。 図４５は、各直線抽出領域から直線を抽出する処理の詳細フローチャートを示す図である。 図４６は、画像データを表示した表示デバイスの撮影時のデジタルカメラの表示例を示す図である。 図４７は、関心領域抽出処理終了時の表示例を示す図である。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施例］
本発明の第１実施例に係る検索システムは、図１に示すように、デジタルカメラ１０と、ストレージ２０と、プリンタ３０とから構成される。ここで、ストレージ２０は、複数の画像データを格納するもので、プリンタ３０は、そのストレージ２０に格納された画像データをプリントアウトする。

例えば、ストレージ２０は、デジタルカメラ１０に内蔵乃至は脱着可能なメモリであって、プリンタ３０は、デジタルカメラ１０からのプリントアウト指示に従って、そのストレージ２０であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ２０は、デジタルカメラ１０に接続端子，ケーブル，あるいは無線／有線ネットワークを介して接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、画像データを転送可能なデバイスであっても良い。その場合には、プリンタ３０は、ストレージ２０に接続または一体的に構成され、デジタルカメラ１０からのプリントアウト指示に従ってプリントアウトを実行するようなものであっても良い。

なお、ストレージ２０は、特徴量によって画像データが検索可能に構成されたデータベースの機能も備える。即ち、ストレージ２０は、原画像のデジタルデータより作成された特徴量データ（テンプレート）群を格納した特徴量データベースを構成している。

このような構成の検索システムは、以下のように動作する。

（１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影する。そして、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。

（２）そして、デジタルカメラ１０は、その抽出した特徴量によってストレージ２０に格納されたテンプレートとテンプレートマッチング処理を実行する。

（３）その結果、デジタルカメラ１０は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像データであるとして、ストレージ２０から読み出す。

（４）これにより、デジタルカメラ１０は、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。

なお、検索元プリントアウト１としては、１枚単位で出力されたプリントアウト以外に、複数の縮小画像をまとめて出力したインデックスプリントを使うことも可能である。これは、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便性が良いためである。

また、検索元プリントアウト１については、システム内のストレージ２０に構成した特徴量データベースに原画像データがある画像であれば、システム外（図示せず）のプリンタでプリントアウトしたものであっても構わない。

以下、本第１実施例に係る検索システムを、図２に示すブロック構成図及び図３に示す動作フローチャートを参照して、詳細に説明する。なお、デジタルカメラ１０は、通常の撮影モードとは別に、撮影済みデータの検索モードを有し、図３の動作フローチャートは、その検索モードに設定されている場合の処理を示している。

即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１）。

すると、デジタルカメラ１０においては、領域抽出部１２にて、撮像部１１で撮影された画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。

このプリントアウトの切り出し処理は、図４に示すように、まず、撮影された画像データ中の線分を検出し（ステップＳ１２１）、それら検出された線分の中から直線を検出する（ステップＳ１２２）。そして、それら検出した直線４本で構成される枠を推定する（ステップＳ１２３）。即ち、４辺に囲まれた関心領域を撮影された画像データ中から探し出す。なお、そのような４辺に囲まれた領域が複数ある場合には、その中で最も面積の大きい部分を関心領域として抽出したり、或いは矩形の縦横比などから関心領域を特定すれば良い。また、まれに、撮影された画像データの中で検索元プリントアウト１自体がそりを生じ、その結果、４辺に囲まれた領域と特定できないことがある。この場合、４辺の内幾つかが緩い円弧で構成されていてもそれを許容するような処理を行うことも有効である。また、ここで検索元プリントアウト１と見られる領域を抽出した後、その画像データ領域をアフィン変換等により正規化する処理も含んでいる。

次に、特徴量抽出部１３によって、上記領域抽出部１２で特定され抽出された関心領域から特徴量を抽出する処理を行う（ステップＳ１３）。なお、特徴量は、画像データ内の特徴点の配置関係を使うものであっても良いし、所定のルールに従った画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わないし、分割エリア毎のフーリエ変換値などに基づいたものでも構わない。

次に、マッチング部１４により、上記特徴量抽出部１３で抽出した特徴量データを、ストレージ２０に構成した撮影済み画像データの特徴量データベース（特徴量テンプレート）と比較し、その類似度の高いものを順に抽出するＤＢとのマッチング処理を実行する（ステップＳ１４）。

即ち、このＤＢとのマッチング処理は、図５に示すように、まず、各撮影済み画像データの特徴量テンプレートとの類似度を算出し（ステップＳ１４１）、類似度に基づいてソートする（ステップＳ１４２）。そして、その類似度に従って原画像候補を選出する（ステップＳ１４３）。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位のものを指定しても良い。何れにしても、類似度の最上位のものを１点選出する方法と、類似度の高いものから複数点を選出する方法の２種の方法がある。

なお、上記ステップＳ１３で抽出する特徴量を、上記特徴点と格子状の小領域の相対濃度とした場合、上記ステップＳ１４でのＤＢとのマッチング処理に使う特徴量テンプレートは、特徴点と格子状テンプレートとなる。格子状テンプレートでは、構図としての詳細な部分をマッチング処理することができる。また、特徴点であれば、被写体の識別も可能となり、例えば建物、人物、花、などといった分類を行うなどのメタ解析的な用途にも利用可能である。これら特徴点と格子状のテンプレートとを併用した段階的絞り込みも可能である。

このように特徴点と格子状テンプレートとを併用した場合、上記ステップＳ１４のＤＢとのマッチング処理は、図６に示すようになる。即ち、まず、上記ステップＳ１３で抽出した特徴点を使用して、ストレージ２０に構成した撮影済み画像データの特徴点データベース（特徴点テンプレート）と比較し（ステップＳ１４４）、その類似度の高いものを詳細検索候補対象として抽出する（ステップＳ１４５）。なお、この段階では低解像度の画像から抽出された特徴点を使用する。よって、細部の違いまでは判別できない可能性がある。次に、上記ステップＳ１３で抽出した格子状小領域を使用して、ストレージ２０に構成した撮影済み画像データの詳細データベース（詳細テンプレート（格子状テンプレート））と比較することにより、細部の違いを判別し（ステップＳ１４６）、原画像候補を選出する（ステップＳ１４７）。

その後、表示部１５に、上記選出された原画像候補の画像データをストレージ２０から読み出して、抽出すべき画像候補として表示し（ステップＳ１５）、ユーザによる選択を受け付ける（ステップＳ１６）。

図７は、画像候補を１点だけ表示する場合の表示部１５の表示画面を示している。この表示画面では、画像候補１５１の表示の横に、他の画像候補の表示を指示する際に操作すべきボタンを表す『前』及び『次』アイコン１５２と、当該画像候補１５１を所望の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン１５３とが配置される。『前』及び『次』アイコン１５２は、デジタルカメラ１０が通常備える所謂十字キーの左キー及び右キーであることを表し、『決定』アイコン１５３はその十字ボタンの真ん中に配置されるエンターキーであることを表す。

ここで、『前』及び『次』アイコン１５２に相当する十字キーが操作された場合には（ステップＳ１７）、上記ステップＳ１５に戻って、画像候補１５１を更新表示する。これに対して、『決定』アイコン１５３に相当するエンターキーが操作された場合には（ステップＳ１７）、マッチング部１４は、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ１８）。また、プリンタ３０に有線／無線で直接接続されていない場合には、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データに、フラグを追記する等の所定のマーキングを行う処理を実行することで、該ストレージ２０にアクセス可能なプリンタ３０でプリントアウトすることを可能とする。

なお、上記ステップＳ１５の画像候補の表示において、複数の候補を同時に表示するようにしても構わない。この場合、通常デジタルカメラ１０に設置されている表示部１５は当然数インチの小型のものであるため、４点或いは９点程度の表示が使い易い。図８は、９点の画像候補１５１を表示するようにした例を示している。この場合、『前』及び『次』アイコン１５２に相当する十字キーの左キー及び右キーの操作に応じて、選択画像を示す太枠１５４が移動される。なお、特に図示はしていないが、十字キーの上キー及び下キーの操作に応じて、９点の画像候補１５１の表示を前及び次の９点の画像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。

なお、上記ステップＳ１４において用いられる比較対象としてのストレージ２０に構成した撮影済み画像データの特徴量データベースについては、予め、ストレージ２０中の原画像データを元に作成しておく必要がある。また、このストレージ２０は、デジタルカメラ１０に付属するメモリであっても良いし、図２に破線で示すような通信部を介してアクセス可能なデータベースであっても良い。

この特徴量データベースの作成には、各種の方法が考えられる。

例えば、原画像撮影時にその撮影画像データをデジタルカメラ１０のメモリ領域に保存する際に、特徴量算出とそのデータベース登録を行う方法である。即ち、図９に示すように、デジタルカメラ１０にて撮影を行い（ステップＳ２０１）、その撮影画像データをデジタルカメラ１０のメモリ領域に保存する（ステップＳ２０２）。そして、その保存した撮影画像データから特徴量を算出してテンプレートデータを作成し（ステップＳ２０３）、その作成したテンプレートデータを上記撮影画像データに関連付けて保存する（ステップＳ２０４）。従って、ストレージ２０がデジタルカメラ１０の内蔵するメモリであれば、データベースが構築されることになる。また、ストレージ２０がデジタルカメラ１０と別体の場合には、デジタルカメラ１０のメモリ領域に保存された撮影画像データとテンプレートデータが共にストレージ２０に転送され、データベースが構築されることになる。

また、ストレージ２０に蓄積された原画像データをプリンタ３０でプリントアウトする際に、そのプリントアウト指示と同時に特徴量抽出処理を行い、データベースに蓄積することもプロセス的に効率が良い方法である。即ち、図１０に示すように、ストレージ２０に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリントアウトする原画像データが選択され（ステップＳ２１１）、また、プリント条件が設定されて（ステップＳ２１２）、プリントが実行される（ステップＳ２１３）。通常はここでプリント処理は終了であるが、本例では、更に続けて、その選択された原画像データから特徴量を算出してテンプレートデータを作成し（ステップＳ２１４）、その作成したテンプレートデータをその原画像データに関連付けて保存する（ステップＳ２１５）。なお、テンプレートデータ作成の際に、プリント条件を反映させることで、検索元プリントアウト１とテンプレートデータとのマッチング精度を向上させることができる。このような方法によれば、マッチング処理が実施されるかもしれない原画像データについてのみしかテンプレートデータを作成しないので、不必要なテンプレートデータの作成時間及び保存容量を省略することができる。

また、勿論、バッジ処理で行っても構わない。即ち、図１１に示すように、ユーザからの一括テンプレート作成実行指示があったとき（ステップＳ２２１）、ストレージ２０内のテンプレート未作成原画像データを選別して（ステップＳ２２２）、それら選別したテンプレート未作成原画像データに対して一括テンプレート作成処理を実行する（ステップＳ２２３）。この一括テンプレート作成処理は、個々のテンプレート未作成原画像データから特徴量を抽出してテンプレートデータを作成し（ステップＳ２２３Ａ）、それら作成したテンプレートデータを対応する原画像データに関連付けてストレージ２０に保存するものである（ステップＳ２２３Ｂ）。

さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図１２に示すように、ユーザが、ストレージ２０内の原画像データの一つを選択し（ステップＳ２３１）、その選択した原画像データについてテンプレートデータの作成の指示を行うことで（ステップＳ２３２）、その選択された原画像データから特徴量を抽出してテンプレートデータを作成し（ステップＳ２３３）、その作成したテンプレートデータを上記選択された原画像データに関連付けてストレージ２０に保存する（ステップＳ２３４）。

これまで、プリントアウトしてしまった画像データを再プリントしようとするとき、画像データの付帯情報（ファイル名、撮影日時、等）を参考にユーザが検索する事が多かった。本実施例に係る検索システムによれば、デジタルカメラ１０にて所望の検索元プリントアウト１の画像を撮影するだけで、原画像のファイル（画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。

加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。

また、図１３に示すように、例えば看板として駅の駅名表示板を撮影したならば、その画像データの中からその駅名を認識することで、撮影者の位置認識が可能となる。そこで、その認識した位置周辺つまり駅周辺の地図情報、その位置に関連する画像情報、同じく文字情報、などの関連情報を、デジタルカメラ１０に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ２０に存在する関連情報の中から検索して提供することができる。なお、駅名の認識方法としては、文字認識、パターン認識、類似した画像の検索による認識推定などがあり、マッチング部４３の機能として実施可能である。

また、例えば東京タワーを撮影し、デジタルカメラ１０に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ２０内の画像を検索することにより、東京タワーはもとより、世界各地のタワー状の建造物の写真を検索抽出することができる。そして、更には、その検索抽出した写真の付帯情報としての位置情報に基づき、各タワーの場所を知らしめたり、図１４や図１５に示すように地図上の該当の場所に写真を重ねて表示することも可能である。この場合、地図及び写真が関連情報である。

なお、地図上に写真を重ねて表示する場合に、地図の縮尺、写真の大きさ、その場所に関連した写真の枚数などの要因により、多くの画像が重なって見にくくなることがある。その場合には、図１６に示すように地図縮尺に応じて写真の表示サイズを変えたり、枚数が多い場合には図１７に示すように枚数に比例した表示サイズでの写真の表示を行う代わりに代表的な写真１枚だけを表示する、といった工夫を行う。

なお、上記ステップＳ１２乃至Ｓ１７の処理は、デジタルカメラ１０内で実施するものとして説明したが、デジタルカメラ１０と別体でストレージ２０を存在させる場合には、そのような処理をソフトウェアとしてストレージ２０にて起動させる、或いはデジタルカメラ１０とストレージ２０とに分割した形で起動させることで実際に動作させることも可能である。

［第２実施例］
次に、図１を参照して、本発明の第２実施例に係る検索システムの概略を説明する。

即ち、本検索システムは、デジタルカメラ１０と、ストレージ２０と、プリンタ３０と、パーソナルコンピュータ（ＰＣ）４０とから構成される。ここで、ストレージ２０は、ＰＣ４０に内蔵乃至は通信によってアクセス可能な記憶装置である。また、ＰＣ４０は、デジタルカメラ１０に無線／有線接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、デジタルカメラ１０のメモリに保存された画像データを読み出し可能に構成されている。

このような構成の検索システムは、以下のように動作する。

（１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影する。

（５）ＰＣ４０は、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。

（６）そして、ＰＣ４０は、その抽出した特徴量によってストレージ２０に格納されたテンプレートとテンプレートマッチング処理を実行する。

（７）その結果、ＰＣ４０は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像データであるとして読み出す。

（８）これにより、ＰＣ４０は、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。

以下、本第２実施例に係る検索システムを、図１８に示すブロック構成図及び図１９に示す動作フローチャートを参照して、詳細に説明する。なお、これらの図において、上記第１実施例と対応するものについては、同一の参照番号を付してある。

即ち、本実施例は、デジタルカメラ１０で撮影された画像データをそのユーザが特定するＰＣ４０に内蔵又は接続されたストレージ２０に蓄積し、且つ図１９にＰＣ側として示す処理がアプリケーションソフトウェアとしてＰＣ４０にて動作する場合である。なお、ＰＣ４０とデジタルカメラ１０を有線或いは無線で接続し、通信状態を確立した状態で、本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ１０に設定された“検索モード”等といったスイッチを入れる操作によって機能が起動される状態でも構わない。

このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ１０側にて、プリントアウトの撮像処理が実行される（ステップＳ１１）。即ち、図２０に示すように、ユーザが、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１１）。これにより、得られた撮影画像データがデジタルカメラ１０内のメモリである記憶部１６に保存される。そして、その保存された撮影画像データが、有線或いは無線で、接続されたＰＣ４０に転送される（ステップＳ１１２）。

すると、ＰＣ４０においては、アプリケーションソフトウェアにより実現される領域抽出部４１にて、上記送信されてきた撮影画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定・抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。次に、アプリケーションソフトウェアにより実現される特徴量抽出部４２によって、上記特定・抽出された関心領域から特徴量を抽出する処理を行う（ステップＳ１３）。なお、上記切り出し処理及び特徴量抽出処理は、デジタルカメラ１０側で行うようにしても良い。そのようにすれば、デジタルカメラ１０からＰＣ４０への通信量を少なくすることができる。

その後、アプリケーションソフトウェアにより実現されるマッチング部４３により、上記抽出した特徴量データを、ストレージ２０に構成した撮影済み画像データの特徴量データベースと比較し、その類似度の高いものを順に抽出するＤＢとのマッチング処理を実行する（ステップＳ１４）。即ち、算出された特徴量データを元にＰＣ４０側のマッチング部４３にて、ストレージ２０の画像データそれぞれに同梱される（或いは包括的にデータベース化された）特徴量データ群と比較し、最も近いものを選び出す。設定により、最も近い複数の特徴量候補を選出する事も使い勝手において有効である。この特徴量データには、その特徴量を算出した原画像データの指定情報が含まれており、それに従い候補画像を呼び出す。

その後、上記選出された原画像候補（或いは候補画像群）の画像データをストレージ２０から読み出して、該ＰＣ４０のディスプレイである表示部４４に抽出すべき画像候補として表示し（ステップＳ１５）、ユーザによる選択を受け付ける。このとき、上記選出された原画像候補（或いは候補画像群）の画像データをそのままか、適宜圧縮した状態で、ＰＣ４０よりデジタルカメラ１０に転送し、デジタルカメラ１０の表示部１５上に表示するようにしても構わない（ステップＳ３１）。

そして、マウス等の操作による選択に応じて、ストレージ２０に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ１８）。即ち、上記表示された原画像候補をユーザの判断により決定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するばかりではなく、候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する機能の実現にも繋がっている。

なお、本実施例においては、特徴量データベースの作成は、デジタルカメラ１０からＰＣ４０を介したストレージ２０への撮影画像データの転送時に行うようにしても良い。即ち、図２１に示すように、デジタルカメラ１０からＰＣ４０への撮影画像データの転送を開始し（ステップＳ２４１）、ＰＣ４０により、その転送されてきた撮影画像データをストレージ２０に保存すると共に（ステップＳ２４２）、その撮影画像データからテンプレートデータを作成する（ステップＳ２４３）。そして、その作成したテンプレートデータをストレージ２０に上記撮影画像データに関連付けて保存する（ステップＳ２４４）。

以上のように、本第２実施例においても、上記第１実施例と同様、デジタルカメラ１０にて所望の検索元プリントアウト１の画像を撮影するだけで、原画像のファイル（画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。

加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや図５に破線で示すような通信部を介してアクセス可能な外部データベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトをＰＣ４０やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション（音声・動画等）を作動させることなどが可能となる。

なお、上記説明では、デジタルカメラ１０を用いたが、本実施例はそれに限定されるものではなく、スキャナであっても構わない。

また、実際にプリントアウトした検索元プリントアウト１をデジタルカメラ１０で撮影しているが、例えば検索元プリントアウト１を撮影した画像を表示しているディスプレイをデジタルカメラ１０で撮影しても同様に実施可能である。

［第３実施例］
次に、本発明の第３実施例に係る検索システムを説明する。本実施例は、図２２に示すようなカメラ５１付の携帯電話機５０のアプリケーションソフトウェア５２に適用した例である。

即ち、携帯電話機のアプリケーションソフトウェアは現在ほとんどの携帯電話機にて利用可能となっており、且つその画像データは内部メモリ或いは外部メモリカード等に数多くを蓄積可能である。更に、特定の携帯サイト（携帯電話機向けインターネットサイト）においては、ユーザを特定した画像ファイルなどの蓄積サービスも行われている。このような状況は極めて多大な画像データを蓄積し、自己の活動記録や業務など多彩に利用できる反面、携帯電話機という比較的ユーザインタフェースに自由度がないハードウェアにとっては所望の画像データの検索は面倒であった。実際には画像データのタイトルや日時等によるテキストのリストからの検索が中心であり、画像データが多数となった場合は極めて面倒で、またテキストを打ち込む場合も複数の単語や長い名称等の入力は不自由であると言わざるを得ない。

本検索システムの導入に依れば、カメラ付携帯電話機のアプリケーションとして動作させることにより「画像入力機能」を立ち上げ、所望の「関心領域を切り出し」、「特徴量の算出」を行う。この特徴量（データ）は携帯回線を介して対応するサーバに送られる。この対応するサーバは、上記のカメラと一対一対応するものであっても良いし、一対多のカメラに対応するものであっても構わない。上記のサーバに送られた特徴量は、サーバに搭載されている「マッチング機能」により、サーバの要求するデータベースから読み込まれた特徴量データ群と実際にマッチング処理を行い、類似性の高い画像データを抽出する。この抽出された画像データをサーバから上記発信元の携帯電話機に返送し、携帯電話機から特定しないプリンタにより該画像データを出力する事が出来る。しかし、ここでサーバが抽出した画像データに対し、更にその画像データに関連する様々な情報が付加されている場合は、「その情報を携帯電話機に返送する」、と言った機能の拡張が可能であるし、抽出した画像データに高い圧縮をかけて携帯電話機に返送し、ユーザが所望の画像データであると確認の上、携帯電話機のメモリ領域に格納、あるいは携帯電話機のディスプレイ５３上に表示するだけであっても利用価値があることは言うまでも無い。

［第４実施例］
次に、本発明の第４実施例に係る検索システムを説明する。

本実施例は、その構成として、カメラ付携帯電話機等の撮像機能付通信装置である通信機能を備えたデジタルカメラ１０と、通信により接続されたサーバとにより構成され、画像検索のための機能がデジタルカメラ１０とサーバとに分割設置されたものである。

この場合、前述の第１の実施例と同様に、デジタルカメラ１０には撮影機能とその画像データから特徴量を算出する機能を有する。上記第１乃至第３実施例の場合、比較参照する特徴量データ群（或いは特徴量データベース）は元々ユーザ或いは当該のデジタルカメラ１０にて撮影及び印刷された画像群を基にして作られたものである。これは、当初の目的が、既に印刷された画像データを印刷されたプリントアウトを撮影して検索するためである。これに対して、本実施例はこの目的を拡張し、一般に街頭の看板、ポスターや印刷物、出版物の画像を基に算出された特徴量も、サーバに配されたストレージ２０に構成されたデータベースに取り込まれている点が大きく異なる。

プリントアウトに限らず、データベース上にある画像からの抽出が行えることはいうまでもない。

また、撮影した画像から抽出した特徴点をデータベースに追加することもできる。

登録の際には、画像に関連した位置情報を手動、ＧＰＳなどのセンサ、前出の文字認識などで認識して登録する。こうすることで、次に同様な場所で画像の撮影する時にデータベースを検索することにより、類似した画像を抽出することでその撮影画像に付加すべき位置情報を抽出することが可能となる。

図２３は、本実施例に係る検索システムの動作フローチャートを示す図である。なお、同図において、上記第１実施例と対応するものについては、同一の参照番号を付してある。

即ち、本実施例においては、例えばデジタルカメラ１０にて街頭に存在する商品広告などのポスターを撮影する（ステップＳ１１）。すると、その撮影画像データからデジタルカメラ１０にて、切り出し処理及び特徴量抽出処理が実行される（ステップＳ１２、ステップＳ１３）。そして、その抽出された特徴量は、デジタルカメラ１０に内蔵又付属された通信部により所定のサーバに送られる。

サーバにおいては、そのサーバがアクセス可能なストレージ２０に構成された特徴量データベースを参照して、上記デジタルカメラ１０から送られた特徴量データを比較し（ステップＳ１４）、類似な特徴量データを持つ類似画像候補を抽出する（ステップＳ４１）。これら抽出された類似画像候補の画像データは、必要により、所定の圧縮処理が施されて通信量を少なくした上で、上記デジタルカメラ１０に送信され、デジタルカメラ１０の表示部１５で簡易表示されることができる（ステップＳ４２）。これにより、上記第１実施例と同様、ユーザの選択が可能である。

そして、上記抽出され（更に選択され）た画像候補の画像データがデジタルカメラ１０に送信出力される、或いは、上記抽出され（更に選択され）た画像候補の特徴量に紐付いている特定情報に基づいて次の段階の動作を行う（ステップＳ４３）。この次の動作とは、上記の商品広告であれば、その商品の解説や通信販売サイトへの接続であっても良いし、そのサイト画面を画像データとしてデジタルカメラ１０に返送しても良い。また、街頭の看板を撮影した場合は、看板の周辺情報も特徴量として取り込んだり、通信時の無線基地局所在地のデータも比較したりすることにより、場所や住所の特定を情報としてユーザに呈示することも可能となる。

［第５実施例］
次に、本発明の第５実施例に係る検索システムを説明する。

本実施例は、撮影した検索元プリントアウト１の画像を基にして、第１のテンプレートを使ったテンプレートマッチングによりストレージ２０から複数の画像データを検索し、その検索した結果の複数の画像データから、上記第１のテンプレートより狭い領域で且つ解像度の高い第２のテンプレートを使って、テンプレートマッチングにより単一又は複数の画像データを検索するものである。

本実施例に係る検索システムは、前述した第１実施例と同様の構成であるが、特に、本実施例においては、ストレージ２０に、第１のテンプレートとしての概要テンプレートを登録した全体特徴量データベースと、第２のテンプレートとしての詳細テンプレートを登録した詳細特徴量データベースとが構成されている。

ここで、概要テンプレートは、図２４に示すように、画像データの全体（１００％）のほとんど（例えば約９０％）を含む領域を比較的粗い解像度で特徴量データを抽出することで得られたものである。また、詳細テンプレートは、図２５に示すように、画像データの中央領域部分（例えば中央約２５％）を含む領域を、上記概要テンプレートの解像度に比べて高い解像度で特徴量データを抽出することで得られたものである。なお、原画像データと上記概要テンプレート及び詳細テンプレートとの位置関係は、図２６に示すようになる。

図２７は、本実施例に係る検索システムの動作フローチャートである。なお、同図において、上記第１実施例と対応するものについては、同一の参照番号を付してある。

即ち、本実施例では、まず、上記第１実施例と同様に、検索モードに設定したデジタルカメラ１０により、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１）。そして、デジタルカメラ１０の領域抽出部１２にて、撮像部１１で撮影された画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定・抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。

そして次に、特徴量抽出部１３によって、上記領域抽出部１２で特定され抽出された関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行い（ステップＳ５１）、その抽出した全体特徴量データを、マッチング部１４により、ストレージ２０に構成した上記概要テンプレートを登録した全体特徴量データベースと比較し、その類似度の高いものを順に抽出する全体特徴量ＤＢとのマッチング処理を実行する（ステップＳ５２）。

その後、上記領域抽出部１２にて、上記特定され抽出された関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する（ステップＳ５３）。そして、特徴量抽出部１３によって、上記領域抽出部１２で抽出した詳細検索対象画像データから特徴量を抽出する詳細特徴量抽出処理を行い（ステップＳ５４）、その抽出した詳細特徴量データを、マッチング部１４により、ストレージ２０に構成した上記詳細テンプレートを登録した詳細特徴量データベースと比較し、その類似度の高いものを順に抽出する詳細特徴量ＤＢとのマッチング処理を実行する（ステップＳ５５）。但しこの場合、詳細特徴量データベースに登録された全ての詳細テンプレートとのテンプレートマッチングを行うのではなく、上記ステップＳ５２の全体特徴量ＤＢとのマッチング処理で抽出された複数の画像データに対応する詳細テンプレートについてのみテンプレートマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプレートとのテンプレートマッチング処理は、必要最低限で済むことになる。なお、上記ステップＳ５２の全体特徴量ＤＢとのマッチング処理での抽出する基準としては、類似度に閾値を設ける方法や上位５００個分固定的に選択する等といった方法で行う。

而して、この詳細特徴量ＤＢとのマッチング処理にて類似度の高い画像データが原画像候補として抽出されたならば、表示部１５に、それらを抽出すべき画像候補として表示し（ステップＳ１５）、ユーザによる選択を受け付けて、ユーザ所望の画像が決定されたならば（ステップＳ１７）、マッチング部１４は、ストレージ２０に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ１８）。

このような本実施例によれば、原画像データの検索結果の質（満足度）向上と、妥当な検索時間の両立ができる。

また、撮影者の注目領域を考慮した検索結果を得ることができる。即ち、通常、撮影者は主要被写体を画像中央に捕らえて撮影するので、図２８に示すように、画像データの中央部に注目した詳細テンプレートを使用することで、良好な検索結果を得ることができる。従って、プリントアウトした写真である検索元プリントアウト１から、その原画像データを検索抽出し、焼き増しを容易に行うシステムにおいて、そのプリント写真の検索において効果が高い。

さらに、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。

なお、本実施例においても、予め、一つの原画像データについて、概要テンプレートと詳細テンプレートとを作成してデータベースに登録しておく必要があり、その登録は、上記第１実施例で説明したようにして行えば良い。但し、必ずしも同時に両テンプレートを作成する必要は無く、例えば、詳細テンプレートは、２次検索を実行する段階で必要になったときに作成する方法でも良い。

また、詳細テンプレートは、図２５や図２８に示したように、画像データの中央部に注目したものに限定するものではない。

例えば、図２９に示すように、画像内に数箇所、詳細テンプレートを設定しても良い。このように詳細テンプレートを分散配置することで、プリント撮影条件による失敗を回避できる。即ち、位置や数を動的に変化させて絞り込みが行える。

また、図３０に示すように、注目領域を原画像データ撮影時の合焦位置においた詳細テンプレートとしても良い。このような詳細テンプレートでは、撮影者の意図を反映した結果が見込める。

また、図３１に示すように、低解像度の概要テンプレート２２と高解像度の詳細テンプレート２３とを同一画像に納めた複合テンプレート２１を構成し、上記第１実施例と同様に１回のテンプレートマッチング処理で済むようにしても良い。例えば、図３２に示すように、概要テンプレート２２（１６×１６テンプレート）と詳細テンプレート２３（１２８×１２８テンプレート）とを組み合わせることで、複合テンプレート２１を構成する。このような複合テンプレート２１によれば、高速性と安定的な検索結果の両立が見込める。また、高解像度領域の配置や構成を変更しても、全体の実装を変更せずに扱える。

さらに、図３３に示すように、詳細テンプレートを概要テンプレートと同じ領域について作成しデータベースに登録しておき、実際の詳細テンプレートとのテンプレートマッチング時には、その内の一部の領域、つまり図２８乃至図３０に示すような領域を参照領域２４として使用し、他の領域を非参照領域２５とするようにしても良い。

なお、本実施例は、上記第１実施例に対応させて説明したが、上記第２乃至第４実施例についても同様に適用可能なことはもちろんである。

また、本実施例における特徴量の算出を、特徴点群の配置間系を基にする方法によっても構わない。

［第６実施例］
次に、本発明の第６実施例に係る検索システムを説明する。

本実施例は、カメラ付携帯電話機等の撮像機能付通信装置である通信機能を備えたデジタルカメラ１０を使う例であり、予め登録した画像を撮影する事により、その画像を認識し、認識結果に応じて所定の動作（例えば音声出力や所定のプログラムの起動、或いは所定のＵＲＬの表示）をさせる場合に適用するものである。

画像を認識する場合、参照するデータベース（いわゆる辞書データ）として画像データは登録するが、画像をそのまま比較するのではなく、画像の特徴量を比較するのが効率が良く実際的である為、画像から抽出した特徴量データベースを使う。またこのデータベースは内蔵でも通信を介したサーバ上に存在するものでも構わない。

本実施例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴量として定義する。そのとき、この特徴量は特徴点の現れる数によってその精度が異なり、原画像データの精細度が高ければ特徴点が数多く検出可能であるため、同じ原画像データに対し、なるべく高精細な条件で特徴量を算出する。このとき、同じ画像素材に対して精細度を低下させた画像データを基に特徴量を算出すると、特徴点が比較的少なくなるため特徴量自体は小さい容量となる。容量が小さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、通信速度が速い等のメリットがある。

本実施例においてはここに着眼し、画像データを参照データ（テンプレート）として登録する際、一つの画像素材の登録に際し異なる複数の精細度から特徴量を算出し、それぞれの精細度に個別化したデータベースを構成する。そのそれぞれのデータベースには、それぞれに対応するマッチングサーバが接続し、並列動作可能な配置とする。即ち、図３４に示すように、１次特徴量のマッチングサーバ及び１次情報ＤＢ２１、２次特徴量のマッチングサーバ及び２次情報ＤＢ２２、…、ｎ次特徴量のマッチングサーバ及びｎ次情報ＤＢ２ｎを準備する。なお、２次特徴量のマッチングサーバ及び２次情報ＤＢ２２乃至ｎ次特徴量のマッチングサーバ及びｎ次情報ＤＢ２ｎは、１次特徴量のマッチングサーバ及び１次情報ＤＢ２１よりも高精細な特徴量又は特別なカテゴリのデータベースである。

このようなマッチング処理系を準備した上で、図３４に示すように、通信機能を備えたデジタルカメラ１０から、既に登録されている意匠（対象マーカ）を撮影し（ステップＳ６１）、上記デジタルカメラ１０に内蔵されるアプリケーションソフトウェアにより特徴点の配置関係から特徴量データを算出する（ステップＳ１３）。そして、その特徴量データを通信を介して各マッチングサーバに送信することで、各ＤＢとのマッチング処理が行われる（ステップＳ１４）。このマッチング処理によって、マッチする結果が得られたならば、その結果に紐付く動作情報（例えばＵＲＬのリンク等）が取得され（ステップＳ６２）、その動作情報がデジタルカメラ１０に送信されて、例えば３Ｄオブジェクト取得と表示といった指定動作が遂行される（ステップＳ６３）。

なお、このときのカメラ解像度が２００万画素級であったとすれば、通信を介してマッチングサーバにて検索する場合も２００万画素級の解像度の特徴量データベースからのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する低解像度（例えばＶＧＡクラスの解像度）の特徴量データベースでのマッチングは高速に応答するため、先にデジタルカメラ１０に結果が送付される。このようにマッチングサーバを解像度別に並列配置する事は速度的、認識精度的に有利である。なお、後追いの高解像度マッチングサーバからの回答が既に先に出ている低解像度マッチングサーバと異なる場合があり、そのような場合には、まず早いほうの結果に基づく表示が行われ、その後に、後追いの結果に基づく表示に更新される。例えば、紙幣などを認識しようとすると、低解像度マッチングでの回答が『一万円札』と言ったレベルであっても、高解像度マッチングにおいては『一万円札でナンバーがＺＴＡ４７３２９８ＳＰＫ』と言った回答のように、より精細度が高いことによる詳しい或いは正しい結果が得られる。

また、上述した通り高解像度マッチングサーバにおいては特徴量自体の容量が大きく、ＸＧＡクラスの特徴量は４０ｋＢ程度に肥大するが、予め低解像度マッチングによりおよそ１０ｋＢ程度までに小さくなる。また、２次以降のマッチングサーバ及びデータベースにおいては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。なお、特徴量にテンプレート（エリア割付を行い、各々の濃度値を比較する方式）での抽出を進めた場合、一般的に１０ｋＢ以下であり、適宜両方式を組み合わせた多次元特徴量も認識精度の向上に有効であることを確認している。

このように、撮影画像面の一部又は全面の解像度を多段階化し、実質上のマッチング階層化を実現することは、単純に複数のマッチングサーバをクラスター的に分散処理する場合に比べて認識速度、認識精度の両面で効果がある。

特に、予めデータベース登録した画像が極めて多数（１０００以上）の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。

［第７実施例］
次に、本発明の第７実施例に係る検索システムを説明する。

本実施例は、前述したステップＳ１２でのプリントアウトの切り出し処理に特徴を有するものであり、その他は上記第１実施例と同様であるので、その説明は省略する。本実施例は、線分抽出により、閉領域を抽出する方法を採用したものである。

即ち、本実施例におけるプリントアウトの切り出し処理は、図３５に示すように、まず、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データから、線分を検出し易くするため、エッジ成分を抽出する（ステップＳ１２４）。これは、例えば、共立出版株式会社刊・尾崎他共著『画像処理』、日刊工業新聞社刊・手塚他共著『デジタル画像処理工学』、等に開示されているフィルタを用いて画像データからエッジ成分を抽出するものである。この場合、フィルタは、検出するエッジの方向に応じて、図３６に示すような一般的なフィルタを用いる。なおここでは、ｘ，ｙの２方向のエッジ成分抽出の例を説明したが、対象となる検索元プリントアウト１の向きが特定されない場合には、全方向のエッジ成分抽出を行う。

次に、直線成分の抽出を行う（ステップＳ１２５）。例えば、ハフ変換による直線成分の抽出を行う。

ハフ変換とは、例えば、共立出版株式会社刊・尾崎他共著『画像処理』、日刊工業新聞社刊・手塚他共著『デジタル画像処理工学』、等に開示されているように、座標変換によって点の集合から直線の式を定める手法であり、画像処理では良く用いられる。

ハフ変換では、図３７に示すように、画像上の座標（Ｘ，ｙ）をθ、ρで表されるハフ曲線に変換する。

ρ＝ｘｃｏｓθ＋ｙｓｉｎθ …式（１）
エッジ抽出フィルタによってエッジ抽出した画像中で、閾値を越えるピクセルの座標（ｘ，ｙ）をハフ曲線に変換し、θ，ρを座標軸としたθ−ρ画像上に曲線を描いていく。実際には、θ−ρ画像の座標（θ，ρ）をカウントアップしていく。

ハフ曲線の交点が同一直線を表すことになる為、上で得られたθ，ρ座標の輝度（交点における重なり）が、同一直線上に存在するピクセル数を表す。θ−ρ画像上において最も輝度の高い座標（θ，ρ）を上記式（１）に代入し、直線の式を得る。

次に、上記ハフ変換で得られた各直線を線分に分解する（ステップＳ１２６）。即ち、各直線を延長してなる線分を求める。そして、各線分の繋がりや形状から領域を決定する（ステップＳ１２７）。即ち、４つの線分で囲まれた領域を探索し、閉領域であった場合は抽出領域とする。これは、撮影画像視野内に検索元プリントアウト１（注目領域）が一つしかない場合であれば、４つの直線で囲まれた領域を探索すれば良いが、検索元プリントアウト１が複数有り、しかもその一部が重なっているような場合には、下にある検索元プリントアウト１については４つの直線で囲まれないからである。各直線を延長した線分により探索することで、そのような下にある検索元プリントアウト１についても閉領域を推定することが可能となる。

なお、閉領域の認識については種々方法が提案されており、ここでは述べない。また、ここでは、エッジ抽出、ハフ変換を使った直線抽出について説明したが、直線を検出する方法であればこれらに限られるものでは無い。

図３８及び図３９に上記処理による直線の抽出の例を示す。太線１７が抽出された直線を示している。図３８は撮影画像視野内に注目領域が一つしかない場合を、また、図３９は複数の注目領域がある場合を示す。

注目領域が複数ある場合には、複数の原画像データを検索する場合もあるが、一つに絞る場合には下記のように選択をすることができる。

例えば、被写体画像の中央部に位置する閉領域を優先的に選択する。

あるいは、求めた複数の閉領域をデジタルカメラ１０の表示部１５に表示し、十字キー等の操作によって、所望の閉領域をユーザが選択できるようにしても良い。またこの場合、そのようなユーザインタフェースによって、ユーザの領域の部分的修正を許すようにしても構わない。

また、面積の大きい閉領域を優先的に選択するようにしても良い。

あるいは、抽出領域の中で所定の色を多く含む画像（赤、青等）を選択するようにしても良い。

更には、抽出領域の中の周波数分布が所定の値に近いものを選択するようにしても良い。

また、他との重なりが少ない即ち上になっている閉領域を優先的に選択するものとしても良い。この重なりが少ない状態の認識方法としては、次のような方法がある。

方法１：ハフ変換により、同一線上にあると認識された点について、図３７中の右図の各点を再度図３７中の左図の線上に配置する。こうすることで線上の線分が定まり、各線分と図３９の抽出領域の関係とから領域の上下関係を求めることができる。より上にある領域を重なりが少ない領域とする。

方法２：検索システムにおいて、マッチングを行うテンプレートが複数ある場合に、あるテンプレートだけが極端に類似度が低い場合、その部分が他の領域によって遮蔽されている、と判断することができる。

上記方法を使うほか、上記方法１と２を組み合わせ、より精度良く重なりが少ない状態を判定することもできる。

以上のように、本実施例は、抽出直線に基づく線分の交点を求める方式であるため、検索元プリントアウト１の各辺の一部が見えていれば良い。

従って、複数枚の検索元プリントアウト１の中から目的とする検索元プリントアウト１を容易に抽出できる。特に、検索元プリントアウト１同士が一部重なり合ったような場合でも抽出が可能になる。

［第８実施例］
次に、本発明の第８実施例に係る検索システムを説明する。

本実施例は、前述したステップＳ１２でのプリントアウトの切り出し処理に特徴を有するものであり、その他は上記第１実施例と同様であるので、その説明は省略する。本実施例は、エッジ抽出により、閉領域を抽出する方法を採用したものである。

図４０は、本実施例におけるプリントアウトの切り出し処理の動作フローチャートを示している。

即ち、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データから、フィルタを用いてエッジを抽出する（ステップＳ１２４）。次に、それら検出したエッジを探索していき（ステップＳ１２８）、エッジの形状から領域を決定する（ステップＳ１２９）。

このような方法によっても、閉領域を抽出することができる。

［第９実施例］
次に、本発明の第９実施例に係る検索システムを説明する。

本実施例は、前述したステップＳ１２でのプリントアウトの切り出し処理に特徴を有するものであり、その他は上記第１実施例と同様であるので、その説明は省略する。本実施例は、画像内を分割し、抽出線分を限定して、閉領域を抽出する方法を採用したものである。

即ち、本実施例においては、検索モードにて検索元プリントアウト１をデジタルカメラ１０で撮影する際、図４１に示すように、表示部１５にガイド枠１８を表示する。そして、このガイド枠１８によって区切られた上辺領域、下辺領域、左辺領域、及び右辺領域のそれぞれに、検索元プリントアウト１の上下左右の４辺の一つが入るように、ユーザに撮影を行わせる。なお、各領域の幅は、デジタルカメラ１０の設定モードにおいて十字キー等の操作により、ユーザが撮影し易い幅に設定できるものとする。

これにより、撮影画像データも同様に上辺、右辺、左辺、下辺の４つの領域に分割することができる。そして、上記第６実施例で説明したような直線抽出では、上辺及び下辺領域については横線を、右辺及び左辺領域は縦線の検出のみを行う。このように限定する事で、計算量を大幅に減少させる事ができる。

図４２は、本実施例におけるプリントアウトの切り出し処理の動作フローチャートである。即ち、本実施例においては、まず、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データにおける直線抽出領域を、現在のガイド枠１８の設定に基づいて決定する（ステップＳ１２Ａ）。即ち、図４３に示すように、撮影画像データ１９に対し、上下左右４つの直線抽出領域を決定する。そして、その決定した各直線抽出領域の画像データ１９Ｕ，１９Ｄ，１９Ｌ，１９Ｒから直線を抽出する（ステップＳ１２Ｂ）。

即ち、上記第６実施例では、画像データ内の全直線に対してハフ変換を行い、その直線上の点となるピクセルをカウントしたが、本実施例では、図４４に示すように、各直線抽出領域における各辺の存在角度範囲が決まっている。

探索範囲は、処理領域サイズに応じて、以下のように決定する。

対角線角度θ＝±ａｔａｎ（処理領域高さ／処理領域幅）
縦線探索範囲：９０−θ〜９０＋θ
横線探索範囲：０〜θ，１８０−θ〜１８０
即ち、図４５の動作フローチャートに示すように、処理領域の幅と高さとを比較し（ステップＳ７１）、幅の方が大きければ、０〜ａｔａｎ（処理領域高さ／処理領域幅）及びπ−ａｔａｎ（処理領域高さ／処理領域幅）〜πの範囲の直線を抽出する（ステップＳ７２）。また、処理領域の幅よりも高さの方が大きければ、π／２−ａｔａｎ（処理領域幅／処理領域高さ）〜π／２＋ａｔａｎ（処理領域幅／処理領域高さ）の範囲の直線を抽出する（ステップＳ７３）。

このように探索領域に制限をかけたうえで、上記第６実施例で説明したような手順により閉領域を決定していく（ステップＳ１２Ｃ）。そして、決定された閉領域は、デジタルカメラ１０の表示部１５に太線１７として提示される。

なお、画像データ内のノイズ等の影響により抽出領域が希望の領域では無かった場合（例えば、地面や水平線を検出してしまった場合）には、以下の手法により修正が可能である。

（ａ）上記ハフ変換におけるθ，ρ座標の輝度が第２位の直線を用いる。

（ｂ）ユーザが手動により選択抽出した直線を用いる。

勿論、上記第６実施例で説明したように、ユーザが、上記抽出された閉領域を部分的に修正しても良い。

以上のように、本第８実施例によれば、撮影画面内を分割し、各領域に検索元プリントアウト１の辺が入るように誘導する事で、検出範囲が限定され、計算量の軽減及び高速化を実現することができる。

なお、また、入力画像は静止画に限られるものでは無い。動画像が入力された場合には、各フレーム毎に処理を行い、逐次抽出領域を表示することが可能となる。また、複数フレームの情報を併せて評価し、例えばハフ変換におけるθ・ρ座標の輝度値にとらわれず、いずれのフレームにおいても抽出される直線、所定の複数フレームの中で出現回数の多い直線を候補とする事が可能となる。

また、入力画像は、プリンタでプリントアウトした検索元プリントアウト１に限定されるものではない。図４６に示すように、画像データを表示した表示デバイス６０を撮影し、その表示デバイス６０に表示された画像データを関心領域として抽出し、図４７に示すように、太線１７を表示することも可能である。なおこの場合、図４３に示すように、各直線抽出領域の画像データ１９Ｕ，１９Ｄ，１９Ｌ，１９Ｒを黒画像データに置換し、太線１７をより識別可能に表示するようにしても良い。

以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、デジタルカメラは、静止画を撮影するデジタルスチルカメラに限定するものではなく、動画像を撮影するデジタルムービーカメラも含む。

また、通信機能を備えたデジタルカメラである撮像機能付通信装置とは、カメラ付携帯電話機、カメラ付ＰＨＳ、固定テレビ電話を含む。

本発明の応用範囲として、カメラ付携帯電話やデジタルカメラは言うに及ばず、画像で認証するタイプのセキュリティーシステム等、一般的にカメラによりデジタル画像を撮影して蓄積するシステムにおいては広範な利用が期待できる。

Claims (13)

1. プリントアウト画像（１）を含む被写体を撮像手段（１１）によって撮像した画像データから、上記プリントアウト画像に対応する領域を抽出する領域抽出手段（１２；４１）と、
   上記領域抽出手段によって抽出した領域の特徴量を抽出する特徴量抽出手段（１３；４２）と、
   特徴量によって画像データが検索可能なデータベース（２０）にアクセスして、上記特徴量抽出手段により抽出した特微量によって、上記データベースから画像データを検索する検索手段（１４；４３）と、
   を具備することを特徴とする検索システム。
2. デジタルカメラ（１０）に内蔵されるシステムとして実現されていることを特徴とする請求項１に記載の検索システム。
3. 撮像機能付通信装置（５０）に内蔵されるシステムとして実現されていることを特徴とする請求項１に記載の検索システム。
4. 上記撮像手段をさらに具備することを特徴とする請求項１に記載の検索システム。
5. 上記データベースをさらに具備することを特徴とする請求項１に記載の検索システム。
6. 上記データベースは、上記検索システム外にあり、
   上記データベースへのアクセスは、通信手段を介して行われる、
   ことを特徴とする請求項１に記載の検索システム。
7. 上記データベースは、プリントアウトした画像の原画像データに対し、特徴量を算出したものであることを特徴とする請求項５に記載の検索システム。
8. 上記特徴量が特徴点と格子状テンプレートとで構成されており、
   上記検索手段は、上記特徴点と格子状テンプレートとを併用することで絞り込みを行って画像データを検索することを特徴とする請求項１に記載の検索システム。
9. プリントアウトした画像（１）を基に画像データを検索する検索方法であり、
   プリントアウト画像を含む被写体を撮像手段（１１）によって撮像した画像データから、上記プリントアウト画像に対応する領域を抽出し、
   上記抽出した領域の特徴量を抽出し、
   特微量に応じて画像データが検索可能なデータベース（２０）にアクセスして、上記抽出した特微量によって、上記データベースから画像データを検索する、
   ことを特徴とする検索方法。
10. 被写体を撮像する撮像手段（１１）と、
    上記撮像手段によって撮影した領域の特徴量を抽出する特徴量抽出手段（１２；４２）と、
    特微量によって画像データが検索可能な画像データベース（２０）にアクセスして、上記特徴量抽出手段により抽出した特微量によって、上記画像データベースから画像データを検索する検索手段（１４；４３）と、
    上記検索手段の検索結果を複数表示する表示手段（１５；４４）と、
    を具備することを特徴とする検索システム。
11. 上記撮影手段は、上記被写体として、特徴量により位置が一意に定まる対象物を撮影し、
    上記検索手段は、上記撮影手段による撮影で得られた画像データより撮影者の位置を認識し、位置に関連する関連情報を記憶した関連情報データベース（２０）にアクセスして、上記認識した位置によって、上記関連情報データベースから関連情報を検索する、
    ことを特徴とする請求項１０に記載の検索システム。
12. 上記表示手段は、上記検索手段によって検索した画像データと関連情報とを、地図上の該当位置に重ねて表示することを特徴とする請求項１１に記載の検索システム。
13. 上記表示手段は、上記検索した画像データ及び関連情報を地図上の該当位置に重ねて表示する際に、所定の縮尺に応じて表示することを特徴とする請求項１２に記載の検索システム。

Images