WO2007004519A1 - 検索システム及び検索方法 - Google Patents

Abstract

　検索元プリントアウト（１）を含む被写体をデジタルカメラ（１０）によって撮像すると、そのデジタルカメラ（１０）は、その撮影した画像データから、上記検索元プリントアウト（１）に対応する領域を抽出し、その抽出した領域の特徴量を抽出し、特徴量によって画像データが検索可能なデータベースが構築されたストレージ（２０）にアクセスして、上記抽出した特微量によって、上記データベースから、上記検索元プリントアウト（１）の原画像データを検索する。

Description

明 細 書

検索システム及び検索方法

技術分野

[0001] 本発明は、データベース力 画像データを検索する検索システム及び検索方法に 関する。

背景技術

[0002] 近年、デジタルカメラで撮影した画像データについても、銀塩カメラで撮影した画像 と同様に、それをプリントアウトして楽しむことが広く行われている。

[0003] そのようにプリントアウトしてしまった画像データを再プリントしょうとするとき、その画 像データの付帯情報 (ファイル名、撮影日時、等)を参考に、画像記憶媒体からユー ザが検索しなければならず、非常に手間が力かるものであった。

[0004] そこで、例えば、特開 2001— 88374号公報には、画像データ供給源力も一度プリ ントアウトした画像のデータを簡易に探し出すことを目的に、プリントアウトした画像デ ータを保存しておき、キーワード検索等が行えるようにしたストレージプリンタが提案さ れている。

発明の開示

[0005] しかしながら、上記特開 2001— 88374号公報に開示のストレージプリンタでは、画 像そのもので検索するわけでは無いために、結局プリンタに内在するメモリ領域に多 数の画像データが含まれて 、る場合は、再プリントアウト画像候補が多数表示され、 ユーザの選択に手間が力かるといった課題が生じる。

[0006] 本発明は、上記の点に鑑みてなされたもので、プリントアウトした画像の原画像デー タを容易に探し出すことが可能な検索システム及び検索方法を提供することを目的と する。

[0007] 本発明の検索システムの一態様は、プリントアウト画像を含む被写体を撮像手段に よって撮像した画像データから、上記プリントアウト画像に対応する領域を抽出する 領域抽出手段と、上記領域抽出手段によって抽出した領域の特徴量を抽出する特 徴量抽出手段と、特徴量によって画像データが検索可能なデータベースにアクセス して、上記特徴量抽出手段により抽出した特微量によって、上記データベース力も画 像データを検索する検索手段と、を具備することを特徴とする。

[0008] また、本発明の検索方法の一態様は、プリントアウトした画像を基に画像データを 検索する検索方法であり、プリントアウト画像を含む被写体を撮像手段によって撮像 した画像データから、上記プリントアウト画像に対応する領域を抽出し、上記抽出した 領域の特徴量を抽出し、特微量に応じて画像データが検索可能なデータベースにァ クセスして、上記抽出した特微量によって、上記データベースから画像データを検索 する、ことを特徴とする。

[0009] また、本発明の検索システムの別の態様は、被写体を撮像する撮像手段と、上記 撮像手段によって撮影した領域の特徴量を抽出する特徴量抽出手段と、特微量によ つて画像データが検索可能な画像データベースにアクセスして、上記特徴量抽出手 段により抽出した特微量によって、上記画像データベース力も画像データを検索する 検索手段と、上記検索手段の検索結果を複数表示する表示手段と、を具備すること を特徴とする。

図面の簡単な説明

[0010] [図 1]図 1は、本発明の第 1実施例に係る検索システムの概略構成を示す図である。

[図 2]図 2は、第 1実施例に係る検索システムのブロック構成図である。

[図 3]図 3は、第 1実施例に係る検索システムの動作フローチャートを示す図である。

[図 4]図 4は、プリントアウトの切り出し処理の詳細フローチャートを示す図である。

[図 5]図 5は、 DBとのマッチング処理の詳細フローチャートを示す図である。

[図 6]図 6は、 DBとのマッチング処理の別の例の詳細フローチャートを示す図である。

[図 7]図 7は、画像候補を 1点だけ表示する場合のデジタルカメラの表示部の表示画 面を示す図である。

[図 8]図 8は、 9点の画像候補を表示する場合の表示画面を示す図である。

[図 9]図 9は、特徴量データベースの作成方法を説明するためのフローチャートを示 す図である。

[図 10]図 10は、特徴量データベースの作成方法の別の例を説明するためのフロー チャートを示す図である。 [図 11]図 11は、特徴量データベースの作成方法の更に別の例を説明するためのフ ローチャートを示す図である。

[図 12]図 12は、特徴量データベースの作成方法の他の例を説明するためのフロー チャートを示す図である。

[図 13]図 13は、看板として駅の駅名表示板を撮影した場合の動作概念を説明するた めの図である。

圆 14]図 14は、地図上に写真を表示した例を示す図である。

圆 15]図 15は、地図上に写真を表示した別の例を示す図である。

[図 16]図 16は、写真が多い場合の地図上への写真の表示例を示す図である。

[図 17]図 17は、写真が多い場合の地図上への写真の別の表示例を示す図である。

[図 18]図 18は、本発明の第 2実施例に係る検索システムのブロック構成図である。

[図 19]図 19は、第 2実施例に係る検索システムの動作フローチャートを示す図である

[図 20]図 20は、プリントアウトの撮像処理の詳細フローチャートを示す図である。

[図 21]図 21は、特徴量データベースの作成方法を説明するためのフローチャートを 示す図である。

[図 22]図 22は、本発明の第 3実施例に係る検索システムの適用されたカメラ付携帯 電話機のブロック構成図である。

[図 23]図 23は、本発明の第 4実施例に係る検索システムの動作フローチャートを示 す図である。

[図 24]図 24は、本発明の第 5実施例に係る検索システムで用いられる概要テンプレ ートを説明するための図である。

[図 25]図 25は、第 5実施例に係る検索システムで用いられる詳細テンプレートを説明 するための図である。

[図 26]図 26は、原画像データと概要テンプレート及び詳細テンプレートとの位置関係 を説明するための図である。

[図 27]図 27は、第 5実施例に係る検索システムの動作フローチャートを示す図である [図 28]図 28は、画像データの中央部に注目した詳細テンプレートを説明するための 図である。

[図 29]図 29は、画像内に数箇所分散配置した詳細テンプレートを説明するための図 である。

[図 30]図 30は、注目領域を原画像データ撮影時の合焦位置にお!ヽた詳細テンプレ ートを説明するための図である。

[図 31]図 31は、概要テンプレートと詳細テンプレートとを同一画像に納めた複合テン プレートを説明するための図である。

[図 32]図 32は、 16 X 16テンプレートと、 128 X 128テンプレートと、それらを組み合 わせた複合テンプレートとを示す図である。

[図 33]図 33は、概要テンプレートと同じ領域に対して作成した詳細テンプレートを説 明するための図である。

[図 34]図 34は、本発明の第 6実施例に係る検索システムの動作フローチャートを示 す図である。

[図 35]図 35は、本発明の第 7実施例におけるプリントアウトの切り出し処理の詳細フ ローチャートを示す図である。

[図 36]図 36は、第 7実施例で使用するエッジ抽出フィルタを説明するための図である [図 37]図 37は、ハフ変換を説明するための図である。

[図 38]図 38は、撮影画像視野内に注目領域が一つしかない場合の直線の抽出の例 を示す図である。

[図 39]図 39は、複数の注目領域がある場合の直線の抽出の例を示す図である。

[図 40]図 40は、本発明の第 8実施例におけるプリントアウトの切り出し処理の詳細フ ローチャートを示す図である。

[図 41]図 41は、第 8実施例におけるガイド枠と、それによつて区切られた上辺領域、 下辺領域、左辺領域、及び右辺領域を説明するための図である。

[図 42]図 42は、第 8実施例におけるプリントアウトの切り出し処理の詳細フローチヤ一 トを示す図である。 圆 43]図 43は、撮影画像データと各直線抽出領域の画像データとの関係を説明す るための図である。

[図 44]図 44は、各直線抽出領域における各辺の存在角度範囲を説明するための図 である。

[図 45]図 45は、各直線抽出領域から直線を抽出する処理の詳細フローチャートを示 す図である。

[図 46]図 46は、画像データを表示した表示デバイスの撮影時のデジタルカメラの表 示例を示す図である。

[図 47]図 47は、関心領域抽出処理終了時の表示例を示す図である。

発明を実施するための最良の形態

[0011] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0012] [第 1実施例]

本発明の第 1実施例に係る検索システムは、図 1に示すように、デジタルカメラ 10と

、ストレージ 20と、プリンタ 30とから構成される。ここで、ストレージ 20は、複数の画像 データを格納するもので、プリンタ 30は、そのストレージ 20に格納された画像データ をプリントアウトする。

[0013] 例えば、ストレージ 20は、デジタルカメラ 10に内蔵乃至は脱着可能なメモリであつ て、プリンタ 30は、デジタルカメラ 10からのプリントアウト指示に従って、そのストレー ジ 20であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ 20は、デ ジタルカメラ 10に接続端子，ケーブル，あるいは無線/有線ネットワークを介して接 続される、もしくは、デジタルカメラ 10から取り外されたメモリを装着して、画像データ を転送可能なデバイスであっても良い。その場合には、プリンタ 30は、ストレージ 20 に接続または一体的に構成され、デジタルカメラ 10からのプリントアウト指示に従って プリントアウトを実行するようなものであっても良い。

[0014] なお、ストレージ 20は、特徴量によって画像データが検索可能に構成されたデータ ベースの機能も備える。即ち、ストレージ 20は、原画像のデジタルデータより作成さ れた特徴量データ (テンプレート)群を格納した特徴量データベースを構成して 、る。

[0015] このような構成の検索システムは、以下のように動作する。 [0016] (1) まず、デジタルカメラ 10は、プリンタ 30によってー且プリントアウトされた検索 元プリントアウト 1の画像を含む被写体を撮影する。そして、得られた撮影画像データ から、その検索元プリントアウト 1の画像に対応する領域を抽出し、その抽出した領域 の特徴量を抽出する。

[0017] (2) そして、デジタルカメラ 10は、その抽出した特徴量によってストレージ 20に格 納されたテンプレートとテンプレートマッチング処理を実行する。

[0018] (3) その結果、デジタルカメラ 10は、マッチしたテンプレートに対応する画像デー タを、上記検索元プリントアウト 1の原画像データであるとして、ストレージ 20から読み 出す。

[0019] (4) これにより、デジタルカメラ 10は、その読み出した原画像データを、再び、プリ ンタ 30でプリントアウトすることができる。

[0020] なお、検索元プリントアウト 1としては、 1枚単位で出力されたプリントアウト以外に、 複数の縮小画像をまとめて出力したインデックスプリントを使うことも可能である。これ は、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便

'性が良いためである。

[0021] また、検索元プリントアウト 1については、システム内のストレージ 20に構成した特徴 量データベースに原画像データがある画像であれば、システム外（図示せず）のプリ ンタでプリントアウトしたものであっても構わない。

[0022] 以下、本第 1実施例に係る検索システムを、図 2に示すブロック構成図及び図 3に 示す動作フローチャートを参照して、詳細に説明する。なお、デジタルカメラ 10は、 通常の撮影モードとは別に、撮影済みデータの検索モードを有し、図 3の動作フロー チャートは、その検索モードに設定されて 、る場合の処理を示して 、る。

[0023] 即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む 検索元プリントアウト 1をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ 10の撮像部 11により、少なくとも上記検索元プリントアウト 1の欠けが無いように撮影 する（ステップ S 11)。

[0024] すると、デジタルカメラ 10においては、領域抽出部 12にて、撮像部 11で撮影され た画像データ中から、上記検索元プリントアウト 1の画像を特定し、その部分を抽出す るためのプリントアウトの切り出し処理を実行する (ステップ S12)。

[0025] このプリントアウトの切り出し処理は、図 4に示すように、まず、撮影された画像デー タ中の線分を検出し (ステップ S121)、それら検出された線分の中から直線を検出す る (ステップ S122)。そして、それら検出した直線 4本で構成される枠を推定する (ス テツプ S123)。即ち、 4辺に囲まれた関心領域を撮影された画像データ中から探し出 す。なお、そのような 4辺に囲まれた領域が複数ある場合には、その中で最も面積の 大きい部分を関心領域として抽出したり、或いは矩形の縦横比など力 関心領域を 特定すれば良い。また、まれに、撮影された画像データの中で検索元プリントアウト 1 自体がそりを生じ、その結果、 4辺に囲まれた領域と特定できないことがある。この場 合、 4辺の内幾つかが緩い円弧で構成されていてもそれを許容するような処理を行う ことも有効である。また、ここで検索元プリントアウト 1と見られる領域を抽出した後、そ の画像データ領域をァフィン変換等により正規ィ匕する処理も含んでいる。

[0026] 次に、特徴量抽出部 13によって、上記領域抽出部 12で特定され抽出された関心 領域から特徴量を抽出する処理を行う（ステップ S13)。なお、特徴量は、画像データ 内の特徴点の配置関係を使うものであっても良いし、所定のルールに従った画像デ ータ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対 濃度などを使うものでも構わな 、し、分割エリア毎のフーリエ変換値などに基づ 、た ものでも構わない。

[0027] 次に、マッチング部 14により、上記特徴量抽出部 13で抽出した特徴量データを、ス トレージ 20に構成した撮影済み画像データの特徴量データベース (特徴量テンプレ ート）と比較し、その類似度の高いものを順に抽出する DBとのマッチング処理を実行 する（ステップ S 14)。

[0028] 即ち、この DBとのマッチング処理は、図 5に示すように、まず、各撮影済み画像デ ータの特徴量テンプレートとの類似度を算出し (ステップ S141)、類似度に基づいて ソートする (ステップ S 142)。そして、その類似度に従って原画像候補を選出する (ス テツプ S 143)。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位 のものを指定しても良い。何れにしても、類似度の最上位のものを 1点選出する方法 と、類似度の高いものから複数点を選出する方法の 2種の方法がある。 [0029] なお、上記ステップ SI 3で抽出する特徴量を、上記特徴点と格子状の小領域の相 対濃度とした場合、上記ステップ S 14での DBとのマッチング処理に使う特徴量テン プレートは、特徴点と格子状テンプレートとなる。格子状テンプレートでは、構図とし ての詳細な部分をマッチング処理することができる。また、特徴点であれば、被写体 の識別も可能となり、例えば建物、人物、花、などといった分類を行うなどのメタ解析 的な用途にも利用可能である。これら特徴点と格子状のテンプレートとを併用した段 階的絞り込みも可能である。

[0030] このように特徴点と格子状テンプレートとを併用した場合、上記ステップ S14の DB とのマッチング処理は、図 6に示すようになる。即ち、まず、上記ステップ S13で抽出 した特徴点を使用して、ストレージ 20に構成した撮影済み画像データの特徴点デー タベース (特徴点テンプレート）と比較し (ステップ S 144)、その類似度の高!、ものを 詳細検索候補対象として抽出する (ステップ S145)。なお、この段階では低解像度の 画像から抽出された特徴点を使用する。よって、細部の違いまでは判別できない可 能性がある。次に、上記ステップ S13で抽出した格子状小領域を使用して、ストレー ジ 20に構成した撮影済み画像データの詳細データベース (詳細テンプレート (格子 状テンプレート)）と比較することにより、細部の違いを判別し (ステップ S 146)、原画 像候補を選出する (ステップ S147)。

[0031] その後、表示部 15に、上記選出された原画像候補の画像データをストレージ 20か ら読み出して、抽出すべき画像候補として表示し (ステップ S15)、ユーザによる選択 を受け付ける (ステップ S 16)。

[0032] 図 7は、画像候補を 1点だけ表示する場合の表示部 15の表示画面を示している。こ の表示画面では、画像候補 151の表示の横に、他の画像候補の表示を指示する際 に操作すべきボタンを表す『前』及び『次』アイコン 152と、当該画像候補 151を所望 の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン 153とが配 置される。『前』及び『次』アイコン 152は、デジタルカメラ 10が通常備える所謂十字キ 一の左キー及び右キーであることを表し、『決定』アイコン 153はその十字ボタンの真 ん中に配置されるエンターキーであることを表す。

[0033] ここで、『前』及び『次』アイコン 152に相当する十字キーが操作された場合には (ス テツプ SI 7)、上記ステップ SI 5に戻って、画像候補 151を更新表示する。これに対 して、『決定』アイコン 153に相当するエンターキーが操作された場合には (ステップ S 17)、マッチング部 14は、ストレージ 20に格納されている当該画像候補 151に対応 する原画像データを、接続されたプリンタ 30に送り、再度プリントアウトする (ステップ S18)。また、プリンタ 30に有線/無線で直接接続されていない場合には、ストレー ジ 20に格納されている当該画像候補 151に対応する原画像データに、フラグを追記 する等の所定のマーキングを行う処理を実行することで、該ストレージ 20にアクセス 可能なプリンタ 30でプリントアウトすることを可能とする。

[0034] なお、上記ステップ S15の画像候補の表示において、複数の候補を同時に表示す るようにしても構わない。この場合、通常デジタルカメラ 10に設置されている表示部 1 5は当然数インチの小型のものであるため、 4点或 、は 9点程度の表示が使 ヽ易 、。 図 8は、 9点の画像候補 151を表示するようにした例を示している。この場合、『前』及 び『次』アイコン 152に相当する十字キーの左キー及び右キーの操作に応じて、選択 画像を示す太枠 154が移動される。なお、特に図示はしていないが、十字キーの上 キー及び下キーの操作に応じて、 9点の画像候補 151の表示を前及び次の 9点の画 像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。

[0035] なお、上記ステップ S14において用いられる比較対象としてのストレージ 20に構成 した撮影済み画像データの特徴量データベースについては、予め、ストレージ 20中 の原画像データを元に作成しておく必要がある。また、このストレージ 20は、デジタル カメラ 10に付属するメモリであっても良いし、図 2に破線で示すような通信部を介して アクセス可能なデータベースであっても良い。

[0036] この特徴量データベースの作成には、各種の方法が考えられる。

[0037] 例えば、原画像撮影時にその撮影画像データをデジタルカメラ 10のメモリ領域に 保存する際に、特徴量算出とそのデータベース登録を行う方法である。即ち、図 9に 示すように、デジタルカメラ 10にて撮影を行い (ステップ S201)、その撮影画像デー タをデジタルカメラ 10のメモリ領域に保存する (ステップ S202)。そして、その保存し た撮影画像データ力も特徴量を算出してテンプレートデータを作成し (ステップ S203 )、その作成したテンプレートデータを上記撮影画像データに関連付けて保存する（ ステップ S204)。従って、ストレージ 20がデジタルカメラ 10の内蔵するメモリであれば 、データベースが構築されることになる。また、ストレージ 20がデジタルカメラ 10と別 体の場合には、デジタルカメラ 10のメモリ領域に保存された撮影画像データとテンプ レートデータが共にストレージ 20に転送され、データベースが構築されることになる。

[0038] また、ストレージ 20に蓄積された原画像データをプリンタ 30でプリントアウトする際 に、そのプリントアウト指示と同時に特徴量抽出処理を行い、データベースに蓄積す ることもプロセス的に効率が良い方法である。即ち、図 10に示すように、ストレージ 20 に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリント アウトする原画像データが選択され (ステップ S211)、また、プリント条件が設定され て (ステップ S212)、プリントが実行される（ステップ S213)。通常はここでプリント処 理は終了であるが、本例では、更に続けて、その選択された原画像データから特徴 量を算出してテンプレートデータを作成し (ステップ S214)、その作成したテンプレー トデータをその原画像データに関連付けて保存する (ステップ S215)。なお、テンプ レートデータ作成の際に、プリント条件を反映させることで、検索元プリントアウト 1とテ ンプレートデータとのマッチング精度を向上させることができる。このような方法によれ ば、マッチング処理が実施される力もしれな 、原画像データにっ 、てのみしかテンプ レートデータを作成しな 、ので、不必要なテンプレートデータの作成時間及び保存 容量を省略することができる。

[0039] また、勿論、ノ ッジ処理で行っても構わない。即ち、図 11に示すように、ユーザから の一括テンプレート作成実行指示があつたとき (ステップ S221)、ストレージ 20内の テンプレート未作成原画像データを選別して (ステップ S222)、それら選別したテン プレート未作成原画像データに対して一括テンプレート作成処理を実行する (ステツ プ S223)。この一括テンプレート作成処理は、個々のテンプレート未作成原画像デ 一タカも特徴量を抽出してテンプレートデータを作成し (ステップ S223A)、それら作 成したテンプレートデータを対応する原画像データに関連付けてストレージ 20に保 存するものである（ステップ S223B)。

[0040] さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図 12に示す ように、ユーザが、ストレージ 20内の原画像データの一つを選択し (ステップ S231)、 その選択した原画像データにっ 、てテンプレートデータの作成の指示を行うことで（ ステップ S232)、その選択された原画像データ力も特徴量を抽出してテンプレートデ ータを作成し (ステップ S233)、その作成したテンプレートデータを上記選択された 原画像データに関連付けてストレージ 20に保存する (ステップ S234)。

[0041] これまで、プリントアウトしてしまった画像データを再プリントしょうとするとき、画像デ ータの付帯情報 (ファイル名、撮影日時、等)を参考にユーザが検索する事が多かつ た。本実施例に係る検索システムによれば、デジタルカメラ 10にて所望の検索元プリ ントアウト 1の画像を撮影するだけで、原画像のファイル (画像データ）にアクセスする ことが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが 可能である。

[0042] カロえて、原画像データそのもののみならず、類似の画像構成の画像データを検索 することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板や ポスター等をこの所謂検索モードで撮影し、デジタルカメラ 10に付属するメモリや通 信を介してアクセス可能なデータベース等のストレージ 20に存在する画像データ及 びその特徴量データの中から類似或いは同一の画像データを容易に検索可能とな る。

[0043] また、図 13に示すように、例えば看板として駅の駅名表示板を撮影したならば、そ の画像データの中からその駅名を認識することで、撮影者の位置認識が可能となる。 そこで、その認識した位置周辺つまり駅周辺の地図情報、その位置に関連する画像 情報、同じく文字情報、などの関連情報を、デジタルカメラ 10に付属するメモリや通 信を介してアクセス可能なデータベース等のストレージ 20に存在する関連情報の中 力も検索して提供することができる。なお、駅名の認識方法としては、文字認識、バタ ーン認識、類似した画像の検索による認識推定などがあり、マッチング部 43の機能と して実施可能である。

[0044] また、例えば東京タワーを撮影し、デジタルカメラ 10に付属するメモリや通信を介し てアクセス可能なデータベース等のストレージ 20内の画像を検索することにより、東 京タワーはもとより、世界各地のタワー状の建造物の写真を検索抽出することができ る。そして、更には、その検索抽出した写真の付帯情報としての位置情報に基づき、 各タワーの場所を知らしめたり、図 14や図 15に示すように地図上の該当の場所に写 真を重ねて表示することも可能である。この場合、地図及び写真が関連情報である。

[0045] なお、地図上に写真を重ねて表示する場合に、地図の縮尺、写真の大きさ、その 場所に関連した写真の枚数などの要因により、多くの画像が重なって見にくくなること がある。その場合には、図 16に示すように地図縮尺に応じて写真の表示サイズを変 えたり、枚数が多い場合には図 17に示すように枚数に比例した表示サイズでの写真 の表示を行う代わりに代表的な写真 1枚だけを表示する、といった工夫を行う。

[0046] なお、上記ステップ S12乃至 S17の処理は、デジタルカメラ 10内で実施するものと して説明した力 デジタルカメラ 10と別体でストレージ 20を存在させる場合には、そ のような処理をソフトウェアとしてストレージ 20にて起動させる、或!、はデジタルカメラ 10とストレージ 20とに分割した形で起動させることで実際に動作させることも可能で ある。

[0047] [第 2実施例]

次に、図 1を参照して、本発明の第 2実施例に係る検索システムの概略を説明する

[0048] 即ち、本検索システムは、デジタルカメラ 10と、ストレージ 20と、プリンタ 30と、パー ソナルコンピュータ（PC) 40とから構成される。ここで、ストレージ 20は、 PC40に内蔵 乃至は通信によってアクセス可能な記憶装置である。また、 PC40は、デジタルカメラ 10に無線 Z有線接続される、もしくは、デジタルカメラ 10から取り外されたメモリを装 着して、デジタルカメラ 10のメモリに保存された画像データを読み出し可能に構成さ れている。

[0049] このような構成の検索システムは、以下のように動作する。

[0050] (1) まず、デジタルカメラ 10は、プリンタ 30によってー且プリントアウトされた検索 元プリントアウト 1の画像を含む被写体を撮影する。

[0051] (5) PC40は、得られた撮影画像データから、その検索元プリントアウト 1の画像に 対応する領域を抽出し、その抽出した領域の特徴量を抽出する。

[0052] (6) そして、 PC40は、その抽出した特徴量によってストレージ 20に格納されたテ ンプレートとテンプレートマッチング処理を実行する。 [0053] (7) その結果、 PC40は、マッチしたテンプレートに対応する画像データを、上記 検索元プリントアウト 1の原画像データであるとして読み出す。

[0054] (8) これにより、 PC40は、その読み出した原画像データを、再び、プリンタ 30でプ リントアウトすることができる。

[0055] 以下、本第 2実施例に係る検索システムを、図 18に示すブロック構成図及び図 19 に示す動作フローチャートを参照して、詳細に説明する。なお、これらの図において 、上記第 1実施例と対応するものについては、同一の参照番号を付してある。

[0056] 即ち、本実施例は、デジタルカメラ 10で撮影された画像データをそのユーザが特 定する PC40に内蔵又は接続されたストレージ 20に蓄積し、且つ図 19に PC側として 示す処理がアプリケーションソフトウェアとして PC40にて動作する場合である。なお、 PC40とデジタルカメラ 10を有線或いは無線で接続し、通信状態を確立した状態で、 本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ 10に 設定された"検索モード"等といったスィッチを入れる操作によって機能が起動される 状態でも構わない。

[0057] このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ 10側に て、プリントアウトの撮像処理が実行される (ステップ S 11)。即ち、図 20に示すように 、ユーザが、再度プリントアウトすることを望む検索元プリントアウト 1をテーブル上或 いは壁面等に貼付した状態で、デジタルカメラ 10の撮像部 11により、少なくとも上記 検索元プリントアウト 1の欠けが無いように撮影する (ステップ S111)。これにより、得 られた撮影画像データがデジタルカメラ 10内のメモリである記憶部 16に保存される。 そして、その保存された撮影画像データが、有線或いは無線で、接続された PC40 に転送される (ステップ S 112)。

[0058] すると、 PC40においては、アプリケーションソフトウェアにより実現される領域抽出 部 41にて、上記送信されてきた撮影画像データ中から、上記検索元プリントアウト 1 の画像を特定し、その部分を特定'抽出するためのプリントアウトの切り出し処理を実 行する (ステップ S12)。次に、アプリケーションソフトウェアにより実現される特徴量抽 出部 42によって、上記特定'抽出された関心領域から特徴量を抽出する処理を行う ( ステップ S13)。なお、上記切り出し処理及び特徴量抽出処理は、デジタルカメラ 10 側で行うようにしても良い。そのようにすれば、デジタルカメラ 10から PC40への通信 量を少なくすることができる。

[0059] その後、アプリケーションソフトウェアにより実現されるマッチング部 43により、上記 抽出した特徴量データを、ストレージ 20に構成した撮影済み画像データの特徴量デ ータベースと比較し、その類似度の高 、ものを順に抽出する DBとのマッチング処理 を実行する (ステップ S 14)。即ち、算出された特徴量データを元に PC40側のマッチ ング部 43にて、ストレージ 20の画像データそれぞれに同梱される（或いは包括的に データベース化された)特徴量データ群と比較し、最も近いものを選び出す。設定に より、最も近い複数の特徴量候補を選出する事も使い勝手において有効である。この 特徴量データには、その特徴量を算出した原画像データの指定情報が含まれており 、それに従い候補画像を呼び出す。

[0060] その後、上記選出された原画像候補 (或 、は候補画像群)の画像データをストレー ジ 20から読み出して、該 PC40のディスプレイである表示部 44に抽出すべき画像候 補として表示し (ステップ S 15)、ユーザによる選択を受け付ける。このとき、上記選出 された原画像候補 (或 ヽは候補画像群)の画像データをそのままか、適宜圧縮した 状態で、 PC40よりデジタルカメラ 10に転送し、デジタルカメラ 10の表示部 15上に表 示するようにしても構わな 、 (ステップ S31)。

[0061] そして、マウス等の操作による選択に応じて、ストレージ 20に格納されている当該 画像候補に対応する原画像データを、接続されたプリンタ 30に送り、再度プリントァ ゥトする (ステップ S18)。即ち、上記表示された原画像候補をユーザの判断により決 定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印 刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するば力り ではなぐ候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像 とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する 機能の実現にも繋がって 、る。

[0062] なお、本実施例にお!、ては、特徴量データベースの作成は、デジタルカメラ 10から PC40を介したストレージ 20への撮影画像データの転送時に行うようにしても良い。 即ち、図 21に示すように、デジタルカメラ 10から PC40への撮影画像データの転送を 開始し (ステップ S241)、 PC40により、その転送されてきた撮影画像データをストレ ージ 20に保存すると共に (ステップ S242)、その撮影画像データ力もテンプレートデ ータを作成する（ステップ S243)。そして、その作成したテンプレートデータをストレー ジ 20に上記撮影画像データに関連付けて保存する (ステップ S 244)。

[0063] 以上のように、本第 2実施例においても、上記第 1実施例と同様、デジタルカメラ 10 にて所望の検索元プリントアウト 1の画像を撮影するだけで、原画像のファイル (画像 データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索 方法を提供することが可能である。

[0064] カロえて、原画像データそのもののみならず、類似の画像構成の画像データを検索 することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板や ポスター等をこの所謂検索モードで撮影し、デジタルカメラ 10に付属するメモリや図 5 に破線で示すような通信部を介してアクセス可能な外部データベース等のストレージ 20に存在する画像データ及びその特徴量データの中力 類似或いは同一の画像デ ータを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトを PC 40やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション (音声'動 画等)を作動させることなどが可能となる。

[0065] なお、上記説明では、デジタルカメラ 10を用いた力 本実施例はそれに限定される ものではなぐスキャナであっても構わない。

[0066] また、実際にプリントアウトした検索元プリントアウト 1をデジタルカメラ 10で撮影して V、るが、例えば検索元プリントアウト 1を撮影した画像を表示して 、るディスプレイをデ ジタルカメラ 10で撮影しても同様に実施可能である。

[0067] [第 3実施例]

次に、本発明の第 3実施例に係る検索システムを説明する。本実施例は、図 22〖こ 示すようなカメラ 51付の携帯電話機 50のアプリケーションソフトウェア 52に適用した 例である。

[0068] 即ち、携帯電話機のアプリケーションソフトウェアは現在ほとんどの携帯電話機にて 利用可能となっており、且つその画像データは内部メモリ或いは外部メモリカード等 に数多くを蓄積可能である。更に、特定の携帯サイト (携帯電話機向けインターネット サイト）においては、ユーザを特定した画像ファイルなどの蓄積サービスも行われてい る。このような状況は極めて多大な画像データを蓄積し、自己の活動記録や業務な ど多彩に利用できる反面、携帯電話機という比較的ユーザインタフェースに自由度が ないハードウェアにとっては所望の画像データの検索は面倒であった。実際には画 像データのタイトルや日時等によるテキストのリストからの検索が中心であり、画像デ ータが多数となった場合は極めて面倒で、またテキストを打ち込む場合も複数の単語 や長い名称等の入力は不自由であると言わざるを得ない。

[0069] 本検索システムの導入に依れば、カメラ付携帯電話機のアプリケーションとして動 作させることにより「画像入力機能」を立ち上げ、所望の「関心領域を切り出し」、「特 徴量の算出」を行う。この特徴量 (データ）は携帯回線を介して対応するサーバに送 られる。この対応するサーバは、上記のカメラと一対一対応するものであっても良いし 、一対多のカメラに対応するものであっても構わない。上記のサーバに送られた特徴 量は、サーバに搭載されている「マッチング機能」により、サーバの要求するデータべ ース力 読み込まれた特徴量データ群と実際にマッチング処理を行 、、類似性の高 い画像データを抽出する。この抽出された画像データをサーバから上記発信元の携 帯電話機に返送し、携帯電話機から特定しないプリンタにより該画像データを出力す る事が出来る。しかし、ここでサーバが抽出した画像データに対し、更にその画像デ ータに関連する様々な情報が付加されている場合は、「その情報を携帯電話機に返 送する」、と言った機能の拡張が可能であるし、抽出した画像データに高い圧縮をか けて携帯電話機に返送し、ユーザが所望の画像データであると確認の上、携帯電話 機のメモリ領域に格納、ある 1、は携帯電話機のディスプレイ 53上に表示するだけで あっても利用価値があることは言うまでも無 、。

[0070] [第 4実施例]

次に、本発明の第 4実施例に係る検索システムを説明する。

[0071] 本実施例は、その構成として、カメラ付携帯電話機等の撮像機能付通信装置であ る通信機能を備えたデジタルカメラ 10と、通信により接続されたサーバとにより構成さ れ、画像検索のための機能がデジタルカメラ 10とサーバとに分割設置されたもので ある。 [0072] この場合、前述の第 1の実施例と同様に、デジタルカメラ 10には撮影機能とその画 像データから特徴量を算出する機能を有する。上記第 1乃至第 3実施例の場合、比 較参照する特徴量データ群 (或いは特徴量データベース）は元々ユーザ或いは当該 のデジタルカメラ 10にて撮影及び印刷された画像群を基にして作られたものである。 これは、当初の目的が、既に印刷された画像データを印刷されたプリントアウトを撮影 して検索するためである。これに対して、本実施例はこの目的を拡張し、一般に街頭 の看板、ポスターや印刷物、出版物の画像を基に算出された特徴量も、サーバに配 されたストレージ 20に構成されたデータベースに取り込まれている点が大きく異なる

[0073] プリントアウトに限らず、データベース上にある画像力 の抽出が行えることはいうま でもない。

[0074] また、撮影した画像力も抽出した特徴点をデータベースに追加することもできる。

[0075] 登録の際には、画像に関連した位置情報を手動、 GPSなどのセンサ、前出の文字 認識などで認識して登録する。こうすることで、次に同様な場所で画像の撮影する時 にデータベースを検索することにより、類似した画像を抽出することでその撮影画像 に付加すべき位置情報を抽出することが可能となる。

[0076] 図 23は、本実施例に係る検索システムの動作フローチャートを示す図である。なお 、同図において、上記第 1実施例と対応するものについては、同一の参照番号を付 してある。

[0077] 即ち、本実施例においては、例えばデジタルカメラ 10にて街頭に存在する商品広 告などのポスターを撮影する (ステップ Sl l)。すると、その撮影画像データからデジ タルカメラ 10にて、切り出し処理及び特徴量抽出処理が実行される (ステップ S12、 ステップ S13)。そして、その抽出された特徴量は、デジタルカメラ 10に内蔵又付属さ れた通信部により所定のサーバに送られる。

[0078] サーバにおいては、そのサーバがアクセス可能なストレージ 20に構成された特徴 量データベースを参照して、上記デジタルカメラ 10から送られた特徴量データを比 較し (ステップ S14)、類似な特徴量データを持つ類似画像候補を抽出する (ステップ S41)。これら抽出された類似画像候補の画像データは、必要により、所定の圧縮処 理が施されて通信量を少なくした上で、上記デジタルカメラ 10に送信され、デジタル カメラ 10の表示部 15で簡易表示されることができる (ステップ S42)。これにより、上記 第 1実施例と同様、ユーザの選択が可能である。

[0079] そして、上記抽出され (更に選択され)た画像候補の画像データがデジタルカメラ 1 0に送信出力される、或いは、上記抽出され (更に選択され)た画像候補の特徴量に 紐付いている特定情報に基づいて次の段階の動作を行う（ステップ S43)。この次の 動作とは、上記の商品広告であれば、その商品の解説や通信販売サイトへの接続で あっても良いし、そのサイト画面を画像データとしてデジタルカメラ 10に返送しても良 い。また、街頭の看板を撮影した場合は、看板の周辺情報も特徴量として取り込んだ り、通信時の無線基地局所在地のデータも比較したりすることにより、場所や住所の 特定を情報としてユーザに呈示することも可能となる。

[0080] [第 5実施例]

次に、本発明の第 5実施例に係る検索システムを説明する。

[0081] 本実施例は、撮影した検索元プリントアウト 1の画像を基にして、第 1のテンプレート を使ったテンプレートマッチングによりストレージ 20から複数の画像データを検索し、 その検索した結果の複数の画像データから、上記第 1のテンプレートより狭い領域で 且つ解像度の高い第 2のテンプレートを使って、テンプレートマッチングにより単一又 は複数の画像データを検索するものである。

[0082] 本実施例に係る検索システムは、前述した第 1実施例と同様の構成であるが、特に 、本実施例においては、ストレージ 20に、第 1のテンプレートとしての概要テンプレー トを登録した全体特徴量データベースと、第 2のテンプレートとしての詳細テンプレー トを登録した詳細特徴量データベースとが構成されている。

[0083] ここで、概要テンプレートは、図 24に示すように、画像データの全体（100%)のほと んど (例えば約 90%)を含む領域を比較的粗!ヽ解像度で特徴量データを抽出するこ とで得られたものである。また、詳細テンプレートは、図 25に示すように、画像データ の中央領域部分 (例えば中央約 25%)を含む領域を、上記概要テンプレートの解像 度に比べて高 、解像度で特徴量データを抽出することで得られたものである。なお、 原画像データと上記概要テンプレート及び詳細テンプレートとの位置関係は、図 26 に示すようになる。

[0084] 図 27は、本実施例に係る検索システムの動作フローチャートである。なお、同図に おいて、上記第 1実施例と対応するものについては、同一の参照番号を付してある。

[0085] 即ち、本実施例では、まず、上記第 1実施例と同様に、検索モードに設定したデジ タルカメラ 10により、再度プリントアウトすることを望む検索元プリントアウト 1をテープ ル上或いは壁面等に貼付した状態で、少なくとも上記検索元プリントアウト 1の欠けが 無いように撮影する (ステップ S 11)。そして、デジタルカメラ 10の領域抽出部 12にて 、撮像部 11で撮影された画像データ中から、上記検索元プリントアウト 1の画像を特 定し、その部分を特定'抽出するためのプリントアウトの切り出し処理を実行する (ステ ップ S12)。

[0086] そして次に、特徴量抽出部 13によって、上記領域抽出部 12で特定され抽出された 関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行!ヽ (ス テツプ S51)、その抽出した全体特徴量データを、マッチング部 14により、ストレージ 2 0に構成した上記概要テンプレートを登録した全体特徴量データベースと比較し、そ の類似度の高 、ものを順に抽出する全体特徴量 DBとのマッチング処理を実行する（ ステップ S 52)。

[0087] その後、上記領域抽出部 12にて、上記特定され抽出された関心領域全体の画像 データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画 像データを詳細検索対象画像データとして抽出する (ステップ S53)。そして、特徴量 抽出部 13によって、上記領域抽出部 12で抽出した詳細検索対象画像データ力 特 徴量を抽出する詳細特徴量抽出処理を行い (ステップ S 54)、その抽出した詳細特 徴量データを、マッチング部 14により、ストレージ 20に構成した上記詳細テンプレー トを登録した詳細特徴量データベースと比較し、その類似度の高いものを順に抽出 する詳細特徴量 DBとのマッチング処理を実行する (ステップ S55)。但しこの場合、 詳細特徴量データベースに登録された全ての詳細テンプレートとのテンプレートマツ チングを行うのではなぐ上記ステップ S52の全体特徴量 DBとのマッチング処理で 抽出された複数の画像データに対応する詳細テンプレートについてのみテンプレー トマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプ レートとのテンプレートマッチング処理は、必要最低限で済むことになる。なお、上記 ステップ S52の全体特徴量 DBとのマッチング処理での抽出する基準としては、類似 度に閾値を設ける方法や上位 500個分固定的に選択する等といった方法で行う。

[0088] 而して、この詳細特徴量 DBとのマッチング処理にて類似度の高い画像データが原 画像候補として抽出されたならば、表示部 15に、それらを抽出すべき画像候補として 表示し (ステップ S 15)、ユーザによる選択を受け付けて、ユーザ所望の画像が決定 されたならば (ステップ S17)、マッチング部 14は、ストレージ 20に格納されている当 該画像候補に対応する原画像データを、接続されたプリンタ 30に送り、再度プリント アウトする (ステップ S 18)。

[0089] このような本実施例によれば、原画像データの検索結果の質 (満足度）向上と、妥 当な検索時間の両立ができる。

[0090] また、撮影者の注目領域を考慮した検索結果を得ることができる。即ち、通常、撮 影者は主要被写体を画像中央に捕らえて撮影するので、図 28に示すように、画像デ ータの中央部に注目した詳細テンプレートを使用することで、良好な検索結果を得る ことができる。従って、プリントアウトした写真である検索元プリントアウト 1から、その原 画像データを検索抽出し、焼き増しを容易に行うシステムにおいて、そのプリント写真 の検索にぉ 、て効果が高 、。

[0091] さらに、キーワード分類などが難しい原画像母集団に対する検索において、高速に 細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、 段階的な検索結果絞り込みが可能となる。

[0092] なお、本実施例においても、予め、一つの原画像データについて、概要テンプレー トと詳細テンプレートとを作成してデータベースに登録しておく必要があり、その登録 は、上記第 1実施例で説明したようにして行えば良い。但し、必ずしも同時に両テン プレートを作成する必要は無ぐ例えば、詳細テンプレートは、 2次検索を実行する段 階で必要になったときに作成する方法でも良 、。

[0093] また、詳細テンプレートは、図 25や図 28に示したように、画像データの中央部に注 目したものに限定するものではない。

[0094] 例えば、図 29に示すように、画像内に数箇所、詳細テンプレートを設定しても良い 。このように詳細テンプレートを分散配置することで、プリント撮影条件による失敗を回 避できる。即ち、位置や数を動的に変化させて絞り込みが行える。

[0095] また、図 30に示すように、注目領域を原画像データ撮影時の合焦位置にお!、た詳 細テンプレートとしても良い。このような詳細テンプレートでは、撮影者の意図を反映 した結果が見込める。

[0096] また、図 31に示すように、低解像度の概要テンプレート 22と高解像度の詳細テンプ レート 23とを同一画像に納めた複合テンプレート 21を構成し、上記第 1実施例と同 様に 1回のテンプレートマッチング処理で済むようにしても良い。例えば、図 32に示 すように、概要テンプレート 22 (16 X 16テンプレート）と詳細テンプレート 23 (128 X 128テンプレート）とを組み合わせることで、複合テンプレート 21を構成する。このよう な複合テンプレート 21によれば、高速性と安定的な検索結果の両立が見込める。ま た、高解像度領域の配置や構成を変更しても、全体の実装を変更せずに扱える。

[0097] さらに、図 33に示すように、詳細テンプレートを概要テンプレートと同じ領域につい て作成しデータベースに登録しておき、実際の詳細テンプレートとのテンプレートマツ チング時には、その内の一部の領域、つまり図 28乃至図 30に示すような領域を参照 領域 24として使用し、他の領域を非参照領域 25とするようにしても良い。

[0098] なお、本実施例は、上記第 1実施例に対応させて説明したが、上記第 2乃至第 4実 施例についても同様に適用可能なことはもちろんである。

[0099] また、本実施例における特徴量の算出を、特徴点群の配置間系を基にする方法に よっても構わない。

[0100] [第 6実施例]

次に、本発明の第 6実施例に係る検索システムを説明する。

[0101] 本実施例は、カメラ付携帯電話機等の撮像機能付通信装置である通信機能を備え たデジタルカメラ 10を使う例であり、予め登録した画像を撮影する事により、その画像 を認識し、認識結果に応じて所定の動作 (例えば音声出力や所定のプログラムの起 動、或 、は所定の URLの表示）をさせる場合に適用するものである。

[0102] 画像を認識する場合、参照するデータベース ( 、わゆる辞書データ）として画像デ ータは登録するが、画像をそのまま比較するのではなぐ画像の特徴量を比較するの が効率が良く実際的である為、画像力 抽出した特徴量データベースを使う。またこ のデータベースは内蔵でも通信を介したサーバ上に存在するものでも構わない。

[0103] 本実施例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し 、その多数組を特徴量として定義する。そのとき、この特徴量は特徴点の現れる数に よってその精度が異なり、原画像データの精細度が高ければ特徴点が数多く検出可 能であるため、同じ原画像データに対し、なるべく高精細な条件で特徴量を算出する 。このとき、同じ画像素材に対して精細度を低下させた画像データを基に特徴量を算 出すると、特徴点が比較的少なくなるため特徴量自体は小さい容量となる。容量が小 さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、通信 速度が速 、等のメリットがある。

[0104] 本実施例においてはここに着眼し、画像データを参照データ (テンプレート）として 登録する際、一つの画像素材の登録に際し異なる複数の精細度力 特徴量を算出 し、それぞれの精細度に個別化したデータベースを構成する。そのそれぞれのデー タベースには、それぞれに対応するマッチングサーバが接続し、並列動作可能な配 置とする。即ち、図 34に示すように、 1次特徴量のマッチングサーバ及び 1次情報 DB

21、 2次特徴量のマッチングサーバ及び 2次情報 DB22、 · ··、 n次特徴量のマツチン グサーバ及び n次情報 DB2nを準備する。なお、 2次特徴量のマッチングサーバ及び

2次情報 DB22乃至 n次特徴量のマッチングサーバ及び n次情報 DB2nは、 1次特徴 量のマッチングサーバ及び 1次情報 DB21よりも高精細な特徴量又は特別なカテゴリ のデータベースである。

[0105] このようなマッチング処理系を準備した上で、図 34に示すように、通信機能を備え たデジタルカメラ 10から、既に登録されている意匠 (対象マーカ）を撮影し (ステップ S 61)、上記デジタルカメラ 10に内蔵されるアプリケーションソフトウェアにより特徴点の 配置関係から特徴量データを算出する (ステップ S13)。そして、その特徴量データを 通信を介して各マッチングサーバに送信することで、各 DBとのマッチング処理が行 われる（ステップ S14)。このマッチング処理によって、マッチする結果が得られたなら ば、その結果に紐付く動作情報 (例えば URLのリンク等）が取得され (ステップ S62) 、その動作情報がデジタルカメラ 10に送信されて、例えば 3Dオブジェクト取得と表示 t 、つた指定動作が遂行される (ステップ S63)。

[0106] なお、このときのカメラ解像度が 200万画素級であったとすれば、通信を介してマツ チングサーバにて検索する場合も 200万画素級の解像度の特徴量データベースか らのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する 低解像度 (例えば VGAクラスの解像度）の特徴量データベースでのマッチングは高 速に応答するため、先にデジタルカメラ 10に結果が送付される。このようにマッチング サーバを解像度別に並列配置する事は速度的、認識精度的に有利である。なお、後 追いの高解像度マッチングサーノくからの回答が既に先に出ている低解像度マツチン グサーバと異なる場合があり、そのような場合には、まず早いほうの結果に基づく表 示が行われ、その後に、後追いの結果に基づく表示に更新される。例えば、紙幣な どを認識しょうとすると、低解像度マッチングでの回答が『一万円札』と言ったレベル であっても、高解像度マッチングにおいては『一万円札でナンバーが ZTA473298S PK』と言った回答のように、より精細度が高 、ことによる詳し!/、或いは正 、結果が 得られる。

[0107] また、上述した通り高解像度マッチングサーバにおいては特徴量自体の容量が大 きぐ XGAクラスの特徴量は 40kB程度に肥大する力 予め低解像度マッチングによ りおよそ 10kB程度までに小さくなる。また、 2次以降のマッチングサーバ及びデータ ベースにおいては、より低解像データベースとの差分のみを保持すれば、より小さい データベース構成を実現し、それは認識処理の高速化につながる。なお、特徴量に テンプレート (エリア割付を行い、各々の濃度値を比較する方式)での抽出を進めた 場合、一般的に 10kB以下であり、適宜両方式を組み合わせた多次元特徴量も認識 精度の向上に有効であることを確認して 、る。

[0108] このように、撮影画像面の一部又は全面の解像度を多段階化し、実質上のマッチ ング階層化を実現することは、単純に複数のマッチングサーバをクラスター的に分散 処理する場合に比べて認識速度、認識精度の両面で効果がある。

[0109] 特に、予めデータベース登録した画像が極めて多数（1000以上）の場合に効果が ある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有 する。 [0110] [第 7実施例]

次に、本発明の第 7実施例に係る検索システムを説明する。

[0111] 本実施例は、前述したステップ S12でのプリントアウトの切り出し処理に特徴を有す るものであり、その他は上記第 1実施例と同様であるので、その説明は省略する。本 実施例は、線分抽出により、閉領域を抽出する方法を採用したものである。

[0112] 即ち、本実施例におけるプリントアウトの切り出し処理は、図 35に示すように、まず、 デジタルカメラ 10で撮影された検索元プリントアウト 1の画像を含む画像データから、 線分を検出し易くするため、エッジ成分を抽出する (ステップ S 124)。これは、例えば 、共立出版株式会社刊，尾崎他共著『画像処理』、日刊工業新聞社刊'手塚他共著『 デジタル画像処理工学』、等に開示されて ヽるフィルタを用いて画像データカゝらエツ ジ成分を抽出するものである。この場合、フィルタは、検出するエッジの方向に応じて 、図 36に示すような一般的なフィルタを用いる。なおここでは、 X, yの 2方向のエッジ 成分抽出の例を説明したが、対象となる検索元プリントアウト 1の向きが特定されない 場合には、全方向のエッジ成分抽出を行う。

[0113] 次に、直線成分の抽出を行う (ステップ S125)。例えば、ハフ変換による直線成分 の抽出を行う。

[0114] ハフ変換とは、例えば、共立出版株式会社刊'尾崎他共著『画像処理』、日刊工業 新聞社刊'手塚他共著『デジタル画像処理工学』、等に開示されているように、座標 変換によって点の集合力 直線の式を定める手法であり、画像処理では良く用いら れる。

[0115] ハフ変換では、図 37に示すように、画像上の座標 (X, y)を 0、 pで表されるハフ 曲線に変換する。

[0116] p =xcos Θ +ysin 0 …式（1)

エッジ抽出フィルタによってエッジ抽出した画像中で、閾値を越えるピクセルの座標

(X, y)をノヽフ曲線に変換し、 Θ , を座標軸とした Θ - p画像上に曲線を描いてい く。実際には、 Θ - p画像の座標（ Θ , p )をカウントアップしていく。

[0117] ハフ曲線の交点が同一直線を表すことになる為、上で得られた Θ , 座標の輝度（ 交点における重なり）力 同一直線上に存在するピクセル数を表す。 Θ p画像上 にお 、て最も輝度の高!、座標 ( θ , p )を上記式（1)に代入し、直線の式を得る。

[0118] 次に、上記ハフ変換で得られた各直線を線分に分解する (ステップ S126)。即ち、 各直線を延長してなる線分を求める。そして、各線分の繋がりや形状から領域を決定 する (ステップ S127)。即ち、 4つの線分で囲まれた領域を探索し、閉領域であった 場合は抽出領域とする。これは、撮影画像視野内に検索元プリントアウト 1 (注目領域 )がーつしかない場合であれば、 4つの直線で囲まれた領域を探索すれば良いが、 検索元プリントアウト 1が複数有り、し力もその一部が重なっているような場合には、下 にある検索元プリントアウト 1につ 、ては 4つの直線で囲まれな!/、からである。各直線 を延長した線分により探索することで、そのような下にある検索元プリントアウト 1につ いても閉領域を推定することが可能となる。

[0119] なお、閉領域の認識については種々方法が提案されており、ここでは述べない。ま た、ここでは、エッジ抽出、ハフ変換を使った直線抽出について説明した力 直線を 検出する方法であればこれらに限られるものでは無い。

[0120] 図 38及び図 39に上記処理による直線の抽出の例を示す。太線 17が抽出された直 線を示している。図 38は撮影画像視野内に注目領域が一つしかない場合を、また、 図 39は複数の注目領域がある場合を示す。

[0121] 注目領域が複数ある場合には、複数の原画像データを検索する場合もあるが、一 つに絞る場合には下記のように選択をすることができる。

[0122] 例えば、被写体画像の中央部に位置する閉領域を優先的に選択する。

[0123] あるいは、求めた複数の閉領域をデジタルカメラ 10の表示部 15に表示し、十字キ 一等の操作によって、所望の閉領域をユーザが選択できるようにしても良い。またこ の場合、そのようなユーザインタフェースによって、ユーザの領域の部分的修正を許 すようにしても構わない。

[0124] また、面積の大きい閉領域を優先的に選択するようにしても良い。

[0125] あるいは、抽出領域の中で所定の色を多く含む画像 (赤、青等）を選択するようにし ても良い。

[0126] 更には、抽出領域の中の周波数分布が所定の値に近いものを選択するようにして も良い。 [0127] また、他との重なりが少ない即ち上になっている閉領域を優先的に選択するものと しても良い。この重なりが少ない状態の認識方法としては、次のような方法がある。

[0128] 方法 1 :ハフ変換により、同一線上にあると認識された点について、図 37中の右図 の各点を再度図 37中の左図の線上に配置する。こうすることで線上の線分が定まり、 各線分と図 39の抽出領域の関係とから領域の上下関係を求めることができる。より上 にある領域を重なりが少ない領域とする。

[0129] 方法 2 :検索システムにおいて、マッチングを行うテンプレートが複数ある場合に、あ るテンプレートだけが極端に類似度が低 、場合、その部分が他の領域によって遮蔽 されている、と判断することができる。

[0130] 上記方法を使うほか、上記方法 1と 2を組み合わせ、より精度良く重なりが少ない状 態を判定することもできる。

[0131] 以上のように、本実施例は、抽出直線に基づく線分の交点を求める方式であるため

、検索元プリントアウト 1の各辺の一部が見えて 、れば良!、。

[0132] 従って、複数枚の検索元プリントアウト 1の中から目的とする検索元プリントアウト 1を 容易に抽出できる。特に、検索元プリントアウト 1同士が一部重なり合つたような場合 でも抽出が可能になる。

[0133] [第 8実施例]

次に、本発明の第 8実施例に係る検索システムを説明する。

[0134] 本実施例は、前述したステップ S12でのプリントアウトの切り出し処理に特徴を有す るものであり、その他は上記第 1実施例と同様であるので、その説明は省略する。本 実施例は、エッジ抽出により、閉領域を抽出する方法を採用したものである。

[0135] 図 40は、本実施例におけるプリントアウトの切り出し処理の動作フローチャートを示 している。

[0136] 即ち、デジタルカメラ 10で撮影された検索元プリントアウト 1の画像を含む画像デー タから、フィルタを用いてエッジを抽出する (ステップ S 124)。次に、それら検出したェ ッジを探索していき (ステップ S 128)、エッジの形状力も領域を決定する (ステップ S1 29)。

[0137] このような方法によっても、閉領域を抽出することができる。 [0138] [第 9実施例]

次に、本発明の第 9実施例に係る検索システムを説明する。

[0139] 本実施例は、前述したステップ S12でのプリントアウトの切り出し処理に特徴を有す るものであり、その他は上記第 1実施例と同様であるので、その説明は省略する。本 実施例は、画像内を分割し、抽出線分を限定して、閉領域を抽出する方法を採用し たものである。

[0140] 即ち、本実施例においては、検索モードにて検索元プリントアウト 1をデジタルカメラ 10で撮影する際、図 41に示すように、表示部 15にガイド枠 18を表示する。そして、 このガイド枠 18によって区切られた上辺領域、下辺領域、左辺領域、及び右辺領域 のそれぞれに、検索元プリントアウト 1の上下左右の 4辺の一つが入るように、ユーザ に撮影を行わせる。なお、各領域の幅は、デジタルカメラ 10の設定モードにおいて 十字キー等の操作により、ユーザが撮影し易い幅に設定できるものとする。

[0141] これにより、撮影画像データも同様に上辺、右辺、左辺、下辺の 4つの領域に分割 することができる。そして、上記第 6実施例で説明したような直線抽出では、上辺及び 下辺領域については横線を、右辺及び左辺領域は縦線の検出のみを行う。このよう に限定する事で、計算量を大幅に減少させる事ができる。

[0142] 図 42は、本実施例におけるプリントアウトの切り出し処理の動作フローチャートであ る。即ち、本実施例においては、まず、デジタルカメラ 10で撮影された検索元プリント アウト 1の画像を含む画像データにおける直線抽出領域を、現在のガイド枠 18の設 定に基づいて決定する (ステップ S12A)。即ち、図 43に示すように、撮影画像データ 19に対し、上下左右 4つの直線抽出領域を決定する。そして、その決定した各直線 抽出領域の画像データ 19U, 19D, 19L, 19R力も直線を抽出する（ステップ S12B

) o

[0143] 即ち、上記第 6実施例では、画像データ内の全直線に対してハフ変換を行い、その 直線上の点となるピクセルをカウントした力 本実施例では、図 44に示すように、各直 線抽出領域における各辺の存在角度範囲が決まっている。

[0144] 探索範囲は、処理領域サイズに応じて、以下のように決定する。

[0145] 対角線角度 Θ =士 atan (処理領域高さ Z処理領域幅） 縦線探索範囲： 90— θ〜90+ Θ

横線探索範囲： 0〜 θ , 180— Θ〜180

即ち、図 45の動作フローチャートに示すように、処理領域の幅と高さとを比較し (ス テツプ S71)、幅の方が大きければ、 0〜atan (処理領域高さ Z処理領域幅)及び π — atan (処理領域高さ Ζ処理領域幅）〜 πの範囲の直線を抽出する (ステップ S72) 。また、処理領域の幅よりも高さの方が大きければ、 π Ζ2— atan (処理領域幅 Ζ処 理領域高さ）〜 π /2 + atan (処理領域幅 Z処理領域高さ）の範囲の直線を抽出す る（ステップ S 73)。

[0146] このように探索領域に制限をかけたうえで、上記第 6実施例で説明したような手順に より閉領域を決定していく（ステップ S12C)。そして、決定された閉領域は、デジタル カメラ 10の表示部 15に太線 17として提示される。

[0147] なお、画像データ内のノイズ等の影響により抽出領域が希望の領域では無力つた 場合 (例えば、地面や水平線を検出してしまった場合）には、以下の手法により修正 が可能である。

[0148] (a)上記ハフ変換における Θ , 座標の輝度が第 2位の直線を用いる。

[0149] (b)ユーザが手動により選択抽出した直線を用いる。

[0150] 勿論、上記第 6実施例で説明したように、ユーザが、上記抽出された閉領域を部分 的に修正しても良い。

[0151] 以上のように、本第 8実施例によれば、撮影画面内を分割し、各領域に検索元プリ ントアウト 1の辺が入るように誘導する事で、検出範囲が限定され、計算量の軽減及 び高速ィ匕を実現することができる。

[0152] なお、また、入力画像は静止画に限られるものでは無い。動画像が入力された場合 には、各フレーム毎に処理を行い、逐次抽出領域を表示することが可能となる。また 、複数フレームの情報を併せて評価し、例えばノヽフ変換における Θ · p座標の輝度 値にとらわれず、いずれのフレームにおいても抽出される直線、所定の複数フレーム の中で出現回数の多 、直線を候補とする事が可能となる。

[0153] また、入力画像は、プリンタでプリントアウトした検索元プリントアウト 1に限定されるも のではない。図 46に示すように、画像データを表示した表示デバイス 60を撮影し、そ の表示デバイス 60に表示された画像データを関心領域として抽出し、図 47に示すよ うに、太線 17を表示することも可能である。なおこの場合、図 43に示すように、各直 線抽出領域の画像データ 19U, 19D, 19L, 19Rを黒画像データに置換し、太線 1 7をより識別可能に表示するようにしても良 、。

[0154] 以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定され るものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論で ある。

[0155] 例えば、デジタルカメラは、静止画を撮影するデジタルスチルカメラに限定するもの ではなく、動画像を撮影するデジタルムービーカメラも含む。

[0156] また、通信機能を備えたデジタルカメラである撮像機能付通信装置とは、カメラ付 携帯電話機、カメラ付 PHS、固定テレビ電話を含む。

産業上の利用可能性

[0157] 本発明の応用範囲として、カメラ付携帯電話やデジタルカメラは言うに及ばず、画 像で認証するタイプのセキュリティーシステム等、一般的にカメラによりデジタル画像 を撮影して蓄積するシステムにお 、ては広範な利用が期待できる。

Claims

請求の範囲

[1] プリントアウト画像（1)を含む被写体を撮像手段（11)によって撮像した画像データ から、上記プリントアウト画像に対応する領域を抽出する領域抽出手段（12 ;41)と、 上記領域抽出手段によって抽出した領域の特徴量を抽出する特徴量抽出手段（1 3 ;42)と、

特徴量によって画像データが検索可能なデータベース（20)にアクセスして、上記 特徴量抽出手段により抽出した特微量によって、上記データベースから画像データ を検索する検索手段（14 ;43)と、

を具備することを特徴とする検索システム。

[2] デジタルカメラ（10)に内蔵されるシステムとして実現されていることを特徴とする請 求項 1に記載の検索システム。

[3] 撮像機能付通信装置 (50)に内蔵されるシステムとして実現されていることを特徴と する請求項 1に記載の検索システム。

[4] 上記撮像手段をさらに具備することを特徴とする請求項 1に記載の検索システム。

[5] 上記データベースをさらに具備することを特徴とする請求項 1に記載の検索システ ム。

[6] 上記データベースは、上記検索システム外にあり、

上記データベースへのアクセスは、通信手段を介して行われる、

ことを特徴とする請求項 1に記載の検索システム。

[7] 上記データベースは、プリントアウトした画像の原画像データに対し、特徴量を算出 したものであることを特徴とする請求項 5に記載の検索システム。

[8] 上記特徴量が特徴点と格子状テンプレートとで構成されており、

上記検索手段は、上記特徴点と格子状テンプレートとを併用することで絞り込みを 行って画像データを検索することを特徴とする請求項 1に記載の検索システム。

[9] プリントアウトした画像（1)を基に画像データを検索する検索方法であり、

プリントアウト画像を含む被写体を撮像手段（11)によって撮像した画像データから 、上記プリントアウト画像に対応する領域を抽出し、

上記抽出した領域の特徴量を抽出し、 特微量に応じて画像データが検索可能なデータベース（20)にアクセスして、上記 抽出した特微量によって、上記データベースから画像データを検索する、

ことを特徴とする検索方法。

[10] 被写体を撮像する撮像手段（11)と、

上記撮像手段によって撮影した領域の特徴量を抽出する特徴量抽出手段（12 ;42 )と、

特微量によって画像データが検索可能な画像データベース（20)にアクセスして、 上記特徴量抽出手段により抽出した特微量によって、上記画像データベースから画 像データを検索する検索手段（14 ;43)と、

上記検索手段の検索結果を複数表示する表示手段（ 15； 44)と、

を具備することを特徴とする検索システム。

[11] 上記撮影手段は、上記被写体として、特徴量により位置が一意に定まる対象物を 撮影し、

上記検索手段は、上記撮影手段による撮影で得られた画像データより撮影者の位 置を認識し、位置に関連する関連情報を記憶した関連情報データベース (20)にァ クセスして、上記認識した位置によって、上記関連情報データベースから関連情報を 検索する、

ことを特徴とする請求項 10に記載の検索システム。

[12] 上記表示手段は、上記検索手段によって検索した画像データと関連情報とを、地 図上の該当位置に重ねて表示することを特徴とする請求項 11に記載の検索システ ム。

[13] 上記表示手段は、上記検索した画像データ及び関連情報を地図上の該当位置に 重ねて表示する際に、所定の縮尺に応じて表示することを特徴とする請求項 12に記 載の検索システム。