WO2007004520A1

WO2007004520A1 - 検索システム及び検索方法

Info

Publication number: WO2007004520A1
Application number: PCT/JP2006/313014
Authority: WO
Inventors: Naohiro Fukuyama; Yuichiro Akatsuka; Takao Shibasaki
Original assignee: Olympus Corporation
Priority date: 2005-06-30
Filing date: 2006-06-29
Publication date: 2007-01-11
Also published as: CN101010694A; US20080095447A1; EP1898339A1; EP1898339A4; JPWO2007004520A1; KR20070118156A

Abstract

　撮像して得られた画像データを基にして、概要テンプレート（２１）を使ったテンプレートマッチングにより全体特徴量ＤＢを構成したストレージ（２０）から複数の画像データを検索し、その検索した結果の複数の画像データから、上記概要テンプレート（２１）より狭い領域で且つ解像度の高い詳細テンプレート（２２）を使って、テンプレートマッチングにより単一又は複数の画像データを検索する。

Description

明細書

検索システム及び検索方法

技術分野

[0001] 本発明は、データベース力画像データを検索する検索システム及び検索方法に関する。

背景技術

[0002] 近年、デジタルカメラで撮影した画像データについても、銀塩カメラで撮影した画像と同様に、それをプリントアウトして楽しむことが広く行われている。

[0003] そのようにプリントアウトしてしまった画像データを再プリントしょうとするとき、その画像データの付帯情報 (ファイル名、撮影日時、等)を参考に、画像記憶媒体からユーザが検索しなければならず、非常に手間が力かるものであった。

[0004] そこで、例えば、特開 2001— 88374号公報には、画像データ供給源力も一度プリントアウトした画像のデータを簡易に探し出すことを目的に、プリントアウトした画像データを保存しておき、キーワード検索等が行えるようにしたストレージプリンタが提案されている。

発明の開示

[0005] しかしながら、上記特開 2001— 88374号公報に開示のストレージプリンタでは、キ一ワード分類による検索を行うため、事前にユーザが分類する必要があり、手間がかかっていた。

[0006] また、大きな母集団から、テンプレートマッチングで目的の画像データを検索する場合、認識率向上のためにそのまま解像度の高いテンプレートを適用すると、演算時間が増加する傾向にあるため、高速ィ匕手法が必要となっている。

[0007] 本発明は、上記の点に鑑みてなされたもので、データベース力画像データを容易且つ高速に探し出すことが可能な検索システム及び検索方法を提供することを目的とする。

[0008] 本発明の検索システムの一態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、第 1のテンプレートを使ったテンプレートマツチングによりデータベース力複数の画像を検索し、その検索した結果の複数の画像から、上記第 1のテンプレートより狭い領域で且つ解像度の高い第 2のテンプレートを使つて、テンプレートマッチングにより単一又は複数の画像を検索する画像検索手段と、を具備することを特徴とする。

[0009] また、本発明の検索システムの別の態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、部分的に解像度を高めたテンプレートによるテンプレートマッチングによりデータベースから単一又は複数の画像を検索する画像検索手段と、を具備することを特徴とする。

[0010] また、本発明の検索方法の一態様は、画像を入力し、上記入力した画像を基にして、第 1のテンプレートを使ったテンプレートマッチングによりデータベースから複数の画像を検索し、上記検索した結果の複数の画像から、上記第 1のテンプレートより狭、領域で且つ解像度の高、第 2のテンプレートを使って、テンプレートマッチングにより単一又は複数の画像を検索する、ことを特徴とする。

[0011] また、本発明の検索方法の別の態様は、画像を入力し、上記入力した画像を基にして、部分的に解像度を高めたテンプレートによるテンプレートマッチングによりデータベースから単一又は複数の画像を検索する、ことを特徴とする。

図面の簡単な説明

[0012] [図 1]図 1は、本発明の第 1実施例に係る検索システムの概略構成を示す図である。

[図 2]図 2は、概要テンプレートを説明するための図である。

[図 3]図 3は、詳細テンプレートを説明するための図である。

[図 4]図 4は、原画像データと概要テンプレート及び詳細テンプレートとの位置関係を説明するための図である。

[図 5]図 5は、第 1実施例に係る検索システムのブロック構成図である。

[図 6]図 6は、第 1実施例に係る検索システムの動作フローチャートを示す図である。

[図 7]図 7は、プリントアウトの切り出し処理の詳細フローチャートを示す図である。

[図 8]図 8は、 DBとのマッチング処理の詳細フローチャートを示す図である。

[図 9]図 9は、画像候補を 1点だけ表示する場合のデジタルカメラの表示部の表示画面を示す図である。 [図 10]図 10は、 9点の画像候補を表示する場合の表示画面を示す図である。

[図 11]図 11は、画像データの中央部に注目した詳細テンプレートを説明するための図である。

[図 12]図 12は、画像内に数箇所分散配置した詳細テンプレートを説明するための図である。

[図 13]図 13は、注目領域を原画像データ撮影時の合焦位置にお、た詳細テンプレートを説明するための図である。

[図 14]図 14は、概要テンプレートと詳細テンプレートとを同一画像に納めた複合テンプレートを説明するための図である。

[図 15]図 15は 16 X 16テンプレートと、 128 X 128テンプレートと、それらを組み合わせた複合テンプレートとを示す図である。

[図 16]図 16は、概要テンプレートと同じ領域に対して作成した詳細テンプレートを説明するための図である。

[図 17]図 17は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。

[図 18]図 18は、特徴量データベースの作成方法の別の例を説明するためのフローチャートを示す図である。

[図 19]図 19は、特徴量データベースの作成方法の更に別の例を説明するためのフローチャートを示す図である。

[図 20]図 20は、特徴量データベースの作成方法の他の例を説明するためのフローチャートを示す図である。

[図 21]図 21は、本発明の第 2実施例に係る検索システムのブロック構成図である。

[図 22]図 22は第 2実施例に係る検索システムの動作フローチャートを示す図である。

[図 23]図 23は、プリントアウトの撮像処理の詳細フローチャートを示す図である。

[図 24]図 24は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。

[図 25]図 25は、撮影時などにおける手本画像への誘導機能をデジタルカメラに適用した例を示す図である。 [図 26]図 26は、誘導の表示例を示す図である。

[図 27]図 27は、誘導の別の表示例を示す図である。

[図 28]図 28は、本発明の第 3実施例に係る検索システムの動作フローチャートを示す図である。

発明を実施するための最良の形態

[0013] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0014] [第 1実施例]

本発明の第 1実施例に係る検索システムは、図 1に示すように、デジタルカメラ 10と

、ストレージ 20と、プリンタ 30とから構成される。ここで、ストレージ 20は、複数の画像データを格納するもので、プリンタ 30は、そのストレージ 20に格納された画像データをプリントアウトする。

[0015] 例えば、ストレージ 20は、デジタルカメラ 10に内蔵乃至は脱着可能なメモリであつて、プリンタ 30は、デジタルカメラ 10からのプリントアウト指示に従って、そのストレージ 20であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ 20は、デジタルカメラ 10に接続端子，ケーブル，あるいは無線/有線ネットワークを介して接続される、もしくは、デジタルカメラ 10から取り外されたメモリを装着して、画像データを転送可能なデバイスであっても良い。その場合には、プリンタ 30は、ストレージ 20 に接続または一体的に構成され、デジタルカメラ 10からのプリントアウト指示に従ってプリントアウトを実行するようなものであっても良い。

[0016] なお、ストレージ 20は、特徴量によって画像データが検索可能に構成されたデータベースの機能も備える。即ち、ストレージ 20は、原画像のデジタルデータより作成された特徴量データ (テンプレート)群を格納した特徴量データベースを構成して、る。

[0017] この場合、第 1のテンプレートとしての概要テンプレートを登録した全体特徴量データベースと、第 2のテンプレートとしての詳細テンプレートを登録した詳細特徴量データベースとを含む。なお、特徴量は、所定の解像度に相当する画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わな、し、分割エリア毎のフーリエ変換値などに基づ、たものでも構わない。 [0018] ここで、概要テンプレート 21は、図 2に示すように、画像データ 50の全体（100%) のほとんど (例えば約 90%)を含む領域を比較的粗!、解像度 (分割エリア)で特徴量データを抽出することで得られたものである。また、詳細テンプレート 22は、図 3に示すように、画像データ 50の中央領域部分 (例えば中央約 25%)を含む領域を、上記概要テンプレート 21の解像度に比べて高い解像度で特徴量データを抽出することで得られたものである。なお、原画像データと上記概要テンプレート 21及び詳細テンプレート 22との位置関係は、図 4に示すようになる。

[0019] このような構成の検索システムは、以下のように動作する。

[0020] (1) まず、デジタルカメラ 10は、プリンタ 30によってー且プリントアウトされた検索元プリントアウト 1の画像を含む被写体を撮影する。そして、得られた撮影画像データから、その検索元プリントアウト 1の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。

[0021] (2) そして、デジタルカメラ 10は、その抽出した特徴量によってストレージ 20に格納された概要テンプレート 21及び詳細テンプレート 22とテンプレートマッチング処理を実行する。

[0022] (3) その結果、デジタルカメラ 10は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト 1の原画像データであるとして、ストレージ 20から読み出す。

[0023] (4) これにより、デジタルカメラ 10は、その読み出した原画像データを、再び、プリンタ 30でプリントアウトすることができる。

[0024] なお、検索元プリントアウト 1としては、 1枚単位で出力されたプリントアウト以外に、複数の縮小画像をまとめて出力したインデックスプリントを使うことも可能である。これは、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便

'性が良いためである。

[0025] また、検索元プリントアウト 1については、システム内のストレージ 20に構成した特徴量データベースに原画像データがある画像であれば、システム外（図示せず）のプリンタでプリントアウトしたものであっても構わない。

[0026] 以下、本第 1実施例に係る検索システムを、図 5に示すブロック構成図及び図 6に示す動作フローチャートを参照して、詳細に説明する。なお、デジタルカメラ 10は、通常の撮影モードとは別に、撮影済みデータの検索モードを有し、図 6の動作フローチャートは、その検索モードに設定されて、る場合の処理を示して、る。

[0027] 即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む検索元プリントアウト 1をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ 10の撮像部 11により、少なくとも上記検索元プリントアウト 1の欠けが無いように撮影する（ステップ S 11)。

[0028] すると、デジタルカメラ 10においては、領域抽出部 12にて、撮像部 11で撮影された画像データ中から、上記検索元プリントアウト 1の画像を特定し、その部分を特定して抽出するためのプリントアウトの切り出し処理を実行する (ステップ S12)。

[0029] このプリントアウトの切り出し処理は、図 7に示すように、まず、撮影された画像データ中の線分を検出し (ステップ S121)、それら検出された線分の中から直線を検出する (ステップ S122)。そして、それら検出した直線 4本で構成される枠を推定する (ステツプ S123)。即ち、 4辺に囲まれた関心領域を撮影された画像データ中から探し出す。なお、そのような 4辺に囲まれた領域が複数ある場合には、その中で最も面積の大きい部分を関心領域として抽出したり、或いは矩形の縦横比など力関心領域を特定すれば良い。また、まれに、撮影された画像データの中で検索元プリントアウト 1 自体がそりを生じ、その結果、 4辺に囲まれた領域と特定できないことがある。この場合、 4辺の内幾つかが緩い円弧で構成されていてもそれを許容するような処理を行うことも有効である。また、ここで検索元プリントアウト 1と見られる領域を抽出した後、その画像データ領域をァフィン変換等により正規ィ匕する処理も含んでいる。

[0030] 次に、特徴量抽出部 13によって、上記領域抽出部 12で特定され抽出された関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行う（ステップ S13)。そしてその後、マッチング部 14により、上記特徴量抽出部 13で抽出した全体特徴量データを、ストレージ 20に構成した上記概要テンプレート 21を登録した全体特徴量データベースと比較し、その類似度の高ヽものを順に抽出する全体特徴量 D Bとのマッチング処理を実行する（ステップ S 14)。

[0031] 即ち、この全体特徴量 DBとのマッチング処理は、図 8に示すように、まず、各概要テンプレート 21との類似度を算出し (ステップ S141)、類似度に基づいてソートする（ステップ S142)。そして、その類似度に従って原画像候補を選出する (ステップ S14 3)。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位のものを指定しても良い。何れにしても、類似度の最上位のものを 1点選出する方法と、類似度の高いものから複数点を選出する方法の 2種の方法がある。

[0032] その後、上記領域抽出部 12にて、上記特定され抽出された関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する (ステップ S15)。そして、特徴量抽出部 13によって、上記領域抽出部 12で抽出した詳細検索対象画像データ力特徴量を抽出する詳細特徴量抽出処理を行い (ステップ S 16)、その抽出した詳細特徴量データを、マッチング部 14により、ストレージ 20に構成した上記詳細テンプレート 22を登録した詳細特徴量データベースと比較し、その類似度の高!、ものを順に抽出する詳細特徴量 DBとのマッチング処理を実行する (ステップ S 17)。但しこの場合、詳細特徴量データベースに登録された全ての詳細テンプレート 22とのテンプレートマッチングを行うのではなぐ上記ステップ S 14の全体特徴量 DBとのマッチング処理で抽出された複数の原画像候補に対応する詳細テンプレート 22についてのみテンプレートマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプレート 22とのテンプレートマッチング処理は、必要最低限で済むことになる。なお、上記ステップ S14の全体特徴量 DBとのマッチング処理での抽出する基準としては、類似度に閾値を設ける方法や上位 500個分固定的に選択する等といった方法で行う。

[0033] 而して、この詳細特徴量 DBとのマッチング処理にて類似度の高い画像データが原画像候補として抽出されたならば、次に、表示部 15に、上記抽出された原画像候補の画像データをストレージ 20から読み出して、抽出すべき画像候補として表示し (ステツプ S18)、ユーザによる選択を受け付ける (ステップ S19)。

[0034] 図 9は、画像候補を 1点だけ表示する場合の表示部 15の表示画面を示している。この表示画面では、画像候補 151の表示の横に、他の画像候補の表示を指示する際に操作すべきボタンを表す『前』及び『次』アイコン 152と、当該画像候補 151を所望の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン 153とが配置される。『前』及び『次』アイコン 152は、デジタルカメラ 10が通常備える所謂十字キ一の左キー及び右キーであることを表し、『決定』アイコン 153はその十字ボタンの真ん中に配置されるエンターキーであることを表す。

[0035] ここで、『前』及び『次』アイコン 152に相当する十字キーが操作された場合には (ステツプ S20)、上記ステップ S18に戻って、画像候補 151を更新表示する。これに対して、『決定』アイコン 153に相当するエンターキーが操作された場合には (ステップ S 20)、マッチング部 14は、ストレージ 20に格納されている当該画像候補 151に対応する原画像データを、接続されたプリンタ 30に送り、再度プリントアウトする (ステップ S21)。また、プリンタ 30に有線/無線で直接接続されていない場合には、ストレージ 20に格納されている当該画像候補 151に対応する原画像データに、フラグを追記する等の所定のマーキングを行う処理を実行することで、該ストレージ 20にアクセス可能なプリンタ 30でプリントアウトすることを可能とする。

[0036] なお、上記ステップ S 18の画像候補の表示にぉ、て、複数の候補を同時に表示するようにしても構わない。この場合、通常デジタルカメラ 10に設置されている表示部 1 5は当然数インチの小型のものであるため、 4点或、は 9点程度の表示が使ヽ易、。図 10は、 9点の画像候補 151を表示するようにした例を示している。この場合、『前』及び『次』アイコン 152に相当する十字キーの左キー及び右キーの操作に応じて、選択画像を示す太枠 154が移動される。なお、特に図示はしていないが、十字キーの上キー及び下キーの操作に応じて、 9点の画像候補 151の表示を前及び次の 9点の画像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。

[0037] このような本実施例によれば、原画像データの検索結果の質 (満足度）向上と、妥当な検索時間の両立ができる。

[0038] また、撮影者の注目領域を考慮した検索結果を得ることができる。即ち、通常、撮影者は主要被写体を画像中央に捕らえて撮影するので、図 11に示すように、画像データの中央部に注目した詳細テンプレート 22を使用することで、良好な検索結果を得ることができる。従って、プリントアウトした写真である検索元プリントアウト 1から、その原画像データを検索抽出し、焼き増しを容易に行うシステムにおいて、そのプリント写真の検索にぉ、て効果が高、。

[0039] さらに、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。

[0040] なお、詳細テンプレート 22は、図 3や図 11に示したように、画像データの中央部に注目したものに限定するものではな、。

[0041] 例えば、図 12に示すように、画像内に数箇所、詳細テンプレート 22を設定しても良い。このように詳細テンプレート 22を分散配置することで、プリント撮影条件による失敗を回避できる。即ち、位置や数を動的に変化させて絞り込みが行える。

[0042] また、図 13に示すように、注目領域を原画像データ撮影時の合焦位置においた詳細テンプレート 22としても良い。このような詳細テンプレート 22では、撮影者の意図を反映した結果が見込める。

[0043] また、図 14に示すように、低解像度の概要テンプレート 21と高解像度の詳細テンプレート 22とを同一画像に納めた複合テンプレート 23を構成し、 1回のテンプレートマツチング処理で済むようにしても良い。例えば、図 15に示すように、概要テンプレート 21 (16 X 16テンプレート）と詳細テンプレート 22 (128 X 128テンプレート）とを組み合わせることで、複合テンプレート 23を構成する。このような複合テンプレート 23によれば、高速性と安定的な検索結果の両立が見込める。また、高解像度領域の配置や構成を変更しても、全体の実装を変更せずに扱える。

[0044] さらに、図 16に示すように、詳細テンプレート 22を概要テンプレート 21と同じ領域について作成しデータベースに登録しておき、実際の詳細テンプレート 22とのテンプレートマッチング時には、その内の一部の領域、つまり図 11乃至図 13に示すような領域を参照領域 24として使用し、他の領域を非参照領域 25とするようにしても良い。

[0045] なお、上記のような詳細テンプレート 22を登録した詳細特徴量データベース並びに概要テンプレート 21を登録した全体特徴量データベースについては、予め、ストレージ 20中の原画像データを元に作成しておく必要がある。また、このストレージ 20は、デジタルカメラ 10に付属するメモリであっても良いし、図 2に破線で示すような通信部を介してアクセス可能なデータベースであっても良！、。 [0046] これらの特徴量データベースの作成には、各種の方法が考えられる。

[0047] 例えば、原画像撮影時にその撮影画像データをデジタルカメラ 10のメモリ領域に保存する際に、各特徴量算出とそのデータベース登録を行う方法である。即ち、図 1 7に示すように、デジタルカメラ 10にて撮影を行い (ステップ S 301)、その撮影画像データをデジタルカメラ 10のメモリ領域に保存する (ステップ S302)。そして、その保存した撮影画像データから 2種類の解像度 (及び位置)でそれぞれ特徴量を算出して両テンプレートデータを作成し (ステップ S303)、その作成した各テンプレートデータを上記撮影画像データに関連付けてそれぞれのデータベースに保存する (ステップ S304)。従って、ストレージ 20がデジタルカメラ 10の内蔵するメモリであれば、データベースが構築されることになる。また、ストレージ 20がデジタルカメラ 10と別体の場合には、デジタルカメラ 10のメモリ領域に保存された撮影画像データとテンプレートデータが共にストレージ 20に転送され、データベースが構築されることになる。

[0048] また、ストレージ 20に蓄積された原画像データをプリンタ 30でプリントアウトする際に、そのプリントアウト指示と同時に特徴量抽出処理を行い、データベースに蓄積することもプロセス的に効率が良い方法である。即ち、図 18に示すように、ストレージ 20 に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリントアウトする原画像データが選択され (ステップ S311)、また、プリント条件が設定されて (ステップ S312)、プリントが実行される（ステップ S313)。通常はここでプリント処理は終了であるが、本例では、更に続けて、その選択された原画像データから各解像度 (及び位置)で特徴量を算出して両テンプレートデータを作成し (ステップ S314 )、作成した各テンプレートデータをその原画像データに関連付けて各データベースに保存する (ステップ S315)。なお、テンプレートデータ作成の際に、プリント条件を反映させることで、検索元プリントアウト 1とテンプレートデータとのマッチング精度を向上させることができる。このような方法によれば、マッチング処理が実施される力もしれな!、原画像データにつ!、てのみしかテンプレートデータを作成しな!、ので、不必要なテンプレートデータの作成時間及び保存容量を省略することができる。

[0049] また、勿論、ノッジ処理で行っても構わない。即ち、図 19に示すように、ユーザからの一括テンプレート作成実行指示があつたとき (ステップ S321)、ストレージ 20内のテンプレート未作成原画像データを選別して (ステップ S322)、それら選別したテンプレート未作成原画像データに対して一括テンプレート作成処理を実行する (ステツプ S323)。この一括テンプレート作成処理は、個々のテンプレート未作成原画像データから各解像度 (及び位置)で特徴量を抽出して両テンプレートデータを作成し (ステツプ S323A)、それら作成した各テンプレートデータを対応する原画像データに関連付けてストレージ 20に保存するものである（ステップ S323B)。

[0050] さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図 20に示すように、ユーザが、ストレージ 20内の原画像データの一つを選択し (ステップ S331)、その選択した原画像データにっ、てテンプレートデータの作成の指示を行うことで（ステップ S332)、その選択された原画像データから各解像度 (及び位置)で特徴量を抽出して両テンプレートデータを作成し (ステップ S333)、その作成した各テンプレートデータを上記選択された原画像データに関連付けてそれぞれのストレージ 20に保存する（ステップ S334)。

[0051] なお、必ずしも同時に両テンプレートを作成する必要は無ぐ例えば、詳細テンプレート 22は、 2次検索を実行する段階で必要になったときに作成する方法でも良い。

[0052] また、上記ステップ S12乃至 S20の処理は、デジタルカメラ 10内で実施するものとして説明した力デジタルカメラ 10と別体でストレージ 20を存在させる場合には、そのような処理をソフトウェアとしてストレージ 20にて起動させる、或!、はデジタルカメラ 10とストレージ 20とに分割した形で起動させることで実際に動作させることも可能である。

[0053] 以上のように、これまで、プリントアウトしてしまった画像データを再プリントしようとするとき、画像データの付帯情報 (ファイル名、撮影日時、等)を参考にユーザが検索する事が多力つた力本実施例に係る検索システムによれば、デジタルカメラ 10にて所望の検索元プリントアウト 1の画像を撮影するだけで、原画像のファイル (画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。

[0054] カロえて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ 10に付属するメモリや図 5 に破線で示すような通信部を介してアクセス可能なデータベース等のストレージ 20に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。

[0055] また、上述したように、本実施例によれば、原画像データの検索結果の質 (満足度）向上と、妥当な検索時間の両立ができる。

[0056] 更には、撮影者の注目領域を考慮した検索結果を得ることができる。

[0057] また、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。

[0058] [第 2実施例]

次に、図 1を参照して、本発明の第 2実施例に係る検索システムの概略を説明する

[0059] 即ち、本検索システムは、デジタルカメラ 10と、ストレージ 20と、プリンタ 30と、パーソナルコンピュータ（PC) 40とから構成される。ここで、ストレージ 20は、 PC40に内蔵乃至は通信によってアクセス可能な記憶装置である。また、 PC40は、デジタルカメラ 10に無線 Z有線接続される、もしくは、デジタルカメラ 10から取り外されたメモリを装着して、デジタルカメラ 10のメモリに保存された画像データを読み出し可能に構成されている。

[0060] このような構成の検索システムは、以下のように動作する。

[0061] (1) まず、デジタルカメラ 10は、プリンタ 30によってー且プリントアウトされた検索元プリントアウト 1の画像を含む被写体を撮影する。

[0062] (5) PC40は、得られた撮影画像データから、その検索元プリントアウト 1の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。

[0063] (6) そして、 PC40は、その抽出した特徴量によってストレージ 20に格納された概要テンプレート 21及び詳細テンプレート 22とテンプレートマッチング処理を実行する

[0064] (7) その結果、 PC40は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト 1の原画像データであるとして読み出す。

[0065] (8) これにより、 PC40は、その読み出した原画像データを、再び、プリンタ 30でプリントアウトすることができる。

[0066] 以下、本第 2実施例に係る検索システムを、図 21に示すブロック構成図及び図 22 に示す動作フローチャートを参照して、詳細に説明する。なお、これらの図において、上記第 1実施例と対応するものについては、同一の参照番号を付してある。

[0067] 即ち、本実施例は、デジタルカメラ 10で撮影された画像データをそのユーザが特定する PC40に内蔵又は接続されたストレージ 20に蓄積し、且つ図 22に PC側として示す処理がアプリケーションソフトウェアとして PC40にて動作する場合である。なお、 PC40とデジタルカメラ 10を有線或いは無線で接続し、通信状態を確立した状態で、本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ 10に設定された"検索モード"等といったスィッチを入れる操作によって機能が起動される状態でも構わない。

[0068] このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ 10側にて、プリントアウトの撮像処理が実行される (ステップ S 11)。即ち、図 23に示すように、ユーザが、再度プリントアウトすることを望む検索元プリントアウト 1をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ 10の撮像部 11により、少なくとも上記検索元プリントアウト 1の欠けが無いように撮影する (ステップ S111)。これにより、得られた撮影画像データがデジタルカメラ 10内のメモリである記憶部 16に保存される。そして、その保存された撮影画像データが、有線或いは無線で、接続された PC40 に転送される (ステップ S 112)。

[0069] すると、 PC40においては、アプリケーションソフトウェアにより実現される領域抽出部 41にて、上記送信されてきた撮影画像データ中から、上記検索元プリントアウト 1 の画像を特定し、その部分を特定'抽出するためのプリントアウトの切り出し処理を実行する (ステップ S12)。次に、アプリケーションソフトウェアにより実現される特徴量抽出部 42によって、上記特定'抽出された関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行う（ステップ S13)。

[0070] そしてその後、アプリケーションソフトウェアにより実現されるマッチング部 43により、上記抽出した全体特徴量データを、ストレージ 20に構成した上記概要テンプレート 2 1を登録した全体特徴量データベースと比較し、その類似度の高!、ものを順に抽出する全体特徴量 DBとのマッチング処理を実行する (ステップ S 14)。即ち、算出された全体特徴量データを元に PC40側のマッチング部 43にて、ストレージ 20の画像データそれぞれに同梱される (或いは包括的にデータベース化された)特徴量データ（概要テンプレート 21)群と比較し、最も近いものを選び出す。設定により、最も近い複数の特徴量候補を選出する事も使、勝手にお、て有効である。この特徴量データには、その特徴量を算出した原画像データの指定情報が含まれており、それに従い候補画像を呼び出す。

[0071] その後、上記領域抽出部 41にて、上記特定'抽出された関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する (ステップ S15)。そして、上記特徴量抽出部 42によって、上記領域抽出部 41で抽出した詳細検索対象画像データから特徴量を抽出する詳細特徴量抽出処理を行い (ステップ S 16)、その抽出した詳細特徴量データを、マッチング部 43により、ストレージ 20に構成した上記詳細テンプレート 22を登録した詳細特徴量データベースと比較し、その類似度の高!、ものを順に抽出する詳細特徴量 DBとのマッチング処理を実行する (ステップ S 17)。但しこの場合、詳細特徴量データベースに登録された全ての詳細テンプレート 22とのテンプレートマッチングを行うのではなぐ上記ステップ S 14の全体特徴量 DBとのマッチング処理で抽出された複数の原画像候補に対応する詳細テンプレート 22についてのみテンプレートマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプレート 22とのテンプレートマッチング処理は、必要最低限で済むことになる。

[0072] その後、上記選出された原画像候補 (或、は候補画像群)の画像データをストレージ 20から読み出して、該 PC40のディスプレイである表示部 44に抽出すべき画像候補として表示し (ステップ S18)、上記第 1実施例と同様に、ユーザによる選択を受け付ける。このとき、上記選出された原画像候補 (或いは候補画像群)の画像データをそのままか、適宜圧縮した状態で、 PC40よりデジタルカメラ 10に転送し、デジタル力メラ 10の表示部 15上に表示するようにしても構わない (ステップ S41)。

[0073] そして、マウス等の操作による選択に応じて、ストレージ 20に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ 30に送り、再度プリントァゥトする (ステップ S21)。即ち、上記表示された原画像候補をユーザの判断により決定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するば力りではなぐ候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する機能の実現にも繋がって、る。

[0074] なお、本実施例にお!、ては、特徴量データベースの作成は、デジタルカメラ 10から PC40を介したストレージ 20への撮影画像データの転送時に行うようにしても良い。即ち、図 24に示すように、デジタルカメラ 10から PC40への撮影画像データの転送を開始し (ステップ S341)、 PC40により、その転送されてきた撮影画像データをストレージ 20に保存すると共に (ステップ S342)、その撮影画像データから概要テンプレートデータ及び詳細テンプレートデータを作成する（ステップ S343)。そして、その作成した各テンプレートデータをストレージ 20に上記撮影画像データに関連付けて保存する（ステップ S 344)。

[0075] 以上のように、本第 2実施例においても、上記第 1実施例と同様の効果を奏することができる。

[0076] カロえて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ 10に付属するメモリや図 5 に破線で示すような通信部を介してアクセス可能なデータベース等のストレージ 20に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトを PC40 やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション (音声 ·動画等)を作動させることなどが可能となる。

[0077] なお、類似の画像構成の画像データを検索する機能は、撮影時などにおける手本画像への誘導といったことも可能である。これは、全体の構図を概要テンプレート 21 で評価し、詳細テンプレート 22で細部の評価を行い、誘導情報や好ましい構図の画像を選別することが可能となるためである。

[0078] この機能は、 PC40上でオフライン処理する方法と、デジタルカメラ 10や携帯情報端末等の撮像装置に内蔵しオンライン処理する方法がある。 PC40上でオフライン処理する例としては、撮影した多数の画像の中から、好ましい構図の画像を選別するといった用途に適用可能である。また、デジタルカメラ 10や携帯情報端末に内蔵した場合は、撮影の補助機能として動作し、撮影をリアルタイムでサポートするといつた例にも適用できる。

[0079] この機能で使う手本画像としては、フォトコンテストなどで選ばれた良い作例やプロカメラマンが撮影した画像などの作例的に好ま、画像 (手本画像)を用い、ユーザの好みに応じて選択することも可能である。

[0080] 手本画像のテンプレートには、特徴量だけでなぐ時間、位置情報、気象情報などを加えることも可能で、これらの情報を用いることにより、例えば撮影位置における日没時刻を考慮して最適な構図になる時間帯を指示するといつたことも可能となる。また、レンズ交換式のカメラの場合には、交換したレンズの情報をもとに手本画像テンプレートの自動選択や補正とヽつた機能も可能である。

[0081] 図 25は、撮影時などにおける手本画像への誘導機能をデジタルカメラ 10に適用した例を示す図である。この例では、手本画像をテンプレートとしストレージ 20に保持しておき、撮影時に手本画像テンプレートとマッチングを行い、その類似度が高い画像を撮影できるように誘導してヽくことで、最適な構図の画像を撮影できるよう補助することができる。手本画像とのズレをマッチングにより検知し、例えば図 26に示すように矢印 155などで構図的に好ましい方向へ誘導する方法や、図 27に示すように構図的に好ま、部分を強調表示 156すると、つた方法などある。

[0082] 誘導時に使う特徴量としては、画像データ内の特徴点や色情報の配置関係を使うものであっても良いし、所定のルールに従った画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わな V、し、分割エリア毎のフーリエ変換値などに基づ、たものでも構わな!/、。 [0083] なお、上記説明では、デジタルカメラ 10を用いた力本実施例はそれに限定されるものではなぐスキャナであっても構わない。

[0084] また、実際にプリントアウトした検索元プリントアウト 1をデジタルカメラ 10で撮影して

V、るが、例えば検索元プリントアウト 1を撮影した画像を表示して、るディスプレイをデジタルカメラ 10で撮影しても同様に実施可能である。

[0085] [第 3実施例]

次に、本発明の第 3実施例に係る検索システムを説明する。

[0086] 本実施例は、カメラ付携帯電話機等の撮像機能付通信装置である通信機能を備えたデジタルカメラ 10を使う例であり、予め登録した画像を撮影する事により、その画像を認識し、認識結果に応じて所定の動作 (例えば音声出力や所定のプログラムの起動、或、は所定の URLの表示）をさせる場合に適用するものである。

[0087] 画像を認識する場合、参照するデータベース ( 、わゆる辞書データ）として画像データは登録するが、画像をそのまま比較するのではなぐ画像の特徴量を比較するのが効率が良く実際的である為、画像力抽出した特徴量データベースを使う。またこのデータベースは内蔵でも通信を介したサーバ上に存在するものでも構わない。

[0088] 本実施例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴量として定義する。そのとき、この特徴量は特徴点の現れる数によってその精度が異なり、原画像データの精細度が高ければ特徴点が数多く検出可能であるため、同じ原画像データに対し、なるべく高精細な条件で特徴量を算出する。このとき、同じ画像素材に対して精細度を低下させた画像データを基に特徴量を算出すると、特徴点が比較的少なくなるため特徴量自体は小さい容量となる。容量が小さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、通信速度が速、等のメリットがある。

[0089] 本実施例においてはここに着眼し、画像データを参照データ (テンプレート）として登録する際、一つの画像素材の登録に際し異なる複数の精細度力特徴量を算出し、それぞれの精細度に個別化したデータベースを構成する。そのそれぞれのデータベースには、それぞれに対応するマッチングサーバが接続し、並列動作可能な配置とする。即ち、図 28に示すように、 1次特徴量のマッチングサーバ及び 1次情報 DB 21、 2次特徴量のマッチングサーバ及び 2次情報 DB22、 · ··、 n次特徴量のマツチングサーバ及び n次情報 DB2nを準備する。なお、 2次特徴量のマッチングサーバ及び

2次情報 DB22乃至 n次特徴量のマッチングサーバ及び n次情報 DB2nは、 1次特徴量のマッチングサーバ及び 1次情報 DB21よりも高精細な特徴量又は特別なカテゴリのデータベースである。

[0090] このようなマッチング処理系を準備した上で、図 28に示すように、通信機能を備えたデジタルカメラ 10から、既に登録されている意匠 (対象マーカ）を撮影し (ステップ S 51)、上記デジタルカメラ 10に内蔵されるアプリケーションソフトウェアにより特徴点の配置関係から特徴量データを算出する (ステップ S52)。そして、その特徴量データを通信を介して各マッチングサーバに送信することで、各 DBとのマッチング処理が行われる（ステップ S53)。このマッチング処理によって、マッチする結果が得られたならば、その結果に紐付く動作情報 (例えば URLのリンク等）が取得され (ステップ S54) 、その動作情報がデジタルカメラ 10に送信されて、例えば 3Dオブジェクト取得と表示 t 、つた指定動作が遂行される (ステップ S55)。

[0091] なお、このときのカメラ解像度が 200万画素級であったとすれば、通信を介してマツチングサーバにて検索する場合も 200万画素級の解像度の特徴量データベースからのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する低解像度 (例えば VGAクラスの解像度）の特徴量データベースでのマッチングは高速に応答するため、先にデジタルカメラ 10に結果が送付される。このようにマッチングサーバを解像度別に並列配置する事は速度的、認識精度的に有利である。なお、後追いの高解像度マッチングサーノくからの回答が既に先に出ている低解像度マツチングサーバと異なる場合があり、そのような場合には、まず早いほうの結果に基づく表示が行われ、その後に、後追いの結果に基づく表示に更新される。例えば、紙幣などを認識しょうとすると、低解像度マッチングでの回答が『一万円札』と言ったレベルであっても、高解像度マッチングにおいては『一万円札でナンバーが ZTA473298S PK』と言った回答のように、より精細度が高、ことによる詳し!/、或いは正、結果が得られる。

[0092] また、上述した通り高解像度マッチングサーバにおいては特徴量自体の容量が大きぐ XGAクラスの特徴量は 40kB程度に肥大する力予め低解像度マッチングによりおよそ lOkB程度までに小さく成る。また、 2次以降のマッチングサーバ及びデータベースにおいては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。なお、特徴量にテンプレート (エリア割付を行い、各々の濃度値を比較する方式)での抽出を進めた場合、一般的に lOkB以下であり、適宜両方式を組み合わせた多次元特徴量も認識精度の向上に有効であることを確認して、る。

[0093] このように、撮影画像面の一部又は全面の解像度を多段階化し、実質上のマッチング階層化を実現することは、単純に複数のマッチングサーバをクラスター的に分散処理する場合に比べて認識速度、認識精度の両面で効果がある。

[0094] 特に、予めデータベース登録した画像が極めて多数（1000以上）の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。

[0095] 以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

[0096] 例えば、デジタルカメラは、静止画を撮影するデジタルスチルカメラに限定するものではなく、動画像を撮影するデジタルムービーカメラも含む。

[0097] また、通信機能を備えたデジタルカメラである撮像機能付通信装置とは、カメラ付携帯電話機、カメラ付 PHS、固定テレビ電話を含む。

産業上の利用可能性

[0098] 本発明の応用範囲として、カメラ付携帯電話やデジタルカメラは言うに及ばず、画像で認証するタイプのセキュリティーシステム等、一般的にカメラによりデジタル画像を撮影して蓄積するシステムにお、ては広範な利用が期待できる。

Claims

請求の範囲

[1] 画像を入力する画像入力手段（11)と、

上記画像入力手段で入力した画像を基にして、第 1のテンプレート (21)を使ったテンプレートマッチングによりデータベース（20)から複数の画像を検索し、その検索した結果の複数の画像から、上記第 1のテンプレートより狭い領域で且つ解像度の高い第 2のテンプレート（22)を使って、テンプレートマッチングにより単一又は複数の画像を検索する画像検索手段（14 ;43)と、

を具備することを特徴とする検索システム。

[2] 上記画像検索手段において、上記第 2のテンプレートは、画像の中央領域部分に対応することを特徴とする請求項 1に記載の検索システム。

[3] 上記画像検索手段において、上記第 2のテンプレートは、画像の複数領域部分的に対応することを特徴とする請求項 1に記載の検索システム。

[4] 上記画像検索手段にお!、て、上記第 2のテンプレートは、画像の合焦領域部分に対応することを特徴とする請求項 1に記載の検索システム。

[5] 画像を入力する画像入力手段（11)と、

上記画像入力手段で入力した画像を基にして、部分的に解像度を高めたテンプレート (23)によるテンプレートマッチングによりデータベース（20)から単一又は複数の画像を検索する画像検索手段（14 ;43)と、

を具備することを特徴とする検索システム。

[6] 上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は

、画像の中央領域部分に対応することを特徴とする請求項 5に記載の検索システム。

[7] 上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は

、画像の複数領域部分に対応することを特徴とする請求項 5に記載の検索システム。

[8] 上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は

、画像の合焦領域部分に対応することを特徴とする請求項 5に記載の検索システム。

[9] 上記画像検索手段において、上記画像入力手段によって入力される画像は、プリントアウトした画像（1)を撮像したものであることを特徴とする請求項 1又は 5に記載の検索システム。

[10] 画像を入力し、

上記入力した画像を基にして、第 1のテンプレート (21)を使ったテンプレートマッチングによりデータベース力複数の画像を検索し、

上記検索した結果の複数の画像から、上記第 1のテンプレートより狭い領域で且つ解像度の高い第 2のテンプレート（22)を使って、テンプレートマッチングにより単一又は複数の画像を検索する、

ことを特徴とする検索方法。

[11] 上記第 1及び第 2のテンプレート (21, 22)力作例的に好ましい画像から作成されたものであり、

上記検索される単一又は複数の画像として、好まし、画像が選別されることを特徴とする請求項 10に記載の検索方法。

[12] 画像を入力し、

上記入力した画像を基にして、部分的に解像度を高めたテンプレート（23)によるテンプレートマッチングによりデータベース力単一又は複数の画像を検索する、ことを特徴とする検索方法。