JPH1091634A

JPH1091634A - 写真画像検索システム

Info

Publication number: JPH1091634A
Application number: JP8233565A
Authority: JP
Inventors: Takashi Yuasa; 敬湯浅
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1996-08-15
Filing date: 1996-08-15
Publication date: 1998-04-10

Abstract

(57)【要約】【課題】ディジタルカメラ等から、動植物等の検索対
象画像を取り込み、これに類似する画像を、多数のデー
タベース画像から素早く検索しその説明分をディスプレ
イに表示する。【解決手段】データベース画像およびその説明文から
なり、フィールド中に画像特徴属性を含み、かつ、撮影
状況属性に応じてデータベーズ画像が分類されているデ
ータデータベース７と、検索対象画像の取込み手段１
と、撮影状況特定手段２と、撮影状況の情報に基づき、
データベース画像の検索範囲の絞り込みを行う検索範囲
絞り込み手段３と、検索対象画像の画像特徴を特定する
抽出手段４と、検索対象画像に類似するデータベース画
像を、候補画像として抽出する対象画像検索手段５と、
候補画像Ｐ_ｉ，Ｐ_ｊ，Ｐ_ｋを表示すると共に、その説明
文Ｔ_ｉ，Ｔ_ｊ，Ｔ_ｋを表示するディスプレイ６と、を含
むことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタルカメラ
等から、動植物、自然物、建造物等の検索対象画像を取
り込み、この検索対象画像に類似する画像を、多数のデ
ータベース画像から素早く検索し、その説明分を表示で
きる写真画像検索システムに関する。

【０００２】

【技術背景】写真のデータベースとして、従来、コンテ
ント−ベースド・イメージ・リトリーバル・システム
（Ｃｏｎｔｅｎｔ−ｂａｓｅｄＩｍａｇｅＲｅｔｒ
ｉｅｖａｌＳｙｓｔｅｍ）が知られている。このシス
テムでは、ユーザが、検索対象写真の特徴を、入力する
ことにより、当該検索対象写真を検索する。検索対象写
真の特徴として、たとえば、全体の色調、使われている
色の統計（ヒストグラム）、隣接する色の組合せパター
ン、被写体の輪郭等、様々なものがある。このシステム
では、目的とする写真を、多数のデータベース写真から
抽出するために、検索対象の色や輪郭等の特徴をデータ
ベースに入力しなければならない。このため、希望する
写真を入手することは、熟練を要し、一般にユーザにと
っては容易でない。

【０００３】これに対し、前記特徴を文字で入力する代
わりに、写真そのものを検索対象として用いるクィアリ
ー・バイ・イグザンプル（ＱｕｅｒｙｂｙＥｘａｍ
ｐｌｅ）による方法も知られている。この方法では、検
索対象としての写真を１枚用意し、当該検索対象写真に
類似した写真をデータベースから抽出する。通常、この
類似性は、前述した写真全体の色調、ヒストグラム、隣
接する色の組合せパターン、被写体の輪郭等の評価関数
によって定められる。

【０００４】上記のような写真のデータベース・システ
ムでは、データベースを構築するに際して、全体のピク
セルをスキャンし、特徴となるべきデータ構造を予め作
成しておく。そして、これらをキーとしてデータベース
・システムに登録しておき、検索に用い、検索対象画像
に似ている写真（１つとは限らない）を候補画像として
抽出する。ここでの検索は、データベース写真の特徴
と、検索対象写真の特徴とを、何らかの評価関数により
比較し、両者の差が所定のしきい値よりも小さければ
「的中」とし、そうでなければ「不的中」とする。この
特徴の比較は、原則的にはデータベース写真の全てにつ
いて行う必要がある。

【０００５】写真（画像）の特徴を示すデータ構造は、
一般に複雑であり、検索対象写真とデータベース写真と
の比較に要する計算量は膨大となる。このため、上記の
ような写真のデータベースでは、文字列や数値の比較を
行うデータベースに比べて、検索に膨大な時間を要する
と言った不都合がある。

【０００６】この不都合を解消するために、写真の特徴
データの比較を行う前に、他の情報により検索範囲を限
定することが有効である。例えは、フォト・エンサイク
ロペディア・システムの場合には、植物、鳥類、魚類な
どのカテゴリーごとにデータベースを分けておき、検索
の際にユーザに上記カテゴリーを指定させ、検索範囲を
限定させる。この場合、さらに、検索範囲を限定するた
めに、サブカテゴリーを定義しておき、ユーザに、撮影
時（月，季節等）や撮影場所を指定させることも考えら
れる。しかし、ユーザが検索を行うことができるのは、
撮影から長時間が経過している場合も多く、検索の際に
は撮影時や撮影場所についての記憶が不明確となり、正
確にこれらを特定することができないと言った問題があ
る。

【０００７】

【発明の目的】本発明の目的は、ディジタルカメラ等か
ら取り込んだ検索対象画像と類似または同一の画像を、
撮影状況（たとえば、時、場所）に応じて、多数のデー
タベース画像から素早く検索し、その説明文を表示する
ことができる写真画像検索システムを提供することであ
る。また、本発明の他の目的は、写真画像検索システム
により、撮影から長時間が経過していても撮影時の状況
をユーザの記憶によらずに特定でき、あるいは撮影後、
直ちに撮影場所において検索を行うことができる、実質
上、フォト・エンサイクロペディアの機能を持つディジ
タルカメラを提供することである。

【０００８】

【発明の概要】本発明のシステムでは、データベース
は、多数のデータベス画像およびその説明文からなり、
当該データベース画像の検索用のフィールドには、画像
特徴属性が含まれる。

【０００９】データベースは、通常、ハードディスク、
ＣＤ−ＲＯＭ等の大容量記憶媒体に格納される。データ
ベース画像は、通常、デジタイズされた写真であり、画
像全体がビットマップとして表現されるものであっても
よいし、輪郭等がベクトルとして表現されるものであっ
てもよい。データベース画像の説明文は、通常、文字コ
ードの形態で、データベース画像と関連させて格納され
るが、説明文中に画像を含むこともある。画像特徴属性
は、写真全体の色調、ヒストグラム、隣接する色の組合
せパターン、被写体の輪郭等である。

【００１０】本発明のシステムでは、データベース画像
を撮影状況属性により分類しておき、検索対象画像の撮
影状況に応じて、検索範囲を絞り込む２つの手法（これ
らの手法については後述する）を導入することにより、
素早い検索が可能となる。１番目の手法を用いる場合に
は、データベースは、それぞれ撮影状況属性に応じたタ
グを持つ複数のデータベース要素に分割される。以下、
１番目の手法を用いる本発明のシステムを、第１システ
ムと言う。２番目の手法を用いる場合には、データベー
スのフィールドには前述した画像特徴属性の他、撮影状
況属性が含まれる。以下、２番目の手法を用いる本発明
のシステムを、第２システムと言う。

【００１１】本発明のシステムは、上記データベースの
他、画像取込み手段と、撮影状況特定手段と、検索範囲
絞り込み手段と、画像特徴抽出手段と、対象画像検索手
段と、ディスプレイとを含む。

【００１２】画像取込み手段は、たとえばディジタルカ
メラの撮影機能部分であり、検索対象画像を取り込む。
なお、ディジタルカメラは、後述するように、画像取込
み手段、撮影状況特定手段、ディスプレイと一体に構成
されることもある。

【００１３】撮影状況特定手段は、前記検索対象画像の
撮影状況（たとえば、撮影時や撮影場所）を、ユーザの
設定により、または自動検出により特定する。ここで、
撮影状況属性は、たとえば、時属性または／および場所
属性である。時属性は、たとえばデータベース画像の被
写体が花である場合には、当該花の開花時期（月や季
節）であり、場所属性は、たとえば、データベース画像
の被写体が建造物や自然物である場合には、これらの所
在地でる。また、撮影状況特定手段は、撮影状況、たと
えば検索対象画像の撮影時または／および撮影場所、を
特定する。この特定は、ユーザの設定（適宜のインター
フェースにより行われる）により行われることもある
し、システムに付属の時計または／および自動位置検出
装置により行われる。なお、自動位置検出装置は、たと
えば、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ
Ｓｙｓｔｅｍ）の端末機器、あるいは移動電話所持者
の所在地域を基地局の所在位置により特定するシステム
の当該移動電話である。

【００１４】検索範囲絞り込み手段は、第１システムで
は、前記撮影状況特定手段により特定された撮影状況の
情報に基づき、前記タグを参照して、前記データベース
要素を特定することで、前記データベース画像の検索範
囲の絞り込みを行う。また、検索範囲絞り込み手段は、
第２システムでは、前記撮影状況特定手段により特定さ
れた撮影状況の情報に基づき、前記撮影状況属性を参照
して、前記データベース画像の検索範囲の絞り込みを行
う。

【００１５】画像特徴抽出手段は、前記検索対象画像の
画像特徴を特定する。対象画像検索手段は、前記画像特
徴抽出手段により特定された画像特徴に基づき、前記検
索範囲絞り込み手段により絞り込まれた検索範囲内で、
前記検索対象画像に類似するデータベース画像を、候補
画像として抽出する。これら、画像特徴抽出手段と対象
画像検索手段とは、前述した従来公知のクィアリー・バ
イ・イクザンプルによる処理を行う。この処理は、本発
明のシステムに搭載された、１つまたは複数のプロセッ
サにより、ハードウェア的またはソフトウェア的に行わ
れる。

【００１６】ディスプレイは、当該候補画像を表示する
と共に、当該候補画像に付随する前記説明文を表示す
る。このディプレイは、たとえば、画像取込み手段と一
体に構成した液晶ディスプレイであってもよいし、画像
取込み手段とは別体に構成した液晶または陰極管ディス
プレイであってもよい。この場合、ディスプレイには、
候補画像および説明文に加え、検索対象画像を表示する
ことが好ましい。

【００１７】本発明のシステムでは、第１システムと第
２システムとにより１つのシステムを構成し、データベ
ースの検索の際に、１番目の手法と２番目の手法とによ
る検索範囲の絞り込みを併用することもできる。

【００１８】本発明のシステムにおいては、全ての構成
要素を一体に構成してもよいし、システムを所定の構成
要素からなる複数の部分に分割してもよい。たとえば、
システムを、データベース、検索範囲絞り込み手段およ
び対象画像検索手段を含むシステム本体と、画像取込み
手段、撮影状況特定手段およびディスプレイを含む携帯
機器との２つの部分により構成することができる。ま
た、たとえば、システムを、データベース、検索範囲絞
り込み手段、ディプレイおよび対象画像検索手段を含む
システム本体と、画像取込み手段および撮影状況特定手
段（時計や自動位置検出機構）を含む携帯機器との２つ
の部分により構成することができる。また、インターネ
ット等のネットワークシステムに本発明のシステムを応
用する場合には、上記システム本体の一部の構成要素
（ただし、ディスプレイおよび検索範囲絞り込み手段を
除く）を、ホスト局やサイトに設けることもできる。こ
の場合には、ユーザは、ＷＷＷ（ＷｏｒｌｄＷｉｄｅ
Ｗｅｂ）等におけるインターフェースを介して、検索
作業を行うことができる。

【００１９】本発明のシステムを、システム本体と携帯
機器とから構成する場合には、通常、携帯機器は、検索
対象画像を、時または／および場所の情報と共に、通信
回線を介してシステム本体に送信する。システム本体
は、検索範囲の絞り込みおよび当該検索対象画像につい
ての検索を行い、その候補画像を上記通信回線を介して
携帯機器に送信する。そして、候補画像やそれに付随す
る説明文が、ディスプレイに表示される。なお、システ
ム本体と携帯機器とから構成する場合において、携帯機
器からシステム本体に検索対象画像等を送るために、画
像記録媒体（合成樹脂フィルムを用いたカメラにおけ
る、当該フィルムに相当する）を、ユーザが手操作で携
帯機器から抜き取り、システム本体の所定の画像記録媒
体読み取り装置に挿着することもできる。

【００２０】本発明のシステムにおいては、特に、全て
の構成要素同士を一体に構成する場合や、携帯機器とシ
ステム本体とを無線の通信回線を介して接続する場合に
は、本発明のシステムは、実質上、フォト・エンサイク
ロペディアの機能を持つディジタルカメラである。この
ようなシステムでは、撮影直後、即座に（撮影場所に
て）検察を開始することができる。なお、携帯機器とシ
ステム本体とを無線を介して接続する場合に、ユーザは
検索操作をしたり候補画像を見る必要がある。したがっ
て、この場合には、携帯機器には、通常、ディスプレイ
を含むことが必要となる。

【００２１】また、本発明のシステムでは、撮影時に、
撮影状況を所定の記憶装置に自動書込みしておき、撮影
後、撮影場所とは異なる場所で検索を行うこともでき
る。この場合には、システムを、全ての構成要素同士を
一体となるように構成してもよいし、システム本体と携
帯機器とから構成してもよい。撮影後、撮影場所とは異
なる場所で検索を行う必要が生じるのは、典型的には、
システムをシステム本体と携帯機器とから構成し、かつ
携帯機器とシステム本体とを有線の通信回線を介して接
続する場合であろう。

【００２２】なお、本発明のシステムでは、撮影画像に
説明文を付属させて、当該撮影画像を保存し、またはプ
リンタ等に出力することができる。

【００２３】本発明のシステムは、データベースに、大
容量記憶装置を使用できるので、膨大な量の、動植物、
建造物、自然物についての写真データをその説明文と共
にデータベース化できる。ユーザが画像取込み装置で撮
影した、たとえば草花，果実等の検索に際しては、その
開花時期や結実時期（撮影時期）や、その生息地域（撮
影場所）に応じた検索範囲の絞り込みが、自動的に行わ
れる。したがって、検索対象画像とデータベース画像と
の色の組合せやヒストグラムを基にした特徴比較に要す
る時間は極めて短かい。また、水中カメラで魚類を撮影
する場合にも、本発明のシステム（後述する実施例３で
説明するような、カメラ一体形のフォト・エンサイクロ
ペディア・システム）を用いれば、ＧＰＳにより撮影場
所の情報（すなわち、魚類等の生息域の情報）が得られ
るので、検索範囲の絞り込みが行われ、水中でのデータ
検索も即座に行われる。なお、この場合、ＧＰＳによる
場所特定を潜水前に行う必要がある。さらに、たとえ
ば、植物園、動物園、水族館等の施設に、データベース
が書き込まれた、メモリカード，ＣＤ−ＲＯＭ等の記憶
媒体を用意しておき、施設の利用者にこの記憶媒体を貸
与することもできる。この場合には、草花、動物、魚等
のデータベース画像の検索用フィールドには施設内の場
所を書き込んでおく。そして、これら施設におけるユー
ザの場所を適宜の自動位置検出により特定することで、
ユーザが撮影した被写体の説明文を、カメラに表示する
ことができる。本発明のシステムを、建造物、記念碑、
あるいは自然物のフォト・エンサイクロペディア・シス
テムとして使用する場合には、ＧＰＳ等の自動位置検出
装置により、撮影場所を特定することができる。したが
って、撮影場所（京都、奈良、鎌倉等）についての検索
範囲の絞り込みができる

【００２４】

【実施例】以下、本発明のシステムを、フォト・エンサ
イクロペディア・システムとして使用する場合の実施例
を詳細に説明する。

【００２５】〔実施例１〕本発明の第１システムの実施
例を説明する。後述するように（実施例３参照）、本発
明のシステムでは、各構成要素を一体に構成するするこ
ともできるが、実施例１においては、システムを複数の
部分に分割している。すなわち、実施例１では、システ
ム全体は、ディジタルカメラ１０１と、パーソナル・コ
ンピュータ２０１と、ホスト・コンピュータ３０１とか
らなり、図１に示すように、ディジタルカメラ１０１は
パーソナル・コンピュータ２０１に、通信回線４０１を
介して接続されている。さらに、パーソナル・コンピュ
ータ２０１は、ネットワーク５０１を介して、ホスト・
コンピュータ３０１に接続されている。なお、本実施例
では、ネットワーク５０１は、インターネットであり、
ユーザはＷＷＷのユーザインターフェースを介して、ホ
スト・コンピュータ３０１のデータベースを利用でき
る。

【００２６】ここでは、ディジタルカメラ１０１は、画
像取込み手段１と、撮影状況特定手段２（図１では、時
計２１）とを有している。また、パーソナル・コンピュ
ータ２０１は、検索範囲絞り込み手段３と、画像特徴抽
出手段４と、対象画像検索手段５、ディスプレイ６とに
より構成されている。データベース７は、ホスト・コン
ピュータ３０１の大容量記憶媒体（ここでは、ハードデ
ィスク）に書き込まれている。実施例１では、図２にも
示すように、データベース７は複数のデータベース要素
（ここでは７１〜７４の４つ）に分割され、各データベ
ース要素には、時属性に応じたタグ（図２では、春夏秋
冬の四季に対応するタグｔｇ_１〜ｔｇ_４）が付されてい
る。なお、ここでは、検索範囲絞り込み手段３、画像特
徴抽出手段４および対象画像検索手段５の機能は、パー
ソナル・コンピュータ２０１が持つ演算処理装置により
達成されるが、これらの機能の全てまたは一部を、ホス
ト・コンピュータ３０１に負担させる（すなわち、検索
範囲絞り込み手段３、画像特徴抽出手段４および対象画
像検索手段５をホスト・コンピュータ３０１に設ける）
こともできる。

【００２７】実施例１（図１）のシステムにおけるデー
タベース７の構築手法について説明する。ここでは、こ
の構築作業は、ホスト・コンピュータ３０１側で行われ
る。まず、データベース７に取り込む写真画像Ｐ_ｘと、
その説明文Ｔ_ｘとを、ハイパーテキストの形態で、デー
タベース構築システムに取り込む。そして、当該システ
ムの特徴抽出プログラムＡを用いて、写真画像Ｐ_ｘをス
キャンし、画像特徴Ｃ_１（ｘ），Ｃ_２（ｘ），・・・，
Ｃ_ｍ（ｘ）を抽出し、これをインデックスＩ_ｘの所定フ
ィールドに書き込む。写真画像Ｐ_ｘ、その説明文Ｔ_ｘお
よびインデックスＩ_ｘを、写真画像Ｐ_ｘの時属性（ここ
では、写真画像Ｐ_ｘがどの季節に属するか）に応じて、
対応するタグｔｇ_１〜ｔｇ_４を持つデータベース要素７
１〜７４の何れかに登録する。なお、上記インデックス
Ｉ_ｘの所定フィールドには、説明文Ｔ_ｘのＵＲＬ（Ｕｎ
ｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）を書
き込む。このようにして作成されたデータベース７は、
ホスト・コンピュータ３０１のハードディスクに書き込
まれる。

【００２８】以下、図１および図２を参照して、実施例
１のシステムの作用を説明する。図１（Ａ）に示すよう
に、ユーザが画像取込み手段１により、上記カテゴリー
に含まれる被写体（ここでは、植物）Ｐ_Ｏを撮影する
と、撮影状況特定手段２（時計２１）が撮影時（ここで
は季節）を特定する。検索の際には、図１（Ｂ）に示す
ように、画像特徴抽出手段４が検索対象画像Ｐを取り込
む。これと同時に、検索範囲絞り込み手段３は、撮影時
の情報Ｓをディジタルカメラ１０１から取得する。検索
範囲絞り込み手段３は、撮影時の季節に応じて、データ
ベース要素７１〜７４の何れかを選択する。なお、撮影
時が季節の境目の月等に属するときには、検索範囲絞り
込み手段３は、２つの季節を選択することもできる。一
方、画像特徴抽出手段４は、検索対象画像Ｐをスキャン
し、画像特徴Ｃ_１，Ｃ_２，・・・，Ｃ_ｍを抽出する。

【００２９】ここで、ネットワーク５０１を介してホス
ト・コンピュータ３０１の、検索範囲絞り込み手段３に
より選択されたデータベースへのアクセスが行われる。
対象画像検索手段５は、画像特徴抽出手段４により抽出
された検索対象画像Ｐの画像特徴Ｃ_１，Ｃ_２，・・・，
Ｃ_ｍを、上記の選択されたデータベース要素のデータベ
ース画像の画像特徴Ｃ_１（ｘ），Ｃ_２（ｘ），・・・，
Ｃ_ｍ（ｘ）と順次比較比較する。

【００３０】そして、検索対象画像Ｐに類似するデータ
ベース画像（ここでは、候補画像Ｐ_ｉ，Ｐ_ｊ，Ｐ_ｋ）
を、ホスト・コンピュータ３０１のデータベース７から
ダウンロードし、検索対象画像Ｐと共に、ディスプレイ
６に表示する。検索対象画像Ｐとデータベース画像との
類似の判断には、従来公知の適当な手法（たとえば、評
価関数を用いる方法）が適用される。ユーザは、適宜の
ユーザインターフェースを介して、候補画像Ｐ_ｉ，
Ｐ_ｊ，Ｐ_ｋの何れかを指定する（たとえば、ディスプレ
イ６に表示されたカーソルにより候補画像の何れかを指
定する）。説明文Ｔ_ｉ，Ｔ_ｊ，Ｔ_ｋは、適宜（たとえ
ば、上記候補画像のダウンロードの際に、あるいはこれ
とは別個に）ダウンロードされ、ユーザは、候補画像Ｐ
_ｉ，Ｐ_ｊ，Ｐ_ｋに対応する説明文Ｔ_ｉ，Ｔ_ｊ，Ｔ_ｋをデ
ィスプレイ６に表示することができる。なお、ディスプ
レイ６に同時に表示する画像は、検索対象画像Ｐと１つ
の候補画像のみとし、ユーザが候補画像を順次て切りか
え表示するようにもできる。

【００３１】実施例１では、データベース画像の時属性
として季節を用い、データベース７を、４つのデータベ
ース要素７１〜７４に分割したが、本発明はこれに限定
されず、データベース画像の時属性として、たとえば月
を用い、データベース７をたとえば月数（１２個）のデ
ータベース要素に分割することもできる。

【００３２】また、データベース画像の場所属性によ
り、データベース７を適当な数に分類して分割すること
もできる。この場合には、撮影状況特定手段２は、自動
位置検出部（たとえばＧＰＳの端末機能を有する）を含
む。自動位置検出部の機能については、後述する実施例
２で説明するので、ここでは説明は省略する。

【００３３】なお、図示はしないが、時属性に応じて分
割されたデータベース要素のそれぞれを、さらに場所属
性に応じて複数のデータベース要素に分割すること、逆
に場所属性に応じて複数のデータベース要素に分割し、
この分割されたデータベース要素のそれぞれを、さらに
時属性に応じて複数のデータベース要素に分割すること
もできる。

【００３４】〔実施例２〕本発明の第２システムの実施
例を説明する。実施例２は、撮影状況特定手段の構成が
実施例１とは異なり、データベース構築の方法が実施例
１とは異なっている。図３に示す実施例２のディジタル
カメラ１０２，パーソナル・コンピュータ２０２，ホス
ト・コンピュータ３０２、通信回線４０２，およびネッ
トワーク５０２が、実施例１のディジタルカメラ１０
１，パーソナル・コンピュータ２０１，ホスト・コンピ
ュータ３０１，通信回線４０１およびネットワーク５０
１に対応する。ただし、実施例２のディジタルカメラ１
０２の構成は、実施例１のディジタルカメラ１０１とは
やや異なる。

【００３５】実施例２のディジタルカメラ１０２では、
撮影状況特定手段２として、実施例１の時計２１に代え
て自動位置検出部２２を用いている。この自動位置検出
部２２は、静止衛生によるＧＰＳの端末機能を有してお
り、撮影場所の経度，緯度，標高を検出することができ
る。

【００３６】実施例２（図３）のシステムにおけるデー
タベースの構築手法について説明する。図４に示すよう
に、まず、データベースに取り込む写真画像Ｐ_ｘと、そ
の説明文Ｔ_ｘとを、ハイパーテキストの形態としてデー
タベース構築システムに取り込む。実施例２において
も、実施例１と同様、データベース７に取り込む写真画
像Ｐ_ｘとその説明文Ｔ_ｘとを、ハイパーテキストの形態
でデータベース構築システムに取り込み、画像特徴Ｃ_１
（ｘ），Ｃ_２（ｘ），・・・，Ｃ_ｍ（ｘ）をインデック
スＩ_ｘに書き込む。また、説明文Ｔ_ｘのＵＲＬが上記イ
ンデックスＩ_ｘに書き込まれる。なお、上記インデック
スＩ_ｘには、場所を示すフィールドＦＬが含まれてお
り、このフィールドには場所を示す情報が書き込まれ
る。インデックスＩ_ｘは、写真画像Ｐ_ｘおよびその説明
文Ｔ_ｘと共に、データベース７に登録される。このよう
にして作成されたデータベース７は、ホスト・コンピュ
ータ３０１のハードディスクに書き込まれる。

【００３７】以下、図３および図４を参照して、実施例
２のシステムの作用を説明する。実施例２においても、
図３（Ａ）に示すように、ユーザが画像取込み手段１に
より被写体（ここでは、建造物）Ｐ_Ｏ撮影をすると、撮
影状況特定手段２（自動位置検出装置２２）が撮影場所
を特定する。検索の際には、画像特徴抽出手段４が検索
対象画像Ｐを取り込む。これと同時に、検索範囲絞り込
み手段３は、撮影場所の情報Ｌをディジタルカメラ１０
１から取得する。検索範囲絞り込み手段３は、ホスト・
コンピュータ３０２のハードディスクに格納されている
データベースにアクセスし、上記場所情報Ｌが示す場所
と、フィールドＦＬに書き込まれている場所情報Ｌとを
比較して、データベース画像を選び出し、検索範囲の絞
り込みを行う。一方、画像特徴抽出手段４は、検索対象
画像Ｐをスキャンし、画像特徴Ｃ_１，Ｃ_２，・・・，Ｃ
_ｍを抽出する。

【００３８】上記の検索範囲の絞り込みの方法は種々想
定される。たとえば、フィールドＦＬには、当該フィー
ルドに対応するデータベース画像の場所を、経度および
緯度で記載しておく。場所情報Ｌが示す場所を中心とす
る所定半径の円内に、あるフィールドの経度および緯度
が含まれ、かつ後述する標高条件を満たす場合に、その
フィールドに対応するデータベース画像を画像特徴抽出
の対象とする。また、たとえば、あるデータベース画像
の場所が含まれる領域を多角形で表現し、この多角形の
経度および緯度を、そのデータベース画像のフィールド
に記載しておく。場所情報Ｌが示す場所がこの多角形に
含まれかつ後述する標高条件を満たす場合に、そのデー
タベース画像を画像特徴抽出の対象とする。

【００３９】標高条件を満たすか否かの判断は、以下の
ように行う。たとえばフィールドに標高の上限と下限と
を記載しておき、ある場所情報Ｌが示す場所の標高がそ
の上限と下限との間に含まれる場合には、標高条件を満
たしているものとし、そうでない場合には標高条件を満
たさないものとする。なお、場所情報Ｌを、経度および
緯度のみとし、場所情報Ｌには標高を含めないようにも
できる。

【００４０】対象画像検索手段５は、画像特徴抽出手段
４により抽出された検索対象画像Ｐの画像特徴Ｃ_１，Ｃ
_２，・・・，Ｃ_ｍを、検索範囲の絞り込みが行われたデ
ータベース画像の画像特徴Ｃ_１（ｘ），Ｃ_２（ｘ），・
・・，Ｃ_ｍ（ｘ）と順次比較する。

【００４１】実施例２では、実施例１と同様、対象画像
検索手段５は、上記の絞り込まれた検索範囲に属するデ
ータベース画像の中から、検索対象画像に類似するデー
タベース画像（ここでは、Ｐ_ｉ，Ｐ_ｊ，Ｐ_ｋ）を候補画
像として抽出し、ディスプレイ６には、ユーザが撮影し
てした写真Ｐと、この候補画像Ｐ_ｉ，Ｐ_ｊ，Ｐ_ｋを表示
することができ、適宜説明文Ｔ_ｉ，Ｔ_ｊ，Ｔ_ｋも表示す
ることができる。

【００４２】また、実施例２では、データベース画像の
撮影状況属性として画像の存在場所を示す場所属性を用
いたが、データベース画像の撮影状況属性として年を周
期とする時属性を用いることもできる。この場合には、
撮影状況特定手段２は時計である。データベースの構築
に際し、インデックスには、撮影可能時期を示すフィー
ルドを設け、このフィールドに、撮影が可能な時期（た
とえば、月）の上限および下限を書き込んでおく。そし
て、時計から送られる時の情報が、フィールドの上記範
囲に含まれるかを判断する。さらにインデックスに、年
を周期とする属性（たとえは季節）を書き込むためのフ
ィールドをそれぞれ設けておきことで、場所と季節とに
より検索範囲を絞りこむこともできる。

【００４３】〔実施例３〕実施例３は、全ての構成要素
が一体に構成されている点で、実施例１および２とは大
きく構成が異なっている。図５に示す実施例３では、全
ての構成要素は一体に、すなわち画像取込み手段１と、
撮影状況特定手段２と、検索範囲絞り込み手段３と、画
像抽出手段４と、対象画像検索手段５と、ディスプレイ
６と、データベース７とは一体に構成されている。そし
て、システム全体が、携帯に適したフォト・エンサイク
ロペディアの機能を持つディジタルカメラを構成してい
る。図５において、データベース７は、小形の光ディス
ク（ＭＤ）に書き込まれている。撮影状況特定手段２
は、時計２１および／または自動位置検出部２２から構
成することができ、実施例１または２において説明した
撮影状況の特定を行うことができる。なお、図５のディ
スプレイ６には、被写体画像Ｐが表示された様子が示さ
れているが、検索の際には図１（Ｂ）や図２（Ｂ）に示
したように、ディスプレイ６には候補画像や説明文も表
示される。

【００４４】また、実施例３では、実施例１または２に
おいて説明した、データベース７の構築手法の何れか一
方または双方を採用することができ、これに応じた検索
範囲の絞り込みを行うことができる。

【００４５】

【発明の効果】実質上、フォト・エンサイクロペディア
の機能を持つディジタルカメラが実現される。特に、ユ
ーザによる特別の操作なしに、ディジタルカメラ等から
取り込んだ検索対象画像と類似または同一の画像を、撮
影状況（たとえば、時、場所）に応じて、多数のデータ
ベース画像から素早く検索し、被写体に関する説明文を
得ることができる。

【図面の簡単な説明】

【図１】本発明の第１システムの一実施例を示すシステ
ム構成図であり、データベースを撮影状況属性に応じて
複数のデータベース要素に分割して検索範囲の絞り込み
を行う場合を示している。

【図２】図１のシステムの作用を説明するための図であ
る。

【図３】本発明の第２システムの一実施例を示すシステ
ム構成図であり、撮影状況属性に応じたフィールドを設
けることで検索範囲の絞り込みを行う場合を示してい
る。

【図４】図３のシステムの作用を説明するための図であ
る。

【図５】本発明のシステムの一実施例を示すシステム構
成図であり、各構成要素が一体に構成されたフォト・エ
ンサイクロペディアの機能を持つディジタルカメラを示
す図である。

【符号の説明】

１画像取込み手段２撮影状況特定手段２１時計２２自動位置検出手段３検索範囲絞り込み手段４画像特徴抽出手段５対象画像検索手段６ディスプレイ７データベース７１〜７４データベース要素１０１，１０２ディジタルカメラ２０１，２０２パーソナル・コンピュータ３０１，３０２ホスト・コンピュータ４０１，４０２通信回線５０１，５０２ネットワーク

Claims

【特許請求の範囲】

【請求項１】多数のデータベース画像およびこれらデ
ータベース画像の説明文からなり、フィールド中に画像
特徴属性を含み、かつ、撮影状況属性に応じたタグを持
つ複数のデータベース要素に分割されたデータベース
と、検索対象画像を取り込むための画像取込み手段と、前記検索対象画像の撮影状況を、自動検出により特定す
る撮影状況特定手段と、前記撮影状況特定手段により特定された撮影状況の情報
に基づき、前記タグを参照して、前記データベース要素
を特定することで、前記データベース画像の検索範囲の
絞り込みを行う検索範囲絞り込み手段と、前記検索対象画像の画像特徴を特定する画像特徴抽出手
段と、前記画像特徴抽出手段により特定された画像特徴に基づ
き、前記検索範囲絞り込み手段により絞り込まれた検索
範囲内で、前記検索対象画像に類似するデータベース画
像を、候補画像として抽出する対象画像検索手段と、前記候補画像を表示すると共に、当該候補画像に付随す
る前記説明文を表示するディスプレイと、を含むことを
特徴とする写真画像検索システム。
【請求項２】多数のデータベース画像およびこれらデ
ータベース画像の説明文からなり、フィールド中に画像
特徴属性および撮影状況属性を含むデータベースと、検索対象画像を取り込むための画像取込み手段と、前記検索対象画像の撮影状況を、自動検出により特定す
る撮影状況特定手段と、前記撮影状況特定手段により特定された撮影状況の情報
に基づき、前記撮影状況属性を参照して、前記データベ
ース画像の検索範囲の絞り込みを行う検索範囲絞り込み
手段と、前記検索対象画像の画像特徴を特定する画像特徴抽出手
段と、前記画像特徴抽出手段により特定された画像特徴に基づ
き、前記検索範囲絞り込み手段により絞り込まれた検索
範囲内で、前記検索対象画像に類似するデータベース画
像を、候補画像として抽出する対象画像検索手段と、当該候補画像を表示すると共に、当該候補画像に付随す
る前記説明文を表示するディスプレイと、を含むことを
特徴とする写真画像検索システム。
【請求項３】請求項１または２に記載の写真画像検索
システムにおいて、前記撮影状況属性が年を周期とする時属性であり、前記検索範囲絞り込み手段は、付属の時計により特定さ
れた撮影時情報により、前記データベース画像の検索範
囲の絞り込みを行う、ことを特徴とする写真画像検索シ
ステム。
【請求項４】請求項３に記載の写真画像検索システム
であって、前記画像取込み手段と、前記ディスプレイと、前記時計
とが一体となって、または前記画像取込み手段と、前記
自動位置検出機構とが一体となって、携帯機器を構成し
てなることを特徴とする写真画像検索システム。
【請求項５】請求項１または２に記載の写真画像検索
システムにおいて、前記撮影状況属性が画像の存在場所を示す場所属性であ
り、前記検索範囲絞り込み手段は、付属の自動位置検出機構
により特定された撮影場所の情報により、前記データベ
ース画像の検索範囲の絞り込みを行う、ことを特徴とす
る写真画像検索システム。
【請求項６】請求項５に記載の写真画像検索システム
であって、前記画像取込み手段と、前記ディスプレイと、前記自動
位置検出機構とが一体となって、または前記画像取込み
手段と、前記自動位置検出機構とが一体となって、携帯
機器を構成してなることを特徴とする写真画像検索シス
テム。
【請求項７】請求項１〜６に記載の写真画像検索シス
テムであって、前記ディスプレイに、前記候補画像および当該候補画像
に付随する前記説明文に加え、検索対象画像を表示する
ことを特徴とする写真画像検索システム。