JP3913410B2

JP3913410B2 - 画像検索方法

Info

Publication number: JP3913410B2
Application number: JP20849399A
Authority: JP
Inventors: 金城　　直人
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-07-23
Filing date: 1999-07-23
Publication date: 2007-05-09
Anticipated expiration: 2019-07-23
Also published as: JP2001034632A

Description

【０００１】
【発明の属する技術分野】
本発明は画像検索方法に関し、より具体的には、撮影時の位置情報，カメラ情報および地図情報から被写体が何かを抽出して、この抽出画像を検索に用いるようにした画像検索方法に関する。
【０００２】
【従来の技術】
近年、記録写真の撮影に供する目的で、写真を「いつ、どこで」撮影したかが自動的に記録できるカメラが上市されている。このカメラは、カーナビ（カーナビゲーションシステム）でよく利用されている人工衛星を用いた位置計測装置ＧＰＳ（Ｇlobal Ｐ ositioning Ｓystem ）および方位センサとカメラが組み合わされた複合商品である（写真工業、1996-7、pp.12-15，84-87 ）。
【０００３】
写真撮影の役割の中で、写真の記録性，証言性の重要さは、写真が持つ本質的な価値の１つである。従って、記録写真においては、被写体に関して、「いつ、どこで」撮影したかということを示す付帯情報が、重要な役割を果たす。従来のカメラは、「いつ」という情報はある程度提供してきたが、「どこで」という情報は提供していなかった。
【０００４】
前述の写真工業誌に紹介されているカメラ（以下、ＧＰＳ内蔵カメラという）は、この意味では、記録写真本来の機能を果たすものということができる。すなわち、まず、従来の（これまでの）いわゆるデート機能付きカメラのデート機能と、ＧＰＳ内蔵カメラの時刻表示との違いは、前者がいわば私的に決定できる時刻であるのに対して、後者は衛星から送信されてくるいわば「公式の時刻」である点で、証言性という面では決定的に異なる。
【０００５】
一方、ＧＰＳ内蔵カメラの示す位置情報は、正確には被写体の位置ではなく、カメラの位置と撮影の方向である。このため、写真が遠景の場合には、被写体の位置が必ずしも明確ではない。この場合にも、必要により、画像中の複数の被写体間の距離などから、正確に被写体の位置を算出することが可能である。
【０００６】
【発明が解決しようとする課題】
ところで、本発明者は、先に、撮影された画像に関連付けて、撮影位置，撮影方位および撮影倍率の少なくとも一つの撮影情報を取得し、この取得した撮影情報の少なくとも一部に関連する付加情報を得、得られた付加情報を写真プリントに付加するようにした写真プリント方法およびこの方法を具体化した写真プリント装置を、特願平１０−１６２１３０号により提案している。
【０００７】
上述の写真プリント方法および装置によれば、撮影された画像に関連付けて付加された撮影情報に基づいて、顧客が画像を見て容易に撮影時の状況などを想起することができるので、単に写真プリントのメモ的機能を高めるだけでなく、写真プリントに娯楽性（話題提供性といってもよい）を持たせることができるという点でも、有効なものである。
【０００８】
本発明は、上記技術をさらに利用しやすくするためになされたもので、その目的とするところは、顧客が、蓄積されている多数の画像の中から所望の画像を検索する際に、上述の、撮影された画像に関連付けて付加された撮影時の位置情報やカメラ情報および地図情報を利用することで、容易に画像を検索可能とする画像検索方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像検索方法は、撮影した複数の画像の各画像データについて、撮影時の撮影情報および地図情報から、被写体の名称、ならびに画面内の被写体の位置およびサイズを抽出し、抽出した被写体の名称、ならびに画面内の被写体の位置およびサイズを付属情報として画像データに付属させて記憶して、予め画像データベースを作成しておき、被写体の名称、ならびに画面内の被写体の位置およびサイズを複数の被写体について参照データとして指定し、前記付属情報と前記参照データとの一致度を求め、所定値以上の一致度を有する画像データを前記画像データベースから読み出すことを特徴とする。
【００１０】
本発明に係る画像検索方法においては、前記被写体の名称、ならびに画面内の被写体の位置およびサイズに関する参照データとして、仮想的撮影画面にパターン化した被写体をその名称を指定して配置し、被写体の位置およびサイズの概略をその名称と共に指定することが好ましい。
【００１１】
また、本発明に係る画像検索方法においては、前記付属情報に加えて、撮影時の撮影情報および地図情報から、撮影画面内の被写体における撮影位置からの奥行きを導出し、この導出結果を付属情報として予め画像データに付属させて記憶しておき、前記参照データに加えて、前記奥行きを参照データとして指定し、所定値以上の一致度を有する画像を読み出すことが好ましい。また、前記奥行きに関する参照データとして、仮想的地図空間にパターン化した被写体を配置することで奥行きの概略を指定することが好ましい。
【００１２】
また、本発明に係る画像検索方法は、前記撮影情報が、撮影画像に関連付けて取得される、撮影位置からなる第１のデータ構成，撮影位置と撮影方位からなる第２のデータ構成，撮影位置と撮影倍率からなる第３のデータ構成，撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれかであることが好ましい。
【００１３】
また、本発明に係る画像検索方法は、撮影した複数の画像の各画像データについて、撮影時の撮影情報および地図情報から、被写体の名称を抽出し、さらに、撮影画面内の被写体における撮影位置からの奥行きを導出し、抽出した被写体の名称および導出した被写体の奥行きを付属情報として画像データに付属させて記憶して予め画像データベースを作成しておき、被写体の名称および前記奥行きを複数の被写体について参照データとして指定し、前記付属情報と前記参照データとの一致度を求め、所定値以上の一致度を有する画像データを前記画像データベースから読み出すことを特徴とする。
【００１４】
また、本発明の画像検索方法においては、前記奥行きに関する参照データとして、仮想的地図空間にパターン化した被写体を配置することで奥行きを概略で指定することが好ましい。また、前記撮影情報が、撮影画像に関連付けて取得される、撮影位置からなる第１のデータ構成，撮影位置と撮影方位からなる第２のデータ構成，撮影位置と撮影倍率からなる第３のデータ構成，撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれかであることが好ましい。
【００１５】
また、本発明に係る画像検索方法においては、撮影時の撮影情報および地図情報から作成した撮影画像のシミュレーション画像データと、実際の撮影画像との差分値を算出し、前記差分値を画像データとして画像データベースに予め記憶しておき、検索結果の画像出力時には、撮影時の撮影情報および地図情報から撮影画像のシミュレーション画像データを作成し、前記シミュレーション画像に前記差分値を加えて画像を出力することにより、記憶データ容量を低減することが好ましい。
【００１６】
【発明の実施の形態】
以下、添付の図面に示す好適実施例に基づいて、本発明の実施の形態を詳細に説明する。
【００１７】
図１，図２は、本発明の一実施例に係る画像検索方法を説明するための図であり、図１はＧＰＳ機能付きカメラで撮影されたフィルム上の原画像１０を、図２はこの原画像１０を検索する際に、ユーザが、例えば、端末装置の画面上でマウスなどを用いて入力した検索用指定パターン２０を示している。
【００１８】
図１に示す原画像１０中において、１１は主要被写体である人物を、１２は後述する撮影場所や撮影位置の特定に有効な被写体である山（以下、便宜上、○山と呼ぶ）を、１３はこれも撮影場所や撮影位置の特定に有効な被写体である著名なビルディング（同、×ビルと呼ぶ）を示している。
【００１９】
また、図２に示す検索用指定パターン２０は、ユーザが、例えば、「Ｔ１エリア辺りに何とかという山があって、Ｔ２エリア辺りに何とかというビルディングがあるようなシーンを検索したい」というような希望を、検索用指定パターンとして表現・入力した例であり、２２は山の存在位置を示す表示、２３はビルディングの存在位置を示す表示である。
【００２０】
以下、まず、本実施例に係る画像検索方法における準備動作としての、図１に示す原画像１０中の位置が特定し得る被写体の位置および名称を特定する動作の概要を、図３に示す動作フロー図に従って説明する。
【００２１】
図３に示すように、画像が読み込まれるときには、これに付加されている前述の撮影時点のＧＰＳ情報や撮影時のカメラの方向および撮影倍率も読み込まれる（ステップ１０１）。予め用意されている地図情報に、上記ＧＰＳ情報を重ね合わせることにより、まず、撮影地点が特定される（ステップ１０２）。
【００２２】
次に、地図情報に、上記撮影時のカメラの方向および撮影倍率を重ね合わせることにより、撮影されている被写体が特定される（ステップ１０３）。この処理は、地図上の該当位置における、カメラの方向や撮影倍率に基づいてシミュレーション画像を作成し、撮影画像とのパターンマッチングにより、被写体を特定するようにしてもよい。特定された各被写体は、順次、データベースに記憶される（ステップ１０４）。
【００２３】
表１に、上述の原画像に付加情報として付加されている撮影位置情報に基づいて作成された原画像の画像データへの付属情報の例を示す。
表１に示すように、ここでは、撮影時点のＧＰＳ情報および撮影時のカメラの方向などにより、位置が予め判っている前記○山，×ビルなどが、画面上の位置や形状，地図上の位置および名称と共に採録されている。
なお、撮影日時，撮影位置情報（緯度，経度，地名），その他カメラ情報（撮影方位，撮影倍率）についても、撮影画像の付属情報としてデータベースに登録する。
【００２４】
【表１】

【００２５】
なお、本実施例においては、上記データ採録ステップが自動的に行われるので、データベースに画像データを登録する際に、検索用データとして被写体名を入力する手間を省くことができるという効果が得られるものである。
【００２６】
画像を検索しようとするユーザは、検索情報として画面内の被写体の位置情報（画面情報），地名あるいは名称などを入力する。この入力は、図２に示した検索用指定パターン２０のような、端末装置の画面上でマウスなどを用いて行ってもよい。この場合には、山やビルディングの名前を指定することで、間接的に位置の指定を行うことになる。
【００２７】
次に、上述のように記憶されたデータに基づいて画像を検索する、本実施例における動作の流れを図４に基づいて説明する。
【００２８】
まず、図２に示すような検索用指定パターンを読み込み（ステップ２０１）、これを地図情報と重ね合わせることで、ユーザの検索用指定情報、すなわち、被写体の位置情報に変換する（ステップ２０２）。
なお、ユーザが、位置情報を入力した場合には、これらのステップは飛ばしてよい。
【００２９】
次に、原画像データベースを読み込み（ステップ２０３）、テーブル化された検索用指定パターンと照合する（ステップ２０４）。この照合は、テーブルの各列，各行を順次行い、一致するものがあれば、検索結果として取り出す（ステップ２０５〜２０９）。
【００３０】
なお、ここでは、説明を簡単にするため、照合を行う場合に、「一致するものがあれば、取り出す」と説明したが、実際には、完全に一致することは少ないので、後述するように、一致度を定義して、算出した一致度が、所定の閾値を超えたものを、一致したものとするのがよい。
【００３１】
上述の、一致度の計算方式としては、例えば、表１に示した付属情報中の、中心座標，サイズ，天地方向という情報を用いる方式により、原画像データベース中の複数の候補被写体について一致度（または類似度）を計算し、このうちの一致度のポイントの大きいものから順に、検索された画像を出力する。
【００３２】
本実施例に示した画像検索方法によれば、ユーザが、端末装置の画面上などでマウスなどを用いて入力した検索用指定パターン２０や、検索情報としてキーボードにより入力した画面内の被写体の位置情報（画面情報），地名あるいは名称などに基づいて、指示に適合する画像を検索することが可能になる。
【００３３】
次に、本発明の他の実施例を説明する。
前述の実施例では、原画像とその撮影情報から作成したデータベースを用いる例を示したが、本実施例では、画像中の奥行き情報を用いて、シーンの判別ないしは照合を行うようにする場合を説明する。なお、本実施例は、撮影位置情報や地図情報を用いないケースである。
ここで、上記奥行きの情報は、周知のカメラ技術である多段フォーカス画像／ステレオ画像から導出したものを用いるのがよい。
【００３４】
図５に、上述のような、奥行き情報を含む検索指定パターン３０の一例を示す。図５に示す例では、３１の丸印が人物で、上方の距離にして遠いところが山に相当し（横長の楕円形３２）、右側の４角形３３がビルディングに相当するものである。
【００３５】
具体的には、図５に示す例では、カメラから見て、人物３１が５〜１０ｍ程度の距離に居り、右側１００ｍほど奥にビルディング３３が存在し、さらに、人物の後方１０００ｍほどに、山３２が存在するという情景を表現している。なお、図２に示した画面中における被写体の位置の指定と、図５に示した被写体の形状による配置とを組み合わせて用いることも可能である。
【００３６】
ユーザが、図５に示すような配置図により、シーンの大まかなエリア毎の奥行きを表現して、検索すべき画像を指定すると、この内容と、前記原画像データベース中の複数の候補被写体について一致度を計算し、このうちの一致度のポイントの大きいものから順に、検索された画像を出力する。
【００３７】
本実施例に示した画像検索方法によれば、ユーザが、入力する検索用指定パターン２０に、平面的な被写体の配置状況を加えたことにより、指示に適合する画像を検索することがより容易にできるようになるという効果がある。
なお、本実施例に係る画像検索方法は、動画にも適用することが可能である。この場合、動画像のコマ間の動き情報も利用できる。
【００３８】
次に、本発明のさらに他の実施例を説明する。
本実施例においては、被写体相互間の配置状況を示す配置図がある場合を説明する。ここで、上記配置図としては、例えば、図５に示すようなものでよく、主要被写体である人物に対する、山やビルディングの平面的な位置関係がわかるものであればよい。
【００３９】
ここで、位置情報としては、前述のＧＰＳ情報またはＰＨＳ（Ｐersonal Ｈandyphone Ｓystem ）による位置判定（この場合には、位置判定の精度は、現状では、ＧＰＳよりは大分劣るが）、または、より大まかな位置指定情報（例えば、××市○○町△△丁目というような）を用いることができる。
【００４０】
その後、地図データ上の配置と指定に用いた配置図との照合による、マッチング処理を行って、各候補毎に一致度を算出する。なお、カメラの方位情報がない場合には、カメラ方位を所定角度毎に回転（０〜３６０°）することでシミュレーションを行う。また、位置の精度が低い場合には、所定範囲内で平行移動することでシミュレーションを行う。
【００４１】
本実施例によれば、簡単な指示により、地形などの情報を利用した画像の検索を行うことが可能になり、画像検索の効率化を計ることが可能になるという効果が得られる。
【００４２】
ところで、従来は、上述のような画像の検索を行う場合において、位置情報と視点方向が、図６（ｂ）のような形で与えられる場合が多かった。すなわち、カメラ位置（ＧＰＳ情報）と撮影方向（カメラ情報）である。これに対して、図６（ａ）のような形、すなわち、被写体位置と撮影方向の情報が得られれば、これを基に、以下のようなことができる。
【００４３】
つまり、何を撮影しているかが判っているということなので、予め用意されている画像データベース中から、撮影されている被写体の画像を取り出して、撮影時の位置情報、カメラの方向および撮影倍率を基にコンピュータグラフィック画像を作成して、実際の撮影画像との比較により、位置合わせ，サイズ合わせなどを行った後、両者の差分をとり、必要に応じて適宜圧縮して記憶データとする。
【００４４】
シミュレーション用画像としては、上述のコンピュータグラフィック画像以外にも、以前撮影した実画像で、位置情報，カメラ撮影情報により最も近似すると思われる画像、あるいは、これと上述のコンピュータグラフィック画像を組み合わせたものなどが利用可能である。いずれの画像を用いる場合にも、記憶データ量を削減することが可能である。
【００４５】
なお、上記各実施例はいずれも本発明の一例を示したものであり、本発明はこれらに限定されるべきものではないことは言うまでもない。
【００４６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、顧客が、蓄積されている多数の画像の中から所望の画像を検索する際に、上述の、撮影された画像に関連付けて付加された撮影時の位置情報やカメラ情報（撮影方位，撮影倍率）および地図情報を利用することで、容易に画像を検索可能とする画像検索方法を実現することができるという効果を奏するものである。
【００４７】
すなわち、本発明に係る画像検索方法によれば、ユーザが、端末装置の画面上などでマウスなどを用いて入力した検索用指定パターンや、検索情報としてキーボードにより入力した画面内の被写体の位置情報（画面情報），地名あるいは名称などに基づいて、指示に適合する画像を検索することが可能になる。
【００４８】
また、ユーザが、入力する検索用指定パターンに、平面的な被写体の配置状況を加えることにより、指示に適合する画像を検索することが、より容易に可能になるという効果もある。
なお、本発明に係る画像検索方法は、基本的に動画にも適用することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施例に係る画像検索方法を説明するための、ＧＰＳ機能付きカメラで撮影されたフィルム上の原画像１０を示す図である。
【図２】図１に示した原画像１０を検索する際に、ユーザが入力した検索用指定パターン２０の一例を示す図である。
【図３】一実施例に係る画像検索方法における準備動作としての、原画像１０中の位置が特定し得る被写体の位置および名称を特定する動作の概要を示す動作フロー図である。
【図４】一実施例に係る画像検索方法における、記憶されたデータに基づいて画像を検索する動作の流れを示す動作フロー図である。
【図５】他の実施例に係る、奥行き情報を含む検索指定パターンの一例を示す図である。
【図６】位置情報と視点方向との関連を示す図であり、（ａ）は被写体が何であるかがわかる場合、（ｂ）はどこで撮影したかが判るだけで被写体が何であるかはわからない場合を示している。
【符号の説明】
１０原画像
１１人物
１２山（○山）
１３ビルディング（×ビル）
２０検索用指定パターン
２２山の存在位置を示す表示
２３ビルディングの存在位置を示す表示
３０検索指定パターン
３１人物（に相当する丸印）
３２山（に相当する横長の楕円形）
３３ビルディング（に相当する４角形）

Claims

撮影した複数の画像の各画像データについて、撮影時の撮影情報および地図情報から、被写体の名称、ならびに画面内の被写体の位置およびサイズを抽出し、抽出した被写体の名称、ならびに画面内の被写体の位置およびサイズを付属情報として画像データに付属させて記憶して、予め画像データベースを作成しておき、
被写体の名称、ならびに画面内の被写体の位置およびサイズを複数の被写体について参照データとして指定し、前記付属情報と前記参照データとの一致度を求め、所定値以上の一致度を有する画像データを前記画像データベースから読み出すことを特徴とする画像検索方法。
前記被写体の名称、ならびに画面内の被写体の位置およびサイズに関する参照データとして、仮想的撮影画面にパターン化した被写体をその名称を指定して配置し、被写体の位置およびサイズの概略をその名称と共に指定する請求項１に記載の画像検索方法。
前記付属情報に加えて、撮影時の撮影情報および地図情報から、撮影画面内の被写体における撮影位置からの奥行きを導出し、この導出結果を付属情報として予め画像データに付属させて記憶しておき、
前記参照データに加えて、前記奥行きを参照データとして指定し、所定値以上の一致度を有する画像を読み出す請求項１または２に記載の画像検索方法。
前記奥行きに関する参照データとして、仮想的地図空間にパターン化した被写体を配置することで奥行きの概略を指定する請求項３に記載の画像検索方法。
前記撮影情報が、撮影画像に関連付けて取得される、撮影位置からなる第１のデータ構成，撮影位置と撮影方位からなる第２のデータ構成，撮影位置と撮影倍率からなる第３のデータ構成，撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれかである請求項１〜４のいずれかに記載の画像検索方法。
撮影した複数の画像の各画像データについて、撮影時の撮影情報および地図情報から、被写体の名称を抽出し、さらに、撮影画面内の被写体における撮影位置からの奥行きを導出し、抽出した被写体の名称および導出した被写体の奥行きを付属情報として画像データに付属させて記憶して予め画像データベースを作成しておき、
被写体の名称および前記奥行きを複数の被写体について参照データとして指定し、前記付属情報と前記参照データとの一致度を求め、所定値以上の一致度を有する画像データを前記画像データベースから読み出すことを特徴とする画像検索方法。
前記奥行きに関する参照データとして、仮想的地図空間にパターン化した被写体を配置することで奥行きを概略で指定する請求項６に記載の画像検索方法。
前記撮影情報が、撮影画像に関連付けて取得される、撮影位置からなる第１のデータ構成，撮影位置と撮影方位からなる第２のデータ構成，撮影位置と撮影倍率からなる第３のデータ構成，撮影位置と撮影方位と撮影倍率からなる第４のデータ構成のいずれかである請求項６または７に記載の画像検索方法。
撮影時の撮影情報および地図情報から作成した撮影画像のシミュレーション画像データと、実際の撮影画像との差分値を算出し、前記差分値を画像データとして画像データベースに予め記憶しておき、
検索結果の画像出力時には、撮影時の撮影情報および地図情報から撮影画像のシミュレーション画像データを作成し、前記シミュレーション画像に前記差分値を加えて画像を出力する請求項１〜８のいずれかに記載の画像検索方法。