JP4475547B2 - 画像検索装置、画像検索方法及び画像推定装置 - Google Patents

Description

本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置及び画像検索方法に関する。

旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上で提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。

ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。

このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成することができる。

特開２００７−２１３２１６号公報

しかし、ユーザが同じ地点から写真を撮る場合であっても、人によって撮像内容が異なることが多い。そのため、特許文献１に記載の方法では、ユーザがアルバムの中に記録したくない撮像内容の写真がアルバムに追加されてしまうという課題がある。例えば、京都の清水寺において、ユーザが同じ地点から写真を撮影する場合、前景の寺に着目した写真と、背景の山に着目した写真とは、撮像内容が異なる。また、寺とは逆方向の道路、上方向の空など、ユーザが写真を撮影する方向（撮影方向）によっても、撮像内容が異なる写真となる。さらに、撮影方向だけではなく、撮影時間帯、撮影時期などの違いによっても、撮像内容は、大きく異なる。このような撮像内容が異なる写真が一度にアルバムに追加された場合、ユーザがアルバムに追加したい撮像内容とは異なる撮像内容の写真が大量にアルバムに追加されてしまうことになる。その結果、ユーザは追加された写真を削除する作業が必要となるため、ユーザの操作負担が大きくなる。

そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが補間したい画像を比較的容易に出力することができる画像検索装置及び画像検索方法を提供する。

上記の課題を解決するために、本発明に係る画像検索装置は、複数の画像の中から検索した画像を出力する画像検索装置であって、画像間の関連度合いを示す関連度を記憶している関連度データベースと、第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、前記補間画像取得部により取得された補間画像を出力する出力部と、を備える。

これにより、入力された複数の画像と撮影位置が近似するとともに、撮像内容の関連度合いが高い画像を取得することができるので、入力された画像の撮影位置間を補間する画像を比較的容易に出力することが可能となる。例えば、ユーザは、自分が撮影した画像間に体験したできごとの画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。

さらに、タグリーダ等の特別なインフラを構築すること無く、ユーザは画像を補間することが可能となる。

本発明によると、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる。

図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。 図３は、画像データベースの一例を示す図である。 図４は、関連度データベースの一例を示す図である。 図５は、階層化された領域を示す概念図である。 図６は、入力部の画面例を示す図である。 図７は、補間範囲の一例を示す図である。 図８は、候補画像の一例を示す図である。 図９は、補間画像の一例を示す図である。 図１０は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。 図１１は、図１０に示す類似ユーザの判定に関わるステップの詳細な処理の流れを示すフローチャートである。 図１２は、図１０に示す撮像内容推定に関わるステップの詳細な処理の流れを示すフローチャートである。 図１３は、関連度データベースの一例を示す図である。 図１４は、出力部により出力媒体へ出力された画面の一例を示す図である。 図１５は、出力部により出力媒体へ出力された画面の一例を示す図である。 図１６は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図１７は、関連度データベースの一例を示す図である。 図１８は、本発明の実施の形態２に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。 図１９は、図１８に示す撮像内容の推定に関わるステップの詳細な処理の流れを示すフローチャートである。 図２０は、ユーザが撮影した画像コンテンツの一例を示す図である。 図２１は、関連度データベースと撮影画像の関係を示す図である。 図２２は、本発明の実施の形態３に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図２３は、本発明の実施の形態３に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。 図２４は、図２３に示す補間画像の修正に関わるステップの詳細な処理の流れを示すフローチャートである。 図２５は、補間画像修正部の有無による補間画像出力例の比較図である。 図２６は、本発明の実施の形態４に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図２７は、本発明の実施の形態４に係る画像検索装置の全体的な処理の流れを示すフローチャートである。 図２８は、図２７に示す異画角画像の取得に関わるステップの詳細な処理の流れを示すフローチャートである。 図２９は、異画角画像取得部の有無による補間画像出力例の比較図である。

以下、本発明に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明の簡単のため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から検索した画像を出力する装置である。画像検索装置１００は、画像データベース１０１、関連度データベース１０２、入力部１０３、補間範囲算出部１０４、類似ユーザ判定部１０５、補間画像候補取得部１０６、撮像内容推定部１０７、補間画像取得部１０８、及び出力部１０９を備える。

以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。

画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。

図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。

ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。

タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。

図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。

なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。

また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。

ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。

関連度データベース１０２は、画像コンテンツ２０間の関連度合いを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。

また、関連度データベース１０２は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース１０２は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。

また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ−ｏ２、電子情報通信学会、２００５）（非特許文献１）に記載の方法等を利用して算出される。

図４は、京都市東山区及び左京区周辺の領域の関連度データベース１０２の一例を示す図である。図４に示す関連度データベース１０２では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。

ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。

なお、関連度データベース１０２における領域は、複数に階層化されてもよい。例えば、関連度データベース１０２は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。

図５は、階層化された領域を示す概念図である。図５に示すように、関連度データベース１０２は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域５０に対応する関連度として記憶してもよい。また、関連度データベース１０２は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域５１に対応する関連度として記憶してもよい。また、関連度データベース１０２は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域５２に対応する関連度として記憶してもよい。このように、関連度データベース１０２において関連度を記憶する領域を階層化することにより、後述する撮像内容推定部１０７は、ユーザが画像を補間したい領域に応じて、関連度データベース１０２において関連度を取得する領域を選択することができる。その結果、撮像内容推定部１０７は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。

入力部１０３には、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）が入力される。そして、入力部１０３は、入力された補間対象画像の画像ＩＤ２３を、補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する。

図６は、入力部１０３の画面例を示す図である。図６に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１の画像コンテンツ２０を選択している。すなわち、入力部１０３は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。

補間範囲算出部１０４は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲７２を算出する。つまり、補間範囲算出部１０４は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０４は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲７２を補間画像候補取得部１０６へ通知する。具体的な補間範囲算出方法については後述する。

図７は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１とに基づいて算出される補間範囲７２の一例を示す図である。図７に示すように、補間範囲７２を矩形で算出する場合は、補間範囲算出部１０４は、矩形の対角点の緯度及び経度を範囲情報７０及び範囲情報７１として算出する。

類似ユーザ判定部１０５は、類似画像群検出部の一例であり、補間対象画像に類似する画像を含む類似画像群を検出する。すなわち、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から受け取った画像ＩＤ２３が示す画像コンテンツ２０と類似する画像群を検出する。具体的には、類似ユーザ判定部１０５は、画像データベース１０１に登録されている自分と異なるユーザが、複数の補間対象画像と類似した画像群を有するユーザ（類似ユーザ）であるか否かを判定する。そして、類似ユーザ判定部１０５は、類似ユーザであると判定した場合、ユーザＩＤ２２を補間画像候補取得部１０６へ通知する。つまり、類似ユーザ判定部１０５は、複数の補間対象画像に類似する画像群（類似画像群）をユーザ毎に検出する。ここで、画像群とは、複数の画像コンテンツ２０の集合体を意味する。なお、具体的な類似判定方法については後述する。

補間画像候補取得部１０６は、補間範囲算出部１０４により算出された補間範囲７２と、類似ユーザ判定部１０５により取得された類似ユーザのユーザＩＤ２２と、を用いて、画像データベース１０１から、補間範囲７２に属する類似ユーザの画像コンテンツ２０を候補画像として取得する。そして、補間画像候補取得部１０６は、取得した候補画像を示す画像ＩＤ２３を撮像内容推定部１０７へ通知する。つまり、補間画像候補取得部１０６は、類似画像群の中から、補間範囲算出部１０４により算出される補間範囲７２に属する候補画像を取得する。具体的には、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、候補画像として取得する。この候補画像は、撮影位置２６（緯度及び経度）が補間範囲７２内であり、かつ、ユーザＩＤ２２が類似ユーザのユーザＩＤ２２と合致する画像コンテンツ２０である。

図８は、補間画像候補取得部１０６により取得された候補画像の一例を示す図である。図８に示すように、補間画像候補取得部１０６は、撮影位置２６が補間範囲７２に属する画像コンテンツ２０の中から、類似ユーザが撮影した画像コンテンツ２０を取得する。この際、画像コンテンツ２０は複数のタグ２７を有するので、補間画像候補取得部１０６により取得された候補画像が同じ地点で撮られた画像コンテンツ２０であっても、タグ２７が全て一致するとは限らない。

撮像内容推定部１０７は、関連度データベース１０２に記憶される、補間画像候補取得部１０６により取得される候補画像と補間対象画像との関連度に基づき、補間対象画像の撮影位置間を補間する画像である補間画像の撮像内容を推定する。具体的には、撮像内容推定部１０７は、候補画像の被写体情報と補間対象画像の被写体情報との関連度を、関連度データベース１０２を参照することにより取得する。そして、撮像内容推定部１０７は、取得した関連度が予め定められた閾値より高い候補画像の被写体情報を、補間画像の撮像内容として推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤ２３を補間画像取得部１０８へ通知する。なお、具体的な撮像内容推定方法に関しては後述する。

補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容を用いて、補間画像候補取得部１０６により取得される候補画像の中から、補間画像を取得する。すなわち、補間画像取得部１０８は、撮像内容推定部１０７により推定される撮像内容と撮像内容が一致する候補画像を補間画像として取得する。具体的には、補間画像取得部１０８は、画像データベース１０１を参照することにより、補間画像を取得する。この補間画像は、候補画像の画像ＩＤ２３により特定される画像コンテンツ２０の内、撮像内容推定部１０７により推定された撮像内容がタグ２７に含まれる画像コンテンツ２０である。

なお、撮像内容が一致するとは、撮像内容を示す単語が厳密に一致する場合だけではなく、実質的に一致する場合も含む。例えば、補間画像取得部１０８は、実質的に同義の単語が登録された類義語辞書などを参照することにより、撮像内容推定部１０７により推定される撮像内容と同義であると判定された単語がタグ２７に設定された候補画像を補間画像として取得してもよい。

図９は、補間画像取得部１０８により取得された補間画像の一例を示す図である。図９では、撮像内容推定部１０７により「庭園」、「枯山水」及び「白川」が撮像内容として推定されている。そして、補間画像取得部１０８は、それらの推定された撮像内容のタグ２７を持つ、補間画像（庭園）９０、補間画像（枯山水）９１、及び補間画像（白川）９２をそれぞれ取得している。このように、補間画像取得部１０８は、補間対象画像（清水寺）６０と補間対象画像（銀閣寺）６１との撮影位置間を補間する補間画像として、補間対象画像と関連度が高い画像コンテンツ２０を取得する。

出力部１０９は、補間画像取得部１０８により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。

次に、以上のように構成された画像検索装置１００の動作について説明する。

図１０は、画像検索装置１００が実行する全体的な処理の流れを示すフローチャートである。

まず、入力部１０３は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０３は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０４及び類似ユーザ判定部１０５に通知する（ステップＳ１０１）。

次に、補間範囲算出部１０４は、入力部１０３から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０４は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０４は、算出した補間範囲を、補間画像候補取得部１０６へ通知する（ステップＳ１０２）。

具体的には、例えば補間範囲算出部１０４は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。

また、補間範囲算出部１０４は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０４は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。

また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０４は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０４は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。

次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、入力部１０３から通知された画像ＩＤ２３に対応する画像コンテンツ２０と、類似する画像群を有するユーザ（類似ユーザ）を検出する（ステップＳ１０３）。

図１１は、図１０に示す類似ユーザの判定に関わるステップ（ステップＳ１０３）の詳細な処理の流れを示すフローチャートである。以下、図１１を用いて、類似ユーザ判定部１０５による類似ユーザの判定処理について説明する。

まず初めに、類似ユーザ判定部１０５は、入力部１０３に入力された全ての補間対象画像（以下、画像群Ａ）を取得する（ステップＳ２０１）。

次に、類似ユーザ判定部１０５は、画像データベース１０１を参照することにより、ステップＳ２０１において取得された画像群Ａの撮影位置２６と一致する画像コンテンツ２０を持つユーザを取得する。そして、類似ユーザ判定部１０５は、取得したユーザが登録されたユーザリストを作成する（ステップＳ２０２）。ここで、撮影位置の一致とは、撮影位置間の距離が所定の閾値以下の場合をいう。具体的には、例えば、２枚の画像の撮影位置間の距離が１ｋｍ以下の場合、２枚の画像の撮影位置は一致する。ここで、距離は、緯度及び経度の差分として扱ってもよい。例えば、２枚の画像の撮影位置の緯度及び経度の差分が、それぞれ０．３度以内である場合、２枚の画像の撮影位置は一致するとしてもよい。

次に、類似ユーザ判定部１０５は、ステップＳ２０２において作成されたユーザリストから１人のユーザ（他人）を選択し、選択したユーザの画像コンテンツ２０（以下、画像群Ｂ）を取得する（ステップＳ２０３）。

次に、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像コンテンツ２０と、当該画像と撮影位置２６が一致する画像群Ｂの画像コンテンツ２０との撮影時刻の差分（時刻差分値）の和を算出する（ステップＳ２０４）。ここで、時刻差分値とは、画像が撮影された時刻（時、分及び秒）の差分を意味する。つまり、時刻差分値は、画像が撮影された年月日を考慮すること無く算出される。

次に、類似ユーザ判定部１０５は、ステップＳ２０４において算出された時刻差分値の和が閾値以内であるか否かを判定する（ステップＳ２０５）。なお、閾値は、例えば３０分等と予め定められる。

ここで、時刻差分値の和が閾値以内である場合（ステップＳ２０５のＹｅｓ）、類似ユーザ判定部１０５は、ステップＳ２０３において選択されたユーザに対応するユーザＩＤを取得する。そして、類似ユーザ判定部１０５は、取得されたユーザＩＤを、類似ユーザとして類似ユーザリストに登録する（ステップＳ２０６）。一方、時刻差分値が閾値より大きい場合（ステップＳ２０５のＮｏ）、ステップＳ２０７の処理に進む。

次に、類似ユーザ判定部１０５は、ステップＳ２０２において取得されたユーザリストから全てのユーザが選択されたか否かを判定する（ステップＳ２０７）。ここで全てのユーザが選択されている場合は、図１０に示すステップＳ１０４の処理に進む。一方、全てのユーザが選択されていない場合は、類似ユーザ判定部１０５は、ステップＳ２０３〜Ｓ２０６までの処理を繰り返す。

以上、ステップＳ２０１〜Ｓ２０７の処理が実行されることにより、類似ユーザ判定部１０５は、補間対象画像の撮影日時及び撮影位置が一致する画像コンテンツ２０を含む画像群を類似画像群として取得することができる。つまり、補間対象画像が撮影された場所及び時間帯がほぼ一致する画像を撮影したユーザ（類似ユーザ）を取得することができる。すなわち、類似ユーザ判定部１０５は、ユーザ（本人）が補間したいと考えている被写体が撮影されている膨大な数の画像の中から、ユーザ（本人）と同じような撮影パタンを行ったユーザ（他人）の画像群のみを検出することができる。

なお、類似ユーザ判定部１０５が撮影時刻を用いて類似ユーザを判断することは、時刻と相関のあるユーザ（本人）の行動と類似した行動をしたユーザ（他人）を取得する場合に、高い効果を示す。例えば図６の補間対象画像（清水寺）６０の撮影時刻が午前１１時であり、かつ、補間対象画像（銀閣寺）６１の撮影時刻が１４時である場合、それぞれの補間対象画像が撮影された時刻はランチの時間帯を挟む。したがって、ユーザ（本人）は、補間対象画像（清水寺）６０を撮影した後、補間対象画像（銀閣寺）６１を撮影する前に、ランチを食べた可能性が高い。一方、類似ユーザ（他人）は、同時間帯の画像を有するので、ランチに関する画像を有する可能性が高い。つまり、類似ユーザ判定部１０５は、ユーザ（本人）が補間したい画像である可能性が高いランチに関する画像を多く取得することができる。

なお、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が一致する画像群Ｂの画像と、の撮影年の差分を算出してもよい。これにより、年単位で撮像内容が大きく異なる被写体の画像をユーザが補間したい場合に、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。

また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの画像と、当該画像と撮影位置２６が略一致する画像群Ｂの画像と、の撮影月の差分を算出してもよい。これにより、月単位で撮像内容が大きく異なる被写体の画像を補間したい場合に、類似ユーザ判定部１０５は、類似ユーザが補間したい画像を効率的に取得することが可能になる。

また、ステップＳ２０４において、類似ユーザ判定部１０５は、ステップＳ２０１において取得された画像群Ａの全ての画像と、ステップＳ２０３において選択された画像群Ｂの画像と、の撮影時刻の差分を算出してもよい。これにより、類似ユーザ判定部１０５は、同じ撮影位置をユーザ（本人）と異なる順序により撮影したユーザ（他人）の画像も取得することが可能となる。すなわち、撮影順序に影響の無い行動について、画像の補間をしたい場合であっても、類似ユーザ判定部１０５は、ユーザが補間したい画像を効率的に取得することが可能になる。

ここで、図１０の説明に戻る。

次に、類似ユーザ判定部１０５は、類似ユーザリストに類似ユーザが登録されているか否かを判定する（ステップＳ１０４）。ここで、類似ユーザが登録されていない場合（類似ユーザ無しの場合）（ステップＳ１０４のＮｏ）、ステップＳ１０８の処理に進む。

一方、類似ユーザが登録されている場合（類似ユーザ有りの場合）（ステップＳ１０４のＹｅｓ）、類似ユーザ判定部１０５は、類似ユーザとして登録されたユーザＩＤ２２を補間画像候補取得部１０６へ通知する。さらに、補間画像候補取得部１０６は、画像データベース１０１を参照することにより、画像コンテンツ２０（候補画像）を取得する。この画像コンテンツ２０は、撮影位置が補間範囲算出部１０４から受け取った補間範囲に属し、かつ、類似ユーザ判定部１０５から通知された類似ユーザのユーザＩＤとユーザＩＤが一致するコンテンツである。さらに、補間画像候補取得部１０６は、取得した候補画像の画像ＩＤ２３を撮像内容推定部１０７へ通知する（ステップＳ１０５）。

次に、撮像内容推定部１０７は、補間画像候補取得部１０６から通知された画像ＩＤ２３と、関連度データベース１０２とに基づいて、ユーザが着目した撮像内容を推定する。そして、撮像内容推定部１０７は、推定した撮像内容及び候補画像の画像ＩＤを補間画像取得部１０８へ通知する（ステップＳ１０６）。補間画像候補取得部１０６により取得された候補画像は、補間対象画像と撮影場所及び撮影時刻のパタンは類似しているが、撮像内容が類似しているとは限らない。そこで、撮像内容推定部１０７では、候補画像の中から、補間を行うユーザの撮像内容に近い画像を絞り込む処理を行う。

図１２は、図１０に示す撮像内容推定に関わるステップ（ステップＳ１０６）の詳細な処理の流れを示すフローチャートである。以下、図１２を用いて撮像内容推定部１０７による撮像内容の推定の処理について説明する。ここでは、「撮像内容」は画像コンテンツ２０に付けられたタグ２７と定義する。そして、撮像内容推定部１０７は、ユーザの撮像内容に近いタグ２７の推定を行う。

まず初めに、撮像内容推定部１０７は、入力部１０３に入力された補間対象画像に付属するタグ２７を、画像データベース１０１から取得する（ステップＳ３０１）。以下、ステップＳ３０１において取得されたタグをタグ群Ａと呼ぶ。

次に、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された全ての候補画像のタグ２７を、画像データベース１０１から取得する（ステップＳ３０２）。

次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７から１つのタグ２７を選択する（ステップＳ３０３）。以下、ステップＳ３０３において選択されたタグ２７をタグＢと呼ぶ。

次に、撮像内容推定部１０７は、ステップＳ３０１において取得されたタグ群Ａに対するタグＢの関連度を算出する（ステップＳ３０４）。ここで、撮像内容推定部１０７は、タグ群Ａの撮影位置２６が属する領域の関連度データベース１０２を参照することにより、タグ群Ａに含まれるタグ２７に対するタグＢの関連度をそれぞれ取得する。そして、撮像内容推定部１０７は、取得した関連度を総加算することにより、タグ群Ａに対するタグＢの関連度を算出する。

図１３は、候補画像のタグ（「平安神宮」、「鳥居」及び「庭園」（各タグＢ））と、補間対象画像１３１のタグ２７である補間対象画像タグ１３２（「銀閣寺」、「庭園」及び「枯山水」（タグ群Ａ））との関連度が記憶された関連度データベース１０２の一例を示す図である。図１３において、「平安神宮」の関連度は、「銀閣寺」、「庭園」、「枯山水」等との関連度（破線領域１３０）を加算することにより、算出することができる。図１３に示す例では、「平安神宮」の関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」の関連度は０．５、「庭園」の関連度は２．５となる。

次に、撮像内容推定部１０７は、ステップＳ３０４において算出された関連度をタグＢとともに、タグ−関連度リストに格納する（ステップＳ３０５）。

次に、撮像内容推定部１０７は、ステップＳ３０２において取得された候補画像のタグ２７の全てのタグ２７が選択されたか否かを判定する（ステップＳ３０６）。

ここで、全てのタグ２７が選択されている場合（ステップＳ３０６のＹｅｓ）、撮像内容推定部１０７は、タグ−関連度リストの中から関連度が上位のタグを、ユーザが補間したい撮像内容として推定する（ステップＳ３０７）。例えば、図１３に示す例では、撮像内容推定部１０７は、関連度が閾値「１」より大きいタグ「庭園」を、ユーザが補間したい撮像内容として推定する。

一方、全てのタグが選択されていない場合（ステップＳ３０６のＮｏ）、撮像内容推定部１０７は、ステップＳ３０３〜Ｓ３０６の処理を繰り返す。

以上、ステップＳ３０１〜Ｓ３０７の処理が実行されることにより、撮像内容推定部１０７は、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影内容と関連の高いタグ２７を補間画像の撮像内容として抽出することができる。

ここで、図１０の説明に戻る。

次に、補間画像取得部１０８は、撮像内容推定部１０７から通知された撮像内容及び候補画像の画像ＩＤ２３から、撮像内容に該当する候補画像を補間画像として取得し、出力部１０９に通知する（ステップＳ１０７）。

最後に、出力部１０９は、補間画像取得部１０８により取得された補間画像を出力媒体へ出力する（ステップＳ１０８）。

図１４及び図１５は、出力部１０９により出力媒体へ出力された画面の一例を示す図である。図１４に示すように、出力部１０９は、補間画像を地図上などに一覧表示してもよい。また、図１５に示すように、出力部１０９は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。

以上、ステップＳ１０１〜Ｓ１０８の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。

なお、画像データベース１０１は、ユーザが自ら撮影した画像だけを格納してもよい。この場合、ユーザは、同じ地域で撮影した画像であれば、自分が撮影した画像だけを用いて簡単に思い出のアルバムを作成することができる。

（実施の形態２）
次に、本発明の実施の形態２に係る画像検索装置２００について説明する。

本実施の形態の画像検索装置２００は、ユーザの旅行中の行動に関する情報である行動情報を撮像内容として推定する点に特徴を有する。ここで行動情報とは、具体的には、「食べる」、「遊ぶ」、「見る」、「泊まる」など、旅行中のユーザの行動を表す単語（キーワード）である。また、行動情報は、例えば、コンテンツ付属情報２１のタグ２７の一部である行動タグに設定される。

上述の実施の形態１の画像検索装置１００は、ユーザが旅行中に訪れた場所、建物等の名称等である被写体情報を用いて撮像内容を推定することにより、類似ユーザが撮影した画像の中から補間画像を選択した。しかし、画像検索装置１００は、被写体情報を撮像内容として推定するため、補間画像を取得する際にユーザの行動情報を特定することはできない。例えば「南禅寺」という被写体情報が推定された場合、ユーザが南禅寺で食事をしたときの画像なのか、観光したときの画像なのか、又は宿泊したときの画像なのかを分別することはできない。ユーザの撮影した画像から、補間画像の行動情報を推定できれば、画像検索装置は、類似ユーザが撮影した画像の中からユーザの旅行中の行動に沿った補間画像を選択することができる。その結果、画像検索装置はユーザが補間したい画像を効率よくユーザに提示することができるので、ユーザの利便性が向上する。

そこで本実施の形態における画像検索装置２００は、ユーザが撮影した画像の行動タグ、撮影時刻及び撮影位置を用いて、補間画像の行動情報を撮像内容として推定する。

以下、初めに図１６を参照しながら、画像検索装置２００の各構成要素について順に説明する。

図１６は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図１６に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点の一つ目は、関連度データベース２０１が、領域毎に撮影時間帯と補間対象画像の行動情報との関連度を記憶している点である。また、相違する点の二つ目は、撮像内容推定部２０２が、候補画像の中から補間画像の行動情報を撮像内容として推定する点である。

図１７は、関連度データベース２０１の一例を示す図である。関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０の行動タグと撮影時間帯との関連度を記憶している。

ユーザは、例えば画像データベース１０１に画像コンテンツ２０をアップロードする際に、「食べる」、「見る」、「遊ぶ」、「泊まる」など、予め設定された行動情報を行動タグに設定する。そして、関連度は、このように設定された行動タグの出現頻度を撮影時間帯毎に正規化することにより算出される。図１７の例では、領域「エリア１」において、撮影時間帯「９：００−１１：００」と行動情報「見る」とに対応する関連度は、「０．８」である。この「０．８」という値は、撮影位置がエリア１に属し、かつ、撮影時刻が９時から１１時までの間である画像コンテンツ２０が１０００枚ある場合、その１０００枚の画像コンテンツ２０の内「見る」という行動情報が行動タグに設定された画像コンテンツ２０が８００枚あることを示す。また、関連度データベース２０１は、一般的な連想辞書を用い、予めユーザが設定したタグ２７と行動情報との関連度を別テーブルとして保持しておいてもよい。そして、関連度データベース２０１は、画像コンテンツ２０に付属したタグ２７と行動タグとの関連度の平均値を記憶していてもよい。

撮像内容推定部２０２は、補間画像候補取得部１０６により取得された候補画像の行動タグから、補間画像の行動情報を撮像内容として推定する。具体的な撮像内容の推定方法は後述する。

次に、図１８のフローチャートを参照しながら、図１６に示される画像検索装置２００において行われる全体的な処理の流れを説明する。

図１８は、画像検索装置２００が実行する全体的な処理の流れを示すフローチャートである。なお、図１８において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。

本実施の形態の画像検索装置２００では、行動情報に関する関連度が記憶された関連度データベース２０１を用いて撮像内容を推定する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１８において、画像検索装置３００が実行する、ステップＳ１０１〜Ｓ１０５、及びステップＳ１０７〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。

撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３と、関連度データベース２０１を用いて、ユーザが撮影した画像コンテンツ２０と関連の高い行動情報を撮像内容として推定する（ステップＳ４０１）。

図１９は、図１８に示す撮像内容の推定に関わるステップ（ステップＳ４０１）の詳細な処理の流れを示すフローチャートである。以下、図１９を用いて、ステップＳ４０１において撮像内容推定部２０２が実行する処理の詳細を説明する。

まず初めに、撮像内容推定部２０２は、入力部１０３から通知された、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３を取得する（ステップＳ５０１）。

次に、撮像内容推定部２０２は、ステップＳ５０１において取得された画像ＩＤ２３から、画像データベース１０１を参照することにより、行動タグを取得する。そして、撮像内容推定部２０２は、取得した行動タグから、ユーザの行動嗜好ベクトルを算出する（ステップＳ５０２）。ここで行動嗜好ベクトルとは、各行動情報に対するユーザの嗜好を値として表したベクトルである。具体的な行動嗜好ベクトルの算出方法を、図２０及び図２１を用いて説明する。

図２０は、実施の形態１と同じく、ユーザが京都で撮影した画像コンテンツ２０の一例を示す図である。図２０に示すように、各画像コンテンツ２０には撮影時刻タグ２７及び行動タグが付与されている。具体的には、例えば、補間対象画像（清水寺）６０には、行動タグに「見る」、タグ２７に「清水寺」及び「舞台」、並びに撮影時刻に「１１：００」が予め設定されている。

行動嗜好ベクトルは、行動タグに設定される行動情報の種別数の次元を持つベクトルである。また、行動嗜好ベクトルの行動情報の種別毎のベクトル値は、各撮影画像の撮影位置及び撮影時刻に対応する、関連度データベース２０１の関連度の逆数を、加算平均することにより算出される。また、ベクトル値の初期値は１として、ベクトル値が算出される。

図２１は、撮影画像１００１が撮影された領域の関連度データベース２０１の一部を示す図である。図２１を用いて撮影画像１００１に対するベクトル値を算出する一例を示す。図２１に示すように、図２０に示された撮影画像１００１が撮影された撮影位置及び撮影時刻に対応する関連度は「０．８」である。よって、関連度の逆数は、１÷０．８＝１．２５となる。よって、この時点での行動嗜好ベクトルは、（食べる，見る，遊ぶ，泊まる）＝（１，１．２５，１，１）となる。この処理を、図２０に示された撮影画像全てに対して行うことにより、ユーザの行動嗜好性を示す行動嗜好ベクトルが算出される。

ここで、図１９の説明に戻る。

次に、撮像内容推定部２０２は、ステップＳ５０２において算出された行動嗜好ベクトルに、補間対象画像に対応する関連度を加算する（ステップＳ５０３）。

次に、撮像内容推定部２０２は、ステップＳ５０３において算出された行動嗜好ベクトルの中から、ベクトル値が閾値以上の行動情報を撮像内容として推定する（ステップＳ５０４）。ここで、閾値は、予め設計者が所定値を設定すればよい。また、例えば、撮像内容推定部２０２は、上位２つの行動情報を撮像内容として推定してもよい。

以上、ステップＳ５０１〜Ｓ５０４の処理が実行されることにより、補間画像候補取得部１０６により取得された候補画像の中から、ユーザの撮影時の行動と関連の高い行動情報だけを撮像内容として推定することができる。

以上、ステップＳ１０１〜Ｓ１０５、ステップＳ４０１、及びステップＳ１０７〜Ｓ１０８の処理が実行されることにより、ユーザは補間画像を行動情報単位で取得することができる。そのため、画像検索装置２００は、ユーザの行動に沿わない画像の提示を減らすことができるので、ユーザの操作の利便性を向上させることができる。

（実施の形態３）
次に、本発明の実施の形態３に係る画像検索装置３００について説明する。

本実施の形態の画像検索装置３００は、ユーザが嗜好する撮影条件に合致する画像となるように補間画像を修正する点に特徴を有する。ここで、撮影条件とは、色情報（ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどのＥｘｉｆ情報を示す。

上述の実施の形態１及び２の画像検索装置１００及び２００では、出力部１０９は、画像データベース１０１に蓄積された画像コンテンツ２０を修正すること無く、補間画像として出力していた。しかし、画像検索装置が、補間対象画像の撮影条件と異なる撮影条件により撮影された画像コンテンツ２０を補間画像として出力した場合、補間対象画像と補間画像との統一感が損なわれる可能性がある。

そこで本実施の形態における画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づいて補間画像を修正する。

以下、初めに図２２を参照しながら、画像検索装置３００の各構成要素について順に説明する。

図２２は、本発明の実施の形態３に係る画像検索装置３００の特徴的な機能構成を示すブロック図である。図２２において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２２に示す画像検索装置３００は、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する補間画像修正部３０１を備える点が、図１に示す画像検索装置１００と相違する。

補間画像修正部３０１は、入力部１０３から通知された画像ＩＤ２３に対応するコンテンツ付属情報２１を用いて、ユーザが嗜好する撮影条件を算出する。さらに、補間画像修正部３０１は、算出した撮影条件に基づいて補間画像を修正する。つまり、補間画像修正部３０１は、撮影条件決定部の一例であり、入力部１０３に入力された補間対象画像の撮影条件に基づき、前記補間画像を修正するための撮影条件を決定する。また、補間画像修正部３０１は、決定した撮影条件を用いて撮影された画像となるように、補間画像取得部１０８により取得される補間画像を修正する。具体的な補間画像の修正方法は後述する。

次に、図２３のフローチャートを参照しながら、図２２に示される画像検索装置３００において行われる全体的な処理の流れを説明する。

図２３は、画像検索装置３００が実行する全体的な処理の流れを示すフローチャートである。なお、図２３において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。

本実施の形態の画像検索装置３００では、入力部１０３に入力された画像の撮影条件に基づき補間画像を修正する処理が、実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２３において、画像検索装置３００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。

補間画像修正部３０１は、入力部１０３に入力された画像コンテンツ２０の撮影条件に基づいて補間画像を修正する（ステップＳ６０１）。

図２４は、図２３に示す補間画像の修正に関わるステップ（ステップＳ６０１）の詳細な処理の流れを示すフローチャートである。以下、図２４を用いて、ステップＳ６０１において補間画像修正部３０１が実行する処理の詳細を説明する。

まず初めに、補間画像修正部３０１は、画像データベース１０１を参照することにより、入力部１０３に入力された画像ＩＤ２３に対応する、コンテンツ付属情報２１に含まれる撮影条件を取得する（ステップＳ７０１）。

次に、補間画像修正部３０１は、ステップＳ７０１において取得された撮影条件から、ユーザが嗜好する撮影条件を算出する（ステップＳ７０２）。具体的には、補間画像修正部３０１は、各撮像条件の平均値を求める。

次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ７０３）。

次に、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の修正を行う（ステップＳ７０４）。具体的には、補間画像修正部３０１は、ステップＳ７０３において選択された補間画像の画素値を、ステップＳ７０２において算出された撮影条件の画素値に変換する。例えば、補間画像修正部３０１は、補間画像のＲＧＢ値が、入力部１０３に入力された画像コンテンツ２０のＲＧＢ比率の平均値となるように補間画像を修正する。また、例えば、補間画像修正部３０１は、補間画像の解像度が、入力部１０３に入力された画像コンテンツ２０の解像度の平均値となるように補間画像を修正する。これにより、図２５に示すように、画像検索装置３００は、ユーザが撮影したときの撮影条件に合った補間画像を出力することが可能になる。

次に、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像が全て選択されたか否かを判定する（ステップＳ７０５）。ここで、全て選択されていない場合は（ステップＳ７０５のＮｏ）、補間画像取得部１０８はステップＳ７０３及びステップＳ７０４の処理を繰り返す。一方、全て選択された場合は（ステップＳ７０５のＹｅｓ）、ステップＳ１０８の処理へ進む。

以上、ステップＳ７０１〜Ｓ７０５の処理が実行されることにより、補間画像修正部３０１は、補間画像取得部１０８により取得された補間画像をユーザの撮影した画像の撮影条件に合わせて修正することができる。

以上、ステップＳ１０１〜Ｓ１０８及びステップＳ６０１の処理が実行されることにより、画像検索装置３００は、補間対象画像と同様の撮影条件により撮影された画像を補間画像として出力することができる。そのため、ユーザは、全体として統一感のあるアルバム（画像群）を作成することができる。

（実施の形態４）
次に、本発明の実施の形態４に係る画像検索装置４００について説明する。

本実施の形態の画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の画像を取得する点に特徴を有する。

上述の実施の形態１及び２の画像検索装置１００及び２００では、タグを用いて補間画像が取得されるため、同じ画角の画像が複数枚提示される可能性がある。

そこで本実施の形態における画像検索装置４００は、ユーザが撮影した画像コンテンツ２０のコンテンツ付属情報２１から被写体の画角を算出する。そして、画像検索装置４００は、算出した画角と異なる画角の補間画像だけを選択する。

以下、初めに図２６を参照しながら、画像検索装置３００の各構成要素について順に説明する。

図２６は、本発明の実施の形態４に係る画像検索装置４００の特徴的な機能構成を示すブロック図である。図２６において、図１に示す画像検索装置１００と同じ機能を備える構成要素については同じ符号を付し、説明を省略する。図２６に示す画像検索装置４００は、補間画像の中から、同一の被写体に対して互いに異なる画角の補間画像を取得する異画角画像取得部４０１を備える点が、図１に示す画像検索装置１００と相違する。

異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する。具体的な補間画像の取得方法は後述する。

次に、図２７のフローチャートを参照しながら、図２６に示される画像検索装置４００において行われる全体的な処理の流れを説明する。

図２７は、画像検索装置４００が実行する全体的な処理の流れを示すフローチャートである。なお、図２７において、図１０に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付し、説明を省略する。

本実施の形態の画像検索装置４００では、補間画像取得部１０８により取得された補間画像から、同一被写体に対して画角が異なる補間画像を取得する処理が実施の形態１の画像検索装置１００の処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図２７において、画像検索装置４００が実行するステップＳ１０１〜Ｓ１０８の処理は、図１０に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。

異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像において、同一被写体画像が複数ある場合、同一被写体画像の中から少なくとも互いに画角が異なる補間画像を取得する（ステップＳ８０１）。

図２８は、図２７に示す異画角画像の取得に関わるステップ（ステップＳ８０１）の詳細な処理の流れを示すフローチャートである。以下、図２８を用いて、ステップＳ８０１において異画角画像取得部４０１が実行する処理の詳細を説明する。

まず初めに、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から１枚の補間画像を選択する（ステップＳ９０１）。以下、ステップＳ９０１において選択された画像を選択画像と呼ぶ。

次に、異画角画像取得部４０１は、選択画像の画角情報を抽出する（ステップＳ９０２）。画角情報とは、被写体距離、撮影位置などの画像の画角に関連する画像パラメータを示す。

次に、異画角画像取得部４０１は、選択画像に付属するタグ２７を取得する（ステップＳ９０３）。

次に、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７を用いて、補間画像取得部１０８により取得された補間画像の中からタグが類似する類似画像を取得する。具体的には、例えば、異画角画像取得部４０１は、ステップＳ９０３において取得されたタグ２７の内、補間画像において最も出現頻度の低いタグ２７と、タグ２７が一致する補間画像を類似画像として選択する。ここで取得された類似画像と選択画像とは、タグ２７が同一であることから、被写体が同一である画像として扱うことができる。

次に、異画角画像取得部４０１は、類似画像の中から、画角の異なる画像（異画角画像）を選択する（ステップＳ９０５）。画角の算出は、撮影位置２６又は被写体距離２８を用いて行う。前述のとおり、選択画像と類似画像とは、被写体が同一である。よって、選択画像と類似画像との撮影位置２６が異なる場合は、選択画像と類似画像とは、異なる画角の同一被写体画像になる。撮影位置２６が異なるか否かは、選択画像及び類似画像のそれぞれの撮影位置間の距離が閾値を超えるか否かにより判定すればよい。ここで、閾値は設計者が予め決めておけばよい。また、撮影位置２６と同様に、被写体距離２８が異なる場合は、選択画像と類似画像とは異なる画角の画像となる。被写体距離２８が異なるか否かは、選択画像及び類似画像の被写体距離２８の差分値が閾値を超えるか否かにより判定すればよい。

次に、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像を全て選択したか否かを判定する（ステップＳ９０６）。ここで、全て選択されていない場合は（ステップＳ９０６のＮｏ）、異画角画像取得部４０１は、ステップＳ９０１〜Ｓ９０５の処理を繰り返す。一方、全て選択された場合は（ステップＳ９０６のＹｅｓ）、ステップＳ１０８の処理へ進む。

以上、ステップＳ９０１〜Ｓ９０６の処理が実行されることにより、異画角画像取得部４０１は、補間画像取得部１０８により取得された補間画像の中から、図２９に示すように、同一被写体に対して画角の異なる画像だけを取得することができる。

以上、ステップＳ１０１〜Ｓ１０８、及びステップＳ８０１の処理が実行されることにより、画像検索装置４００は、同一被写体に対して画角が異なる画像を出力することが可能となる。そのため、ユーザは、同じような画像をアルバムに追加することを防ぐことができる。

以上、本発明に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。

なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体、インターネット等の伝送媒体を介して配信することができる。

また、上記実施の形態に係る画像検索装置１００、２００、３００及び４００は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、通信インタフェース等を備えるコンピュータによって実現される。このようなコンピュータにおいて、ＣＰＵは、ＲＡＭを作業領域として使用しながら、画像検索装置の特徴的な構成要素が行う処理を実行するためのプログラムを実行する。その結果、コンピュータは、画像検索装置が備える各構成要素が行う処理を実行することができる。なお、ＣＰＵによって実行されるプログラムは、ＣＤ−ＲＯＭ装置又は通信インタフェース等を介して読み取られたプログラム、又はＲＯＭに格納されたプログラムであればよい。

上述した本発明は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に出力することができる画像検索装置等として利用できる。

例えば、Ｗｅｂ上等で画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。

また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。

これに対して、上記実施の形態に記載の本発明では、特別なインフラを用意すること無いという効果も奏する。

本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを出力する画像検索装置として、利用可能である。

２０ 画像コンテンツ
２１ コンテンツ付属情報
２２ ユーザＩＤ
２３ 画像ＩＤ
２４ 画像アドレス
２５ 撮影日時
２６ 撮影位置
２７ タグ
２８ 被写体距離
５０ 大領域
５１ 中領域
５２ 小領域
６０ 補間対象画像（清水寺）
６１ 補間対象画像（銀閣寺）
７０、７１ 範囲情報
７２ 補間範囲
９０ 補間画像（庭園）
９１ 補間画像（枯山水）
９２ 補間画像（白川）
１００、２００、３００、４００ 画像検索装置
１０１ 画像データベース
１０２、２０１ 関連度データベース
１０３ 入力部
１０４ 補間範囲算出部
１０５ 類似ユーザ判定部
１０６ 補間画像候補取得部
１０７、２０２ 撮像内容推定部
１０８ 補間画像取得部
１０９ 出力部
１３０ 破線領域
１３１ 補間対象画像
１３２ 補間対象画像タグ
３０１ 補間画像修正部
４０１ 異画角画像取得部
１００１ 撮影画像

Claims (15)

1. 複数の画像の中から検索した画像を出力する画像検索装置であって、
   画像間の関連度合いを示す関連度を記憶している関連度データベースと、
   第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力部と、
   前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、
   前記関連度データベースに記憶された関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、
   前記撮像内容推定部により推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得部と、
   前記補間画像取得部により取得された補間画像を出力する出力部と、を備える、
   画像検索装置。
2. さらに、
   前記複数の画像の中から、前記第一画像に類似する画像と前記第二画像に類似する画像とを含む類似画像群を検出する類似画像群検出部と、
   前記類似画像群検出部により検出された類似画像群の中から、撮影位置が前記補間範囲算出部により算出された補間範囲に属する画像である候補画像を取得する補間画像候補取得部と、を備え、
   前記撮像内容推定部は、前記補間画像候補取得部により取得された候補画像と前記第一画像との関連度と、前記補間画像候補取得部により取得された候補画像と前記第二画像との関連度と、に基づき、前記補間画像の撮像内容を推定し、
   前記補間画像取得部は、前記補間画像候補取得部により取得された候補画像の中から、前記補間画像を取得する、
   請求項１に記載の画像検索装置。
3. 前記関連度データベースに記憶される前記関連度は、被写体に関する単語を示す被写体情報間の関連度であり、
   前記撮像内容推定部で推定される前記補間画像の撮像内容は、前記関連度データベースに記憶された、前記候補画像から得られる被写体情報と、前記第一情報及び前記第二情報のそれぞれから得られる被写体情報と、の関連度が、所定関連度以上となる前記候補画像の被写体情報であり、
   前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と一致する撮像内容を有する前記候補画像を前記補間画像として取得する、
   請求項２に記載の画像検索装置。
4. 前記補間範囲算出部で算出される前記補間範囲は、前記第一情報から得られる前記第一画像の撮影日時と、前記第二情報から得られる前記第二画像の撮影日時と、の差分時間が大きいほど場所の範囲が広くなる、
   請求項１〜３のいずれか１項に記載の画像検索装置。
5. 前記類似画像群検出部は、
   前記第一撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第一情報から得られる前記第一画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、
   前記第二撮影位置に対して所定距離以内の撮影位置において撮影される画像であって、前記第二情報から得られる前記第二画像の撮影時刻に対して所定時間以内の時刻に撮影された画像と、を含む画像群を前記類似画像群として検出する、
   請求項２〜４のいずれか１項に記載の画像検索装置。
6. 前記類似画像群検出部は、前記第一情報から得られる前記第一画像の撮影時刻に対する時刻の差分値と、前記第二情報から得られる前記第二画像の撮影時刻に対する時刻の差分値と、の和が所定値以内の撮影時刻に撮影された画像であって、前記第一撮影位置及び前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像を含む画像群を類似画像群として検出する、
   請求項２〜４のいずれか１項に記載の画像検索装置。
7. 前記類似画像群検出部は、
   前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影年に対して所定年以内の年に撮影された画像と、
   前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影年に対して所定年以内の年に撮影された画像と、を含む画像群を前記類似画像群として検出する、
   請求項２〜４のいずれか１項に記載の画像検索装置。
8. 前記類似画像群検出部は、
   前記第一撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第一情報から得られる前記第一画像の撮影月に対して所定月以内の月に撮影された画像と、
   前記第二撮影位置に対して所定距離以内の撮影位置において撮影された画像であって、前記第二情報から得られる前記第二画像の撮影月に対して所定月以内の月に撮影された画像と、を含む画像群を前記類似画像群として検出する、
   請求項２〜４のいずれか１項に記載の画像検索装置。
9. さらに、
   前記第一情報から得られる前記第一画像の撮影条件と前記第二情報から得られる前記第二画像の撮影条件とに基づき、前記補間画像取得部により取得される補間画像を修正する補間画像修正部と、を備え、
   前記出力部は、前記補間画像修正部により修正された補間画像を出力する、
   請求項１〜８のいずれか１項に記載の画像検索装置。
10. さらに、
    前記補間画像取得部により取得された補間画像において、同一の被写体が撮影された同一被写体画像が複数ある場合、前記同一被写体画像の中から少なくとも互いに画角の異なる画像を前記補間画像として取得する異画角画像取得部を備え、
    前記出力部は、前記異画角画像取得部により取得された補間画像を出力する、
    請求項１〜９のいずれか１項に記載の画像検索装置。
11. 前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
    前記撮像内容推定部は、前記第一撮影位置が含まれる前記領域に対応する、前記候補画像と前記第一画像との関連度と、前記第二撮影位置が含まれる前記領域に対応する、前記候補画像と前記第二画像との関連度と、に基づき前記補間画像の撮像内容を推定する、
    請求項２〜１０のいずれか１項に記載の画像検索装置。
12. 前記関連度データベースは、画像が撮影された際の撮影者の行動を示す単語である行動情報と撮影時刻及び撮影位置との前記関連度を記憶しており、
    前記撮像内容推定部は、前記関連度データベースに記憶された、前記第一情報から得られる前記第一画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、前記第二画像の行動情報、撮影時刻及び撮影位置に対応する関連度と、から算出される前記補間範囲に属する画像の行動情報毎の関連度合いを示す値が所定閾値以上の場合に、前記行動情報を前記撮像内容として推定し、
    前記補間画像取得部は、前記撮像内容推定部により推定された撮像内容と撮像内容が一致する前記候補画像を前記補間画像として取得する、
    請求項２に記載の画像検索装置。
13. コンピュータが、複数の画像の中から検索した画像を出力する画像検索方法であって、
    第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
    前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
    関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
    前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
    前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、を含む、
    画像検索方法。
14. 複数の画像の中から検索した画像を出力するプログラムであって、
    第一情報を含む第一画像と第二情報を含む第二画像とが入力される入力ステップと、
    前記第一情報から得られる前記第一画像の第一撮影位置と、前記第二情報から得られる前記第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出ステップと、
    関連度データベースに記憶された、画像間の関連度合いを示す関連度であって、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出ステップにおいて算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定ステップと、
    前記撮像内容推定ステップにおいて推定された撮像内容を用いて、前記複数の画像の中から前記補間画像を取得する補間画像取得ステップと、
    前記補間画像取得ステップにおいて取得された補間画像を出力する出力ステップと、をコンピュータに実行させる、
    プログラム。
15. 複数の画像の中から検索する画像を推定する画像推定装置であって、
    画像間の関連度合いを示す関連度を記憶している関連度データベースと、
    第一画像の第一撮影位置と、第二画像の第二撮影位置と、が含まれる場所の範囲を補間範囲として算出する補間範囲算出部と、
    前記関連度データベースに記憶される関連度であって、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第一画像との関連度と、前記複数の画像のうち前記補間範囲算出部により算出された補間範囲に属する画像と前記第二画像との関連度と、に基づき、前記第一撮影位置と前記第二撮影位置との間を補間する画像である補間画像の撮像内容を推定する撮像内容推定部と、を備える、
    画像推定装置。

Images