JP4913232B2 - 画像選択装置、及び画像選択方法 - Google Patents

Description

本発明は、複数の画像データの中から１以上の画像データを選択する画像選択装置及びその方法等に関するものである。

従来、デジタルカメラ等を利用して、被写体を撮影する技術が開発されている。さらに、撮影された被写体の像を含む画像データの付加情報として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のセンサから得られたデータを用いて、撮影位置に関する情報を付与する技術が構築されている。そこで、撮影位置の履歴情報から、被験者の仮想的な移動履歴を推定し、その移動履歴から所定の範囲において撮影された画像データを用いて電子アルバムを作成する技術が開示されている（例えば、特許文献１又は２を参照）。

特開２００６−１７８８４４号公報 特開２００６−７４６１２号公報

しかしながら、特許文献１に開示されている技術では、移動履歴から所定の範囲において撮影された画像データがすべて選択されるために、ユーザが実際には訪問していない観光地域の画像データが選択されることがある。例えば、図３４に示すような移動履歴の場合、観光地域Ａ１、Ａ２、Ａ３、及びＡ４のすべてにおいてユーザが観光したと判断される。その結果、観光地域Ａ１、Ａ２、Ａ３、及びＡ４に関するすべての画像データを用いて電子アルバムが作成される。しかしながら、ユーザは、観光地域Ａ１、Ａ２において観光したが、観光地域Ａ３、Ａ４においては観光せずに前を通り過ぎただけである。そのため、観光地域Ａ３、Ａ４の画像データは、ユーザの記憶にない画像となってしまう。

つまり、特許文献１に記載の技術では、移動履歴を用いて画像データが選択される際に、ユーザにとって不要な画像データも選択されてしまうという課題がある。

また、特許文献２は、ユーザの移動経路と、他の撮影者の移動経路とを比較することによって、ユーザが撮影できなかった画像データを自動的に選択する技術について開示している。特に、特許文献２では、撮影された画像の人物領域を抽出することにより、人物画像が少ない画像データ、又は、人物領域に対してぼかし処理等を施した画像データを、ユーザが必要とする画像データとして自動的に選択する技術が開示されている。しかしながら、特許文献２に記載の技術では、ユーザの移動経路が類似している他の人物が撮影した画像データを選択したとしても、ユーザが興味をもった観光地域の画像データを適切に選択することが困難である。例えば、同一の経路による観光コースであっても、ユーザが実際に観光した位置を抽出するためには、類似した移動経路の中でも、特に、実際に観光を行った位置を抽出する必要がある。さらに、同様の観光を行っている他の観光者が撮影した画像データを選択する必要がある。

そこで、本発明は、上記課題を鑑みてなされたものであり、複数の画像データの中から１以上の画像データをユーザの移動履歴を用いて選択する場合に、より適切な画像データを自動的に選択することができる画像選択装置等を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る画像選択装置は、複数の画像データの中から１以上の画像データを選択する画像選択装置であって、ＧＰＳによって取得されるユーザの第１の位置である第１のユーザ位置の情報が取得された日時を示す第１の時刻情報と、ユーザの第２の位置である第２のユーザ位置の情報が取得された日時を示す第２の時刻情報と、の時間差分を用いて、前記ユーザが建造物内を観光していたか否かを推定する移動状況推定部と、前記ユーザが建造物内を観光していたと推定されたときに、前記時間差分に対応する領域内での画像データであって、かつ、ＧＰＳによって取得された位置情報が付与されていない画像データを、選択する画像選択部と、を備える。

本発明の一態様に係る画像選択装置によれば、ユーザが建造物内を観光していたと推定されるときに、複数の画像データの中から、ＧＰＳによって取得された位置情報が付与されていない画像データを選択することにより、建造物内において撮影された可能性が高い画像データを選択できる。したがって、ユーザにとってより適切な画像データを複数の画像データの中から自動的に選択することが可能となる。

本発明の実施の形態１に係る画像選択システムの全体構成を示す図である。 本発明の実施の形態１に係る画像選択装置のハードウェア構成図である。 本発明の実施の形態１に係る画像選択システムの機能構成を示すブロック図である。 本発明の実施の形態１に係る画像選択装置の詳細な機能構成を示すブロック図である。 画像関連データの一例を示す図である。 移動履歴データの一例を示す図である。 観光地域データの一例を示す図である。 画像関連データ、移動履歴データ及び観光地域データを説明するための図である。 本発明の実施の形態１に係る画像選択システムにおける全体の処理の流れを示すフローチャートである。 本発明の実施の形態１に係る画像選択システムにおける移動状況を推定する処理の詳細を示すフローチャートである。 本発明の実施の形態１に係る画像選択システムにおける、画像データを選択する処理の詳細を示すフローチャートである。 ユーザが旅行しているときの移動パターンを示す図である。 ユーザが旅行しているときの移動パターンを示す図である。 ユーザが旅行しているときの移動パターンを示す図である。 移動量を算出する期間の長さを変えた場合の違いを説明するための図である。 各移動パターンにおける移動量の時間推移を示すグラフである。 本発明の実施の形態１に係る画像選択装置が、移動量を算出する処理及び停滞地点を判定する処理を説明するための図である。 本発明の実施の形態１において、停滞地点と判定されたユーザ位置を示す図である。 本発明の実施の形態１に係る画像選択装置が画像データを選択する処理を説明するための図である。 本発明の実施の形態１の変形例に係る画像選択システムの機能構成を示すブロック図である。 ユーザ撮影情報の一例を示す図である。 本発明の実施の形態２に係る画像選択システムの機能構成を示すブロック図である。 移動履歴データの一例を示す図である。 画像関連データの一例を示す図である。 画像関連データに含まれる位置情報登録形式を登録する方法の一例を示す図である。 本発明の実施の形態２に係る画像選択システムにおける、移動状況を推定する処理及び画像データを選択する処理の詳細を示すフローチャートである。 本発明の実施の形態２に係る画像選択装置が移動状況を推定する処理を説明するための図である。 本発明の実施の形態３に係る画像選択システムの機能構成を示すブロック図である。 建造物期間データの一例を示す図である。 本発明の実施の形態３に係る画像選択システムにおける、移動状況を推定する処理の詳細を示すフローチャートである。 本発明の実施の形態４に係る画像選択システムの機能構成を示すブロック図である。 画像データの時間分布を示す図である。 期間情報を生成する処理を説明するための図である。 期間情報を生成する処理を説明するための図である。 本発明の実施の形態５に係る画像選択システムの機能構成を示すブロック図である。 類似度を計算する処理を説明するための図である。 従来の画像選択装置を説明するための図である。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１Ａは、本発明の実施の形態１に係る画像選択システムの全体構成を示す図である。図１Ａに示すように、本発明の実施の形態１に係る画像選択システム１１は、位置検出装置２０、画像コンテンツサーバ３０及び画像選択装置１００を備える。

位置検出装置２０は、ＧＰＳなどにより位置検出装置２０自身の地理的な位置を順次検出する装置である。位置検出装置２０は、検出した位置を示す位置情報とその位置情報が取得された日時を示す時刻情報とを組として含む移動履歴データを生成する。移動履歴データは、例えば、取り外し可能なＳＤカード等の記憶媒体に蓄積され、当該記録媒体を介して画像選択装置１００に利用される。

画像コンテンツサーバ３０は、インターネット等の有線又は無線ネットワークを介して接続されたコンピュータから受信した画像データ及び画像関連データを記憶している。つまり、画像コンテンツサーバ３０には、様々な撮影者によって撮影された画像データであって各コンピュータから送信された画像データが記憶されている。また、画像コンテンツサーバ３０は、ネットワークを介して接続された画像選択装置１００に画像データを送信する。ここで、画像データとは、静止画データ及び動画データの少なくとも一方を含むデータである。

画像選択装置１００は、例えば、一般的なコンピュータであり、位置検出装置２０によって生成された移動履歴データを用いて、画像コンテンツサーバ３０に記憶された複数の画像データの中から１以上の画像データを選択する。

図１Ａに示すように、位置検出装置２０は、ユーザが旅行等するときに携帯されることにより、ユーザの移動履歴データを生成し、記録媒体等に記憶する。そして、画像選択装置１００は、旅行が終了したときに、記録媒体等に記憶された移動履歴データを取り込み又は読み出し、その移動履歴データを用いて画像データを選択する。

なお、移動履歴データは、個人のプライバシーに関する情報であるので、位置検出装置２０又は画像選択装置１００に記憶されるのが好ましい。一方、画像データは、ネットワークを介して多くのコンピュータが接続可能なサーバに蓄積されるのが好ましい。

また、画像選択装置１００と位置検出装置２０とは、ネットワークを介して接続されても良い。その場合、画像選択装置１００は、位置検出装置２０からネットワークを介して移動履歴データを受信しても良い。

図１Ｂは、本発明の実施の形態１に係る画像選択装置のハードウェア構成図である。図１Ｂに示すように、画像選択装置１００は、コンピュータ５００と、コンピュータ５００の演算結果等の情報を提示するためのディスプレイ５１１と、コンピュータ５００に指示を与えるためのキーボード５１２及びマウス５１３と、コンピュータ５００により実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）装置５１４とを含む。

画像を選択するためのプログラムは、コンピュータが読取可能な媒体であるＣＤ−ＲＯＭ５１５に記憶され、ＣＤ−ＲＯＭ装置５１４を介して読み出される。または、画像を選択するためのプログラムは、有線若しくは無線ネットワーク、又は放送などを介して伝送される。

コンピュータ５００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３、ハードディスク５０４、通信インタフェース５０５等によって構成される。

ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムを実行する。具体的には、ＣＰＵ５０１は、ＣＤ−ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムをＲＡＭ５０３に展開する。そして、ＣＰＵ５０１は、ＲＡＭ５０３に展開されたプログラム中のコード化された各命令を実行する。

ＲＯＭ５０２は、コンピュータ５００の動作に必要なプログラム及びデータを記憶する読み出し専用メモリである。

ＲＡＭ５０３は、ＣＰＵ５０１がプログラムを実行するときにワークエリアとして使用される。具体的には、ＲＡＭ５０３は、例えば、プログラム実行時のパラメータなどのデータを一時的に記憶する。

ハードディスク５０４は、プログラム、データなどを記憶する。

通信インタフェース５０５は、ネットワークを介して他のコンピュータとの通信を行なう。

バス５０６は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ハードディスク５０４、通信インタフェース５０５、ディスプレイ５１１、キーボード５１２、マウス５１３及びＣＤ−ＲＯＭ装置５１４を相互に接続する。

なお、コンピュータ５００は、さらに、ＳＤカードなどの取り外し可能な記録媒体に記録されているデータを読み出すためのインタフェース（図示せず）を備えても良い。その場合、このインタフェースを介して、コンピュータ５００は、位置検出装置２０から取り外された記録媒体から、移動履歴データを読み出すことができる。

図２は、本発明の実施の形態１に係る画像選択システムの機能構成を示すブロック図である。

位置検出装置２０は、例えばＧＰＳ受信機であって、位置検出部２１を備える。位置検出部２１は、位置検出装置２０がユーザに携帯されたときに、ユーザがいる位置（以下、「ユーザ位置」という）を示す位置情報と、当該ユーザ位置にユーザがいたときの日時を示す時刻情報とを組として含む移動履歴データを生成する。また、位置検出部２１は、生成した移動履歴データを記録媒体に蓄積する。

画像コンテンツサーバ３０は、画像データ及び画像関連データ３１ａを記憶している画像データ記憶部３１を備える。画像関連データ３１ａは、画像データを識別するための識別子と、画像が撮影された位置である撮影位置を示す情報とを含むデータである。画像関連データの詳細は、図４を用いて後述する。

画像選択装置１００は、移動履歴記憶部１０１、地図情報記憶部１０２、移動状況推定部１０３、画像選択部１０４、及び画像提示部１０５を備える。

移動履歴記憶部１０１は、例えば、ハードディスク又は取り外し可能なＳＤカード等の記録媒体などからなる。移動履歴記憶部１０１は、位置検出装置２０によって生成された移動履歴データ１０１ａを記憶している。移動履歴データ１０１ａの詳細は、図５を用いて後述する。

地図情報記憶部１０２は、観光地域の位置情報を含む観光地域データ１０２ａを記憶している。ここで観光地域の位置情報とは、観光地域の位置及び範囲を示す情報である。また、地図情報記憶部１０２は、観光地域データ１０２ａに加えて、駅及びバス停の位置情報、並びに、道路の接続情報などの地図情報を記憶している。観光地域データ１０２ａの詳細は、図６を用いて後述する。

なお、本実施の形態では、画像選択装置１００が地図情報記憶部１０２を備えているが、本発明の一態様に係る画像選択装置１００は、必ずしも地図情報記憶部１０２を備えなくても良い。例えば、画像選択装置１００とネットワークを介して接続されたサーバ等に地図情報記憶部１０２が備えられても良い。

移動状況推定部１０３は、移動履歴データ１０１ａをメモリ等に読み出す。そして、移動状況推定部１０３は、読み出した移動履歴データ１０１ａに含まれる各ユーザ位置における移動状況を、移動履歴データ１０１ａを用いて推定する。

画像選択部１０４は、移動状況推定部１０３によって推定された各ユーザ位置の移動状況に基づいて、各ユーザ位置に対応する撮影位置において撮影された画像データを、画像データ記憶部３１に記憶されている複数の画像データの中から選択する。

画像提示部１０５は、画像選択部１０４によって選択された画像データを画像コンテンツサーバ３０から取得し、取得した画像データをディスプレイ５１１などの表示部に表示する。なお、画像提示部１０５は、選択された画像データを、撮影位置に基づいて地図上にプロットした画面をディスプレイ５１１などの表示部に表示しても良い。さらに、画像提示部１０５は、画像データを表示するとともに、ユーザの移動履歴データを表示しても良い。

図３は、本発明の実施の形態１に係る画像選択装置の詳細な機能構成を示すブロック図である。移動状況推定部１０３は、観光時間設定部１３１、移動量算出部１３２、停滞地点判定部１３３、観光目的地点判定部１３４、及び移動目的地点判定部１３５を有する。また、画像選択部１０４は、観光目的画像選択部１４１及び移動目的画像選択部１４２を有する。

観光時間設定部１３１は、観光に要する平均的な時間である観光時間を設定する。具体的には、観光時間設定部１３１は、例えば、キーボード５１２又はマウス５１３等の入力手段を介してユーザから受け付けた時間を観光時間として設定する。さらに具体的には、観光時間設定部１３１は、例えば京都の神社を巡る旅行の場合、各神社の拝観時間である３０分から１時間程度の時間を観光時間として設定する。

移動量算出部１３２は、観光時間設定部１３１によって設定された観光時間に基づいて、移動量を算出するための期間の長さを算出する。具体的には、移動量算出部１３２は、例えば、観光時間設定部１３１によって京都の観光地域での観光時間として３０分から１時間程度と設定された場合、設定された時間の２０〜３０％くらいの時間を期間の長さとして算出する。

さらに、移動量算出部１３２は、移動履歴データ１０１ａをメモリ等に読み出す。そして、移動量算出部１３２は、読み出した移動履歴データ１０１ａに含まれるユーザ位置ごとに、算出された長さの期間であってユーザ位置に対応する時刻を含む期間における始点及び終点のユーザ位置間の距離を移動量として算出する。

停滞地点判定部１３３は、移動量算出部１３２によって算出された移動量が閾値未満である場合に、ユーザ位置が停滞地点であると判定する。

観光目的地点判定部１３４は、地図情報記憶部１０２に記憶されている観光地域データ１０２ａをメモリ等に読み出す。そして、観光目的地点判定部１３４は、読み出された観光地域データ１０２ａによって定義された観光地域に停滞地点が含まれる場合に、当該停滞地点を、ユーザが観光している位置である観光目的地点と判定する。

移動目的地点判定部１３５は、観光目的地点判定部１３４によって観光目的地点と判定されたユーザ位置以外のユーザ位置を移動目的地点と判定する。

観光目的画像選択部１４１は、画像関連データ３１ａを画像コンテンツサーバ３０から受信する。そして、観光目的画像選択部１４１は、受信した画像関連データ３１ａを参照することにより、観光目的地点判定部１３４によって観光目的地点であると判定されたユーザ位置を含む観光地域に撮影位置が含まれる画像データを選択する。

移動目的画像選択部１４２は、画像関連データ３１ａを画像コンテンツサーバ３０から受信する。そして、移動目的画像選択部１４２は、受信した画像関連データ３１ａを参照することにより、画像データを選択する。このとき、移動目的画像選択部１４２は、（ｉ）移動目的地点判定部１３５によって移動目的地点であると判定されたユーザ位置を含む地域であって（ii）観光地域よりも狭い地域に撮影位置が含まれる画像データを選択する。

図４は、画像関連データの一例を示す図である。図４に示すように、画像関連データ３１ａには、画像データを識別するための識別子である画像ＩＤと、アップロードされた日時及びアップロードした者に関する情報であるアップロード情報と、画像データの撮影日時及び撮影位置に関する情報である撮影情報とが含まれる。

例えば、図４に示す画像関連データ３１ａは、「ＩＤ１２２３１４５．ｊｐｇ」により識別される画像データが、「０８年３月２２日」の「２２時１２分１５秒」にメールアドレスが「ｔａｎａｋａ＠・・・・」であるユーザからアップロードされた画像データであることを示す。さらに、図４に示す画像関連データ３１ａは、「ＩＤ１２２３１４５．ｊｐｇ」により識別される画像データが、「０８年２月２０日」の「９時１４分２１秒」に「北緯３５度０４分１２．３秒」、「東経１３５度４４分２３．５秒」において撮影された画像データであることを示す。

このように、画像データ記憶部３１には、インターネット等を介して多くの撮影者がアップロードした画像データが、画像関連データとともに記憶されている。

なお、図４には示されていないが、画像関連データ３１ａには、被写体の名称等を示すテキスト情報が含まれても良い。

図５は、移動履歴データの一例を示す図である。図５に示すように、移動履歴データ１０１ａには、ユーザが移動した位置を示す緯度及び経度（位置情報）と、当該位置にユーザがいたときの日時（時刻情報）とが含まれる。

例えば、図５に示す移動履歴データ１０１ａは、ユーザが「４月２４日」の「１０時１２分０４秒」に、「北緯３５度０１分４６．４秒」、「東経１３５度４５分２４．１秒」にいたことを示す。

図６は、観光地域データの一例を示す図である。図６に示すように、観光地域データ１０２ａには、ＩＤ、名称、観光領域、定義方法及び領域表現が含まれる。

ＩＤは、観光地域を識別するための情報である。名称は、観光地域の名称である。観光領域は、観光地域の面積を示す情報である。定義方法は、観光地域の位置及び範囲を定義するための方法を示す情報である。領域表現は、定義方法にしたがって観光地域の位置及び範囲を示す情報である。

例えば、図６に示す観光地域データ１０２ａは、名称が「金勝寺」の観光地域が、中心位置の緯度及び経度と半径とにより位置及び範囲を定義することを示す「中心定義表現」によって定義されることを示す。すなわち、観光地域データ１０２ａは、「金勝寺」が、領域表現に格納された緯度及び経度が中心の円であって、領域表現に格納された半径の円の内側の地域であることを示す。

また、図６に示す観光地域データ１０２ａは、名称が「丸山公園」の観光地域が、矩形領域により位置及び範囲を定義することを示す「矩形表現」によって定義されることを示す。すなわち、観光地域データ１０２ａは、「丸山公園」が、領域表現に格納された緯度及び経度が対角となる矩形の内側の地域であることを示す。このように、地図情報記憶部１０２には、各観光地域の地図上の位置及び範囲を示す観光地域データ１０２ａがあらかじめ記憶されている。

図７は、画像関連データ、移動履歴データ及び観光地域データを説明するための図である。移動履歴２０１は、移動履歴データ１０１ａが示すユーザ位置を地図上にプロットしたものである。撮影位置２０２は、画像関連データ３１ａが示す撮影位置を地図上にプロットしたものである。観光地域２０３は、観光地域データ１０２ａが示す観光地域の位置及び範囲を地図上に示したものである。

図７に示す移動履歴２０１は、ユーザが、Ｐ駅を出発し、観光地域Ａ１へ向かい、その後、観光地域Ａ２へ向かい、その後、Ｐ駅へ戻ってきていることを示す。また、図７に示すように、観光地域には有名な被写体等が存在するために、撮影位置が観光地域内に存在する画像データは多い。

次に、以上のように構成された画像選択システム１１における各種動作について説明する。

図８は、本発明の実施の形態１に係る画像選択システムにおける全体の処理の流れを示すフローチャートである。

まず、位置検出部２１は、移動履歴データ１０１ａを生成する（Ｓ１０１）。そして、生成された移動履歴データ１０１ａが、移動履歴記憶部１０１に格納される。

続いて、移動状況推定部１０３は、移動履歴データ１０１ａに含まれる各ユーザ位置における移動状況を、移動履歴データ１０１ａを用いて推定する（Ｓ１０２）。そして、画像選択部１０４は、画像データ記憶部３１に記憶されている複数の画像データの中から１以上の画像データを選択する（Ｓ１０３）。このとき、画像選択部１０４は、移動状況推定部１０３によって推定された各ユーザ位置の移動状況に基づき、各ユーザ位置に対応する撮影位置において撮影された画像を選択する。

最後に、画像提示部１０５は、選択された画像データを画像コンテンツサーバ３０から取得し、取得した画像データをディスプレイ５１１などの表示部に表示する（Ｓ１０４）。

図９は、本発明の実施の形態１に係る画像選択システムにおける、移動状況を推定する処理の詳細を示すフローチャートである。

図８のステップＳ１０１において移動履歴データ１０１ａが生成された後、移動状況推定部１０３は、移動履歴記憶部１０１に記憶されている移動履歴データ１０１ａを読み出す（Ｓ２０１）。

続いて、移動量算出部１３２は、読み出された移動履歴データ１０１ａに含まれるユーザ位置の移動量を算出する（Ｓ２０２）。具体的には、移動量算出部１３２は、移動量を算出したいユーザ位置に対応する時刻を含む一定期間における始点及び終点のユーザ位置間の距離を移動量として算出する。さらに具体的には、例えば、一定期間の長さが１０分の場合、移動量算出部１３２は、移動量を算出したいユーザ位置に対応する時刻の５分前及び５分後のユーザ位置間の距離を移動量として算出する。

そして、移動量算出部１３２は、読み出された移動履歴データ１０１ａに含まれるすべてのユーザ位置に対して移動量が算出されるまで、移動量の算出を繰り返す（Ｓ２０３）。

次に、移動状況推定部１０３は、移動量が算出されたユーザ位置のうち、最も時刻が早いユーザ位置を対象地点として選択する（Ｓ２０４）。そして、停滞地点判定部１３３は、対象地点の移動量が閾値未満であるか否かを判定する（Ｓ２０５）。

ここで、対象地点の移動量が閾値未満である場合（Ｓ２０５のＹｅｓ）、観光目的地点判定部１３４は、移動量が閾値未満である時間が基準時間（例えば３０分）以上連続しているか否かを判定する（Ｓ２０６）。ここで、移動量が閾値未満である時間が基準時間以上連続している場合（Ｓ２０６のＹｅｓ）、観光目的地点判定部１３４は、対象地点が観光地域データ１０２ａにおいて定義された観光地域に含まれるか否かを判定する（Ｓ２０７）。ここで、対象地点が観光地域データ１０２ａにおいて定義された観光地域に含まれる場合（Ｓ２０７のＹｅｓ）、観光目的地点判定部１３４は、対象地点を観光目的地点と決定する（Ｓ２０８）。

一方、（ｉ）対象地点の移動量が閾値以上である場合（Ｓ２０５のＮｏ）、（ii）移動量が閾値未満である時間が基準時間以上連続していない場合（Ｓ２０６のＮｏ）、又は（iii）対象地点が観光地域データ１０２ａにおいて定義された観光地域に含まれない場合（Ｓ２０７のＮｏ）には、移動目的地点判定部１３５は、対象地点を移動目的地点と決定する（Ｓ２０９）。

次に、移動状況推定部１０３は、読み出した移動履歴データ１０１ａの中に、選択されていた対象地点の次の時刻のユーザ位置が含まれるか否かを判定する（Ｓ２１０）。ここで、選択されていた対象地点の次の時刻のユーザ位置が含まれる場合（Ｓ２１０のＹｅｓ）、移動状況推定部１０３は、次の時刻のユーザ位置を対象地点として選択する（Ｓ２１１）。そして、ステップＳ２０５からステップＳ２１０までの処理を繰り返す。一方、選択されていた対象地点の次の時刻のユーザ位置が含まれない場合（Ｓ２１０のＮｏ）、画像選択部１０４は、図８のステップＳ１０３の処理を実行する。

以上のように、移動状況推定部１０３は、移動履歴データ１０１ａを用いて、各ユーザ位置の移動状況を推定する。

図１０は、本発明の実施の形態１に係る画像選択システムにおける、画像データを選択する処理の詳細を示すフローチャートである。

図８のステップＳ１０２において移動状況が推定された後、移動状況が推定されたユーザ位置のうち最も早い時刻のユーザ位置を対象地点として選択する（Ｓ３０１）。続いて、画像選択部１０４は、対象地点が観光目的地点であるか否かを判定する（Ｓ３０２）。

ここで、対象地点が観光目的地点である場合（Ｓ３０２のＹｅｓ）、観光目的画像選択部１４１は、観光地域データ１０２ａ及び画像関連データ３１ａを参照することにより、対象地点を含む観光地域内に撮影位置が含まれる画像データを選択する（Ｓ３０３）。具体的には、観光目的画像選択部１４１は、観光地域データ１０２ａを参照することにより、対象地点を含む観光地域の位置情報を取得する。そして、観光目的画像選択部１４１は、取得した観光地域の位置情報によって特定される地域に撮影位置が含まれる画像データを、画像関連データ３１ａを参照し、選択する。

なお、対象地点を含む観光地域内に撮影位置が含まれる画像データが画像データ記憶部３１に記憶されていない場合、観光目的画像選択部１４１は、画像関連データ３１ａに含まれるテキスト情報に観光地域の名称を含む画像データを選択しても良い。

一方、対象地点が移動目的地点である場合（Ｓ３０２のＮｏ）、移動目的画像選択部１４２は、画像関連データ３１ａを参照することにより、撮影位置が対象地点の近傍である画像データを選択する（Ｓ３０４）。具体的には、移動目的画像選択部１４２は、対象地点からの距離が所定距離未満である撮影位置の画像データを選択する。ここで、所定距離は、対象地点の道路幅、又は移動履歴の時間間隔などに基づく距離である。なお、対象地点から所定距離の範囲内の地域は、ユーザが移動中に見ることができた可能性のある対象物を含む地域であり、観光地域よりも小さい。

続いて、画像選択部１０４は、移動状況が推定されたユーザ位置において、選択されていた対象地点の次の時刻のユーザ位置が存在するか否かを判定する（Ｓ３０５）。ここで、選択されていた対象地点の次の時刻のユーザ位置が存在する場合（Ｓ３０５のＹｅｓ）、画像選択部１０４は、次の時刻のユーザ位置を対象地点として選択する（Ｓ３０６）。そして、ステップＳ３０２からステップＳ３０５までの処理を繰り返す。一方、選択されていた対象地点の次の時刻のユーザ位置が存在しない場合（Ｓ３０５のＮｏ）、画像提示部１０５は、選択された画像データを画像コンテンツサーバ３０から取得し、取得した画像データを表示部に表示する（図８のＳ１０４）。

以上のように、画像選択部１０４は、複数の画像データの中から画像データを選択する。

次に、移動状況推定部１０３が移動状況を推定する処理について、さらに詳細に説明する。

移動状況推定部１０３は、上述のように、移動履歴記憶部１０１に記憶されている移動履歴データ１０１ａに含まれる各ユーザ位置において、ユーザがどのような移動を行っていたのかを推定する。旅行における移動は、観光地域へ向かうための移動（移動目的）と、観光地域に着いてから景色等を楽しむための移動（観光目的）とに分類される。一般的に、ユーザは、観光目的であるときに、観光地域内の名所又は旧跡を被写体として撮影することが多い。そして、ユーザは、観光地域内の名所又は旧跡に関する画像を思い出として残しておきたいと願うものである。そこで、移動状況推定部１０３は、移動履歴データ１０１ａに含まれる各ユーザ位置において、ユーザが観光しているか否かを示す移動状況を推定する。

図１１Ａ、図１１Ｂ及び図１１Ｃは、ユーザが旅行しているときの移動パターンを示す図である。図１１Ａ、図１１Ｂ及び図１１Ｃでは、ユーザの１分間の移動が１つの矢印によって示されている。

ユーザが旅行しているときの移動パターンは、大きく分けて２つある。１つは、図１１Ａに示す移動パターンであって、最寄りの駅等から観光地域まで移動する移動目的の移動パターンである。もう１つは、図１１Ｂ又は図１１Ｃに示す移動パターンであって、ユーザが観光地域において、神社仏閣等の景色を楽しみながら移動する観光目的の移動パターンである。

移動目的の移動パターンにおいて、ユーザは、なるべく少ないエネルギーで移動しようとするので、移動パターンに無駄が少ないことが多い。図１１Ａに示すように、移動目的の移動パターンでは、ユーザは、１０分間の移動量が最大となるように移動している。ここで、１０分間の移動量とは、ユーザがいた位置である第１のユーザ位置と、第１のユーザ位置から１０分後にユーザがいた位置である第２のユーザ位置との距離である。

一方、観光目的の移動パターンにおいて、ユーザは、観光地域又は観光地域内に存在する観光スポットの入口から出口へ移動することが多い。これは、入口又は出口において、ユーザが料金を支払う必要があることが多いからである。なお、入口及び出口は、図１１Ｂに示すように同じ位置にある場合と、図１１Ｃに示すように異なる位置にある場合とがある。

図１１Ｂ又は図１１Ｃから明らかなように、入口及び出口が、同じ位置かどうかに関わらず、観光目的の移動パターンにおける１０分間の移動量は、移動目的の移動パターンにおける１０分間の移動量と比べて短くなる傾向がある。これは、観光地域では、ユーザは、古い建造物を拝観する、又は池あるいは庭を見学するために、観光地域内を蛇行する、又は一度訪れた場所に戻ってくるからである。

なお、移動量を算出する期間が短すぎる場合には、観光目的及び移動目的における移動量の差異が小さくなる。

図１２は、移動量を算出する期間の長さを変えた場合の違いを説明するための図である。図１２には、移動目的の移動パターンにおいて、１分間の移動量から算出される移動速度と、１０分間の移動量から算出される移動速度とが示されている。

図１２に示すように、１０分間の移動速度は比較的安定しているが、１分間の移動速度はバラつきが大きい。例えば、「１０時１４分」又は「１０時１５分」の移動速度は、小さな移動速度であるため、観光目的の移動パターンにおける移動速度との差異が小さくなる。これは、移動量を算出する期間が短い場合には、移動目的の移動パターンであっても、信号待ちなどにより移動量が小さくなることがあるからである。

すなわち、移動量を算出する期間の長さが１分間のように短い場合には、移動状況推定部１０３は、移動量を用いて、移動目的であるか又は観光目的であるかを示す移動状況を推定することが困難である。一方、移動量を算出する期間の長さが１０分間のようにある程度長い場合には、移動状況推定部１０３は、移動量を用いて、移動目的であるか又は観光目的であるかを示す移動状況を判定することが可能となる。

図１３は、各移動パターンにおける移動量の時間推移を示すグラフである。図１３において、縦軸は１０分間の移動量を示し、横軸は時間を示す。

移動量推移２１１は、図１１Ａに示した移動目的の移動パターンにおける１０分間の移動量の推移を示す。また、移動量推移２１２及び２１３のそれぞれは、図１１Ｂ及び図１１Ｃに示した観光目的の移動パターンにおける１０分間の移動量の推移を示す。

移動量推移２１１では、ある程度大きな値の移動量が維持されている。一方、移動量推移２１２では、移動量推移２１１と比べて極端に移動量が小さくなるピークが存在する。また、移動量推移２１３でも、移動量推移２１１と比べて移動量が小さくなる傾向がある。

そこで、図１３に示すように、移動状況推定部１０３は、あらかじめ定められた閾値と各ユーザ位置の移動量とを比較することにより、各ユーザ位置において、ユーザが観光しているか否かを示す移動状況を推定することが可能となる。なお、図１３において、あらかじめ定められた閾値は、ユーザが徒歩により移動した場合の平均的な１０分間の最低移動量である。

なお、道路に沿って観光スポットが存在する場合であっても、移動状況推定部１０３は、上記と同様に移動状況を推定することができる。例えば、ユーザが道沿いに並ぶ桜の花を観光する場合、ユーザは桜の花を見ながら移動するため、桜の花が咲いていない季節にその道を移動目的で移動する場合よりも移動量は小さくなる傾向がある。このように、同じ道路に沿ってユーザが移動する場合であっても、移動状況推定部１０３は、移動量を用いて、ユーザが観光しているか否かを示す移動状況を推定することができる。

また、図１３において、移動状況推定部１０３は、各ユーザ位置の移動量とあらかじめ定められた閾値とを比較することにより移動状況を推定していたが、必ずしもあらかじめ定められた閾値と比較する必要はない。ユーザの移動量は、一緒に移動しているものに応じて変化する場合もある。例えば、ユーザが友人と一緒に移動している場合、会話などをしながら移動することが多いため、移動量が小さくなる傾向がある。また、ユーザが子供と一緒に移動している場合も、移動量が小さくなる傾向がある。そこで、移動状況推定部１０３は、ユーザが一緒に移動しているものに応じて閾値を変更しても良い。これにより、移動状況推定部１０３は、移動状況の推定精度を向上させることが可能になる。

次に、図８〜図１０に示した処理フローの具体例を、以下に詳細に説明する。

まず、移動量算出部１３２による移動量の算出に関する処理の具体例について説明する。

図１４は、本発明の実施の形態１に係る画像選択装置が、移動量を算出する処理及び停滞地点を判定する処理を説明するための図である。なお、図１４において、移動量算出部１３２は、期間の長さを１０分として移動量を算出する。また、図１４に示す、日付、時刻、緯度（北緯）及び経度（東経）は移動履歴データ１０１ａであり、図５に示した移動履歴データ１０１ａと同一である。

まず、移動量算出部１３２は、１０分間の緯度差分及び１０分間の経度差分を算出する。具体的には、移動量算出部１３２は、５分前の緯度と５分後の緯度との差分を１０分間の緯度差分として算出する。また、移動量算出部１３２は、５分前の経度と５分後の経度との差分を１０分間の経度差分として算出する。

例えば、移動量算出部１３２は、時刻「１０：１２：０４」の緯度「３５：０１：４６．４」と、時刻「１０：２１：０４」の緯度「３５：０１：６２．０」との差分値「００：００：１５．６」を、時刻「１０：１７：０４」のユーザ位置における１０分間の緯度差分として算出する。また、例えば、移動量算出部１３２は、時刻「１０：１２：０４」の経度「１３５：４５：２４．１」と、時刻「１０：２１：０４」の経度「１３５：４５：３２．３」との差分値「００：００：０８．２」を、時刻「１０：１７：０４」のユーザ位置における１０分間の経度差分として算出する。

次に、移動量算出部１３２は、１０分間の緯度差分及び１０分間の経度差分のそれぞれを距離に変換する。例えば、日本付近では、緯度差分３秒が約１００ｍに対応し、経度差分４．５秒が１００ｍに対応するので、移動量算出部１３２は、以下の式のように緯度差分及び経度差分から緯度方向の距離及び経度方向の距離を算出する。

緯度方向の距離（ｍ）＝（緯度差分）／３．０＊１００
経度方向の距離（ｍ）＝（経度差分）／４．５＊１００

例えば、時刻「１０：１７：０４」の場合、移動量算出部１３２は、緯度方向の距離を「５２０ｍ（＝１５．６／３．０＊１００）」と算出し、経度方向の距離を「１８２ｍ（＝８．２／４．５＊１００）」と算出する。

ここで、移動量算出部１３２は、計算を簡略化するため、緯度方向の距離及び経度方向の距離のうち大きい方の距離を１０分間の移動量と決定する。例えば、時刻「１０：１７：０４」の場合、移動量算出部１３２は、緯度方向の距離「５２０ｍ」を１０分間の移動量と決定する。

図１４において、時刻「１０：１２：０４」から時刻「１０：１４：０４」の間は、経度方向の距離が緯度方向の距離よりも大きくなるため、移動量算出部１３２は、経度方向の距離を移動量と決定している。また、時刻「１０：１５：０２」から時刻「１０：２１：０４」の間は、緯度方向の距離が経度方向の距離よりも大きくなるため、移動量算出部１３２は、緯度方向の距離を移動量と決定している。

なお、上記において、移動量算出部１３２は、計算を簡略化するために、移動量を近似的に計算した緯度方向及び経度方向の距離を用いて決定していたが、例えばユークリッド距離を移動量として算出しても良い。これにより、移動量算出部１３２は、より正確な移動量を算出することができる。また、移動量算出部１３２は、緯度方向の距離及び経度方向の距離のうち大きい方の距離を移動量と決定していたが、緯度方向の距離及び経度方向の距離の和を移動量と決定しても良い。

次に、停滞地点判定部１３３による停滞地点の判定に関する処理について説明する。

停滞地点判定部１３３は、移動量が閾値未満である場合に、当該ユーザ位置を停滞地点と判定する。閾値は、一般的な人が１０分間に歩く距離よりも少し短い距離であることが好ましい。なぜならば、ユーザは、移動目的の場合であっても、まっすぐ歩くことができない場合、あるいは信号等により停止せざる得ない場合があるからである。また、移動量が、ユークリッド距離のように正確に算出された距離ではなく、近似的に算出された距離であるからでもある。

本実施の形態では、停滞地点判定部１３３は、「４５０ｍ」を閾値として停滞地点を判定する。一般的な成人男子の歩行速度は、約１０５ｃｍ／秒である。したがって、一般的な成人男子が停止することなく１０分間まっすぐ歩いた場合、移動量は「６３０ｍ（＝１０５＊６０／１００＊１０）」となる。そこで、停滞地点判定部１３３は、「６３０ｍ」より短い「４５０ｍ」を閾値として、停滞地点を判定する。

例えば、図１４において、移動量算出部１３２によって算出された移動量はすべて「４５０ｍ」より大きいので、停滞地点判定部１３３は、各ユーザ位置を停滞地点ではないと判定する。そこで、移動目的地点判定部１３５は、図１４に示すように、各ユーザ位置を移動目的地点と判定する。

次に、観光目的地点判定部１３４による観光目的地点の判定に関する処理について説明する。

図１５は、本発明の実施の形態１において、停滞地点と判定されたユーザ位置を示す図である。図１５において、停滞地点２２１、２２２及び２２３は、停滞地点判定部１３３によって停滞地点と判定されたユーザ位置である。

観光目的地点判定部１３４は、停滞地点が基準時間以上連続しており、かつ、停滞地点が観光地域に含まれる場合に、当該停滞地点を観光目的地点と判定する。図１５において、基準時間を「１０分」として観光目的地点が判定された場合、停滞地点２２１、２２２及び２２３のうち停滞地点２２３のみが観光目的地点と判定される。停滞地点２２１は、観光地域に含まれないので観光目的地点と判定されない。さらに、停滞地点２２２は、観光地域に含まれるが、停止地点が１０分以上連続していないので、観光目的地点と判定されない。

以上から明らかなように、観光目的地点判定部１３４は、信号待ちなどにより一時的に停滞した停滞地点２２１、又は単に観光地域内を通過する際に一時的に停滞した停滞地点２２２を、観光目的地点と判定しない。

次に、観光目的画像選択部１４１及び移動目的画像選択部１４２による画像の選択に関する処理について説明する。

図１６は、本発明の実施の形態１に係る画像選択装置が画像データを選択する処理を説明するための図である。また、図１６は、画像提示部１０５がユーザに提示する画面の一例を示す図でもある。

観光目的画像選択部１４１は、観光目的地点を含む観光地域に撮影位置が含まれる画像データを、画像データ記憶部３１に記憶されている複数の画像データの中から選択する。具体的には、図１６に示すように、図１５に示した観光目的地点と判定された停滞地点２２３を含む観光地域Ａ１及びＡ２内に位置する撮影位置２３１の画像データ２４１を、観光時の画像データとして選択する。つまり、観光地域Ａ３及びＡ４に含まれるユーザ位置は、観光目的地点と判定されていないので、観光目的画像選択部１４１は、観光地域Ａ３及びＡ４に撮影位置が含まれる画像データを観光時の画像データとして選択しない。これは、観光地域Ａ３及びＡ４は、ユーザが単に通過した地域であると判断されるためである。

移動目的画像選択部１４２は、移動目的地点の近傍に位置する撮影位置の画像データを、画像データ記憶部３１に記憶されている複数の画像データの中から選択する。具体的には、図１６に示すように、撮影位置２３２の画像データ２４２を移動時の画像データとして選択する。

なお、上記によって選択された画像データの数があらかじめ定められた数よりも多い場合には、画像選択部１０４は、移動履歴データ１０１ａから算出されるユーザの移動方向に応じた画像データを優先的に選択しても良い。一般的に、人間は、歩行しているときには、移動方向の前方を見ていることが多い。そこで、画像選択部１０４は、画像データの撮影方向と移動方向とが近似する画像データを優先的に選択する。これにより、ユーザが実際に見た景色に近い画像データを優先的に選択することが可能となる。

また、上記によって選択された画像データの数があらかじめ定められた数よりも多い場合には、画像選択部１０４は、画像データの撮影日時を用いてさらに選択する画像データを絞り込んでも良い。具体的には、画像選択部１０４は、移動履歴データ１０１ａに含まれるユーザが移動した日時と近い撮影日時の画像データを優先的に選択しても良い。これにより、例えば、桜が開花している季節にユーザが観光地域を観光していた場合には、その季節の画像データが優先的に選択されるようになる。

また、画像選択部１０４は、ユーザが移動していた時刻の情報を利用して画像データを選択しても良い。これにより、例えば、ユーザが午前中に移動していた場合には、画像選択部１０４は、異なる年月日であっても、同じような時刻に撮影された画像データを選択することが可能となる。つまり、ユーザが実際に見た風景に近い画像データが選択されるようになる。

また、画像選択部１０４は、天候等の情報を利用して、ユーザが移動していたときと同じような天候のときに撮影された画像データを優先的に選択しても良い。これにより、例えば、雪が降っていた場合、又は雨が降っていた場合などにユーザが移動していたとき、画像選択部１０４は、ユーザが移動していたときと同様の天候の画像データを優先的に選択することが可能となる。なお、画像選択部１０４は、過去の年月日と天気情報とを対応付けて記憶している天候情報データベース等を参照することにより、天候に関する情報を取得することができる。

以上のように、本発明の実施の形態１に係る画像選択システム１１は、移動履歴データ１０１ａを用いて推定した移動状況に基づいて複数の画像データの中から１以上の画像データを選択できるので、ユーザにとってより適切な画像データを自動的に選択することが可能となる。

特に、画像選択システム１１は、移動履歴データにおいて、一定期間における始点と終点のユーザ位置間の距離を利用して、ユーザが観光しているか否かを示す移動状況を判定することができる。したがって、画像選択システム１１は、ユーザが観光していたか否かに応じて画像データを選択することが可能となる。

さらに、画像選択システム１１は、ユーザ位置が観光地域に含まれている場合にユーザが観光していると判定するので、ユーザが観光しているか否かを示す移動状況を、より正確に判定することができる。

またさらに、画像選択システム１１は、移動状況としてユーザが観光していると推定されたユーザ位置（観光目的地点）に対応する観光地域に撮影位置が含まれる画像データを、選択することができる。したがって、画像選択システム１１は、ユーザが観光した観光地域の画像データを適切に選択することができる。つまり、画像選択システム１１は、ユーザが単に通過しただけである観光地域の画像データを選択しないようにすることができる。

また、画像選択システム１１は、移動状況としてユーザが観光していると推定されなかったユーザ位置（移動目的地点）の近傍において撮影された画像データを、選択することができる。したがって、画像選択システム１１は、ユーザが目的地に向かうために単に移動しているときに見た風景などの画像データを適切に選択することができる。

このように、画像選択システム１１によって、ユーザが旅行したときに見た風景等が撮影された画像データが、他のユーザ等により蓄積された複数の画像データの中から自動的に選択される。したがって、ユーザは、旅行時に自ら積極的に被写体を撮影しなくても、旅行時に撮影されるべき被写体の画像データを取得することができる。つまり、例えばユーザが旅行時に被写体を撮り忘れた場合であっても、ユーザは、撮り忘れた被写体の画像データを旅行後に取得することができる。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について図面を参照しながら説明する。

本変形例に係る画像選択装置は、ユーザの移動履歴データに加えて、ユーザが被写体を撮影することにより得られた画像データの撮影情報を用いて、複数の画像データの中から１以上の画像データを選択する点が、実施の形態１に係る画像選択装置と異なる。

図１７は、本発明の実施の形態１の変形例に係る画像選択システムの機能構成を示すブロック図である。なお、図１７において、図２と同一の構成要素については同一の符号を付し、説明を省略する。

撮影情報記憶部１２１は、ユーザが撮影した画像データの撮影位置の情報を含むユーザ撮影情報１２１ａを記憶している。

画像選択部１２２は、撮影情報記憶部１２１に記憶されているユーザ撮影情報１２１ａに含まれる撮影位置を含む所定の広さの地域を除く地域に、撮影位置が含まれる画像データを画像データ記憶部３１に記憶されている複数の画像データの中から選択する。ここで所定の広さとは、ユーザ撮影情報１２１ａに含まれる撮影位置から一定距離以内の地域である。

すなわち、ユーザが撮影した画像データの撮影位置との距離が閾値より小さい画像データは、ユーザが撮影した画像データと類似性が高いので、画像選択部１２２によって選択されない。

具体的には、例えば、観光目的地点の画像データを選択する場合、画像選択部１２２は、観光目的地点を含む観光地域に撮影位置が含まれる画像データのうち、ユーザ撮影情報１２１ａに含まれる撮影位置から一定距離以上離れた撮影位置の画像データを選択する。また、例えば、移動目的地点の画像データを選択する場合、画像選択部１２２は、移動目的地点がユーザ撮影情報１２１ａに含まれる撮影位置から一定距離以上離れているときにのみ、画像データを選択する。

図１８は、ユーザ撮影情報の一例を示す図である。図１８に示すように、ユーザ撮影情報１２１ａには、画像ＩＤ、カメラ機種、撮影日時、及び撮影方向に加えて、撮影位置を特定するための撮影地点（緯度）及び撮影地点（経度）が含まれる。

例えば、図１８に示すユーザ撮影情報１２１ａは、ユーザが撮影した画像データのうち、画像ＩＤ「ＩＤ１２２３１４５．ｊｐｇ」によって識別される画像データの撮影位置が、緯度「３５：０４：１２．３」及び経度「１３５：４４：２３．５」によって特定される位置であることを示す。

このように、画像選択部１２２は、ユーザが撮影した画像データの撮影位置と一定距離以上離れた撮影位置の画像データを選択するので、ユーザ自身が旅行時に撮影した画像データと類似性の高い画像データが選択される確率を低減させることが可能となる。すなわち、本変形例に係る画像選択システム１１は、ユーザにとって冗長な画像データを選択しないようにすることが可能となる。

なお、本変形例において、画像選択部１２２は、ユーザ撮影情報１２１ａに含まれる情報のうち撮影位置を特定するための情報のみを利用していたが、撮影日時、又は撮影方向の情報も利用して、ユーザが撮影した画像データと類似しない画像データを選択しても良い。さらに、画像選択部１２２は、図１８には示されていないが、広角の度合いを示す情報、又は被写体などを示すテキスト情報等を用いて、ユーザが撮影した画像データと類似しない画像データを選択しても良い。

以上のように、本発明の実施の形態１の変形例に係る画像選択システム１１は、旅行をしたユーザ自身によって旅行時に撮影された画像データがある場合に、ユーザ自身によって撮影された画像データと類似しない画像データを選択することができる。したがって、ユーザは、自身が撮影できなかった被写体の画像データを得ることができる。

なお、本発明の実施の形態１又はその変形例に係る画像選択装置は、地図情報記憶部を備えていたが、本発明に係る画像選択装置は必ずしも地図情報記憶部を備えなくて良い。その場合、移動状況推定部は、停滞地点を観光目的地点と推定する。さらに、画像選択部は、観光目的地点と推定されたユーザ位置の場合、移動目的地点と推定されたユーザ位置の場合よりも広い地域であって、そのユーザ位置を含む地域に撮影位置が含まれる画像データを選択する。一方、移動目的地点と推定されたユーザ位置の場合、観光目的地点と推定されたユーザ位置の場合よりも狭い地域であって、そのユーザ位置を含む地域に撮影位置が含まれる画像データを選択する。これにより、地図情報記憶部がない場合であっても、画像選択装置は、画像データを適切に選択することが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について図面を参照しながら説明する。

例えば、位置検出装置２０がＧＰＳ受信機である場合、ユーザが博物館又は美術館等の建造物内を観光しているときには、ＧＰＳ受信機が人工衛星からの電波を受信できないため、位置検出装置２０はユーザ位置を特定することができない。また同様に、ユーザが電車又はバス等の公共交通機関を利用して移動しているときにも、位置検出装置２０はユーザ位置を特定することができない。

このように移動履歴が時間的に継続していない場合であっても、本実施の形態に係る画像選択システム１２は、その移動履歴を用いて移動状況を推定し、推定した移動状況に基づいて画像データを選択する点に特徴を有する。

図１９は、本発明の実施の形態２に係る画像選択システムの機能構成を示すブロック図である。なお、図１９において、図２と同一の構成要素については同一の符号を付し、説明を省略する。

位置検出装置２０は、ＧＰＳ受信機であって、ＧＰＳによって一定の時間間隔で順次特定される位置を示す位置情報とその位置情報が特定された日時を示す時刻情報との組を移動履歴データとして生成する。

地図情報記憶部１０２は、建造物の位置及び範囲を示す位置情報を含む建造物データ１５２ａを記憶している。具体的には、建造物データ１５２ａには、ＩＤ、名称、観光領域、定義方法及び領域表現が含まれる。なお、建造物データ１５２ａのデータ構造は、図６に示す観光地域データ１０２ａと同様であるので、図示を省略する。

移動状況推定部１５３は、移動履歴データ１５１ａに含まれる第１の位置情報が示すユーザ位置に対応する第１の時刻情報が示す日時と、移動履歴データ１５１ａに含まれる、第１の位置情報の次に取得された位置情報である第２の位置情報に対応する第２の時刻情報が示す日時と、を用いて移動状況を推定する。より具体的には、移動状況推定部１５３は、前述の第１の時刻情報が示す日時から、前述の第２の時刻情報が示す日時までの時間差分（以下、適宜「時間間隔」ともいう）が一定時間を超える場合、第１の時刻情報又は第２の時刻情報を用いて、ユーザが建造物内に存在していたか否かを移動状況として推定する。

また、移動状況推定部１５３は、第１の時刻情報が示す日時から第２の時刻情報が示す日時までの時間間隔が一定時間を超える場合、さらに、第１の位置情報又は第２の位置情報を用いて、ユーザが観光していたか否かを移動状況として推定する。具体的には、移動状況推定部１５３は、第１の位置情報又は第２の位置情報が示す位置が、予め記憶されている建造物の位置から所定範囲内に含まれる場合に、ユーザがこの建造物内を観光していると推定する。より具体的には、ユーザ位置が、地図情報記憶部１０２に記憶されている建造物の位置からあらかじめ定められた距離の範囲に含まれている場合に、移動状況推定部１５３は、第１の位置情報又は第２の位置情報が示す位置における移動状況として、ユーザが建造物内を観光していると推定する。

画像選択部１５４は、ユーザが建造物内に存在していたと推定され、かつ、ユーザが観光していたと推定された場合に、（ｉ）第１及び第２の位置情報の少なくとも一方に基づく画像データであって、（ii）ＧＰＳによって取得された位置情報が付与されていない画像データを、複数の画像データの中から選択する。例えば、画像選択部１５４は、移動状況推定部１５３によってユーザが建造物内を観光していると推定された場合、（ｉ）当該建造物の位置情報が示す地域に撮影位置が含まれる画像データであって、（ii）ＧＰＳ以外によって特定された撮影位置の画像データを選択する。また例えば、画像選択部１５４は、移動状況推定部１５３によってユーザが建造物内を観光していると推定された場合、（ｉ）第１の時刻情報と第２の時刻情報との時間差分に対応する領域内での画像データであって、（ii）ＧＰＳ以外によって特定された撮影位置の画像データを選択する。

図２０は、移動履歴データの一例を示す図である。図２０に示す移動履歴データ１５１ａと図５に示す移動履歴データ１０１ａとは、データ構造が同一であるが、データの内容が異なる。図２０に示すように、移動履歴データ１０１ａには、時刻「０９：３９：０４」から時刻「１０：１７：０４」までのユーザ位置を示す位置情報が含まれていない。

図２１は、画像関連データの一例を示す図である。図２１に示す画像関連データ３５ａには、図４に示す画像関連データ３１ａに含まれる情報に加えて、撮影位置を示す位置情報がどのように登録されたかを示す情報である位置情報登録形式が含まれる。この位置情報登録形式を用いて、画像選択部１５４は、ＧＰＳによって取得された位置情報が画像データに付与されているか否かが判定できる。

図２２は、画像関連データに含まれる位置情報登録形式を登録する方法の一例を示す図である。具体的には、図２２は、画像コンテンツサーバ３０に画像データがアップロードされる際に、位置情報登録形式を登録する方法の一例を示す図である。

図２２において、画像データをアップロードするユーザ（以下、「アップロードユーザ」という。）は、インターネットブラウザ等を利用して画像データを画像コンテンツサーバ３０にアップロードする。

まず、アップロードする画像データが指定される。ここで、指定された画像データのヘッダ情報に撮影位置と撮影時刻とを示す情報が含まれている場合、「ＧＰＳデータ」が位置情報登録形式として登録される。一方、指定された画像データのヘッダ情報に撮影位置と撮影時刻とを示す情報が含まれていない場合、アップロードユーザは、撮影位置を設定する方法を選択する。

ここで、アップロードユーザが「地図から選択」を選択した場合、表示された地図上の指定された位置に対応する位置情報が、画像データの撮影位置の位置情報として登録されるとともに、「地図入力」が位置情報登録形式として登録される。一方、アップロードユーザが「ランドマーク名称で選択」を選択した場合、入力されたランドマークの名称に対応する位置情報が画像データの撮影位置の位置情報として登録されるとともに、「建造物指定入力」が位置情報登録形式として登録される。なお、ランドマークの名称に対応する位置情報は、例えば建造物の名称と位置情報とを関連付けたデータベース等を用いて特定される。

次に、以上のように構成された画像選択システム１２における各種動作について説明する。

図２３は、本発明の実施の形態２に係る画像選択システムにおける、移動状況を推定する処理及び画像データを選択する処理の詳細を示すフローチャートである。すなわち、図２３は、図８に示したステップＳ１０２及びＳ１０３の処理の詳細を示すフローチャートである。

まず、移動状況推定部１５３は、移動履歴記憶部１０１から移動履歴データ１５１ａを読み出す。そして、移動状況推定部１５３は、読み出した移動履歴データ１５１ａにおいて、ユーザ位置を示す位置情報が一定時間を超えて存在しない場合に、この一定時間に基づく位置情報を抽出する。より具体的には、移動状況推定部１５３は、この一定時間を超える期間の始まりの時刻（第１の時刻）における第１のユーザ位置を示す第１の位置情報Ｗ１と、当該期間の終わりの時刻（第２の時刻）における第２のユーザ位置を示す第２の位置情報Ｗ２とを抽出する（Ｓ５０１）。なお、一定時間は、予め定められた時間である。例えば、一定時間は、ＧＰＳによって、本来ユーザ位置が特定される時間間隔を示す時間である。具体的には、一定時間は例えば１分間である。つまり、移動状況推定部１５３は、この抽出された第１及び第２の位置情報が示すユーザ位置において、ユーザは建造物内に存在した可能性が高いと推定する。

次に、移動状況推定部１５３は、第１及び第２の位置情報Ｗ１及びＷ２が示す第１のユーザ位置及び第２のユーザ位置間の距離を第１の時刻から第２の時刻までの時間で除した値を、移動速度として算出する（Ｓ５０２）。

続いて、移動状況推定部１５３は、移動速度が基準速度より小さいか否かを判定する（Ｓ５０３）。基準速度は、例えば、一般的なユーザが徒歩により移動する速度である。つまり、移動状況推定部１５３は、移動速度が基準速度より小さいか否かに基づいて、ユーザが観光していたか否かを判定する。

ここで、移動速度が基準速度より小さい場合（Ｓ５０３のＹｅｓ）、移動状況推定部１５３は、第１のユーザ位置又は第２のユーザ位置から近い位置に建造物が存在するか否かを判定する（Ｓ５０４）。具体的には、移動状況推定部１５３は、地図情報記憶部１０２に記憶されている建造物データ１５２ａを読み出し、建造物の位置情報を取得する。そして、移動状況推定部１５３は、取得した位置情報が示す位置のうち、第１のユーザ位置又は第２のユーザ位置との距離があらかじめ定められた距離より小さくなる位置があるか否かを判定する。

ここで、第１のユーザ位置又は第２のユーザ位置から近い位置に建造物が存在する場合（Ｓ５０４のＹｅｓ）、移動状況推定部１５３は、第１のユーザ位置又は第２のユーザ位置における移動状況として、ユーザが当該建造物内を観光していると推定する。そして、画像選択部１５４は、（ｉ）第１のユーザ位置又は第２のユーザ位置から近い位置に存在する建造物の地域に含まれる画像データであって、（ii）位置情報登録形式がＧＰＳによって特定された位置情報ではないことを示す画像データを、建造物内において撮影された被写体の画像データとして選択する（Ｓ５０５）。一般的に、画像データに位置情報を自動的に付加するカメラでは、ＧＰＳによって位置が特定されることが多い。そのようなカメラによって被写体が撮影された画像データにおいて、位置情報がＧＰＳによって特定された位置情報でないことは、撮影位置が建造物内である可能性が高い。したがって、画像選択部１５４は、位置情報登録形式がＧＰＳによって特定された位置情報ではないことを示す画像データを、建造物内において撮影された被写体の画像データとして選択する。

一方、第１のユーザ位置又は第２のユーザ位置から近い位置に建造物が存在しない場合（Ｓ５０４のＮｏ）、画像選択部１５４は、ノイズなどにより位置検出装置２０が位置を検出できなかったと判断し、画像データを選択しない（Ｓ５０６）。

一方、移動速度が基準速度以上である場合（Ｓ５０３のＮｏ）、移動状況推定部１５３は、移動手段を特定する（Ｓ５０７）。具体的には、第１のユーザ位置又は第２のユーザ位置と電車の駅又はバスの停留所との距離が閾値未満である場合、移動状況推定部１５３は、移動手段を電車又はバスと特定する。

ここで、移動手段が特定できた場合（Ｓ５０７のＹｅｓ）、画像選択部１５４は、特定された移動手段に関する画像データを選択する（Ｓ５０８）。具体的には、移動状況推定部１５３は、例えば、画像関連データ３５ａに含まれる位置情報又はテキスト情報などを参照することにより、電車の駅若しくは電車、又はバスの停留所若しくはバスの画像データを選択する。一方、移動手段が特定できなかった場合（Ｓ５０７のＮｏ）、画像選択部１５４は、画像データを選択しない（Ｓ５０９）。

次に、図２３に示した処理フローの具体例を、詳細に説明する。

移動状況推定部１５３は、例えば、図２０に示す移動履歴データ１５１ａにおいて、位置情報である緯度（北緯）及び経度（東経）が設定されている又は初期値ではない、時刻及び位置情報を時刻順に読み出す。具体的には、移動状況推定部１５３は、第１の時刻「０９：３８：０４」を読み出した後、第２の時刻「１０：１８：０４」を読み出す。そして、移動状況推定部１５３は、第２の時刻「１０：１８：０４」を読み出した際に、直前に読み出した第１の時刻「０９：３８：０４」との時間差分「３８分」を算出する。

算出された時間差分「３８分」は、ＧＰＳによってユーザ位置が特定される時間間隔である基準時間「１分」を超えている。したがって、移動状況推定部１５３は、第１の時刻と第２の時刻との間に、ユーザが建造物内に存在していた可能性があると推定する。そこで、移動状況推定部１５３は、第１の時刻のユーザ位置である第１のユーザ位置と、第２の時刻のユーザ位置である第２のユーザ位置との距離を算出する。具体的には、移動状況推定部１５３は、第１のユーザ位置と第２のユーザ位置との緯度の差分「１．８度」及び経度の差分「１．０度」を算出し、以下の式により緯度方向及び経度方向の距離を算出する。

緯度方向の距離（ｍ）＝１．８／３．０＊１００＝６０（ｍ）
経度方向の距離（ｍ）＝１．０／４．５＊１００＝２２（ｍ）

そして、移動状況推定部１５３は、緯度方向及び経度方向の距離の和「８２ｍ」と、第１の時刻と第２の時刻との時間差分「３８分」とを用いて、移動速度「２．１ｍ／分（＝８２ｍ／３８分）」を算出する。

ここで、算出された移動速度「２．１ｍ／分」は、一般的なユーザが徒歩により移動する速度「６３ｍ／分」未満である。したがって、移動状況推定部１５３は、第１及び第２のユーザ位置において、ユーザが観光していたと推定する。そして、移動状況推定部１５３は、地図情報記憶部１０２に記憶されている建造物データ１５２ａを参照することにより、第１のユーザ位置及び第２のユーザ位置の近傍に建造物が存在するか否かを判定する。ここで、第１のユーザ位置及び第２のユーザ位置の近傍に建造物が存在する場合、移動状況推定部１５３は、第１のユーザ位置又は第２のユーザ位置の移動状況として、ユーザが当該建造物内を観光していると推定する。つまり、本実施の形態では、移動状況推定部１５３は、第１及び第２の時刻間の時間間隔が一定時間を超える場合であって、第１及び第２のユーザ位置の近傍に建造物が存在する場合に、ユーザが建造物内に存在していたと推定する。

なお、本実施の形態では、移動状況推定部１５３は、建造物データ１５２ａを利用して、ユーザが建造物内に存在していたか否かを推定しているが、必ずしもこのような方法によってユーザが建造物内に存在していたか否かを推定する必要はない。例えば、移動状況推定部１５３は、第１及び第２の時刻間の時間間隔が一定時間を超えるか否かのみに基づいて、ユーザが建造物内に存在していたか否かを推定しても良い。つまり、移動状況推定部１５３は、位置情報が取得されたときの時間間隔と移動速度とに基づいて、ユーザが建造物内を観光していたか否かを推定しても良い。

図２４は、本発明の実施の形態２に係る画像選択装置が移動状況を推定する処理を説明するための図である。図２４には、移動履歴データ１５１ａにおいて時刻順に位置情報を並べた場合に、隣り合う第１及び第２の位置情報Ｗ１及びＷ２に対応する時刻の時間差分が基準時間を超えるときのユーザ位置を示す移動履歴が、地図上にプロットされている。

移動履歴３０１における移動速度「２．１ｍ／分」は、一般的なユーザが徒歩により移動する速度「６３ｍ／分」未満である。さらに、移動履歴３０１の近くに建造物Ｂ１が存在する。したがって、移動状況推定部１５３は、移動履歴３０１の移動状況として、ユーザが建造物Ｂ１内を観光していると推定する。

一方、移動履歴３０２及び３０３における移動速度「１８０ｍ／分」及び「３００ｍ／分」は、「６３ｍ／分」以上である。さらに、移動履歴３０２の近くにはバスに乗降する場所であるバスの停留所が存在し、移動履歴３０３の近くには電車に乗降する場所である駅が存在する。したがって、移動状況推定部１５３は、移動履歴３０２の移動状況として、ユーザはバスを利用して移動していたと推定する。また、移動状況推定部１５３は、移動履歴３０３の移動状況として、ユーザは電車を利用して移動していたと推定する。

以上のように、本発明の実施の形態２に係る画像選択システム１２は、移動履歴データに移動履歴が存在しない期間が含まれていても、その期間における移動状況を推定することができる。特に、画像選択システム１２は、移動履歴が存在しない期間における移動距離が小さい場合であって、かつ、移動履歴が存在しない期間の前後におけるユーザ位置が建造物の近傍である場合に、移動状況として、ユーザがその建造物内を観光していると推定することができる。これにより、画像選択システム１２は、観光していると推定された建造物に関する画像データを選択することが可能となる。

さらに、画像選択システム１２は、ＧＰＳによって撮影位置が特定された画像データであるか否かによって、その画像データが、建造物内において被写体が撮影された画像データであるか否かを推定することができる。これにより、画像選択システム１２は、移動状況として、ユーザがその建造物内を観光していると推定された場合に、その建造物内において撮影された画像データを選択することができる。

また、画像選択システム１２は、移動履歴が存在しない期間における移動距離が長い場合であって、かつ、移動履歴が存在しない期間の前後におけるユーザ位置が電車、バス等の乗り物に乗降する場所の近傍である場合に、移動状況として、ユーザがその乗り物を移動手段として移動していると推定することができる。これにより、画像選択システム１２は、ユーザが移動する際に利用した移動手段に関する画像データを選択することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。

実施の形態２では、位置情報が取得できていなかった（図２０のような移動履歴データ）ときに、その時間帯は、ユーザは建造物内に存在したと解釈している。これにより、画像選択装置は、他人が撮影した画像データを選択するときに、ＧＰＳによって取得された位置情報が付与されていない画像データを選択することで、ユーザの行動に関連した画像データを検出できる。本実施の形態に係る画像選択装置は、さらに、ユーザが建造物内へ進入した場合に、その建造物内へ進入する目的を推定することで、より、ユーザの意図にあった画像データを選択することが可能になる。

建造物が、公共の施設であった場合には、その建造物内で催されているイベントに関する情報が蓄積されていることが多い。例えば、建造物が博物館等である場合には、展示物は定期的に変更されることが多い。ある博物館Ｘにおいて、ある週は、画家Ａの絵画を展示しているが、次の週には、別の画家Ｂの絵画を展示している。このような状況において、ユーザが博物館Ｘを画家Ａの作品を鑑賞するために訪問したと推定された場合には、他の人が同じ建造物Ｘに画家Ａの作品を鑑賞するために訪問した状況で撮影した画像データを選択することで、ユーザにとって、有用な画像データを選択することが可能になる。

このような本実施の形態に係る画像選択システムの構成を図２５に示す。図２５に示すシステム構成では、実施の形態２の図１９に示す地図情報記憶部１０２に、さらに、建造物期間データ２６０１が記憶されている。その他の部分に関しては、実施の形態２と同様であるため、説明を省略する。

建造物期間データ２６０１には、例えば、図２６に示すように、各建造物において、閲覧物とその展示期間に関する情報が蓄積されている。この建造物期間データ２６０１を利用することで、画像選択装置１５０は、ユーザが建造物を訪問した目的を推定することが可能になる。その結果、画像選択装置１５０は、画像コンテンツサーバ３０へアップロードされた複数の画像データの中から、建造物を訪問した目的に合致する画像データを選択することが可能になる。

具体的な処理の流れを図２７のフローチャートを用いて説明する。なお図２７の処理は、図２５に示す移動状況推定部１５３における処理となる。

はじめに、移動状況推定部１５３は、移動履歴記憶部１０１で記憶されているユーザの移動履歴データを読み出す（Ｓ２８０１）。次に、移動状況推定部１５３は、初期位置においては、屋外にいてＧＰＳセンサによって位置情報が取得できたとし、屋外フラグＯｕｔ＝１とする（Ｓ２８０２）。次に、移動状況推定部１５３は、ＧＰＳセンサによって位置情報が取得されているか否かを判定する（Ｓ２８０３）。ここで、位置情報がＧＰＳセンサで取得できている場合には（Ｓ２８０３のＹｅｓ）、ステップＳ２８０４へ進む。

ステップＳ２８０４では、移動状況推定部１５３は、その位置情報を屋外位置情報Ｐ１の座標として記憶させる（Ｓ２８０４）。次に、移動状況推定部１５３は、屋外フラグＯｕｔ＝１であるか否かを判定する（Ｓ２８０５）。ここで、屋外フラグＯｕｔ＝１の場合には（Ｓ２８０５のＹｅｓ）、前ステップの位置もＧＰＳセンサで屋外の位置座標として検出されていることを示しているため、ステップＳ２８０６へ進む。また、屋外フラグＯｕｔ＝０の場合には（Ｓ２８０５のＮｏ）、前ステップの位置が屋内であったことを示しているため、今回検出された位置座標は建造物から外にでてきた状態であると推定し、ステップＳ２８０７へ進む。

また、ステップＳ２８０７では、ユーザが屋外にでてきた状態なので、移動状況推定部１５３は、屋外フラグＯｕｔ＝１に変更し、ステップＳ２８０８へ進む。ステップＳ２８０８では、移動状況推定部１５３は、次の位置情報が取得できているか否かを判断し、次の位置情報がない場合には、図２７のサブルーチンを終了する。次の位置情報がある場合には、ステップＳ２８０３へ戻る。

次に、ステップＳ２８０３で、ＧＰＳセンサで位置情報が取得できていなかった場合には（Ｓ２８０３のＮｏ）、ステップＳ２８０９へ進む。ステップＳ２８０９では、ステップＳ２８０５と同様に、移動状況推定部１５３は、前ステップでの位置が屋外であったか否かを判断する（Ｓ２８０９）。屋外（Ｏｕｔ＝１）であった場合には（Ｓ２８０９のＹｅｓ）、移動状況推定部１５３は、ＧＰＳセンサからの情報が取得できなくなったため、建造物内に進入したと推定する（Ｓ２８１０）。また、移動状況推定部１５３は、屋外フラグＯｕｔ＝１をＯｕｔ＝０に変更する。次に、移動状況推定部１５３は、建造物内に進入したと推定したため、前ステップにおける屋外位置座標Ｐ１のデータを基に、建造物Ｂ１を特定する（Ｓ２８１１）。なお、移動状況推定部１５３は、建造物データを参照して、建造物Ｂ１を特定する。一方。ステップＳ２８０９において、屋外フラグＯｕｔ＝０であった場合には（Ｓ２８０９のＮｏ）、移動状況推定部１５３は、前ステップにおいてもＧＰＳセンサによって位置情報が取得できなかったことを示しているため、建造物Ｂ１内を移動していると推定する（Ｓ２８１２）。

このようにして、移動状況推定部１５３は、ＧＰＳセンサで位置情報が取得できなくなった時点と、ＧＰＳセンサによって位置情報が取得できるようになった時点との位置情報から、ユーザが進入した建造物を特定することが可能になる。また、本実施の形態においては、移動状況推定部１５３は、建造物に進入した時刻と、建造物から退出した時刻とを基に、建造物内でユーザが鑑賞していた対象を、図２６で示した建造物内での開催期間の情報を基に、特定する。例えば、建造物に進入した日が２０１０年２月２４日の場合には、移動状況推定部１５３は、図２６に示す建造物期間データ２８０１を参照することで、このユーザが、Ｂ古代史展を鑑賞するために、建造物に進入したと推定する。これにより、画像選択部１５４は、画像コンテンツサーバ３０に記憶されている画像データの中から、Ｂ古代史展が開催されていた期間である、２０１０年２月１５日から２０１０年３月１４日に建造物内で撮影された画像データを選択することで、ユーザが鑑賞していた閲覧物が撮影された画像データのみを抽出することができる。

ここで、ユーザが建造物に進入した日付が２０１０年２月１５日であった場合に、仮に、その日時に近い画像データを選択すれば、前日まで開催されていたＡ美術展で撮影された画像データまで選択されることとなる。本実施の形態では、画像選択部１５４は、日時が単純に近いものを選択するのではなく、訪問した建造物での期間の情報である閲覧物展示期間データを利用して、その期間で撮影された写真等の情報だけを選択することができ、ユーザが望む写真等の画像データだけを抽出することができるようになる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。

実施の形態３においては、ユーザが建造物に進入した日時の情報を利用して、他人が撮影した画像データを選択する画像選択装置について説明した。実施の形態３においては、図２６のように、各建造物に対して、閲覧物の展示期間に関する情報をあらかじめ登録しておく必要がある。しかしながら、すべての建造物において、このような閲覧物に関する情報が登録されているとは限らない。例えば、体育館等で、一日に複数の試合（バレーボール、バスケットボール、バトミントン等）が開催されていて、各試合が行われている時間の長さは、状況によって異なる場合には、図２６のような閲覧物に関する日時の情報を登録することが困難になる。

そこで、本実施の形態においては、画像選択装置１５０は、画像コンテンツサーバに登録されている画像データの撮影日時の情報を利用して、建造物に関する期間を自動的に生成する。

本実施の形態に係る画像選択システムの構成を図２８に示す。図２８においては、実施の形態２と同様の処理を行う構成要素については、同じ番号を付与している。本実施の形態に係る画像選択装置１５０は、建造物に関する期間を示す期間情報を生成する期間情報生成部２９０２を備える。

画像データ記憶部３１には、図２１に示しているようなアップロードされた画像データ（特に写真データ）に関する画像関連データ３５ａが記憶されている。画像関連データ３５ａには、特に、撮影場所に関する情報と、撮影日時に関する情報とが含まれている。なお、建造物内において撮影された画像データの撮影場所に関する情報は、ＧＰＳセンサによって自動的に付与されたものではなく、撮影時刻の前後の位置情報によって推測された建造物の位置情報、あるいは画像データをアップロードするユーザが地図等の場所を選択することで登録された位置情報である。

期間情報生成部２９０２は、アップロードされた画像データの撮影日時の情報を基に、クラスタリング等の手法によって時間を分割することにより、期間情報を生成する。例えば、図２９に示すように、期間情報生成部２９０２は、所定の場所で撮影された画像データ（建造物内で撮影された画像データ）を抽出する。そして、期間情報生成部２９０２は、抽出された画像データの撮影日時の情報を用いて、時間を分割する。これにより、例えば、複数の試合（例えばバトミントンの試合等）が建造物内で行われていた場合には、期間情報生成部２９０２は、各試合単位で、時間を分割することが可能になる。屋内の体育館等において、複数の試合が開催されていた場合、その間の所定の時間の休憩等があると、その時間帯においては、撮影される画像データが少なくなる。この特徴を利用し、期間情報生成部２９０２は、体育館で行われているイベントに関する期間情報を生成する。次に、その処理の内容について述べる。

アップロードされた画像データの撮影日時の分布を図３０の（ａ）に示す。撮影者によって撮影日時は異なるが、体育館内での試合やイベントが行われている場合には、被写体となる試合又はイベントによって画像が撮影される時刻の密度が異なる。例えば、体育館で行われる試合の間の休憩時間等では、撮影される画像データの数が少なくなることが多い。特に、サーバにアップロードされる画像データは、試合の状況が的確に撮影されている画像データであることが多いため、撮影時刻の偏りが生じる。そこで、期間情報生成部２９０２は、時間を所定間隔に分割した時間帯ごとに、画像データの撮影枚数を計算する。この計算結果を図３０の（ｂ）に示している。

図３０の（ｂ）に示したように、期間情報生成部２９０２は、撮影枚数が少なくなっている時間帯を区間候補Ａ、Ｂ、Ｃとして抽出し、この区間の前後で、試合又はイベントの区切りが存在したと判断する。次に、期間情報生成部２９０２は、各区間候補の前後で時間を分割し、分割された時間ごとでの撮影時刻の分散を計算する。

図３１に示すように、パターン１では、期間情報生成部２９０２は、区間Ａで時間を分割したときに、その前後での撮影時刻の分散の平均を算出している。同様に、期間情報生成部２９０２は、パターン２では、区間Ｂを利用し、パターン３では区間Ｃを利用して時間を分割している。さらに、期間情報生成部２９０２は、どの分割が適当かを分散の平均を用いて評価する。図３１の例では、パターン１の分散の平均Ｅ１が他のパターンの分散の平均Ｅ２及びＥ３よりも小さいので、パターン１が最も高い評価となっている。そのため、この建造物内において、区間Ａの前後でイベントの切替が生じていると推測される。そこで、期間情報生成部２９０２は、区間Ａの前後で分割された期間を示す情報を期間情報として生成する。

このようにして、同一の建造物においても、ユーザが滞在している時間帯によって、鑑賞対象が異なる場合でも、その鑑賞対象を、撮影日時の情報を用いて推定することができるようになる。これにより、ユーザが鑑賞していた対象物または、被写体として撮影した写真に対して、撮影できなかった写真等のデータを、他の人が撮影した写真からネットワークを用いて共有することができるようになる。

なお、本実施の形態では、画像選択装置１５０は、サーバにアップロードされた全ての画像データについて、撮影された時刻を基に時間を分割した。ここで、さらに、撮影された画像データに撮影時の拡大ズームの情報が蓄積されていれば、画像選択装置１５０は、被写体に対してズームを行った画像データのみを用いて撮影時刻の分割を行っても良い。一般に、被写体に対してズームを行うときには、その被写体の拡大した画像データを蓄積しておきたいという要求があるときである。したがって、ズームの情報を用いて、建造物内で行われているイベントに対する関心度を間接的に測定することが可能になる。そこで、撮像情報としてズームの情報が付与されている場合には、画像選択装置１５０は、ズームで撮影された画像データのみを用いて時間を分割することで、さらに、精度が高い期間の生成を実現することが可能になる。

なお、本実施の形態では、サーバにアップロードされた画像データの撮影日時の情報を用いて時間の分割を行った。これは、体育館で行われる試合中に写真がとれることを前提としている。一方で、選手が試合に集中しなければならない競技の場合には、ユーザは試合中には写真を撮影することができず、試合の合間の休憩時間等にユーザが写真を撮影することになる。このような場合においても、同様に、サーバにアップロードされた時刻情報を利用して、屋内で開催されているイベントの時間を分割することが可能になる。

なお、本実施の形態において、期間情報生成部２９０２は、画像選択装置１５０に備えられていたが、画像コンテンツサーバ３０に備えられても良い。

（実施の形態５）
次に、本発明の実施の形態５について説明する。

実施の形態４では、アップロードされた画像データの撮影時刻を用いて自動的に時間を分割し、建造物内でのイベントの区切りを抽出した。本実施の形態では、画像選択装置１５０は、ユーザ（以下、「被験者」ともいう）の撮影時刻の時系列の履歴を用いて、類似した撮影履歴をもつ他のユーザを抽出し、当該他のユーザが撮影した画像データを選択し提示する。これにより、建造物内でのイベントに対して、興味が類似しているユーザ間で、写真データ等の画像データを交換することが容易となり、ユーザが撮影できなかった画像データを、他のユーザが撮影した画像データの中から取得することができるようになる。

なお、ＧＰＳセンサを利用した移動履歴データからの、建造物への進入、退出に関する処理は、上記の実施の形態で説明したものと同様の処理であるため、説明を省力する。ここでは、建造物内での撮影時刻の履歴から、ユーザ間で類似度を算出する方法について述べる。

本実施の形態の画像選択システムの構成を図３２に示す。図３２において、実施の形態２と同様の処理を行う構成要素については同じ番号を付与している。本実施の形態のシステム構成は、実施の形態２のシステム構成に、さらに、画像コンテンツサーバ３０内での構成要素が追加される。本実施の形態において、画像関連データ３５ａには、アップロードされた画像データの撮影者、撮影日時、撮影アングル、ＧＰＳセンサによって位置情報が付与されたか否か等の情報が含まれる。また、画像コンテンツサーバ３０は、画像関連データ３５ａからＧＰＳセンサ等により取得された撮影場所を抽出する撮影場所抽出部３３０４を備える。

なお、撮影場所抽出部３３０４においては、アップロードされた画像データを撮影したときにＧＰＳセンサによって位置情報が検出されていない場合も、その時間の前後での位置情報から、建造物内で撮影された画像データであることを推定して、撮影場所として登録されているものも含む。

また、撮影者別時系列抽出部３３０５は、画像関連データ３５ａで蓄積されている撮影者状態（または写真をアップロードした者のＩＤ）に基づき、その撮影者がその場所で撮影している時系列情報を抽出する。撮影場所抽出部３３０１は、移動履歴記憶部１０１で記憶されている移動履歴情報から被験者が撮影した場所を推定する。なお、この推定においては、実施の形態３の図２７で説明したフローチャートを利用して、ＧＰＳセンサで位置情報が特定できない場合にも、時間的にその前後の位置情報と図６で述べた地域の建造物データの情報とから、場所を推定するものである。撮影時系列抽出部３３０２は、披見者が撮影場所抽出部３３０１で抽出された場所で撮影された時刻の時系列情報を抽出する。

時系列類似度計算部３３０６は、撮影時系列抽出部３３０２で抽出された、所定の場所での被験者が撮影した画像データの時系列情報と、撮影者別時系列抽出部３３０５で抽出されたアップロードしたユーザごとの画像データの時系列情報との類似度を計算する。

撮影者選択部３３０７は、時系列類似度計算部３３０６で類似度が高い撮影者を選択する。

以上のように構成されたシステムにおいて、時系列類似度計算部３３０６について、さらに詳細に説明する。ある被験者の移動履歴からＧＰＳセンサによって位置情報が取得できなくなったため、その被験者は建造物に進入したと推定されたとする。このとき、建造物内では、ＧＰＳセンサによって位置情報を取得することはできないが、撮影時刻に関する情報または、フラッシュメモリに撮影した画像情報を蓄積した時刻の情報は取得することが可能である。そこで、時刻を１０分ごとに分割し、図３３（ａ）に示すように、各１０分において撮影された画像データの枚数を計算する。なお、この処理は、撮影時系列抽出部３３０２において実行される。

次に、被験者が進入したと推定された建造物内で撮影された画像データについて、ユーザごとに撮影時刻について計算する。具体的には、図３３（ｂ）に示すように、各ユーザＩＤに対して、そのユーザが撮影した画像データの枚数の分布を撮影者別時系列抽出部３３０５で抽出する。

ここで、時系列類似度計算部３３０６は、図３３（ａ）で抽出された被験者の撮影時刻の分布を示す撮影パターンと図３３（ｂ）の画像データをアップロードしたユーザの撮影時刻の分布を示す撮影パターンとの類似度合いを示す類似度を計算する。例えば、時系列類似度計算部３３０６は、ユークリッド距離やベクトルの内積等を用いて類似度を計算する。

その結果、図３３の例では、ユーザ０１３４とユーザ０１３７とが被験者の撮影パターンと類似していることが計算され、それらのユーザが選択される。被験者の撮影パターンと類似しているということは、被験者の興味と類似している可能性が高いため、被験者が撮影できなかった画像データが選択される可能性が高くなる。例えば、被験者が、体育館で開催されている試合を見学していたときに、前半部分のみに興味があり、その時間帯に多くの画像データを撮影していた場合には、同じような興味をもったユーザが選択され、そのようなユーザが撮影した画像データが選択されるようになる。

本実施の形態においては、被験者が建造物内に入ってからの撮影時刻のパターンが類似している別の撮影者が撮影した画像データを選択することにより、被験者が撮影できなかったような画像データが選択されるようになる。

なお、本実施の形態では、被験者の位置情報の履歴から、ＧＰＳセンサでデータが取得できなくなったときに、建造物内に存在したことを推定している。このためには、ＧＰＳセンサの電源が入っていて、位置が特定できなかったのか、単にＧＰＳセンサの電源が入っていなかったために位置情報が取得できなかったのかを判断する必要がある。よって、画像データ（写真データ）には付加情報として、ＧＰＳセンサによって位置情報が取得できなかった場合に、ＧＰＳセンサの電源のＯＮ／ＯＦＦの情報を付与して蓄積しておくことで、さらに、建造物内外の区別の推定精度を向上させることが可能になる。

また、被験者の位置情報の履歴から、建造物内にいたのかを推定する説明を行ったが、この処理は、アップロードされた画像データの付加情報の処理としても利用することができる。例えば、ＧＰＳセンサによる位置情報が付与されていないときに、その時刻の前後での位置情報と、ＧＰＳセンサの電源のＯＮ／ＯＦＦの情報とをもとに、建造物内で撮影された画像データであるか、ＧＰＳセンサの電源が入っていなかったために位置情報が付与されていなかった画像データかを判断することが可能になる。

以上、本発明に係る画像選択システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、実施の形態１に係る画像選択装置１００と、実施の形態２〜５のいずれかに係る画像選択装置１５０とを組み合わせた画像選択装置も本発明の範囲内に含まれる。

また、上記実施の形態において、画像選択装置は、画像提示部を備えていたが、必ずしも画像提示部を備えなくても良い。また、画像選択装置は、画像提示部の代わりに、例えば、選択された画像データを記録媒体などに単に出力する出力部を備えても良い。

また、上記実施の形態において、画像選択装置は、移動履歴記憶部を備えていたが、必ずしも移動履歴記憶部を備えなくても良い。その場合、画像選択装置は、例えば、ネットワーク等を介して接続されたコンピュータが備える移動履歴記憶部から移動履歴データを取得すれば良い。また、画像選択装置は、ＳＤカードなどの取り外し可能な記録媒体に記録されたデータを読み出すためのインタフェースを介して、当該記録媒体から移動履歴データを取得しても良い。

また、本発明は、画像選択装置が備える特徴的な構成要素の動作をステップとする画像選択方法として実現されても良い。また、本発明は、そのような画像選択方法に含まれるステップを、ＣＰＵ、メモリ等を備えるコンピュータに実行させるプログラムとして実現されても良い。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信されても良い。

さらに、本発明は、Ｗｅｂアプリケーションとして実現されても良い。この場合、プログラムの全部又は一部は、サーバによって実行される。さらに、ユーザは、インターネットブラウザ等を介して、サーバが実行したプログラムの結果を得ることができる。これにより、ユーザは、利用する端末に依存することなく、本発明による効果又は便益を享受することができる。

特に、ユーザは、画像データを、自宅だけではなく屋外において閲覧したいことも多い。例えば、ユーザは、電車の待ち時間等の空いている時間を利用して、駅などにおいて画像データを閲覧したい場合がある。また、友人宅において、ユーザが過去に行った旅行に関して友人と会話をしているとき等に、ユーザは、旅行に関する画像データを閲覧したい場合もある。すなわち、ユーザは、様々な状況に応じて、過去の移動履歴データに関する画像データを、選択し、閲覧したい場合がある。このような場合に、本発明がＷｅｂアプリケーションとして実現されていれば、ユーザが携帯している端末に依存することなく、移動履歴データに関する画像データを選択し、閲覧することが可能となる。

本発明は、ユーザが旅行等をしたときの移動履歴データを利用して、複数の画像データの中からユーザが望むと考えられる画像データを自動的に選択することが可能な画像選択装置として利用することができる。

１１、１２ 画像選択システム
２０ 位置検出装置
２１ 位置検出部
３０ 画像コンテンツサーバ
３１ 画像データ記憶部
３１ａ、３５ａ 画像関連データ
１００、１５０ 画像選択装置
１０１ 移動履歴記憶部
１０１ａ、１５１ａ 移動履歴データ
１０２ 地図情報記憶部
１０２ａ 観光地域データ
１０３、１５３ 移動状況推定部
１０４、１５４ 画像選択部
１０５ 画像提示部
１２１ 撮影情報記憶部
１２１ａ ユーザ撮影情報
１２２ 画像選択部
１３１ 観光時間設定部
１３２ 移動量算出部
１３３ 停滞地点判定部
１３４ 観光目的地点判定部
１３５ 移動目的地点判定部
１４１ 観光目的画像選択部
１４２ 移動目的画像選択部
１５２ａ 建造物データ
２０１、３０１、３０２、３０３ 移動履歴
２０２、２３１、２３２ 撮影位置
２０３ 観光地域
２１１、２１２、２１３ 移動量推移
２２１、２２２、２２３ 停滞地点
２４１、２４２ 画像データ
５００ コンピュータ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ハードディスク
５０５ 通信インタフェース
５０６ バス
５１１ ディスプレイ
５１２ キーボード
５１３ マウス
５１４ ＣＤ−ＲＯＭ装置
５１５ ＣＤ−ＲＯＭ

Claims (6)

1. 複数の画像データの中から１以上の画像データを選択する画像選択装置であって、
   ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されるユーザの第１の位置である第１のユーザ位置の情報が取得された日時を示す第１の時刻情報と、ユーザの第２の位置である第２のユーザ位置の情報が取得された日時を示す第２の時刻情報と、の時間差分が所定の時間より大きい場合に、前記ユーザが建造物内を観光していたと推定する移動状況推定部と、
   撮影された位置及び時刻に関する情報を有する画像データを、ユーザ毎に蓄積する画像データ記憶部と、
   前記移動状況推定部により前記ユーザが建造物内を観光していたと推定されたときに、前記時間差分に対応する領域内で他のユーザが撮影した画像データであって、かつ、ＧＰＳによって取得された位置情報が付与されていない画像データを、前記画像データ記憶部より選択する画像選択部と、
   前記移動状況推定部により建造物内を観光していたと推定されたときに、前記第１の時刻情報と前記第２の時刻情報との間の時間を所定の時間間隔で分割し、前記ユーザ毎の画像データに対して、前記分割された所定の時間間隔毎の画像データの枚数の分布を求め、前記ユーザの分布と前記他のユーザの分布との類似度を示す撮影パターンの類似度を算出する時系列類似度計算部とを備え、
   前記画像選択部は、前記時系列類似度計算部で算出された撮影パターンの類似度を参照して、前記ユーザの分布との類似度が高い分布を有する他のユーザが撮影した前記時間領域内の画像データを前記画像データ記憶部より選択する
   画像選択装置。
2. 前記画像選択装置は、さらに、
   前記所定の時間間隔における画像データの枚数の密度の偏りを判別し、前記密度の小さい時間を区間候補とし、前記区間候補の前後で時間を分割し、前記分割された時間ごとでの撮影時刻の分散を計算し、前記分散が最も小さくなる区間を期間情報として生成する期間情報生成部を備え、
   前記画像選択部は、前記期間情報生成部によって生成された期間情報に対応する画像データを前記画像データ記憶部より選択する
   請求項１に記載の画像選択装置。
3. 前記画像データは、さらに、撮影時のズーム情報を有し、
   前記時系列類似度計算部は、撮影時のズーム情報が付与されている画像データのみに対して、前記分割された所定の時間間隔毎の画像データの枚数の分布を求め、前記ユーザの分布と前記他のユーザとの分布との類似度を示す撮影パターンの類似度を算出する
   請求項２に記載の画像選択装置。
4. 前記画像選択装置は、さらに、
   建造物に関する期間が定義された建造物期間データを記憶している地図情報記憶部を備え、
   前記画像選択部は、前記建造物期間データを参照することにより、特定された建造物に関する期間を示す前記期間情報に対応する画像データを前記画像データ記憶部より選択する
   請求項１〜３のいずれか１項に記載の画像選択装置。
5. 撮影された位置及び時刻に関する情報を有する画像データをユーザ毎に蓄積する画像データ記憶部から１以上の画像データをコンピュータが選択する画像選択方法であって、
   ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されるユーザの第１の位置である第１のユーザ位置の情報が取得された日時を示す第１の時刻情報と、ユーザの第２の位置である第２のユーザ位置の情報が取得された日時を示す第２の時刻情報と、の時間差分が所定の時間より大きい場合に、前記ユーザが建造物内を観光していたと推定する移動状況推定ステップと、
   前記移動状況推定ステップで前記ユーザが建造物内を観光していたと推定されたときに、前記時間差分に対応する領域内で他のユーザが撮影した画像データであって、かつ、ＧＰＳによって取得された位置情報が付与されていない画像データを、前記画像データ記憶部より選択する画像選択ステップと、
   前記移動状況推定ステップにおいて建造物内を観光していたと推定されたときに、前記第１の時刻情報と前記第２の時刻情報との間の時間を所定の時間間隔で分割し、前記ユーザ毎の画像データに対して、前記分割された所定の時間間隔毎の画像データの枚数の分布を求め、前記ユーザの分布と前記他のユーザとの分布との類似度を示す撮影パターンの類似度を算出する時系列類似度計算ステップとを含み、
   前記画像選択ステップは、前記時系列類似度計算ステップで算出された撮影パターンの類似度を参照して、前記ユーザの分布との類似度が高い分布を有する他のユーザが撮影した前記時間領域内の画像データを前記画像データ記憶部より選択する
   画像選択方法。
6. 撮影された位置及び時刻に関する情報を有する画像データをユーザ毎に蓄積する画像データ記憶部から１以上の画像データを選択するためのプログラムであって、
   ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されるユーザの第１の位置である第１のユーザ位置の情報が取得された日時を示す第１の時刻情報と、ユーザの第２の位置である第２のユーザ位置の情報が取得された日時を示す第２の時刻情報と、の時間差分が所定の時間より大きい場合に、前記ユーザが建造物内を観光していたと推定する移動状況推定ステップと、
   前記移動状況推定ステップで前記ユーザが建造物内を観光していたと推定されたときに、前記時間差分に対応する領域内で他のユーザが撮影した画像データであって、かつ、ＧＰＳによって取得された位置情報が付与されていない画像データを、前記画像データ記憶部より選択する画像選択ステップと、
   前記移動状況推定ステップで建造物内を観光していたと推定されたときに、前記第１の時刻情報と前記第２の時刻情報との間の時間を所定の時間間隔で分割し、前記ユーザ毎の画像データに対して、前記分割された所定の時間間隔毎の画像データの枚数の分布を求め、前記ユーザの分布と前記他のユーザとの分布との類似度を示す撮影パターンの類似度を算出する時系列類似度計算ステップとをコンピュータに実行させ、
   前記画像選択ステップは、前記時系列類似度計算ステップで算出された撮影パターンの類似度を参照して、前記ユーザの分布との類似度が高い分布を有する他のユーザが撮影した前記時間領域内の画像データを前記画像データ記憶部より選択する
   プログラム。