JP6026050B1 - 表示制御システム、表示制御装置、表示制御方法、及びプログラム - Google Patents

Abstract

軌道に沿って移動する視点から被写体を見た画像を表示させる場合の撮影の手間を軽減する。表示制御システムの画像取得手段（５０）は、撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データを取得する。情報取得手段（５２）は、複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する。画像選択手段（５６）は、各画像データの撮影情報と、３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報と、に基づいて、複数の画像データのうちの複数を選択する。表示制御手段（５７）は、画像選択手段（５６）により選択された複数の画像データを、軌道に応じた順番で表示手段に表示させる。

Description

本発明は、表示制御システム、表示制御装置、表示制御方法、及びプログラムに関する。

従来、種々の位置から被写体を撮影することによって、被写体の状態を正確に伝えるための技術が知られている。例えば、特許文献１には、一定の速度で回転するターンテーブル上に配置された被写体をカメラで連続撮影し、当該カメラで撮影した動画を表示部に表示させる技術が記載されている。

特開２０１２−１２４７４５号公報

しかしながら、従来の技術では、カメラで被写体を撮影した軌道の通りにしか画像を表示させることができないので、実際に被写体を撮影するカメラの軌道と、表示部における視点の軌道と、が同じである必要があった。このため、種々の軌道に沿って移動する視点から被写体を見た画像を表示部に表示させようとすると、その軌道の数だけカメラを移動させて被写体を撮影する必要があり、非常に手間がかかっていた。

本発明は上記課題に鑑みてなされたものであって、その目的は、軌道に沿って移動する視点から被写体を見た画像を表示させる場合の撮影の手間を軽減することが可能な表示制御システム、表示制御装置、表示制御方法、及びプログラムを提供することである。

上記課題を解決するために、本発明に係る表示制御システムは、撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データを取得する画像取得手段と、前記複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する情報取得手段と、各画像データの前記撮影情報と、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段と、前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段と、を含むことを特徴とする。

本発明に係る表示制御装置は、撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データの各々と、３次元空間における当該画像データの撮影位置に関する撮影情報と、を関連付けて記憶する記憶手段の記憶内容を取得する情報取得手段と、各画像データの前記撮影情報と、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段と、前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段と、を含むことを特徴とする。

本発明に係る表示制御方法は、撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データを取得する画像取得ステップと、前記複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する情報取得ステップと、各画像データの前記撮影情報と、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択ステップと、前記画像選択ステップにおいて選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御ステップと、を含むことを特徴とする。

本発明に係るプログラムは、撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データの各々と、３次元空間における当該画像データの撮影位置に関する撮影情報と、を関連付けて記憶する記憶手段の記憶内容を取得する情報取得手段、各画像データの前記撮影情報と、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段、前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段、としてコンピュータを機能させる。

本発明に係る情報記憶媒体は、上記記載のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様によれば、前記表示制御システムは、ユーザにより指定された３次元座標に基づいて、前記軌道情報を取得する軌道取得手段を更に含む、ことを特徴とする。

また、本発明の一態様によれば、前記表示制御システムは、前記複数の画像データの少なくとも１つに基づいて、前記被写体に関する複数の特徴点の３次元座標を検出する特徴点検出手段を更に含み、前記軌道取得手段は、前記複数の特徴点のうち前記ユーザにより指定された特徴点の３次元座標に基づいて、前記軌道情報を取得する、ことを特徴とする。

また、本発明の一態様によれば、前記軌道取得手段は、前記ユーザにより指定された特徴点の３次元座標を注視するように移動する前記視点の前記軌道情報を取得する、ことを特徴とする。

また、本発明の一態様によれば、前記表示制御システムは、前記複数の画像データに基づいて、前記ユーザにより指定された特徴点が各画像データに撮影されているか否かを判定する撮影判定手段を更に含み、前記画像選択手段は、各画像データの前記撮影情報と、前記軌道情報と、前記撮影判定手段の判定結果と、に基づいて、前記複数の画像データのうちの複数を選択する、ことを特徴とする。

また、本発明の一態様によれば、各画像データの前記撮影情報は、当該画像データの撮影位置情報を含み、前記軌道情報は、前記視点の軌道位置情報を含み、前記画像選択手段は、各画像データの前記撮影位置情報が示す位置と、前記軌道位置情報が示す位置と、の距離に基づいて、前記複数の画像データのうちの複数を選択する、ことを特徴とする。

また、本発明の一態様によれば、各画像データの前記撮影情報は、当該画像データの撮影方向情報を含み、前記軌道情報は、前記軌道からの前記視点の視線方向情報を含み、前記画像選択手段は、各画像データの前記撮影方向情報が示す方向と、前記視線方向情報が示す方向と、のずれに基づいて、前記複数の画像データのうちの複数を選択する、ことを特徴とする。

また、本発明の一態様によれば、前記画像選択手段は、各画像データの前記距離と前記ずれとに基づいて、前記距離よりも前記ずれに重み付けをした評価値を計算する手段を含み、各画像データの前記評価値に基づいて、前記複数の画像データのうちの複数を選択する。

また、本発明の一態様によれば、各画像データの前記撮影情報は、当該画像データの撮影位置情報を含み、前記画像選択手段は、各画像データの前記撮影位置情報に基づいて、当該画像選択手段が選択する各画像データの前記撮影位置情報が示す位置の距離が所定範囲となるように、前記複数の画像データのうちの複数を選択する、ことを特徴とする。

また、本発明の一態様によれば、前記表示制御手段は、前記表示手段に表示される前記被写体の表示位置及び表示サイズの少なくとも一方のずれが基準以内になるように、前記画像選択手段により選択された各画像データの表示位置及び表示サイズの少なくとも一方を決定する、ことを特徴とする。

本発明によれば、軌道に沿って移動する視点から被写体を見た画像を表示させる場合の撮影の手間を軽減することが可能になる。

本実施形態における表示制御システムの全体構成を示す図である。 出品者が商品を撮影する様子を示す図である。 商品画面の一例を示す図である。 商品画像が連続表示される様子を示す図である。 表示制御システムで実現される機能の一例を示す機能ブロック図である。 ３次元空間を示す図である。 特徴点の２次元座標の比較図である。 ３次元空間における特徴点と撮影情報の関係を示す図である。 撮影情報データベースのデータ格納例を示す図である。 特徴点データベースのデータ格納例を示す図である。 軌道情報の計算方法の説明図である。 各画像データの撮影位置及び撮影方向と軌道との関係を示す図である。 表示制御システムにおいて実行される処理の一例を示すフロー図である。 軌道と撮影位置との関係を示す図である。

［１．表示制御システムの全体構成］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。本実施形態では、ネットオークションにおいて、出品者が出品する商品の画像データを入札者が確認する場面を例に挙げて説明する。

図１は、本実施形態における表示制御システムの全体構成を示す図である。図１に示すように、表示制御システム１は、表示制御サーバ１０（表示制御装置）、出品者端末２０、及び入札者端末３０を含む。表示制御サーバ１０、出品者端末２０、及び入札者端末３０の各々は、ネットワーク２を介してデータ送受信可能に接続される。

表示制御サーバ１０は、サーバコンピュータである。表示制御サーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、例えば、一又は複数のマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭであり、補助記憶部は、ハードディスク又はソリッドステートドライブ等である。通信部１３は、ネットワークカード等の通信インタフェースである。通信部１３は、ネットワーク２を介してデータ通信を行う。

出品者端末２０は、出品者が操作するコンピュータであり、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、又はパーソナルコンピュータ等である。出品者端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、及び通信部２３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であるので説明を省略する。

操作部２４は、出品者が操作を行うための操作部材であり、例えば、マウスやタッチパネル等のポインティングデバイスである。操作部２４は、出品者による操作内容を制御部２１に伝達する。表示部２５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部２５は、制御部２１の指示に従って画面を表示する。

出品者端末２０は、カメラ２６と通信部２３等を介して接続される。カメラ２６は、被写体を撮影して画像データを生成する撮像手段であり、例えば、デジタルカメラやカメラ付き携帯端末（スマートフォンやタブレット型端末）等である。カメラ２６は、画像データを出品者端末２０に入力する。なお、カメラ２６は、出品者端末２０に含まれていてもよい。

入札者端末３０は、入札者が操作するコンピュータである。入札者端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。入札者端末３０は、出品者端末２０と同様のハードウェア構成であってよく、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５は、それぞれ、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５と同様であってよい。

なお、記憶部１２、記憶部２２、又は記憶部３２に記憶されるものとして説明するプログラム及びデータは、ネットワーク２を介して記憶部１２、記憶部２２、又は記憶部３２に供給されるようにしてもよい。また、表示制御サーバ１０、出品者端末２０、及び入札者端末３０のハードウェア構成は、上記の例に限られず、種々のコンピュータのハードウェアを適用可能である。例えば、表示制御サーバ１０、出品者端末２０、及び入札者端末３０の各々は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）を含んでもよい。この場合、情報記憶媒体に記憶されたプログラムやデータが読取部を介して記憶部１２、記憶部２２、又は記憶部３２に供給されるようにしてもよい。

［２．表示制御システムで実行される処理の概要］
次に、表示制御システム１が実行する処理の概要を説明する。本実施形態では、出品者は、ネットオークションに商品を出品するにあたり、商品の状態を入札者に伝えるために、カメラ２６で商品を撮影する。

図２は、出品者が商品を撮影する様子を示す図である。図２に示すように、出品者は、商品とカメラ２６との位置関係を変えつつ、種々の撮影位置からカメラ２６で商品を撮影する。別の言い方をすれば、出品者は、カメラ２６の撮影方向を変えながら商品を撮影する。撮影方向は、カメラ２６の位置から注視点に向けた方向であり、カメラ２６のレンズが向いている方向ともいえる。

出品者は、画像データを１つずつ生成するための静止画モードで商品を撮影してもよいし、複数の画像を含む動画データを生成するための動画モードで商品を撮影してもよい。出品者は、商品説明等の出品関連情報とともに画像データをアップロードすると、ネットオークションで商品を出品することができる。入札者は、商品に入札するための商品画面を入札者端末３０の表示部３５に表示させる。

図３は、商品画面の一例を示す図である。図３に示すように、商品画面４０には、商品画像４１、サムネイル画像４２Ａ〜４２Ｃ（以降、これらをまとめて単にサムネイル画像４２ともいう。）、及び商品の現在価格等の入札関連情報４３が表示される。商品画像４１は、出品者がアップロードした画像データの何れかである。サムネイル画像４２は、商品画像４１の画像データを縮小したものである。

入札者は、サムネイル画像４２を選択することで、商品画像４１に表示される画像データを切り替えることができる。ここでは、サムネイル画像４２Ａが示す画像データが、商品画像４１に表示されている。なお、出品者がアップロードした画像データの全てについてサムネイル画像４２を生成して商品画面４０に表示させるようにしてもよいし、一部の画像データについてのみサムネイル画像４２を生成して商品画面４０に表示させるようにしてもよい。

入札者は、商品画面４０を見て商品の状態を確認することになるが、商品画像４１によっては、光の加減や撮影位置の関係で入札者が見たいと思う部分を十分に確認できないことがある。このため、表示制御システム１では、商品画像４１の中で入札者が特に確認したい部分をカーソル４４でクリックすると、その部分を注視しながらカメラ２６が移動するように商品画像４１を連続表示させるようになっている。

図４は、商品画像４１が連続表示される様子を示す図である。ここでは、商品の一例として時計が出品されているので、図４では、入札者が商品画像４１内の時計の文字盤をクリックした場合の様子を示している。図４に示すように、例えば、カメラ２６が文字盤を注視したまま正面左から正面右に移動するように、商品画像４１Ａ〜４１Ｅが連続表示される。これにより、入札者は、時計の文字盤の状態を種々の方向からチェックすることができるようになっている。以降、この処理の詳細について説明する。

［３．表示制御システムにおいて実現される機能］
図５は、表示制御システム１で実現される機能の一例を示す機能ブロック図である。図５に示すように、表示制御システム１では、画像取得部５０、特徴点検出部５１、情報取得部５２、データ記憶部５３、軌道取得部５４、撮影判定部５５、画像選択部５６、及び表示制御部５７が実現される。本実施形態では、これら各機能が表示制御サーバ１０で実現される場合を説明する。画像取得部５０は、制御部１１及び通信部１３を主として実現され、データ記憶部５３は、記憶部１２を主として実現され、他の各機能は、制御部１１を主として実現される。

なお、本実施形態では、画像取得部５０、特徴点検出部５１、情報取得部５２、データ記憶部５３、軌道取得部５４、撮影判定部５５、画像選択部５６、及び表示制御部５７は、それぞれ、本発明に係る画像取得手段、特徴点検出手段、情報取得手段、記憶手段、軌道取得手段、撮影判定手段、画像選択手段、及び表示制御手段に相当する。

［３−１．画像取得部］
画像取得部５０は、撮影方向が互いに異なる複数の撮影位置から商品を撮影することで生成された複数の画像データを取得する。図２を参照して説明したように、複数の撮影位置には、商品に対する撮影方向が異なるものが含まれている。本実施形態では、カメラ２６が各画像データを生成して出品者端末２０に入力するので、画像取得部５０は、出品者端末２０が送信した複数の画像データを、ネットワーク２を介して受信することになる。画像取得部５０は、画像データを一意に識別する画像データＩＤを各画像データに付与してデータ記憶部５３に記憶させる。

なお、カメラ２６が動画モードで商品を撮影した場合には、画像取得部５０は、動画データに基づいて、複数の画像データを取得するようにしてもよい。この場合、画像取得部５０は、動画データ中のある１つのフレームを、１つの画像データとして抜き出すことになる。この場合、所定フレーム間隔ごとに画像データを抜き出してもよいし、全てのフレームについて画像データを抜き出してもよい。

［３−２．特徴点検出部］
特徴点検出部５１は、複数の画像データに基づいて、商品に関する複数の特徴点（本実施形態では、２次元座標と３次元座標の両方）を検出する。特徴点は、被写体の表面のうちコンピュータで特定可能な場所であり、例えば、被写体の輪郭や角である。特徴点は、関心点又は頂点とも呼ばれるものである。ここでは、特徴点検出部５１は、画像取得部５０が取得した画像データごとに、当該画像データに含まれる特徴点を検出する。

例えば、特徴点検出部５１は、コーナー検出法を用いて特徴点を抽出する。コーナー検出法としては、Ｍｏｒａｖｅｃのコーナー検出やＨａｒｒｉｓのコーナー検出等が用いられるようにしてよい。例えば、特徴点検出部５１は、画像データの各画素を注目画素とし、注目画素と周囲画素との画素値の差から被写体の輪郭を検出し、輪郭が交差する位置を特徴点として検出する。

本実施形態では、特徴点検出部５１は、各画像データから検出した特徴点のラベリングを行う。例えば、特徴点検出部５１は、各画像データの特徴点どうしをマッチングして、各特徴点が新たに検出されたものなのか、これまでに検出された特徴点と同じなのかを特定する。特徴点のマッチングは、特徴点の画素値や他の特徴点との位置関係に基づいて行われるようにすればよい。特徴点検出部５１は、画像データから新たな特徴点を検出した場合には、その特徴点を識別する特徴点ＩＤを付与する。解析部は、これまでに検出した特徴点と同じ特徴点を検出した場合には、特徴点ＩＤは付与しない。

ここでは、特徴点検出部５１は、画像データごとに、当該画像データから検出した特徴点の特徴点ＩＤと、当該特徴点の画像内での位置（スクリーン座標系での２次元座標）と、をデータ記憶部５３に記憶させるものとする。各特徴点の２次元座標は、後述する情報取得部５２が撮影情報を取得するために用いられる。また、詳細は後述するが、特徴点検出部５１は、各特徴点の３次元座標も計算してデータ記憶部５３に記憶させる。

なお、画像データから特徴点を検出する方法自体は、公知の種々の特徴点検出方法を適用可能である。例えば、特徴点検出部５１は、ブロブ解析を利用して画像データ内の同一色の領域を特定し、その領域の中心を特徴点とするようにしてもよいし、所定の画素値の画素（即ち、ある特定の色の画素）を特徴点として検出するようにしてもよい。他にも例えば、特徴点検出部５１は、被写体の輪郭全体を特徴点として検出するようにしてもよい。

［３−３．情報取得部］
情報取得部５２は、複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する。撮影情報は、画像データの撮影位置情報及び撮影方向情報の少なくとも一方を含む。撮影位置情報は、画像データの撮影位置を示す３次元座標である。撮影方向情報は、画像データの撮影方向を示すベクトル情報又は注視点を示す３次元座標である。ここでは、撮影方向情報がベクトル情報である場合を説明する。

情報取得部５２は、各画像データを画像解析して、画像データごとに撮影情報を取得する。ここでは、撮影情報を取得する方法の一例として、特徴点の位置関係を利用する方法を説明する。

例えば、出品者は、基準撮影位置から基準撮影方向にカメラ２６を向けて商品を撮影するものとする。以降、この撮影で得られた画像データを、基準画像データという。例えば、基準画像データは、商品の正面方向に所定距離だけ離れた位置から商品を撮影したものである。基準撮影位置や基準撮影方向は、予め定められたものであればよい。情報取得部５２は、まず、３次元空間における基準撮影位置及び基準撮影方向を取得する。

図６は、３次元空間を示す図である。図６に示すように、３次元空間には、互いに直行する３軸（Ｘ_Ｗ軸、Ｙ_Ｗ軸、Ｚ_Ｗ軸）が設定される。情報取得部５２は、原点Ｏ_Ｗから所定方向（ここでは、Ｚ_Ｗ軸正方向）に所定距離だけ離れた撮影位置Ｐ_０を、基準撮影位置として取得する。そして、情報取得部５２は、Ｚ_Ｗ軸の負方向を示す撮影方向Ｖ_０を、基準撮影方向として取得する。

情報取得部５２は、各画像データの撮影情報を、当該画像データの各特徴点の２次元座標と、基準画像データの各特徴点の２次元座標と、の位置関係に基づいて計算する。例えば、情報取得部５２は、各画像データの撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎ（Ｎは自然数である。）を、各特徴点の２次元座標のずれ具合から計算する。

図７は、特徴点の２次元座標の比較図である。図７では、基準画像データを「ＤＴ_０」とし、撮影情報を取得する画像データを「ＤＴ_Ｎ」とし、それぞれの特徴点Ｑ_Ｋ（Ｋは整数。図７では、Ｋ＝０〜８である。）とする。情報取得部５２は、基準画像データＤＴ_０の各特徴点Ｑ_Ｋの２次元座標と、画像データＤＴ_Ｎの各特徴点Ｑ_Ｋの２次元座標と、を結ぶベクトルを取得して所定の行列演算をすることによって、撮影位置Ｐ_０及びＰ_Ｎのずれ具合を示すベクトルΔＶ_１と、撮影方向Ｖ_０及びＶ_Ｎのずれ具合を示すベクトルΔＶ_２と、を計算する。

図６に戻り、情報取得部５２は、撮影位置Ｐ_０からベクトルΔＶ_１だけずらした位置を撮影位置Ｐ_Ｎとし、基準撮影方向Ｖ_０をベクトルΔＶ_２だけずらした方向を撮影方向Ｖ_Ｎとする。情報取得部５２は、同様の計算を画像データごとに行って撮影情報を計算し、データ記憶部５３に記憶させる。

情報取得部５２により撮影情報が取得されると、特徴点検出部５１は、複数の画像データの少なくとも１つに基づいて、商品に関する複数の特徴点Ｑ_Ｋの３次元座標を検出する。例えば、特徴点検出部５１は、基準画像データＤＴ_０の特徴点Ｑ_Ｋの２次元座標を、撮影位置Ｐ_０及び撮影方向Ｖ_０に基づいて座標変換することによって、特徴点Ｑ_Ｋの３次元座標を計算する。特徴点検出部５１が計算した各特徴点の３次元座標は、データ記憶部５３に記憶される。

図８は、３次元空間における特徴点と撮影情報の関係を示す図である。例えば、基準画像データを含めて１６枚の画像データがアップロードされた場合、図８に示すように、情報取得部５２により、各画像データの撮影位置Ｐ_０〜Ｐ_１５及び撮影方向Ｖ_０〜Ｖ_１５が取得され、特徴点検出部５１により、特徴点Ｑ_０〜Ｑ_８が検出される。撮影位置Ｐ_０〜Ｐ_１５及び撮影方向Ｖ_０〜Ｖ_１５と特徴点Ｑ_０〜Ｑ_８との位置関係は、入札者が商品を撮影したときのカメラ２６の撮影位置及び撮影方向と商品との位置関係に対応していることになる。

なお、撮影情報を取得する方法自体は、公知の種々の手法を適用可能である。例えば、基準画像データを用いなくても、各画像データ同士を比較することによって撮影情報を取得するようにしてもよい。他にも例えば、被写体の基準形状を示す画像データを予め表示制御サーバ１０側で用意しておき、当該形状との大きさ及び向きのずれを検出することによって撮影情報を推定するようにしてもよい。

［３−４．データ記憶部］
データ記憶部５３は、商品画面４０を表示させるために必要な各種データを記憶する。例えば、データ記憶部５３は、画像取得部５０が取得した各画像データを画像データＩＤに関連付けて記憶する。また、データ記憶部５３は、情報取得部５２が取得した撮影情報を格納する撮影情報データベースと、特徴点検出部５１が計算した特徴点Ｑ_Ｋの３次元座標を格納する特徴点データベースと、を記憶する。

図９は、撮影情報データベースのデータ格納例を示す図である。図９に示すように、撮影情報データベースには、画像データＩＤ、撮影情報（撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎ）、及び特徴点ＩＤが関連付けられて格納される。ここでの特徴点ＩＤは、全特徴点のうち、画像データＩＤの画像データから検出されたものを示す。例えば、画像データＩＤが「０」の基準画像データは、特徴点Ｑ_０〜Ｑ_８の全てが検出されたが、画像データＩＤが「２」の画像データは、特徴点Ｑ_６は、光の反射等の関係により検出されていない。なお、図９では省略しているが、特徴点ＩＤに関連付けて、画像データにおける特徴点の２次元座標を格納してもよい。

図１０は、特徴点データベースのデータ格納例を示す図である。図１０に示すように、特徴点データベースには、特徴点ＩＤ及び特徴点Ｑ_Ｋの３次元座標が関連付けられて格納される。なお、本実施形態では、特徴点Ｑ_Ｋの３次元座標は、各画像データで共通なので特徴点データベースに格納し、特徴点Ｑ_Ｋの２次元座標は、画像データごとに異なるので撮影情報データベースに格納するようにしている。

なお、データ記憶部５３は、他のデータを記憶していてもよい。例えば、データ記憶部５３は、画像データのサムネイル画像のデータや出品関連情報や入札関連情報を記憶しているようにしてもよい。また、情報取得部５２は、データ記憶部５３の各種記憶内容を取得可能であってよい。

［３−５．軌道取得部］
軌道取得部５４は、入札者の操作及び軌道計算アルゴリズムの少なくとも一方に基づいて、３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報を取得する。軌道計算アルゴリズムは、プログラムに記述されており、軌道を計算するための数式を含んでいるものとする。入札者の操作のみで軌道が決まってもよいし、軌道計算アルゴリズムのみで軌道が決まってもよいが、本実施形態では、これらの両方に基づいて軌道が決まる場合を説明する。

３次元空間における視点とは、商品画面４０における視点（即ち、ビューワ上での視点）であり、３次元空間における仮想カメラともいえる。視点の軌道とは、視点の位置や視線方向の変化である。視点の軌道は、始点と終点が存在する。始点と終点は、異なる位置であってもよいし、同じ位置であってもよい。視点の軌道は、始点から終点に向けて移動する経路ともいえる。

軌道情報は、視点の軌道位置情報及び軌道からの視点の視線方向情報の少なくとも一方を含む。本実施形態では、軌道情報は、軌道位置情報及び視線方向情報の両方を含む場合を説明するが、何れか片方のみを含んでいてもよい。

軌道位置情報は、３次元空間における視点の位置変化を示す。例えば、軌道位置情報は、軌道上の各位置の３次元座標を含んでいてもよいし、軌道を示す数式を含んでいてもよい。視線方向情報は、３次元空間における視線方向の変化を示す。例えば、視線方向情報は、軌道上の各位置からの視線方向を示すベクトルを含んでいてもよいし、各位置での注視点を示す３次元座標を含んでいてもよい。

本実施形態では、軌道取得部５４は、入札者により指定された３次元座標に基づいて、軌道情報を取得する。例えば、軌道取得部５４は、複数の特徴点Ｑ_Ｋのうち入札者により指定された特徴点Ｑ_Ｋの３次元座標に基づいて、軌道情報を取得する。入札者は、商品画面４０の商品画像４１内の位置を指定することによって、特徴点Ｑ_Ｋを指定する。

ここでは、画像データＩＤが「１」の画像データが商品画像４１に表示されており、入札者が、商品画像４１内の文字盤付近を指定した場合を例に挙げて説明する。軌道取得部５４は、入札者が指定した２次元座標を取得し、その付近の特徴点Ｑ_Ｋを特定する。ここでは、軌道取得部５４は、入札者が時計の文字盤上の特徴点Ｑ_０を指定したものとして特定する。そして、軌道取得部５４は、画像データの撮影情報と、当該特定した特徴点Ｑ_０と、に基づいて軌道情報を計算する。

図１１は、軌道情報の計算方法の説明図である。以降説明する計算方法は、軌道計算アルゴリズムに定められている。軌道取得部５４は、まず、画像データＩＤが「１」の画像データの撮影位置Ｐ_１及び特徴点Ｑ_０を結ぶ線分Ｌ_１と直行する回転軸Ｌ_２を計算する。図１１に示すように、回転軸Ｌ_２は、特徴点Ｑ_０を通る。そして、軌道取得部５４は、回転軸Ｌ_２を基準にして、撮影位置Ｐ_１を所定角度θだけ左右（撮影位置Ｐ_１から特徴点Ｑ_０を見たときの水平方向）に回転させた場合に撮影位置Ｐ_１が通る軌道Ｔを計算する。

なお、線分Ｌ_１に直行し、かつ、特徴点Ｑ_０を通る直線は複数存在するが、ここでは、これら複数の直線のうちの何れかを回転軸Ｌ_２とすればよい。例えば、軌道取得部５４は、入札者が指定した３次元空間内の方向に基づいて、回転軸Ｌ_２を決定するようにしてもよい。例えば、入札者は、操作部３４を用いて、撮影位置Ｐ_１が回転する方向を指定する。そして、軌道取得部５４は、入札者が指定した方向と直行する回転軸Ｌ_２を特定する。例えば、入札者が撮影位置Ｐ_１から特徴点Ｑ_０を見たときの水平方向を指定した場合には、図１１に示すように、軌道取得部５４は、線分Ｌ_１に直行し、特徴点Ｑ_０を通り、かつ、入札者が指定した水平方向と直行する回転軸Ｌ_２を特定することになる。また、入札者が指定した方向でなくても、軌道取得部５４は、予め定められた所定方向に基づいて、回転軸Ｌ_２を特定するようにしてもよい。この所定方向が水平方向である場合には、図１１に示すように、軌道取得部５４は、線分Ｌ_１に直行し、特徴点Ｑ_０を通り、かつ、所定方向である水平方向と直行する回転軸Ｌ_２を特定することになる。

例えば、軌道位置情報は、軌道Ｔ上の複数の点Ｔ_Ｍ（Ｍは自然数。図１１では、Ｍ＝１〜５とする。）の３次元座標を含む。ここでは、点Ｔ_１が始点であり、点Ｔ_５が終点とする。各点Ｔ_Ｍは、３次元空間における視点の位置であり、軌道Ｔは、点Ｔ_１から点Ｔ_５に向けて視点が移動する場合の経路といえる。また、軌道取得部５４は、点Ｔ_Ｍごとに、視点の視線方向Ｕ_Ｍを計算する。ここでは、視線方向Ｕ_１〜Ｕ_５は、それぞれ点Ｔ_１〜Ｔ_５から特徴点Ｑ_０を注視点とする方向である。視線方向情報は、当該計算された視線方向Ｕ_Ｍのベクトル情報を含む。

上記のようにして、軌道取得部５４は、入札者により指定された特徴点Ｑ_０の３次元座標を注視するように移動する視点の軌道情報を取得することになる。なお、注視するように移動するとは、視点の注視点が特徴点Ｑ_０である状態を保ったまま、視点の位置が変わる（図１１では、点Ｔ_１から点Ｔ_５に移動する）ことである。別の言い方をすれば、視点の視野内に特徴点Ｑ_０が含まれる状態を保ったまま、視点の位置が変わることである。

［３−６．撮影判定部］
撮影判定部５５は、複数の画像データに基づいて、入札者により指定された特徴点Ｑ_Ｋが各画像データに撮影されているか否かを判定する。撮影判定部５５は、撮影情報データベースを参照して、入札者により指定された特徴点Ｑ_Ｋが各画像データから検出されたか否かを判定することになる。

なお、撮影判定部５５は、３次元空間において商品が占める領域を特定し、画像データの撮影範囲内に当該領域が入っているかを判定するようにしてもよい。この場合、撮影判定部５５は、まず、特徴点Ｑ_Ｋの３次元座標に基づいて、３次元空間において商品の占める領域を特定する。例えば、撮影判定部５５は、各特徴点Ｑ_Ｋを結んだ立体の内部を商品の占める領域とする。そして、撮影判定部５５は、各画像データの撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎに基づいて計算される視野内に、商品の占める領域が含まれるか否かを判定することになる。視野は、撮影位置Ｐ_Ｎ、撮影方向Ｖ_Ｎ、及び視野角（画角）に基づいて定まる領域である。視野角は、予め定められていてもよいし、画像データを画像解析して計算してもよい。

［３−７．画像選択部］
画像選択部５６は、各画像データの撮影情報と、３次元空間における視点が視線方向を変えながら移動する場合の軌道Ｔに関する軌道情報と、に基づいて、複数の画像データのうちの複数を選択する。画像選択部５６が選択する画像データは、軌道情報に係る画像データであり、商品画面４０に表示すべき画像データともいえる。画像選択部５６は、各画像データの撮影情報と、軌道取得部５４が取得した軌道情報と、のずれ具合（位置関係）に基づいて、画像データを選択する。

例えば、画像選択部５６は、各画像データの撮影位置情報が示す撮影位置Ｐ_Ｎと、軌道位置情報が示す位置Ｔ_Ｍと、の距離Ｄ_Ｎに基づいて、複数の画像データのうちの複数を選択する。また例えば、画像選択部５６は、各画像データの撮影方向情報が示す撮影方向Ｖ_Ｎと、視線方向情報が示す視線方向Ｕ_Ｍと、のずれθ_Ｎに基づいて、複数の画像データのうちの複数を選択する。なお、ずれθ_Ｎは、方向的なずれ具合を示せばよく、例えば、角度又はベクトルである。

本実施形態では、画像選択部５６は、各画像データの距離Ｄ_Ｎとずれθ_Ｎとに基づいて、距離Ｄ_Ｎよりもずれθ_Ｎに重み付けをした評価値Ｅ_Ｎを計算する評価値計算部５６Ａを含み、各画像データの評価値Ｅ_Ｎに基づいて、複数の画像データのうちの複数を選択する場合を説明する。なお、評価値計算部５６Ａは、本発明に係る評価値を計算する手段に相当する。

図１２は、各画像データの撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎと軌道Ｔとの関係を示す図である。例えば、評価値計算部５６Ａは、各撮影位置Ｐ_０〜Ｐ_１５と軌道Ｔとの距離Ｄ_０〜Ｄ_１５を算出する。ここでは、軌道情報には、軌道Ｔ上の点Ｔ_１〜Ｔ_５の３次元座標が格納されているので、評価値計算部５６Ａは、点Ｔ_１〜Ｔ_５のうち、各撮影位置Ｐ_０〜Ｐ_１５から最も近いものとの距離Ｄ_０〜Ｄ_１５を計算するものとする。

そして、評価値計算部５６Ａは、各撮影方向Ｖ_０〜Ｖ_１５と軌道Ｔからの視線方向Ｕ_１〜Ｕ_５とのずれθ_０〜θ_１５を算出する。ここでは、軌道情報には、軌道Ｔ上の各点Ｔ_１〜Ｔ_５からの視線方向Ｕ_１〜Ｕ_５が格納されているので、評価値計算部５６Ａは、視線方向Ｕ_１〜Ｕ_５のうち、各撮影位置Ｐ_０〜Ｐ_１５から最も近いものとのずれθ_０〜θ_１５を算出する。

評価値計算部５６Ａは、上記のようにして計算した距離Ｄ_Ｎとずれθ_Ｎとを数式に代入することによって、各画像データの評価値Ｅ_Ｎを計算することになる。評価値Ｅ_Ｎは、撮影情報と軌道情報との類似度といえる。別の言い方をすれば、評価値Ｅ_Ｎは、画像データを表示させるべきか否かを示す指標値ともいえる。ここでは、評価値Ｅ_Ｎの数値が高いほど、撮影情報と軌道情報が似ていることを示す。即ち、評価値Ｅ_Ｎの数値が高いほど、表示すべき画像データとなる。

評価値Ｅ_Ｎの計算に使用される数式は、プログラムに記述されている。例えば、評価値計算部５６Ａは、下記の式１に距離Ｄ_Ｎとずれθ_Ｎを代入して評価値Ｅ_Ｎを計算する。式１に示すように、距離Ｄ_Ｎ及びずれθ_Ｎが小さいほど評価値Ｅ_Ｎが大きくなる。また、式１では、距離Ｄ_Ｎの係数よりもずれθ_Ｎの係数の方が大きい。即ち、距離Ｄ_Ｎよりもずれθ_Ｎの方に重み付けがなされている。
（式１）Ｅ_Ｎ＝Ｃ_Ｄ＊（Ｄ_ＭＡＸ−Ｄ_Ｎ）＋Ｃ_θ＊（θ_ＭＡＸ−θ_Ｎ）
Ｃ_Ｄ，Ｃ_θ：所定の係数。ただし、Ｃ_Ｄ＜Ｃ_θである。
Ｄ_ＭＡＸ：距離Ｄ_ＮＭに関する所定の最大値。
θ_ＭＡＮ：ずれθ_ＮＭに関する所定の最大値。

図１２に示す位置関係の場合、例えば、撮影位置Ｐ_０，Ｐ_６〜Ｐ_１１の画像データは、距離Ｄ_０，Ｄ_６〜Ｄ_１１もずれθ_０，θ_６〜θ_１１も大きいため、評価値Ｅ_０，Ｅ_６〜Ｅ_１１は小さくなる。一方、撮影位置Ｐ_１〜Ｐ_５，Ｐ_１２〜Ｐ_１５の画像データは、距離Ｄ_６〜Ｄ_１１及びずれθ_６〜θ_１１の少なくとも一方が小さいため、評価値Ｅ_１〜Ｅ_５，Ｅ_１２〜Ｅ_１５は比較的大きくなる。ただし、撮影位置Ｐ_２とＰ_３は、同じような方向から撮影しているが、撮影位置Ｐ_２の方が軌道Ｔに近いので、評価値Ｅ_２は評価値Ｅ_３よりも大きい。また、撮影位置Ｐ_４とＰ_５では、Ｐ_５の方が基準軌道Ｔに近いが、撮影方向Ｖ_５が基準視線方向Ｕ_１から大きくずれているので、評価値Ｅ_４は評価値Ｅ_５よりも大きい。画像選択部５６は、評価値Ｅ_Ｎが大きい順に所定枚数だけ画像データを取得する。例えば、画像選択部５６は、撮影位置Ｐ_４，Ｐ_２，Ｐ_１，Ｐ_１３，Ｐ_１２の５枚画像データを選択する。

なお、評価値Ｅ_Ｎの計算方法は、上記の例に限られない。本実施形態では、距離Ｄ_Ｎよりもずれθ_Ｎの方に重み付けをして評価値Ｅ_Ｎを計算すればよく、例えば、他の数式によって評価値Ｅ_Ｎを計算してもよい。また、本実施形態では、評価値Ｅ_Ｎが大きいほど視点の位置Ｔ_Ｍ及び視線方向Ｕ_Ｍと似ている場合を説明したが、評価値Ｅ_Ｎの使い方はこれに限られず、評価値Ｅ_Ｎが小さいほど視点の位置Ｔ_Ｍ及び視線方向Ｕ_Ｍと似ているようにしてもよい。視点の位置Ｔ_Ｍ及び視線方向Ｕ_Ｍとの類似具合を値の大小から識別できるように予め定めておけばよい。また、評価値Ｅ_Ｎは、数値に限られず、文字や記号で表現してもよい。

また、画像選択部５６は、各画像データの撮影情報と、軌道情報と、撮影判定部５５の判定結果と、に基づいて、複数の画像データのうちの複数を選択するようにしてもよい。画像選択部５６は、入札者により指定された特徴点Ｑ_Ｋの特徴点ＩＤが格納されている画像データを表示対象として選択する。例えば、入札者が指定した特徴点Ｑ_Ｋが撮影されている画像データを表示候補として残し、特徴点Ｑ_Ｋが撮影されていない画像データを表示候補から除外する。例えば、入札者が特徴点Ｑ_０を指定した場合、図９のデータ格納例では、画像データＩＤが「７」の画像データは、特徴点Ｑ_０が検出されなかったので（例えば、文字盤が全体的に反射してしまってよく見えないので）、予め表示候補から除外するようにしてよい。

［３−８．表示制御部］
表示制御部５７は、画像選択部５６により選択された複数の画像データを、軌道Ｔに応じた順番で表示部３５に表示させる。軌道Ｔに応じた順番とは、軌道Ｔの始点Ｔ_１から終点Ｔ_５に向けた順番、又は、軌道Ｔの終点Ｔ_５から始点Ｔ_１に向けた順番の何れかである。表示制御部５７は、始点Ｔ_１又は終点Ｔ_５に近い順に画像選択部５６が選択した各画像データに順番を付与する。例えば、上記説明した図１２の例の場合、視点Ｔ_１に近い順番である画像データＩＤが「４」「２」「１」「１３」「１２」の順番が、軌道に応じた順番となる。

例えば、表示制御部５７は、画像選択部５６が選択した複数の画像データを、軌道Ｔに応じた順番で連続表示（アニメーション表示）させる。即ち、表示制御部５７は、画像選択部５６が選択した複数の画像データを、軌道Ｔに応じた順番で切り替わるように表示させる。ここでは、表示制御部５７は、画像データＩＤが「４」「２」「１」「１３」「１２」の順番に切り替わるように、画像データを連続表示させる。

［４．表示制御システムにおいて実行される処理］
図１３は、表示制御システム１において実行される処理の一例を示すフロー図である。図１３に示す処理は、制御部１１，２１，３１が、それぞれ記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。本実施形態では、下記に説明する処理が実行されることにより、図５に示す機能ブロックが実現される。なお、下記に説明する処理が実行されるにあたり、出品者は、図２のように商品をカメラ２６で撮影しており、カメラ２６内のメモリに画像データが記憶されているものとする。

図１３に示すように、出品者端末２０の制御部２１は、操作部２４が受け付けた操作に基づいて、カメラ２６のメモリに記憶された複数の画像データを、出品関連情報とともに、通信部２３及びネットワーク２を介して表示制御サーバ１０に送信する（Ｓ１）。なお、Ｓ１においては、複数の画像データのうちの何れが基準画像データであるかを出品者が指定できるようにしてもよい。

表示制御サーバ１０においては、制御部１１は、画像データ及び出品関連情報を受信して記憶部１２に記憶させる（Ｓ２）。Ｓ２においては、制御部１１は、各画像データに画像データＩＤを付与したうえで記憶部１２に記憶させることになる。なお、制御部１１は、受信した複数の画像データの全部又は一部について、サムネイル画像のデータを生成して記憶部１２に記憶させるようにしてもよい。

制御部１１は、複数の画像データに基づいて、各画像データの特徴点Ｑ_Ｋを検出する（Ｓ３）。Ｓ３においては、制御部１１は、各画像データに含まれる特徴点Ｑ_Ｋの２次元座標を取得して、特徴点ＩＤに関連付けて記憶部１２に記憶させることになる。特徴点Ｑ_Ｋを検出する方法は、先述した通りである。

制御部１１は、各画像データの特徴点Ｑ_Ｋに基づいて、当該画像データの撮影情報を取得する（Ｓ４）。Ｓ４においては、制御部１１は、画像データごとに撮影情報を取得して撮影情報データベースに登録することになる。撮影情報を取得する方法は、先述した通りである。

制御部１１は、各特徴点Ｑ_Ｋの３次元座標を取得する（Ｓ５）。Ｓ５においては、制御部１１は、各特徴点Ｑ_Ｋの３次元座標を特徴点データベースに登録することになる。特徴点Ｑ_Ｋの３次元座標を取得する方法は、先述した通りである。

以上の処理により、出品の準備が完了し、入札者が入札できる状態となる。入札者端末３０において入札者が操作部３４を用いて所定の操作を行うと、制御部３１は、商品画面４０の表示要求を表示制御サーバ１０に送信する（Ｓ６）。

表示制御サーバ１０においては、商品画面４０の表示要求を受信すると、制御部１１は、商品画面４０の表示データを生成して、入札者端末３０に送信する（Ｓ７）。Ｓ７においては、制御部１１は、記憶部１２から商品の画像データ、サムネイル画像、及び出品関連情報等を読み出して、商品画面４０の表示データを生成する。なお、表示データは、所定形式のデータであればよく、例えば、ＨＴＭＬデータ等である。

入札者端末３０においては、表示データを受信すると、制御部３１は、商品画面４０を表示部３５に表示させる（Ｓ８）。制御部３１は、商品画面４０において受け付けた操作内容を送信する（Ｓ９）。ここでは、説明の簡略化のため、画像データの連続表示を要求するための表示要求操作と、商品に入札するための入札操作と、が受け付けられる場合を説明する。なお、表示要求操作は、商品画像４１内の位置をカーソル４４で指定することで行われる。このため、カーソル４４で指定された位置を示す情報も表示制御サーバ１０に送信される。Ｓ９において特に操作が受け付けられなかった場合は、本処理は終了することになる。

表示制御サーバ１０においては、操作内容を受信すると、制御部１１は、入札者の操作内容を特定する（Ｓ１０）。入札者が表示要求操作をしたと判定された場合（Ｓ１０；表示要求操作）、制御部１１は、入札者が指定した商品画像４１内の位置に基づいて、入札者が指定した特徴点Ｑ_Ｋを特定する（Ｓ１１）。Ｓ１１においては、制御部１１は、入札者が指定した商品画像４１内の２次元座標と、各特徴点Ｑ_Ｋの２次元座標と、を比較して、全特徴点Ｑ_Ｋの中から、入札者が指定した２次元座標から最も近い特徴点Ｑ_Ｋを特定する。

制御部１１は、Ｓ１１で特定した特徴点Ｑ_Ｋに基づいて軌道情報を計算する（Ｓ１２）。Ｓ１２においては、制御部１１は、入札者が指定した特徴点Ｑ_Ｋを注視するように移動する軌道Ｔを計算することになる。軌道を計算する方法は、先述した通りである。

制御部１１は、各画像データの撮影情報と、Ｓ１２で計算した軌道情報と、に基づいて、複数の画像データを選択する（Ｓ１３）。Ｓ１３においては、制御部１１は、各画像データの撮影情報と、軌道情報と、に基づいて画像データの評価値Ｅ_Ｎを計算して、軌道Ｔに応じた順番に画像データを選択することになる。画像データを選択する方法は、先述した通りである。

制御部１１は、選択した複数の画像データの連続表示データ（動画データ）を生成して、入札者端末３０に送信する（Ｓ１４）。Ｓ１４においては、制御部１１は、軌道Ｔに応じた順番に表示されるように、連続表示データを生成することになる。連続表示データは、所定のデータ形式であればよく、例えば、ＧＩＦデータ等である。

入札者端末３０においては、連続表示データを受信すると、制御部３１は、複数の画像データを表示部３５に連続表示させる（Ｓ１５）。制御部３１は、終了条件を満たすか否かを判定する（Ｓ１６）。終了条件は、本処理を終了するための条件であり、例えば、入札者により所定の終了操作が行われることである。終了条件を満たすと判定された場合（Ｓ１６；Ｙ）、本処理は終了する。終了条件を満たさないと判定された場合（Ｓ１６；Ｎ）、Ｓ９の処理に戻る。

一方、Ｓ１０において、入札者が入札操作をしたと判定された場合（Ｓ１０；入札操作）、制御部１１は、所定の入札処理を実行して本処理は終了する（Ｓ１７）。Ｓ１７の処理が実行されると、入札者が商品に入札することができる。

以上説明した表示制御システム１によれば、撮影情報と軌道情報とに基づいて選択した複数の画像データを軌道Ｔに応じた順番で表示させるため、出品者がカメラ２６を使って色々な軌道で商品を撮影する必要がないので、軌道Ｔに沿って移動する視点から商品を見た商品画像４１を表示させる場合の撮影の手間を軽減することが可能になる。他にも、ネットオークションで出品する商品は細かい傷や汚れがあるが、商品画像４１を連続表示させることで、商品を種々の角度から見るように表示させることができるので、商品の状態をより正確に確認できるようになる。また、商品の３Ｄモデルを作成するような場合には、一応は種々の方向から眺めることができるが、商品の傷や汚れも３Ｄモデルで表現しなければ商品の状態を正確に表示させることができないため手間がかかるが、表示制御システム１によれば、このような手間をかけることなく、入札者に商品の状態を正確に伝えることができる。

また、入札者が指定した３次元座標に基づいて軌道Ｔを取得することで、入札者が見たいと思う視点の軌道Ｔを指定することができるので、入札者の好みに応じた軌道Ｔで視点が移動するような画像を表示させることができる。また、入札者が指定した特徴点Ｑ_Ｋの３次元座標に基づいて軌道Ｔを取得することで、入札者が見たいと思う特徴点Ｑ_Ｋを撮影するような視点の軌道Ｔを指定することができるので、入札者が確認したい位置を種々の方向から眺めるような画像を表示させることができる。また、入札者が指定した特徴点Ｑ_Ｋの３次元座標を注視するように移動する視点の軌道情報を取得することで、入札者が特徴点Ｑ_Ｋをより確認しやすくなる。また、入札者が指定した特徴点Ｑ_Ｋが撮影された画像データを選択することで、入札者が指定した特徴点Ｑ_Ｋがはっきりと撮影されている画像データを表示させることができるので、入札者が特徴点Ｑ_Ｋの様子をより確認しやすくなる。

また、距離Ｄ_Ｎに基づいて画像データを選択するので、軌道Ｔから撮影位置Ｐ_Ｎが近い画像データを表示させることができる。また、ずれθ_Ｎに基づいて画像データを選択するので、視線方向Ｕ_Ｍと似た撮影方向Ｖ_Ｎの画像データを表示させることができる。また、撮影位置Ｐ_Ｎがずれている場合よりも撮影方向Ｖ_Ｎがずれている場合の方が被写体の見え方が大きく異なるので、距離Ｄ_Ｎよりもずれθ_Ｎに重み付けをした評価値により画像データを選択するので、ずれθ_Ｎの小ささを重視して画像データを選択することができる。

［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

（１）例えば、軌道Ｔに近い撮影位置Ｐ_Ｎの画像データが複数ある場合、画像選択部５６が選択する画像データの撮影位置Ｐ_Ｎの間隔がばらばらだと、商品に対するカメラ２６の角度の変化にばらつきが生じるため不自然な連続表示となってしまう。そこで、画像選択部５６が選択する画像データの撮影位置Ｐ_Ｎの間隔を一定間隔にすることで、自然な連続表示となるようにしてもよい。

図１４は、軌道Ｔと撮影位置Ｐ_Ｎとの関係を示す図である。図１４に示すように、撮影位置Ｐ_２０〜Ｐ_３０は、軌道Ｔから近く、これらの評価値Ｅ_２０〜Ｅ_３０も高い。しかし、撮影位置Ｐ_２０〜Ｐ_３０の画像データを全て連続表示させると、例えば、撮影位置Ｐ_２１は、両隣の撮影位置Ｐ_２０及びＰ_２２との間隔が、他の間隔に比べて狭い。同様に、撮影位置Ｐ_２５は、両隣の撮影位置Ｐ_２４及びＰ_２６との間隔が、他の間隔に比べて狭い。

このため、変形例（１）の画像選択部５６は、各画像データの撮影位置情報に基づいて、当該画像選択部５６が選択する各画像データの撮影位置情報が示す撮影位置Ｐ_Ｎの距離が所定範囲となるように、複数の画像データのうちの複数を選択する。ここでは、所定距離以上であることが所定範囲に相当する場合を説明するが、所定距離未満であることが所定範囲に相当してもよい。所定範囲を示す情報は、予めデータ記憶部５３に記憶されているものとする。

画像選択部５６は、評価値Ｅ_Ｎが基準以上である各画像データについて、当該画像データの撮影位置Ｐ_Ｎ１と、当該撮影位置Ｐ_Ｎ１に最も近い他の画像データの撮影位置Ｐ_Ｎ２との距離を計算する。そして、画像選択部５６は、当該距離が所定範囲であれば、画像データを表示対象として選択し、当該距離が所定範囲でなければ、画像データを選択しない。例えば、図１４の場合、画像選択部５６は、撮影位置Ｐ_２２及びＰ_２５の各々の画像データを選択しないことになる。

変形例（１）によれば、表示させる画像データの撮影位置Ｐ_Ｎの間隔を一定範囲内にするので、画像データを自然な表示とすることができる。

（２）また例えば、表示制御部５７は、表示部３５に表示される商品の表示位置及び表示サイズの少なくとも一方のずれが基準以内になるように、画像選択部５６により選択された各画像データの表示位置及び表示サイズの少なくとも一方を決定するようにしてもよい。表示位置は、画像内での商品の位置であり、例えば、特徴点Ｑ_Ｋの２次元座標である。表示サイズは、画像において商品が占める大きさであり、例えば、商品が表示されている画素数である。

表示制御部５７は、画像選択部５６により選択された各画像データの商品の表示位置のずれが基準以内になるように、画像データの表示位置を決定する。例えば、表示制御部５７は、各画像データの特徴点Ｑ_Ｋの２次元座標を参照し、特徴点Ｑ_Ｋの２次元座標の位置のずれが基準以内になるように、画像データの表示位置を変更する。

また、表示制御部５７は、画像選択部５６により選択された各画像データの商品の表示サイズのずれが基準以内になるように、画像データの大きさを決定する。例えば、表示制御部５７は、各画像データにおいて商品が占める割合のずれが基準以内になるように、画像データのサイズを変更する。例えば、表示制御部５７は、画像データの撮影位置Ｐ_Ｎと特徴点Ｑ_Ｋとの距離が大きいほど、画像データのサイズが大きくなるように、画像データのサイズを変更する。

変形例（２）によれば、表示させる画像データの商品の表示位置及び表示サイズの少なくとも一方のずれを基準以内にするので、画像データを自然な連続表示とすることができる。なお、表示制御部５７は、表示位置及び表示サイズの両方を変更するようにしてもよいし、何れか片方のみを変更するようにしてもよい。

（３）また例えば、実施形態では、出品者が商品の正面方向に所定距離だけ離れた撮影位置から撮影した画像データを基準画像データとする場合について説明したが、表示制御サーバ１０にアップロードする複数の画像データのうち出品者が指定したものを基準画像データとするようにしてもよい。この場合、出品者が指定した画像データの撮影位置及び撮影方向が、それぞれ、基準撮影位置である撮影位置Ｐ_０及び基準撮影方向である撮影方向Ｖ_０となる。

また例えば、基準画像データは、複数の画像データの中から所定の方法で選択されるものであればよい。例えば、上記のように出品者が指定したものでなくても、出品者が最初に撮影した画像データを基準画像データとしてもよい。例えば、出品者が最初に撮影した画像データを基準画像データとし、その撮影位置と商品の中心点との距離が一定になるようにカメラ２６を移動させて撮影する場合、各画像データ同士のカメラ２６と商品との距離のずれが少なくなるので、商品画面４０における商品画像４１の連続表示を見やすくすることができる。また、この場合に、カメラ２６の撮影中に、商品の中心点から一定距離を保って撮影するためのガイドを、カメラ２６の表示部に表示させるようにしてもよい。

また例えば、実施形態で図１２を参照して説明したように複数の画像データを選択すると、各位置Ｔ_Ｋに最も近い撮影位置Ｐ_Ｎの画像データを選択しているので、軌道Ｔからの位置のずれが小さくても、各画像データの撮影位置Ｐ_Ｎ同士の位置のずれが大きいことがある。この場合、変形例（１）でも説明したように、画像データを連続表示させると少し不自然な表示になってしまうことがある。このため、下記のような方法で、撮影位置Ｐ_Ｎ同士のずれが小さくなるように画像データを選択して、より自然な連続表示を可能にするようにしてもよい。

まず、画像選択部５６は、軌道Ｔと平行する複数のラインに基づいて、当該ラインごとに複数の撮影位置Ｐ_Ｎを特定する。各ラインは、軌道Ｔから所定距離以内であればよく、例えば、３次元空間内で商品が占める領域のうち軌道Ｔと直行する方向のサイズの所定パーセント以内の距離としてもよい。また、画像選択部５６は、各ラインとの距離が所定距離以内となる撮影位置Ｐ_Ｎを特定するようにしてもよいし、実施形態で説明した方法と同様の方法によりラインごとに評価値を算出してもよい。また例えば、画像選択部５６は、そのような撮影位置Ｐ_Ｎが軌道Ｔの位置Ｔ_Ｋの数（即ち、Ｋの数値）以上にあるラインを特定するようにしてもよい。そして、画像選択部５６は、ラインごとに特定した各撮影位置Ｐ_Ｎの間隔（即ち、ラインに沿った間隔）と、ライン及び軌道Ｔとの距離と、に基づいて１つのラインを選択する。このラインの選択では、評価値（実施形態で説明した評価値Ｅ_Ｎとは異なる。）が算出されるようにしてもよい。この評価値は、各撮影位置Ｐ_Ｎの間隔のずれが小さいほど高くなる。また、ラインと軌道Ｔの距離が小さいほど高くなる。この評価値を計算するための数式は、予めプログラムに記述されていればよい。例えば、画像選択部５６は、評価値が最も高いラインを選択する。このラインは、ある程度軌道Ｔに沿って撮影位置Ｐ_Ｎが並んでおり、かつ、各撮影位置Ｐ_Ｎの間隔がある程度一定のものである。そして、画像選択部５６は、当該選択したラインで特定した各撮影位置Ｐ_Ｎの画像データを選択することになる。

また例えば、表示制御部５７は、画像選択部５６が選択した複数の画像データを、軌道Ｔに応じた順番で表示させるようにすればよく、連続表示以外にも、商品画面４０において、これら複数の画像データを軌道Ｔに応じた順番に並べて表示させるようにしてもよい。

また例えば、上記では、画像選択部５６が、評価値Ｅ_Ｎが基準以上となる画像データを所定枚数だけ選択したが、評価値Ｅ_Ｎが基準以上となる画像データを全て選択してもよい。また、画像選択部５６が評価値Ｅ_Ｎを計算して画像データを選択する場合を説明したが、他の方法によって画像データを選択してもよい。例えば、画像選択部５６は、距離Ｄ_Ｎ及びずれθ_Ｎの少なくとも一方が所定以内となる画像データを選択してもよい。

また例えば、ユーザが商品画面４０から特徴点Ｑ_Ｋを指定する場合を例に挙げて説明したが、ユーザは、視線方向Ｕ_Ｍを指定するようにしてもよい。この場合、画像選択部５６は、ユーザが指定した視線方向Ｕ_Ｍに最も近い撮影方向Ｖ_Ｎの画像データを選択してもよい。そして、画像選択部５６は、当該選択した画像データの撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎとのずれが最も小さい画像データを次に表示させる画像データとして選択してもよい。以降、画像選択部５６は、所定枚数になるまで、撮影位置Ｐ_Ｎ及び撮影方向Ｖ_Ｎのずれが小さい画像データを順番に選択してもよい。

また例えば、軌道情報の取得方法は、上記の例に限られない。例えば、入札者が特徴点Ｑ_Ｋを指定しなくても軌道情報が取得されるようにしてもよい。この場合、入札者が商品画面４０から操作部３４を使って所定の軌道を描くことによって、軌道情報が決定されるようにしてもよい。例えば、各画像データの撮影位置Ｐ_Ｎや撮影方向Ｖ_Ｎを示す画像（例えば、図８のような３次元空間を示す画像）を表示部３５に表示させ、入札者が当該画像上で描いた軌道の通りとなるように軌道情報が取得されるようにしてもよい。

また例えば、表示制御システム１の各機能が表示制御サーバ１０で実現される場合を説明したが、各機能は、入札者端末３０で実現されるようにしてもよい。この場合、入札者端末３０が、本発明に係る表示制御装置に相当する。また例えば、各機能が、表示制御サーバ１０、出品者端末２０、及び入札者端末３０の各々で分担されているようにしてもよい。例えば、特徴点検出部５１や情報取得部５２が出品者端末２０で実現され、出品者端末２０が、特徴点Ｑ_Ｋや撮影情報を取得したうえで、画像データとともに表示制御サーバ１０にアップロードするようにしてもよい。この場合、特徴点検出部５１や情報取得部５２は、制御部２１を主として実現される。また例えば、軌道取得部５４や撮影判定部５５が入札者端末３０で実現され、入札者端末３０が、軌道情報を取得したり特徴点Ｑ_Ｋが撮影されているかを判定したりするようにしてもよい。この場合、軌道取得部５４や撮影判定部５５は、制御部３１を主として実現される。また例えば、画像選択部５６や表示制御部５７が入札者端末３０で実現され、入札者端末３０が、複数の画像データを選択して軌道に応じた順番で商品画面４０に表示させるようにしてもよい。この場合、画像選択部５６や表示制御部５７は、制御部３１を主として実現される。

また例えば、ネットオークションにおいて商品画面４０を表示させる場面を例に挙げて表示制御システム１の処理を説明したが、ネットオークション以外の種々の場面において本発明に係る表示制御システム１を適用可能である。例えば、ユーザ同士でコミュニケーションをとるＳＮＳサービスにも表示制御システム１と同様の処理を適用してもよい。複数の位置から被写体を撮影した画像データを表示させる場合に表示制御システム１を適用すればよい。このため、商品以外の種々の物体を被写体としてもよい。上記説明した「商品」は「被写体」と読み替えることができ、「出品者」や「入札者」は「ユーザ」と読み替えることができる。

Claims (12)

1. 撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データを取得する画像取得手段と、
   前記複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する情報取得手段と、
   ユーザにより指定された３次元座標に基づいて、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報を取得する軌道取得手段と、
   各画像データの前記撮影情報と、前記軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段と、
   前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段と、
   を含むことを特徴とする表示制御システム。
2. 前記表示制御システムは、前記複数の画像データの少なくとも１つに基づいて、前記被写体に関する複数の特徴点の３次元座標を検出する特徴点検出手段を更に含み、
   前記軌道取得手段は、前記複数の特徴点のうち前記ユーザにより指定された特徴点の３次元座標に基づいて、前記軌道情報を取得する、
   ことを特徴とする請求項１に記載の表示制御システム。
3. 前記軌道取得手段は、前記ユーザにより指定された特徴点の３次元座標を注視するように移動する前記視点の前記軌道情報を取得する、
   ことを特徴とする請求項２に記載の表示制御システム。
4. 前記表示制御システムは、前記複数の画像データに基づいて、前記ユーザにより指定された特徴点が各画像データに撮影されているか否かを判定する撮影判定手段を更に含み、
   前記画像選択手段は、各画像データの前記撮影情報と、前記軌道情報と、前記撮影判定手段の判定結果と、に基づいて、前記複数の画像データのうちの複数を選択する、
   ことを特徴とする請求項２又は３に記載の表示制御システム。
5. 各画像データの前記撮影情報は、当該画像データの撮影位置情報を含み、
   前記軌道情報は、前記視点の軌道位置情報を含み、
   前記画像選択手段は、各画像データの前記撮影位置情報が示す位置と、前記軌道位置情報が示す位置と、の最短距離に基づいて、前記複数の画像データのうちの複数を選択する、
   ことを特徴とする請求項１〜４の何れかに記載の表示制御システム。
6. 各画像データの前記撮影情報は、当該画像データの撮影方向情報を含み、
   前記軌道情報は、前記軌道からの前記視点の視線方向情報を含み、
   前記画像選択手段は、各画像データの前記撮影方向情報が示す方向と、前記視線方向情報が示す方向と、のずれに基づいて、前記複数の画像データのうちの複数を選択する、
   ことを特徴とする請求項１〜５の何れかに記載の表示制御システム。
7. 前記画像選択手段は、各画像データの前記最短距離と前記ずれとに基づいて、前記最短距離よりも前記ずれに重み付けをした評価値を計算する手段を含み、各画像データの前記評価値に基づいて、前記複数の画像データのうちの複数を選択する、
   請求項５に従属する請求項６に記載の表示制御システム。
8. 各画像データの前記撮影情報は、当該画像データの撮影位置情報を含み、
   前記軌道情報は、前記視点の軌道位置情報を含み、
   前記画像選択手段は、
   各画像データの前記撮影位置情報が示す位置と、前記軌道位置情報が示す位置と、の最短距離に基づいて、評価値を計算する手段を含み、
   評価値が基準以上である各画像データについて、当該画像データの前記撮影位置情報が示す位置と、当該位置に最も近い他の画像データの前記撮影位置情報が示す位置と、の距離を計算し、当該距離が所定範囲である画像データを選択することによって、前記複数の画像データのうちの複数を選択する、
   ことを特徴とする請求項１〜７の何れかに記載の表示制御システム。
9. 前記表示制御手段は、前記表示手段に表示される前記被写体の表示位置及び表示サイズの少なくとも一方のずれが基準以内になるように、前記画像選択手段により選択された各画像データの表示位置及び表示サイズの少なくとも一方を決定する、
   ことを特徴とする請求項１〜８の何れかに記載の表示制御システム。
10. 撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データの各々と、３次元空間における当該画像データの撮影位置に関する撮影情報と、を関連付けて記憶する記憶手段の記憶内容を取得する情報取得手段と、
    ユーザにより指定された３次元座標に基づいて、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報を取得する軌道取得手段と、
    各画像データの前記撮影情報と、前記軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段と、
    前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段と、
    を含むことを特徴とする表示制御装置。
11. 撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データを取得する画像取得ステップと、
    前記複数の画像データに基づいて、３次元空間における各画像データの撮影位置に関する撮影情報を取得する情報取得ステップと、
    ユーザにより指定された３次元座標に基づいて、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報を取得する軌道取得ステップと、
    各画像データの前記撮影情報と、前記軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択ステップと、
    前記画像選択ステップにおいて選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御ステップと、
    を含むことを特徴とする表示制御方法。
12. 撮影方向が互いに異なる複数の撮影位置から被写体を撮影することで生成された複数の画像データの各々と、３次元空間における当該画像データの撮影位置に関する撮影情報と、を関連付けて記憶する記憶手段の記憶内容を取得する情報取得手段、
    ユーザにより指定された３次元座標に基づいて、前記３次元空間内で視線方向を変えながら移動する視点の軌道に関する軌道情報を取得する軌道取得手段、
    各画像データの前記撮影情報と、前記軌道情報と、に基づいて、前記複数の画像データのうちの複数を選択する画像選択手段、
    前記画像選択手段により選択された複数の画像データを、前記軌道に応じた順番で表示手段に表示させる表示制御手段、
    としてコンピュータを機能させるためのプログラム。

Images