JP6181993B2 - 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法 - Google Patents

Description

本発明は、パノラマ画像を表示装置に表示することが可能な情報処理システム、情報処理装置、情報処理プログラム、および、当該情報処理システムにおける情報の送受信方法に関する。

従来、現実世界を表すパノラマ画像を用いて、ユーザの操作に応じて視線方向を変化させて現実空間の画像を表示する技術がある（例えば、非特許文献１参照）。また、この技術においては、地図上の複数の地点にパノラマ画像が関連付けられており、現在地点のパノラマ画像を表示するとともに、現在地点を移動することによって、表示されるパノラマ画像を変更することが可能である。

"Google Maps Street View 'Explore the world at streetlevel'"、［online］、［平成２５年２月２０日検索］、インターネット〈URL：http://maps.google.com/intl/en/help/maps/streetview/〉

上記の技術においては、地点を移動しつつパノラマ画像を閲覧することができるのみであり、より興趣性の高いパノラマ画像のコンテンツを提示するという点では改善の余地があった。

それ故、本発明の目的は、興趣性の高いパノラマ画像を提示することが可能な情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法を提供することである。

上記の課題を解決すべく、本発明は、以下の（１）〜（９）の構成を採用した。

（１）
本発明の一例は、地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示することが可能な複数の情報処理装置を含む情報処理システムである。
複数の情報処理装置のうちの送信側装置は、地点決定部と、第１画像表示部と、経路情報記憶部とを備える。地点決定部は、ユーザの操作に基づいて地図上の各地点から１つを対象地点として決定する。第１画像表示部は、対象地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる視線方向に応じた一部領域の画像を第１の表示装置に表示する。経路情報記憶部は、所定期間において対象地点が移動した経路上の地点に関連付けられるパノラマ画像のうちの２以上のパノラマ画像とその順序とを特定可能な経路情報を記憶する。
複数の情報処理装置のうちの受信側装置は、パノラマ画像取得部と、第２画像表示部とを備える。パノラマ画像取得部は、送信側装置において記憶された経路情報によって特定される２以上のパノラマ画像を取得する。第２画像表示部は、取得された２以上のパノラマ画像を、経路情報によって特定される順に第２の表示装置に表示する。

上記「第１の表示装置」は、送信側装置と別体であってもよいし、送信側装置と一体として構成されてもよい。また、上記「第２の表示装置」は、受信側装置と別体であってもよいし、受信側装置と一体として構成されてもよい。

上記「経路情報」は、パノラマ画像を特定することが可能な任意の情報である。例えば、後述する実施形態におけるパノラマ画像情報の他、パノラマ画像に関連付けられる地点を識別可能な情報（後述する実施形態における位置情報）は、「経路情報」に該当する。

上記「パノラマ画像取得部」が取得するパノラマ画像は、パノラマ画像全体に限らず、パノラマ画像の一部領域の画像のみであってもよい。例えば受信側装置においてパノラマ画像のうちの一部の範囲の画像が表示される場合、表示範囲内の部分画像のみが取得されてもよい。

上記（１）の構成によれば、送信側においてパノラマ画像が再生された各地点に沿った経路が、受信側に送信される。これによって、受信側では、他の装置（送信側装置）のユーザがパノラマ画像を見た経路に沿ってパノラマ画像を見ることができる。上記（１）の構成によれば、従来にはない楽しみ方でパノラマ画像を見ることができ、興趣性の高いパノラマ画像を提示することができる。

（２）
情報処理システムは、各情報処理装置と通信可能なサーバをさらに含んでいてもよい。このとき、送信側装置は、記憶された経路情報をサーバへ送信する送信部をさらに備えていてもよい。サーバは、送信側装置から送信されてくる経路情報を記憶してもよい。パノラマ画像取得部は、サーバに記憶される経路情報によって特定されるパノラマ画像を取得してもよい。

上記（２）の構成によれば、経路情報がサーバに保存されるので、経路情報を多数の情報処理装置で容易に共有することができる。

（３）
送信部は、ユーザによって入力されたメッセージとともに経路情報をサーバへ送信してもよい。このとき、サーバは、メッセージと経路情報を表す第１提示情報とを各情報処理装置が閲覧可能な状態で記憶してもよい。

上記（３）の構成によれば、受信側装置においては、サーバに投稿された経路情報に関する情報として、メッセージおよび提示情報を閲覧することができる。これによって、投稿された経路情報を受信側のユーザにとってわかりやすく提示することができる。

（４）
第１提示情報は、それが表す経路情報によって特定されるパノラマ画像から得られる画像情報であってもよい。

上記（４）の構成によれば、経路情報によって特定されるパノラマ画像から得られる画像情報が提示情報として受信側装置において表示される。これによれば、投稿された経路情報を受信側のユーザにとってわかりやすく提示することができる。

（５）
第１の情報処理装置は、ユーザによって指定された１つの地点に関連付けられるパノラマ画像を特定可能な個別地点情報を記憶する個別情報記憶部をさらに備えていてもよい。このとき、サーバは、１以上の送信側装置から送信された経路情報を表す第１提示情報を経路情報毎に生成するとともに、１以上の送信側装置から送信された個別地点情報を表す第２提示情報を個別地点情報毎に生成してもよい。受信側装置は、ユーザの第１指示に応じて、第１提示情報をサーバから取得して第２の表示装置に一覧として表示するとともに、ユーザの第２指示に応じて、第２提示情報をサーバから取得して第２の表示装置に一覧として表示する一覧表示部をさらに備えていてもよい。

上記（５）の構成によれば、受信側装置においては、投稿された経路情報の一覧と、投稿された個別地点情報の一覧とが別々に表示され、受信側のユーザは、これらの一覧を別々に閲覧することができる。これによれば、経路情報の投稿と個別地点情報の投稿とを区別してユーザにとってわかりやすく提示することができる。

（６）
経路情報記憶部は、経路情報によって特定される各パノラマ画像について、当該パノラマ画像が第１の表示装置に表示されたときの視線方向に基づいて決定される視線方向を示す視線方向情報を含む経路情報を記憶してもよい。

上記（６）の構成によれば、送信側装置は、経路情報により特定されるパノラマ画像に関連付けられる地点における視線方向を記憶することができる。

（７）
第２画像表示部は、取得されたパノラマ画像のうち、経路情報に含まれる視線方向情報に基づいて決定される一部領域の画像を第２の表示装置に表示してもよい。

上記（７）の構成によれば、送信側で表示されたパノラマ画像の視線方向を反映して、受信側で表示されるパノラマ画像の視線方向を決定することができ、興趣性の高いパノラマ画像を提供することができる。

（８）
経路情報記憶部は、所定期間において対象地点となった地点のうちで、所定の条件を満たす一部の地点に関連付けられるパノラマ画像を特定可能な経路情報を記憶してもよい。

上記（８）の構成によれば、経路上の全ての地点に関連付けられるパノラマ画像を経路情報が含む場合に比べて、経路情報のデータ量を圧縮することができる。

（９）
経路情報記憶部は、地図を表す地図データから算出される地図上の特徴に基づいて一部の地点を選出し、選出された地点に関連付けられるパノラマ画像を特定可能な経路情報を記憶してもよい。

上記（９）の構成によれば、送信側装置は、地図上の特徴を考慮して地点を選出することができ、地点を選出する処理を適切に行うことができる。

なお、本発明の別の一例は、上記（１）〜（９）の情報処理システムにおける送信側装置あるいは受信側装置と同等の手段を備える情報処理装置であってもよいし、上記（１）〜（９）の情報処理システムにおける送信側装置あるいは受信側装置と同等の手段として情報処理装置のコンピュータを機能させる情報処理プログラムであってもよい。また、本発明の別の一例は、上記（１）〜（９）の情報処理システムにおいて実行される情報の送受信方法であってもよい。

本発明によれば、送信側において記憶された経路情報が受信側に送信されるので、受信側では、従来にはない楽しみ方でパノラマ画像を提示することができ、興趣性の高いパノラマ画像を提示することができる。

本実施形態に係る情報処理システムの一例を示すブロック図 送信側装置とそれに表示される画像との一例を示す図 ３次元空間に配置される立体モデルの一例を示す図 パノラマ画像を表示するために設定される３次元空間の一例を示す図 地図データの構成の一例を模式的に示す図 経路が記憶される地図の一例を示す図 経路情報のデータ構造の一例を示す図 サーバに記憶されるデータの一例を示す図 情報処理システムにおける処理の流れの一例を示すタイミングチャート 経路情報に関する閲覧画像の一例を示す図 本実施形態において送信側装置が実行する経路記憶処理の流れの一例を示すフローチャート 本実施形態において受信側装置が実行する画像再生処理の流れの一例を示すフローチャート

［１．情報処理システムの構成］
以下、本実施形態の一例に係る情報処理システム、情報処理装置、情報処理プログラム、および情報の送受信方法について説明する。図１は、本実施形態に係る情報処理システムの一例を示すブロック図である。図１において、情報処理システム１は、送信側装置２、サーバ３、および、受信側装置４を備える。各装置２〜４は、ネットワーク５を介して互いに通信可能である。

本実施形態においては、送信側装置２は、パノラマ画像を表示して経路情報（詳細は後述する）を記憶する経路記憶処理等を実行する（図１に示す（１））。経路情報はサーバ３へ送信され（図１に示す（２））、サーバ３は、経路情報を他の情報処理装置から閲覧可能に記憶する（図１に示す（３））。受信側装置４は、経路情報をサーバ３から受信し（図１に示す（４））、上記経路情報に基づいてパノラマ画像を表示（再生）するパノラマ画像再生処理等を実行する（図１に示す（５））。このように、情報処理システム１においては、地図上の複数の地点についてのパノラマ画像を表示する情報処理装置（送信側装置２および受信側装置４）の間で、経路情報を共有することが可能である。以下、情報処理システム１における各装置２〜４の構成について説明する。

図１に示すように、送信側装置２は、ＣＰＵ１１、メモリ１２、データ記憶部１３、表示部１４、および、入力部１５を備える。また、受信側装置４は、送信側装置２と同種の情報処理装置であり、送信側装置２と同様の構成である。すなわち、受信側装置４は、ＣＰＵ３１、メモリ３２、データ記憶部３３、表示部３４、および入力部３５を備える。なお、送信側装置２と受信側装置４とは異なる種類（異なる構成）の情報処理装置であってもよい。また、各情報処理装置２および４は、パーソナルコンピュータ、ゲーム装置、携帯端末、スマートフォン等、どのような形態の情報処理装置であってもよい。以下、送信側装置２の構成について説明するが、下記“（送信側装置の構成）”の説明は受信側装置４の構成についても同様である。

（送信側装置の構成）
ＣＰＵ１１は、所定の情報処理プログラムをメモリ１２を用いて実行することによって、情報処理（送信側装置２のＣＰＵ１１においては、上記経路記憶処理。受信側装置４のＣＰＵ３１においては、上記画像再生処理）を実行する。なお、送信側装置２は、情報処理を実行することができればどのような構成であってもよく、例えば情報処理の一部または全部が専用回路によって実行されてもよい。データ記憶部１３は、上記経路情報等を記憶する。

送信側装置２は、例えばＬＣＤ（液晶表示装置）で構成される表示部１４を備える。また、送信側装置２は、入力部１５を備える。入力部１５は、ユーザの操作を受け付け、ユーザの操作を表す操作データを生成する任意の装置である。本実施形態においては、送信側装置２は、入力部１５として、操作部、タッチパネル、および、ジャイロセンサを備える。操作部は、本実施形態においては、ボタンおよびスティックである。タッチパネルは、表示部（ＬＣＤ）１４の画面上に設けられる。ジャイロセンサは、送信側装置２（または入力部１５）の姿勢を算出するための姿勢センサの一例である。他の実施形態においては、送信側装置２は、任意の方法で送信側装置２（あるいは入力部１５）の姿勢を算出してもよいし、姿勢を算出する機能を有していなくてもよい。

なお、他の実施形態においては、送信側装置２の機能が複数の装置によって実現されてもよい。例えば、主な情報処理を行うメインの情報処理装置と、表示部１４および入力部１５を有する端末装置とを含む端末システムが、送信側装置２に代えて用いられてもよい。また、他の実施形態においては、送信側装置２において実行される情報処理の少なくとも一部が、ネットワーク（広域ネットワークおよび／またはローカルネットワーク）によって通信可能な複数の装置によって分散して実行されてもよい。

また、本実施形態においては、情報処理システム１における動作をわかりやすく説明する目的で、送信側装置２が送信側の機能（上記経路記憶処理を実行する機能）を有し、受信側装置４が受信側の機能（上記画像再生処理を実行する機能）を有するものとして説明する。ただし、単一の情報処理装置が、送信側の機能と受信側の機能との両方を有していてもよい。つまり、送信側装置２と受信側装置４との機能に区別はなく、各装置２および４がそれぞれ送信側の機能と受信側の機能との両方を有していてもよい。

（サーバの構成）
サーバ３は、任意の形態の情報処理装置であり、ＣＰＵ２１、メモリ２２、および、データ記憶部２３を備える。ＣＰＵ２１は、所定の情報処理プログラムをメモリ２２を用いて実行することによって、サーバ側で実行される情報処理（サーバ側処理）を実行する。なお、サーバ３は、情報処理を実行することができればどのような構成であってもよく、例えば情報処理の一部または全部が専用回路によって実行されてもよい。サーバ３は、単一の情報処理装置によって構成されるサーバ装置であってもよいし、複数の情報処理装置によって構成されるサーバ装置群であってもよい。また、データ記憶部２３は、送信側装置２から送信されてくるデータ（経路情報等）を記憶する。なお、データ記憶部２３に記憶されるデータについては後述する。

［２．パノラマ画像の表示］
次に、本実施形態における画像を表示する処理の概要について説明する。本実施形態において、各情報処理装置２および４は、パノラマ画像のうちの一部領域（ユーザによって操作される視線方向に応じた視野範囲内の領域）の画像を表示する。

（パノラマ画像）
本実施形態において、パノラマ画像とは、表示装置に表示される範囲よりも広い範囲の画像である。つまり、パノラマ画像については、基本的にはその一部の領域の画像が表示装置に表示される。本実施形態においては、パノラマ画像のうちで、上記視線方向に応じて決まる視野範囲に含まれる領域が、表示装置に表示される範囲（表示範囲）となる。パノラマ画像は、（表示装置に表示される際に）３次元空間における視線方向に応じて表示範囲を決定する処理が行われる画像と言うこともできる。表示範囲は、例えばユーザの操作に従って変化（移動）してもよい。表示範囲が移動する場合、パノラマ画像は、表示範囲が変化することによって視線の方向が変化する画像であるとも言える。上記のように、パノラマ画像は通常はその一部領域の画像（部分画像）が表示されるものであるが、情報処理システム１は、パノラマ画像の全体を表示装置に表示する機能を有していてもよい。例えば情報処理システム１において複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。

なお、本実施形態においては、上下方向（ピッチ方向）および左右方向（ヨー方向）に関して全方向（３６０°）の視野角を有するパノラマ画像が用いられる。ただし、パノラマ画像には死角があってもよく、例えば視野角が１８０°程度であってもよい。表示装置に表示される範囲（視野範囲）よりも広い範囲の画像は、パノラマ画像である。

（視線方向の操作）
図２は、送信側装置２とそれに表示される画像との一例を示す図である。図２に示すように、本実施形態においては、現実世界を表すパノラマ画像（の一部の範囲）が送信側装置２の表示部１４に表示される。なお、以下では、送信側装置２を例として説明するが、ユーザの操作に応じて視線方向（パノラマ画像の一部）を表示する処理については受信側装置４も同様である。

本実施形態においては、視線方向は、ユーザが送信側装置２の姿勢を変化させる操作によって制御される。例えば、図２に示すように、送信側装置２が上下方向（ピッチ方向）または左右方向（ヨー方向）に回転すると、表示部１４に表示される画像の視線方向（後述する仮想カメラの視線方向）は上下または左右に変化する。具体的には、送信側装置２は、ジャイロセンサによって検出される角速度に基づいて送信側装置２の姿勢を算出し、算出された姿勢に基づいて視線方向を算出する。このように、送信側装置２の姿勢に応じて視線方向を制御することによって、ユーザは、周囲を見渡すように送信側装置２の姿勢を変化させる操作によってパノラマ画像の表示範囲を変更できる。これによれば、ユーザは、パノラマ画像が表す現実空間を見渡すことができるので、パノラマ画像の視点の場所に実際にいるかのような体験をすることができる。なお、他の実施形態においては、視線方向の制御はどのように行われてもよい。

（パノラマ画像を表示する方法）
本実施形態においては、情報処理システム１は、パノラマ画像を表示するために仮想の３次元空間を設定し、３次元空間において立体モデルを配置する。そして、情報処理システム１は、立体モデルにパノラマ動画をテクスチャとして描画する方法によってパノラマ画像を表示する。以下、詳細を説明する。

図３は、３次元空間に配置される立体モデルの一例を示す図である。図３に示すように、本実施形態においては、パノラマ画像を描画するための立体モデルとして、８つの部分モデル５１ａ〜５１ｈが３次元空間に配置される。各部分モデル５１ａ〜５１ｈはそれぞれ、球面の一部である曲面状の形状であり、組み合わせると球を形成する。図３に示すように、上記８つの部分モデル５１ａ〜５１ｈは球状に配置される。

上記部分モデル５１ａ〜５１ｈにはそれぞれ、パノラマ画像の一部が描画される。ここで、パノラマ画像は上記部分モデル５１ａ〜５１ｈの数（ここでは８つ）に応じて分割される。本実施形態においては、図３に示すように、分割された各パノラマ画像の部分Ａ〜Ｈは、対応する部分モデル（部分モデル５１ａ〜５１ｈのいずれか）の内側面に描画される。

図４は、パノラマ画像を表示するために設定される３次元空間の一例を示す図である。なお、以下においては、８つの部分モデル５１ａ〜５１ｈが球状に配置されることによって形成されるモデルを「立体モデル５１」と表記する。また、図４においては、図面を見やすくする目的で、実際に配置される各部分モデル５１ａ〜５１ｈの形状を示さず、各部分モデル５１ａ〜５１ｈによって形成される立体モデル５１の外観形状を点線によって示すこととする。

情報処理システム１は、立体モデル５１の内側の例えば中心位置Ｐに仮想カメラを配置する。そして、情報処理システム１は、仮想カメラ（視点）の位置Ｐから視線方向Ｖの方を見た立体モデル５１（立体モデル５１の内側面）の画像を生成する。すなわち、情報処理システム１は、上記３次元空間（立体モデル５１）のうち、視線方向Ｖによって決められる視野範囲（図４に示す斜線領域５２）の画像を生成し、表示装置に表示する。ここで、画像を生成する際、情報処理システム１は、パノラマ画像をテクスチャとして立体モデル５１の内側面に描画する。つまり、視野範囲に含まれる立体モデル５１（各部分モデル５１ａ〜５１ｈのいくつか）の内側面に、パノラマ動画の一部が描画され、この視野範囲の画像が表示される。これによって、パノラマ画像のうち、仮想カメラの視野範囲に対応する範囲の画像が生成されて表示されることになる。

上述のように、本実施形態においては仮想カメラの視線方向Ｖはユーザの操作に応じて変化する。したがって、ユーザの操作に応じて仮想カメラの視線方向が変化することによって、パノラマ画像のうちの表示範囲が変化する（図２参照）。なお、仮想カメラの視野範囲は、視線方向Ｖに基づく任意の方法で決められる。例えば、視野範囲は、視線方向Ｖを中心とする所定の範囲となるように決められる。情報処理システム１は、例えばユーザの操作に応じて、視野範囲の大きさを変更するようにしてもよい。

［３．パノラマ画像と関連付けられる地図データ］
次に、本実施形態において用いられる地図データについて説明する。本実施形態においては、地図データが用意され、地図データが表す地図上における複数の地点についてそれぞれパノラマ画像が用意される。詳細は後述するが、ユーザは、地図上の地点を移動させることによって、視点の位置が異なる複数のパノラマ画像を表示させることができる。

図５は、地図データの構成の一例を模式的に示す図である。図５に示す点は、地図上においてパノラマ画像が関連付けられる地点を表す。地点は、例えば地図上の道路に沿って配置される。また、点同士を結ぶ線分は、地点同士が接続されていることを表す。このように、地図データは、地図上における複数の地点と、地点同士の接続関係を示す。地図データにおける地点およびその接続関係は、例えば、地点を表すノードと、ノード同士を接続するリンクとによって表現されてもよい。

図５に示すように、地図データは、地図上に設定される地点を表す地点情報を地点毎に格納する。本実施形態においては、地点情報は、位置情報と接続情報とを含む。位置情報は、当該地点の地図上の位置を示す情報である。例えば、位置情報は、地図上における緯度経度を示す。接続情報は、当該地点に接続される他の地点（隣接地点）を示す隣接情報を含む。隣接情報は、隣接地点を表すノードの情報であってもよいし、当該地点と隣接地点との接続を表すリンクの情報であってもよい。また、本実施形態においては、接続情報は、当該地点から見た隣接地点の地図上の方向を示す方向情報を含む。

本実施形態においては、地点に関してそれぞれパノラマ画像が関連付けられる。具体的には、地図データにおいては、地点情報に対して、パノラマ画像情報が関連付けて格納される（図５参照）。パノラマ画像情報は例えば、各パノラマ画像を識別可能な識別情報（ＩＤ）である。このように、本実施形態においては、複数のパノラマ画像が用意され、各パノラマ画像はそれぞれ地図上の地点に関連付けられる。なお、ある地点に関連付けられるパノラマ画像は、当該ある地点を視点として視点の周囲を撮影したパノラマ画像である。

なお、地図データの構成は上記に限らず、地点に対してパノラマ画像が関連付けられる任意の構成であってよい。例えば他の実施形態においては、地図データは、上記方向情報を含まない構成であってもよい。また、地図データは、上記の情報以外の情報をさらに含んでいてもよい。例えば地図データは、地点の高度に関する情報をさらに含んでいてもよい。高度に関する情報とは、例えば、地図上の建物の中に地点が設定される場合において、その地点が建物の何階か示す情報である。このように、地図データの地点は、道路上の地点に限らず、建物内の地点であってもよい。

［４．情報処理システムにおける動作］
次に、情報処理システム１における動作について説明する。本実施形態においては、まず、送信側装置２においてユーザの操作によって地点が移動されつつパノラマ画像が表示された際に、地点を移動した経路が記憶され、経路情報がサーバ３へ送信される。その後、受信側装置４において、ユーザの操作によってサーバ３から経路情報が取得され、経路上の地点のパノラマ画像が再生（表示）される。このようにして、本実施形態においては、送信側と受信側とでパノラマ画像に関する経路を共有することができる。

（４−１：送信側装置における動作）
以下、送信側装置２において経路情報が記憶されてサーバ３へ送信される際の動作について説明する。図６は、経路が記憶される地図の一例を示す図である。以下では、図６に示す地図において、開始地点Ｐｓから、地点Ｐ１〜Ｐ１２を順に移動し、終了地点Ｐｇまで移動する経路が記憶される場合を例として説明する。

経路が記憶される際、送信側装置２は、ユーザから所定の記憶開始指示があったことに応じて記憶を開始する。具体的には、記憶開始指示があった時の現在地点（開始地点Ｐｓ）について、経路地点情報が記憶される。詳細は後述するが、経路地点情報は、記憶される経路に含まれる地点に関する情報である。その後、ユーザによる移動操作によって現在地点（対象地点）が移動することによって、現在地点となった地点について経路地点情報が記憶される。なお、記憶開始指示のための具体的な操作方法、および、移動操作の方法は、任意であり、どのような方法で行われてもよい。また、本実施形態においては、現在地点は、それに隣接する地点へとユーザの操作に応じて移動するものとするが、現在地点（対象地点）の決定方法は、ユーザの操作に基づいて地図上の各地点から１つを現在地点として決定する方法であればどのような方法であってもよい。

図７は、経路情報のデータ構造の一例を示す図である。図７に示すように、経路情報は、１以上の経路地点情報を含む。経路地点情報は、１つの地点に関して記憶される情報である。本実施形態においては、経路地点情報は、順序情報、位置情報、パノラマ画像情報、および、視線方向情報を含む。

順序情報は、記憶される経路上の各地点のうちの、当該地点（その順序情報を含む経路地点情報に対応する地点）の順序を示す。例えば、記憶される経路上の各地点について、開始地点を“１”として開始地点から順に増加する番号が順序情報として付される。詳細は後述するが、受信側において、経路上の各地点に関連付けられる各パノラマ画像は、この順序情報に従った順序で再生（表示）される。つまり、順序情報は、経路情報を用いたパノラマ画像の再生処理における、パノラマ画像の表示順を示す。

位置情報は、上述した当該地点の位置情報（図５参照）である。また、パノラマ画像情報は、地図データにおいて当該地点に関連付けられるパノラマ画像情報（図５参照）と同じ情報である。

視線方向情報は、当該地点における視線方向に基づいて決められる視線方向（代表視線方向と呼ぶ）を示す。ここで「当該地点における視線方向」とは、当該地点のパノラマ画像が表示されている間における視線方向のことである。送信側装置２は、当該地点のパノラマ画像が表示されていた期間中における視線方向に基づいて代表視線方向を算出する。具体的には、送信側装置２は、上記期間中において視線方向を所定時間間隔で記憶しておき、上記期間の終了後に、記憶しておいた視線方向に基づいて代表視線方向を算出する。

代表視線方向の算出方法は任意であるが、例えば、次に示す方法が考えられる。すなわち、代表視線方向は、上記期間中において記憶された視線方向の平均として算出されてもよい。また、代表視線方向は、上記期間中において最も長い時間向いていた視線方向として算出されてもよい。具体的には、視線方向の取り得る範囲を複数の区分に分割し、上記期間中において記憶された視線方向を最も多く含む区分に対応する視線方向が代表視線方向とされてもよい。また、上記期間における最後の視線方向が代表視線方向として決定されてもよい。このように、代表視線方向は、上記期間においてユーザが見ていた方向を表すように算出されてもよい。また、他の実施形態においては、視線方向情報は、上記期間中において記憶された各視線方向を示す情報であってもよい。さらにこのとき、経路情報を受信したサーバ側あるいは受信装置側において、代表視線方向が算出されてもよい。

以上のように、本実施形態においては、送信側装置２は、経路情報によって特定される各パノラマ画像について、当該パノラマ画像が表示部１４に表示されたときの視線方向に基づいて決定される代表視線方向を示す視線情報を記憶する。これによって、送信側装置２は、ユーザが現在地点を移動した経路だけでなく、各地点における視線方向を記憶することができる。

なお、経路情報は、それに基づいて受信側においてパノラマ画像を再生することが可能であれば、どのような情報であってもよい。例えば他の実施形態においては、経路情報は、視線方向情報を含まなくてもよいし、他の情報を含んでいてもよい。

経路地点情報を生成する際、送信側装置２は、上記位置情報およびパノラマ画像情報を地図データから取得する。なお、地図データは、予めサーバから取得されていてもよいし、経路地点情報を生成するタイミングでサーバから取得されてもよい。また、経路地点情報を生成する際、送信側装置２は、上記順序情報と視線方向情報とを上述した方法で生成する。

本実施形態においては、送信側装置２は、経路の記憶が開始された後、現在地点が移動する度に経路地点情報を記憶する処理を実行する。なお、経路地点情報が生成・記憶されるタイミングは任意であるが、本実施形態においては、現在地点が移動したタイミングで、経路地点情報が生成・記憶される。具体的には、現在地点が移動した場合、送信側装置２は、移動後の地点について、経路地点情報のうちの、順序情報、位置情報、およびパノラマ画像情報を記憶する。また、上記の場合、送信側装置２は、移動前の地点について、経路地点情報のうちの視線方向情報を記憶する。本実施形態においては、視線方向情報は地点が移動した後で生成可能となるからである。また、経路の記憶を終了するための所定の終了条件が満たされた場合、送信側装置２は、その時点における現在地点（終了地点）について視線方向情報を記憶して、経路の記憶を終了する。なお、上記終了条件は任意であるが、本実施形態においては、記憶される地点の数が予め定められた所定数に達した、あるいは、ユーザが所定の終了指示を行ったことを終了条件とする。

（地点を間引いて記憶する処理）
また、他の実施形態においては、記憶される経路上における全ての地点について経路地点情報が記憶されるのではなく、そのうちの一部の地点についてのみ経路地点情報が記憶されてもよい。つまり、経路情報には、経路が記憶される期間において現在地点となった地点のうちの一部の地点に関する経路地点情報のみが含まれてもよい。換言すれば、経路情報は、上記期間において現在地点となった地点のうちで、所定の間引き条件を満たす一部の地点に関連付けられるパノラマ画像を特定可能なものであってもよい。これによって、経路情報のデータ量を圧縮することができる。

上記間引き条件は任意である。すなわち、経路上における地点のうちで経路地点情報として記憶される対象となる地点の選出方法は、任意である。なお、この選出方法としては、例えば以下の方法が考えられる。

例えば、送信側装置２は、記憶対象となる各地点を、地図上における位置が所定距離以上となるように選出してもよい。具体的には、送信側装置２は、現在地点が移動した場合、移動後の地点の位置が、最後に記憶した地点の位置から所定距離以上であれば、移動後の地点を記憶し、所定距離未満であれば、移動後の地点を記憶しないようにしてもよい。例えば図６に示す例において、記憶された地点Ｐ１と次の地点Ｐ２との間のように距離が近い場合には、地点Ｐ２は記憶対象とならず、地点Ｐ１から所定距離以上離れた地点Ｐ３が次に記憶対象とされてもよい。なお、各地点の地図上における位置は、地図データに含まれる位置情報（緯度経度情報）を用いて知ることができる。

また例えば、送信側装置２は、経路を特定可能な地点を記憶対象として選出してもよい。具体的には、送信側装置２は、経路上における開始地点、交差点の地点、および終了地点を記憶対象として選出してもよい。例えば、図６に示す例においては、開始地点Ｐｓと、交差点の地点Ｐ１，Ｐ４，Ｐ７，Ｐ９．Ｐ１０，およびＰ１２と、終了地点Ｐｇが記憶対象とされてもよい。

また例えば、送信側装置２は、現在地点が所定回数移動した場合に１回の割合で記憶対象となる地点を選出してもよい。なお、このとき、交差点の地点が優先的に選出される（移動した地点が交差点であれば記憶対象とされる）ようにしてもよい。また、地図データにおいて、地点に関する関連情報（例えば、地名や道路名等を示す情報）が含まれている場合には、この関連情報に基づいて記憶対象となる地点が選出されてもよい。例えば、送信側装置２は、経路に沿った道路の種類（高速道路か一般道路か）を上記関連情報から判別し、上記の所定回数を判別結果に応じて変更するようにしてもよい。

以上に説明したように、送信側装置２は、地図データから算出される地図上の特徴（地図上の位置、地点が交差点かどうか、上記関連情報等）に基づいて地点を選出してもよい。これによれば、送信側装置２は、地図上の特徴を考慮することによって地点を間引く処理を適切に行うことができる。

（メッセージの入力）
また、本実施形態においては、ユーザは、記憶した経路についてメッセージを付加することが可能である。具体的には、上記終了条件が満たされて経路の記憶が終了された後、送信側装置２は、メッセージの入力をユーザから受け付ける。メッセージは、文字入力によって文字情報として入力されてもよいし、タッチ入力によって手書き入力情報として入力されてもよいし、音声入力によって音声情報として入力されてもよい。入力されたメッセージは、ユーザを識別するための情報（ユーザの名前等）とともに、メッセージ情報として記憶される。送信側装置２は、上記経路情報とメッセージ情報とをサーバ３へ送信する。なお、メッセージの入力は、経路情報が記憶された後の任意のタイミングで行われてよい。また、経路情報（およびメッセージ情報）の送信は、経路情報が記憶された後の任意のタイミングで行われてよい。例えば、送信側装置２は、記憶された経路情報をお気に入りとして登録（保存）することが可能であってもよく、お気に入りとして登録された経路情報を後から（例えばユーザの指示に応じて）サーバ３へ送信するようにしてもよい。

（個別の地点の共有）
また、本実施形態においては、情報処理システム１は、上記経路情報だけでなく、個別の地点の情報についても各情報処理装置で共有することが可能である。すなわち、送信側装置２は、個別の地点の情報についても投稿を行うことが可能である。具体的には、ユーザの指示があったことに応じて、送信側装置２は、指示があった時点における現在地点のパノラマ画像を示すパノラマ画像情報を記憶する。また、送信側装置２は、指示があった時点における視線方向を示す視線方向情報を記憶する。送信側装置２は、これらのパノラマ画像情報と視線方向情報とを含む個別地点情報をサーバ３へ送信する。ユーザによってメッセージが入力される場合には、送信側装置２は、個別地点情報とともにメッセージ情報をサーバ３へ送信する。

（４−２：経路情報を受信する際のサーバの動作）
次に、経路情報を受信する際におけるサーバ３の動作について説明する。上述のようにして経路情報が送信側装置２から送信（投稿）され、サーバ３で受信される。サーバ３は、経路情報を受信すると、経路情報を含む投稿経路情報を生成して記憶する。なお、サーバ３は、複数の送信側装置から経路情報を受信可能であり、受信した経路情報毎に投稿経路情報を生成する。

図８は、サーバに記憶されるデータの一例を示す図である。図８に示すように、サーバ３のデータ記憶部２３は、地図データ、パノラマ画像データ、上記投稿経路情報、投稿地点情報を記憶する。地図データは、上記“［３．パノラマ画像と関連付けられる地図データ］”で説明されたものである。また、パノラマ画像データは、地図上の各地点に関連付けられる各パノラマ画像の画像データである。なお、サーバ３は複数のサーバ装置で構成されてもよく、図８に示すデータ（情報）は、複数のサーバ装置に分けて記憶されていてもよい。例えば、地図データおよびパノラマ画像データを記憶するサーバ装置と、投稿経路情報および投稿地点情報を記憶するサーバ装置とが別に設けられてもよい。

投稿経路情報は、投稿（送信）された経路情報毎に生成されて記憶される。本実施形態においては、図８に示すように、投稿経路情報は、経路情報、メッセージ情報、およびサムネイル情報を含む。経路情報およびメッセージ情報は、上述したように、送信側装置２から送信されてサーバ３で受信される情報である。

サムネイル情報は、それに対応する経路情報により特定されるパノラマ画像のサムネイルを示す情報である。すなわち、サムネイル情報は、経路情報により特定されるパノラマ画像から得られる画像（サムネイル画像）を示す。本実施形態においては、サーバ３は、経路情報が表す経路の開始地点のパノラマ画像に基づいてサムネイル画像を生成する。より特定的には、開始地点のパノラマ画像のうち、経路の記憶が開始された時点で表示されていた領域の画像がサムネイル画像とされる。また、サムネイル情報には、サーバ３に記憶されるサムネイル画像の記憶場所（ＵＲＬ）を示すＵＲＬ情報が含まれる。なお、ＵＲＬ情報の代わりにサムネイルとして表示する地点の座標や視線方向等がサムネイル情報に含まれてもよい。

なお、サムネイル情報は、経路情報を受信側ユーザ（受信側装置４）に対して提示するために用いられる提示情報の一例であり、経路情報を表す提示情報の一例である。他の実施形態においては、サムネイル情報に代えて、地図上における経路を表す任意の情報が提示情報として用いられてもよい。

また、本実施形態においては、個別地点情報に関しても経路情報と同様、個別地点情報毎に投稿地点情報が生成されて記憶される。本実施形態においては、図８に示すように、投稿地点情報は、個別地点情報、メッセージ情報、および、サムネイル情報を含む。個別地点情報およびメッセージ情報は、上述したように、送信側装置２から送信されてサーバ３で受信される情報である。サムネイル情報は、それに対応する個別地点情報により特定されるパノラマ画像のサムネイルを示す情報である。例えば、サーバ３は、個別地点情報が表す地点のパノラマ画像のうち、記憶が指示された時点で表示されていた領域の画像をサムネイル画像とする。また、投稿地点情報についても投稿経路情報と同様、サムネイル情報にはＵＲＬ情報が含まれる。

（４−３：経路情報が受信側装置に受信される際の動作）
次に、経路情報がサーバ３から送信されて受信側装置４において受信される際の動作について説明する。図９は、情報処理システム１における処理の流れの一例を示すタイミングチャートである。図９に示すように、本実施形態においては、上述した方法で送信側装置２からサーバ３へ経路情報等が送信される（ステップＳ１）。そして、サーバ３は、受信した経路情報を含む投稿経路情報を生成して記憶する。このようにして、経路情報（投稿経路情報）がサーバ３にアップされた状態となる。以下では、サーバ３に１以上の経路情報がアップされた状態にあるものとして、経路情報が受信側装置４へ送信される際の動作について説明を行う。

まず、受信側装置４は、サーバ３にアップされている経路情報を閲覧する旨の閲覧要求をサーバ３に対して送信する（ステップＳ２）。閲覧要求が送信されるタイミングおよび条件は任意であるが、本実施形態においては、閲覧要求は、ユーザから所定の指示があったことに応じて送信される。なお、受信側装置４においてユーザが所望する地点のパノラマ画像が表示されている状態において、ユーザの指示に応じて閲覧要求を送信することができるようにしてもよい。なお、図９では図示しないが、本実施形態においては、受信側装置４は、経路情報の閲覧要求の他、個別地点情報の閲覧要求を送信することが可能である。経路情報と個別地点情報とのいずれの閲覧要求が送信されるかは、ユーザによって指示される。

（閲覧情報の表示）
経路情報の閲覧要求を受信すると、サーバ３は、閲覧情報を受信側装置４へ送信する（ステップＳ３）。受信側装置４は、閲覧情報を受信し、受信した閲覧情報に基づく閲覧画像を表示部３４に表示する（ステップＳ４）。

図１０は、経路情報に関する閲覧画像の一例を示す図である。図１０に示すように、閲覧画像は、投稿経路画像６１の一覧を表す画像である。１つの投稿経路画像６１は、１つの経路情報（投稿経路情報）を表す。図１０に示すように、投稿経路画像６１は、サムネイル画像６２、地名画像６３、およびメッセージ画像６４を含む。このように、受信側装置４においては、投稿された経路情報毎にサムネイル画像、地名、およびメッセージを含む情報が、各経路情報の一覧として表示される。なお、図１０に示すように、投稿経路画像６１には、投稿したユーザの名前（識別情報）が含まれていてもよい。また、図１０においては、画面に表示される画像を上下にスクロールすることによって、図１０においては表示されていない他の投稿経路画像を表示させることができるものとする。

上記のように、本実施形態においては、送信側装置２は、ユーザによって入力されたメッセージとともに経路情報をサーバ３へ送信する。そして、サーバ３は、メッセージと、経路情報を表す提示情報（サムネイル画像）とを、受信側装置４が閲覧可能な状態で記憶する。したがって、受信側装置４においては、投稿された経路情報に関する情報として、メッセージおよび提示情報を閲覧することができる（図１０）。これによって、投稿された経路情報を受信側のユーザにとってわかりやすく提示することができる。

また、本実施形態においては、経路情報を表す上記提示情報は、それが表す経路情報によって特定されるパノラマ画像から得られる画像情報（すなわち、サムネイル画像の情報）である。この画像情報が受信側装置４において表示されることによって、投稿された経路情報を受信側のユーザにとってわかりやすく提示することができる。

閲覧情報を送信する場合、具体的には、サーバ３は、上記投稿経路情報のうちの、メッセージ情報、および、サムネイル情報を含む閲覧情報を生成して送信する。本実施形態においては、サーバ３は、経路情報に対応する地名を地図データを用いて決定し、地名を示す情報を閲覧情報にさらに含めて送信する。

また、サーバ３は、所定数の投稿経路情報について閲覧情報を生成し、受信側装置４へ送信する。例えば、最近に投稿されたものから順に所定数の投稿経路情報について閲覧情報が送信される。受信側装置４は、受信した閲覧情報に基づいて投稿経路画像６１を生成し、表示部３４に表示する。これによって、図１０に示すような閲覧画像が表示される。なお、閲覧画像が表示される状態において、受信側装置４は、ユーザの指示に応じてさらなる閲覧要求を送信することによって、新たな閲覧情報（まだ送信されていない投稿経路情報についての閲覧情報）をサーバ３から取得し、取得した閲覧情報によって閲覧画像の内容を更新するようにしてもよい。

本実施形態においては、受信側装置４は、経路情報に関する閲覧情報の他、個別地点情報に関する閲覧情報をサーバ３から取得することが可能である。この場合、受信側装置４は、個別地点情報に関する閲覧情報を取得するための閲覧要求をサーバ３へ送信する。この閲覧要求に応じて、サーバ３は、所定数の投稿地点情報について閲覧情報を生成し、受信側装置４へ送信する。個別地点情報の閲覧情報は、個別地点情報を表す提示情報が個別地点情報毎に含まれる任意の内容でよい。本実施形態においては、個別地点情報の閲覧情報は、経路情報の場合と同様、メッセージ情報、（提示情報としての）サムネイル情報、および地名情報を含む。したがって、閲覧情報を受信した受信側装置４は、経路情報に関する閲覧画像と同様の閲覧画像を生成して表示部３４に表示することができる。

上記のように、送信側装置２は、ユーザによって指定された１つの地点に関連付けられるパノラマ画像を特定可能な個別地点情報を記憶する。サーバ３は、１以上の送信側装置から送信された経路情報を表す第１提示情報（サムネイル画像）を経路情報毎に生成するとともに、１以上の送信側装置から送信された個別地点情報を表す第２提示情報（サムネイル画像）を個別地点情報毎に生成する。受信側装置４は、ユーザの第１指示に応じて、第１提示情報（経路情報を表す提示情報を含む閲覧情報）をサーバ３から取得して表示部３４に一覧として表示するとともに、ユーザの第２指示に応じて、第２提示情報（個別地点情報を表す提示情報を含む閲覧情報）をサーバ３から取得して表示部３４に一覧として表示する。このように、本実施形態においては、受信側装置４においては、投稿された経路情報の一覧と、投稿された個別地点情報の一覧とが別々に表示され、受信側のユーザは、これらの一覧を別々に閲覧することができる。これによれば、経路情報の投稿と個別地点情報の投稿とをユーザにとってわかりやすく提示することができる。なお、他の実施形態においては、経路情報と個別地点情報とが同じ一覧画面で表示されてもよい。このとき、例えば経路情報と個別地点情報とで異なるアイコンを投稿経路画像内に表示すること等によって、経路情報と個別地点情報とが区別して表示されてもよい。

（経路情報の取得と再生）
上記閲覧画像が表示される状態において、受信側装置４は、ユーザの指示に応じて、閲覧画像に含まれる投稿経路画像から１つを選択する。選択の方法は任意であるが、例えば、ユーザがサムネイル画像を指定する入力（タッチ入力等）によって投稿経路画像の１つが選択される。受信側装置４は、選択された投稿経路画像が表す経路情報を取得する旨の要求（経路情報要求）をサーバ３へ送信する（ステップＳ５）。したがって、経路情報要求を受信したサーバ３は、特定される経路情報を受信側装置４へ送信する（ステップＳ６）。

なお、本実施形態においては、受信側装置４が提示情報（サムネイル画像）を取得するために、提示情報（サムネイル情報）と関連付けられた取得情報（ＵＲＬ情報）が用いられる。また、受信側装置４は、サーバ３に記憶されるメッセージと提示情報とを取得して表示部３４に表示する。そして、受信側装置４は、表示部３４に表示された提示情報がユーザによって指定された場合、指定された提示情報が示す投稿経路情報に含まれる経路情報をサーバ３から取得する。これによれば、受信側装置４は、ユーザが提示情報（サムネイル画像）を指定することで、所望の経路情報を容易に取得することができる。なお、提示情報（取得情報）として、ＵＲＬ情報の代わりにサムネイル画像として表示する地点の座標や視線方向等が記憶されてもよい。

受信側装置４は、経路情報を受信すると、受信した経路情報に基づいて、再生すべきパノラマ画像を特定し、特定したパノラマ画像の取得をサーバ３に対して要求する（ステップＳ７）。すなわち、受信側装置４は、経路情報に含まれるパノラマ画像情報が示すパノラマ画像をサーバ３に対して要求する。これに対して、サーバ３は、要求されたパノラマ画像を送信する（Ｓ８）。

次に、受信側装置４は、受信した複数のパノラマ画像を再生する（ステップＳ９）。すなわち、経路情報に含まれる順序情報に従った順序で、各パノラマ画像を順に表示する。これによって、受信側装置４において経路に沿った順にパノラマ画像が再生される。なお、経路情報には複数のパノラマ画像情報が含まれる。受信側装置４は、経路情報に含まれる全てのパノラマ画像を取得した後で再生を開始してもよいし、全てのパノラマ画像のうちの一部を取得した段階で再生を開始してもよい。

受信側装置４におけるパノラマ画像の再生中においては、現在地点は、経路情報が表す経路に沿って移動される。表示されるパノラマ画像は、現在地点の移動に応じて更新される。ここで、パノラマ画像の再生速度（パノラマ画像の更新間隔、換言すれば、現在地点の移動速度）は、任意である。パノラマ画像は、一定時間毎に更新されてもよいし、ユーザの指示に従って更新されてもよい。また、他の実施形態においては、送信側のユーザが指定した再生速度の情報が経路情報に含まれ、受信側装置４は、経路情報に含まれる再生速度の情報に従ってパノラマ画像を再生してもよい。

受信側装置４におけるパノラマ画像の再生中において、パノラマ画像の表示範囲の決定方法は任意である。例えば、経路情報に含まれる視線方向情報に基づいて視線方向（視野範囲）が決定され、パノラマ画像のうちで、決定された視野範囲の画像が表示部３４に表示されてもよい。つまり、受信側装置４は、取得されたパノラマ画像のうち、上記視線方向情報に基づいて決定される一部領域の画像を表示部３４に表示してもよい。これによれば、送信側で表示されたパノラマ画像の視線方向を反映して、受信側で表示されるパノラマ画像の視線方向を決定することができる。これによれば、例えば受信側のユーザは、送信側のユーザが見ていた方向を知ることができ、興趣性の高いパノラマ画像を提供することができる。

また、他の実施形態においては、例えば上記“（視線方向の操作）”で述べた方法で、ユーザの操作に応じて視線方向が制御されてもよい。また、受信側装置４は、視線方向情報に基づいて決められる表示範囲の画像と、ユーザの操作に基づいて制御される表示範囲の画像との両方を表示するようにしてもよい。さらに、受信側装置４は、所定のアルゴリズムに従って視線方向を制御してもよい。例えば、受信側装置４は、視線方向が経路の進行方向（現在地点から、経路に沿って次に移動する地点への方向）を向くように、視線方向を制御してもよい。

なお、本実施形態においては、経路情報の送信とパノラマ画像の送信とが分けて行われたが、他の実施形態においては、サーバ３は、経路情報とパノラマ画像とをまとめて受信側装置４へ送信してもよい。つまり、上記ステップＳ６において、サーバ３は、経路情報と、当該経路情報に含まれるパノラマ画像情報が示すパノラマ画像とを受信側装置４へ送信してもよい。このとき、経路情報に基づいてパノラマ画像を特定する処理は受信側装置４では不要である。また、他の実施形態においては、経路情報は受信側装置４へ必ずしも送信されなくてもよく、サーバ３は、経路情報を受信側装置４へ送信せず、経路情報により特定されるパノラマ画像を受信側装置４へ送信してもよい。

以上のように、本実施形態においては、送信側装置２は、現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる視線方向に応じた一部領域（表示範囲）の画像を表示部１４に表示する。また、送信側装置２は、所定期間において現在地点が移動した経路上の地点に関連付けられるパノラマ画像のうちの２以上のパノラマ画像とその順序とを特定可能な経路情報を記憶する。受信側装置４は、送信側装置２において記憶された経路情報によって特定される２以上のパノラマ画像を取得し、取得された２以上のパノラマ画像を、経路情報によって特定される順に表示部３４に表示する。このように、本実施形態においては、パノラマ画像が再生された各地点に沿った経路を送信側と受信側とで共有することができる。受信側では、単に地点を移動しつつパノラマ画像を見るだけでなく、他の装置のユーザが見た経路に沿ってパノラマ画像を見ることができ、従来にはない楽しみ方でパノラマ画像を見ることができる。

また、本実施形態においては、情報処理システム１は、各情報処理装置２および４と通信可能なサーバ３をさらに含む。送信側装置２は、記憶された経路情報をサーバ３へ送信し、サーバ３は、送信側装置２から送信されてくる経路情報を記憶する。そして、受信側装置４は、サーバ３に記憶される経路情報によって特定されるパノラマ画像を取得する。このように、本実施形態においては、経路情報がサーバにアップされて保存されるので、経路情報を多数の情報処理装置で容易に共有することができる。なお、他の実施形態においては、情報処理システム１はサーバ３を含まない構成であってもよく、送信側装置２と受信側装置４とが情報（経路情報等）を直接送受信してもよい。

［５．情報処理の詳細］
（５−１：送信側装置における処理）
以下、本実施形態において送信側装置２で実行される経路記憶処理の具体的な一例について説明する。図１１は、本実施形態において送信側装置２（ＣＰＵ１１）が実行する経路記憶処理の流れの一例を示すフローチャートである。本実施形態においては、図１１に示す一連の処理は、ＣＰＵ１１が、データ記憶部１３に記憶される情報処理プログラムを実行することによって行われる。

なお、図１１に示す経路記憶処理が開始されるタイミングは任意である。本実施形態においては、パノラマ画像の表示を開始する指示をユーザが行ったことに応じて情報処理プログラムの実行が開始される。このとき、情報処理プログラムは、適宜のタイミングでその一部または全部がメモリ１２に読み出され、ＣＰＵ１１によって実行される。その後、経路の記憶を開始する指示をユーザが行ったことに応じて、図１１に示す一連の処理が開始される。なお、情報処理プログラムは、送信側装置２内のデータ記憶部１３に予め記憶されているものとする。ただし、他の実施形態においては、送信側装置２に着脱可能な記憶媒体から取得されてメモリ１２に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてメモリ１２に記憶されてもよい。

なお、図１１および後述する図１２に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて（または代えて）別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵが実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

経路記憶処理においては、まずステップＳ１１において、ＣＰＵ１１は、経路情報を作成してメモリ１２に記憶する。具体的には、上記“”で述べた方法に従って、現在地点（開始地点）に関する経路地点情報（視線方向情報を除く）が生成され、当該経路地点情報を含む経路情報がメモリ１２に記憶される。

ステップＳ１２において、ＣＰＵ１１は、パノラマ画像のうち、送信側装置２の姿勢に応じて決められる視野範囲の画像を生成し、生成した画像を表示部１４に表示させる。具体的には、ＣＰＵ１１は、上記"［２．パノラマ画像の表示］"で述べた方法に従って視野範囲の画像を生成し、画像を表示部３４に表示する。

ステップＳ１３において、ＣＰＵ１１は、現在の視線方向をメモリ１２に記憶する。本実施形態においては、ステップＳ１２〜Ｓ１７の処理ループは所定時間に１回の割合で繰り返し実行され、その結果、視線方向が所定時間に１回の割合で繰り返し記憶される。

ステップＳ１４において、ＣＰＵ１１は、地点を移動する移動操作がユーザによって行われたか否かを判定する。この判定は、入力部１５から取得される操作データに基づいて行われる。ステップＳ１４の判定結果が肯定である場合、ステップＳ１５の処理が実行される。一方、ステップＳ１４の判定結果が否定である場合、ステップＳ１５およびＳ１６の処理がスキップされて、後述するステップＳ１７の処理が実行される。

ステップＳ１５において、ＣＰＵ１１は、表示するパノラマ画像を、上記移動操作による移動後の現在地点に関連付けられるパノラマ画像に変更する。これによって、次回に実行されるステップＳ１２においては、変更後のパノラマ画像が立体モデル５１に描画され、移動後の地点におけるパノラマ画像が表示される。

ステップＳ１６において、ＣＰＵ１１は、メモリ１２に記憶されている経路情報に経路地点情報を追加する。具体的には、移動後の地点を示す経路地点情報について、順序情報、位置情報、およびパノラマ画像情報が追加され、移動前の地点を示す経路地点情報について、視線方向情報が追加される。追加される各情報の詳細は、上記“（４−１：送信側装置における動作）”で述べられている。

ステップＳ１７において、ＣＰＵ１１は、経路の記憶を終了する指示がユーザによって行われたか否かを判定する。この判定は、入力部１５から取得される操作データに基づいて行われる。ステップＳ１７の判定結果が否定である場合、ステップＳ１２の処理が再度実行される。それ以降、ステップＳ１７において経路の記憶を終了する指示が行われたと判定されるまで、ステップＳ１２〜Ｓ１７の処理ループが繰り返し実行される。一方、ステップＳ１７の判定結果が肯定である場合、ステップＳ１８の処理が実行される。なお、このとき、終了地点を示す経路地点情報について視線方向情報が追加されるように、メモリ１２に記憶される経路情報が更新される。

ステップＳ１８において、ＣＰＵ１１は、入力部１５を用いたユーザからのメッセージの入力を受け付ける。メッセージの入力が行われると、入力されたメッセージの情報とユーザの識別情報とがメモリ１２に記憶される。

ステップＳ１９において、ＣＰＵ１１は、経路情報およびメッセージ情報をネットワークを介してサーバ３へ送信する。これに応じて、サーバ３は経路情報およびメッセージ情報を含む投稿経路情報を生成し、データ記憶部２３に記憶する（詳細は、上記“（４−２：経路情報を受信する際のサーバの動作）”を参照）。

なお、図１１では図示していないが、上述したように、送信側装置２は、個別地点情報を生成してサーバ３へ送信することが可能である。例えば、ステップＳ１２〜Ｓ１７の処理ループにおいて、ＣＰＵ１１は、個別地点情報を記憶する指示がユーザによって行われたか否かを判定し、指示があった場合、現在地点についての個別地点情報を生成してもよい。

（５−２：受信側装置における処理）
次に、本実施形態において受信側装置４で実行される画像再生処理の具体的な一例について説明する。図１２は、本実施形態において受信側装置４（ＣＰＵ３１）が実行する画像再生処理の流れの一例を示すフローチャートである。本実施形態においては、図１２に示す一連の処理は、ＣＰＵ３１が、データ記憶部３３に記憶される情報処理プログラムを実行することによって行われる。

なお、図１２に示す画像再生処理が開始されるタイミングは任意である。本実施形態においては、パノラマ画像の表示を開始する指示をユーザが行ったことに応じて情報処理プログラムの実行が開始される。このとき、情報処理プログラムは、適宜のタイミングでその一部または全部がメモリ１２に読み出され、ＣＰＵ１１によって実行される。その後、経路情報を用いたパノラマ画像の再生を開始する指示をユーザが行ったことに応じて、図１２に示す一連の処理が開始される。なお、受信側で実行される情報処理プログラムは、送信側と同様、どのような方法で取得されてメモリ１２に記憶されてもよい。

画像再生処理においては、まずステップＳ２１において、ＣＰＵ３１は、閲覧情報をサーバ３から受信し、閲覧画像を表示部３４に表示する。ステップＳ２１に関する受信側装置４およびサーバ３の動作の詳細は、上記ステップＳ２〜Ｓ４の処理として詳述している。

ステップＳ２２において、ＣＰＵ３１は、ユーザの指示に応じて、閲覧画像として表示される経路情報のうちから、再生すべき１つの経路情報を選択する。続くステップＳ２３において、ＣＰＵ３１は、選択した経路情報に関するパノラマ画像をサーバ３から受信（取得）する。ステップＳ２２およびＳ２３に関する受信側装置４およびサーバ３の動作の詳細は、上記“（経路情報の取得と再生）”で述べた通りである。

ステップＳ２４において、ＣＰＵ３１は、サーバ３から取得したパノラマ画像のうちで表示すべきパノラマ画像を選択する。ステップＳ２４〜Ｓ２７の処理ループが繰り返し実行される期間において、ＣＰＵ３１は、サーバ３から取得された経路情報に含まれる順序情報が示す順序に従って、表示すべきパノラマ画像を順に選択する。また、上記の期間において、ＣＰＵ３１は、上記“（経路情報の取得と再生）”で述べた方法で決定された再生速度で再生されるように、当該再生速度に応じた時間間隔で、選択されるパノラマ画像を変更する。

ステップＳ２５において、ＣＰＵ３１は視線方向を決定する。続くステップＳ２６において、ＣＰＵ３１は、決定された視線方向に応じた視野範囲のパノラマ画像を表示部３４に表示する。すなわち、上記“（経路情報の取得と再生）”で述べた方法で視線方向が決定され、上記“（パノラマ画像を表示する方法）”で述べた方法でパノラマ画像の一部領域の画像が表示部３４に表示される。ステップＳ２４〜Ｓ２６における処理が繰り返し実行されることによって、経路情報が表す経路に沿って複数のパノラマ画像が受信側装置４において再生される。

ステップＳ２７において、ＣＰＵ３１は、再生処理を終了するか否かを判定する。この判定の具体的な方法は任意であるが、本実施形態においては、経路情報に関連付けられる全てのパノラマ画像の表示が終了した場合、あるいは、再生を停止する旨の指示がユーザによって行われた場合には、ＣＰＵ１１は、再生処理を終了すると判定する。ステップＳ２７の判定結果が否定である場合、ステップＳ２４の処理が再度実行される。以降、ステップＳ２７において再生処理を終了すると判定されるまで、ステップＳ２４〜Ｓ２７の処理が繰り返し実行される。一方、ステップＳ２７の判定結果が肯定である場合、ＣＰＵ３１は、図１２に示す画像再生処理を終了する。

なお、図１２では図示していないが、上述したように、受信側装置４は、個別地点情報を取得して、個別地点情報が示す地点のパノラマ画像を表示することが可能である。例えば、ステップＳ２１〜Ｓ２３において、ＣＰＵ１１は、個別地点情報に関する閲覧情報を取得し、個別地点情報に関連付けられるパノラマ画像を取得してもよい。そして、ＣＰＵ３１は、ステップＳ２４において、取得したパノラマ画像を選択し、ステップＳ２５およびＳ２６において、パノラマ画像の一部領域を表示部３４に表示してもよい。

［６．変形例］
（再生時における経路上の地点の補完に関する変形例）
上記実施形態において、経路上の地点のうちで記憶される地点が間引かれる場合（一部の地点のみが記憶される場合）、受信側装置４は、記憶されなかった地点を経路情報に基づいて補完してもよい。そして、受信側装置４は、経路情報に経路地点情報が含まれる地点と、補完によって得られた地点（補完地点）とについてのパノラマ画像を再生してもよい。これによれば、経路情報のデータ量を低減しつつ、受信側においてはより多くの地点についてパノラマ画像を再生することができる。

なお、上記の補完はサーバ側で行われてもよい。すなわち、送信側装置２から経路情報を受信したサーバ３が、上記の補完を行い、補完地点の経路地点情報が経路情報に含まれる投稿経路情報を記憶してもよい。これによれば、受信側装置４における処理負担を軽減しつつ、受信側においてはより多くの地点についてパノラマ画像を再生することができる。

また、上記の補完が行われる場合、補完地点については、経路地点情報に視線方向情報が含まれない形で記憶されてもよい。あるいは、サーバ３あるいは受信側装置４において、補完地点以外の地点における視線方向情報を用いて、補完地点における視線方向情報が生成（補完）されてもよい。例えば図６に示す例において、地点Ｐ７と地点Ｐ９との経路地点情報が記憶され、地点Ｐ８の視線方向が補完される場合を考える。この場合、補完される地点Ｐ８の視線方向は、地点Ｐ７における視線方向と地点Ｐ９における視線方向との平均として算出されてもよい。このように、視線方向情報を補完することによって、受信側装置４は、補完地点についても補完地点以外の地点と同様、視線方向情報に基づいて視線方向を決定し、パノラマ画像の表示範囲を決定することができる。

（経路の入力に関する変形例）
上記実施形態においては、送信側装置２におけるユーザによる実際の操作の結果得られる経路について、経路情報が生成されてサーバ３へ送信された。ここで、他の実施形態においては、経路情報はユーザによって変更可能であってもよく、変更された経路情報が送信側装置２からサーバ３へ送信されてもよい。例えば、送信側装置２において、経路情報が表す経路をユーザが修正することができるようにしてもよい。さらに、ユーザによって変更される経路情報は、送信側装置２において生成された経路情報であってもよいし、サーバ３から取得された（他の情報処理装置において生成された）経路情報であってもよい。

本発明は、興趣性の高いパノラマ画像を提示すること等を目的として、パノラマ画像を表示装置に表示するための情報処理システムや情報処理装置として利用することが可能である。

１ 情報処理システム
２ 送信側装置
３ サーバ
４ 受信側装置
１１，２１，３１ ＣＰＵ
１２，２２，３２ メモリ
１３，２３，３３ データ記憶部
１４，３４ 表示部
１５，３５ 入力部
６１ 投稿経路画像
６２ サムネイル画像
６４ メッセージ画像

Claims (11)

1. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示することが可能な複数の情報処理装置を含む情報処理システムであって、
   前記複数の情報処理装置のうちの送信側装置は、
   ユーザの操作に基づいて前記地図上の各地点から１つを対象地点として決定する地点決定部と、
   対象地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる視線方向に応じた一部領域の画像を第１の表示装置に表示する第１画像表示部と、
   所定期間において対象地点が移動した経路上の地点に関連付けられるパノラマ画像のうちの２以上のパノラマ画像とその順序とを特定可能な経路情報を記憶する経路情報記憶部とを備え、
   前記複数の情報処理装置のうちの受信側装置は、
   前記送信側装置において記憶された経路情報によって特定される２以上のパノラマ画像を取得するパノラマ画像取得部と、
   取得された２以上のパノラマ画像を、経路情報によって特定される順に第２の表示装置に表示する第２画像表示部とを備え、
   前記経路情報記憶部は、前記経路情報によって特定される各パノラマ画像について、当該パノラマ画像が前記第１の表示装置に表示されたときの視線方向に基づいて決定される視線方向を示す視線方向情報を含む経路情報を記憶する、情報処理システム。
2. 前記情報処理システムは、各情報処理装置と通信可能なサーバをさらに含み、
   前記送信側装置は、前記記憶された経路情報を前記サーバへ送信する送信部をさらに備え、
   前記サーバは、前記送信側装置から送信されてくる経路情報を記憶し、
   前記パノラマ画像取得部は、前記サーバに記憶される経路情報によって特定されるパノラマ画像を取得する、請求項１に記載の情報処理システム。
3. 前記送信部は、ユーザによって入力されたメッセージとともに前記経路情報を前記サーバへ送信し、
   前記サーバは、前記メッセージと前記経路情報を表す第１提示情報とを各情報処理装置が閲覧可能な状態で記憶する、請求項２に記載の情報処理システム。
4. 前記第１提示情報は、それが表す経路情報によって特定されるパノラマ画像から得られる画像情報である、請求項３に記載の情報処理システム。
5. 前記送信側装置は、ユーザによって指定された１つの地点に関連付けられるパノラマ画像を特定可能な個別地点情報を記憶する個別情報記憶部をさらに備え、
   前記サーバは、１以上の送信側装置から送信された経路情報を表す第１提示情報を経路情報毎に生成するとともに、１以上の送信側装置から送信された個別地点情報を表す第２提示情報を個別地点情報毎に生成し、
   前記受信側装置は、ユーザの第１指示に応じて、前記第１提示情報を前記サーバから取得して前記第２の表示装置に一覧として表示するとともに、ユーザの第２指示に応じて、前記第２提示情報を前記サーバから取得して前記第２の表示装置に一覧として表示する一覧表示部をさらに備える、請求項２から請求項４のいずれか１項に記載の情報処理システム。
6. 前記第２画像表示部は、前記取得されたパノラマ画像のうち、前記経路情報に含まれる視線方向情報に基づいて決定される一部領域の画像を前記第２の表示装置に表示する、請求項１から請求項５のいずれか１項に記載の情報処理システム。
7. 前記経路情報記憶部は、前記所定期間において対象地点となった地点のうちで、所定の条件を満たす一部の地点に関連付けられるパノラマ画像を特定可能な経路情報を記憶する、請求項１から請求項６のいずれか１項に記載の情報処理システム。
8. 前記経路情報記憶部は、前記地図を表す地図データから算出される地図上の特徴に基づいて前記一部の地点を選出し、選出された地点に関連付けられるパノラマ画像を特定可能な経路情報を記憶する、請求項７に記載の情報処理システム。
9. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示することが可能な情報処理装置であって、
   ユーザの操作に基づいて前記地図上の各地点から１つを対象地点として決定する地点決定部と、
   対象地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を表示装置に表示する画像表示部と、
   所定期間において対象地点が移動したことに応じて前記表示装置に表示されたパノラマ画像のうちの２以上のパノラマ画像とその表示順とを特定可能な経路情報を記憶する経路情報記憶部と、
   前記経路情報を他の情報処理装置へ送信する送信部とを備え、
   前記経路情報記憶部は、前記経路情報によって特定される各パノラマ画像について、当該パノラマ画像が前記表示装置に表示されたときの視線方向に基づいて決定される視線方向を示す視線方向情報を含む経路情報を記憶する、情報処理装置。
10. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示することが可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    ユーザの操作に基づいて前記地図上の各地点から１つを対象地点として決定する地点決定手段と、
    対象地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を表示装置に表示する画像表示手段と、
    所定期間において対象地点が移動したことに応じて前記表示装置に表示されたパノラマ画像のうちの２以上のパノラマ画像とその表示順とを特定可能な経路情報を前記情報処理装置の記憶部に記憶する経路情報記憶手段と、
    前記経路情報を他の情報処理装置へ送信する送信手段として前記コンピュータを機能させ、
    前記経路情報記憶手段は、前記経路情報によって特定される各パノラマ画像について、当該パノラマ画像が前記表示装置に表示されたときの視線方向に基づいて決定される視線方向を示す視線方向情報を含む経路情報を前記記憶部に記憶する、情報処理プログラム。
11. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示することが可能な複数の情報処理装置を含む情報処理システムにおいて実行される情報の送受信方法であって、
    前記複数の情報処理装置のうちの送信側装置は、
    ユーザの操作に基づいて前記地図上の各地点から１つを対象地点として決定する地点決定し、
    対象地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる視線方向に応じた一部領域の画像を第１の表示装置に表示し、
    所定期間において対象地点が移動した経路上の地点に関連付けられるパノラマ画像のうちの２以上のパノラマ画像とその順序とを特定可能な経路情報であって、当該２以上の各パノラマ画像について、当該パノラマ画像が前記第１の表示装置に表示されたときの視線方向に基づいて決定される視線方向を示す視線方向情報を含む経路情報を記憶し、
    前記複数の情報処理装置のうちの受信側装置は、
    前記送信側装置において記憶された経路情報によって特定される２以上のパノラマ画像を取得し、
    取得された２以上のパノラマ画像を、経路情報によって特定される順に第２の表示装置に表示する、情報の送受信方法。

Images