JP6548203B2 - 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 - Google Patents

情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 Download PDF

Info

Publication number
JP6548203B2
JP6548203B2 JP2013055316A JP2013055316A JP6548203B2 JP 6548203 B2 JP6548203 B2 JP 6548203B2 JP 2013055316 A JP2013055316 A JP 2013055316A JP 2013055316 A JP2013055316 A JP 2013055316A JP 6548203 B2 JP6548203 B2 JP 6548203B2
Authority
JP
Japan
Prior art keywords
information
panoramic video
information processing
condition
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013055316A
Other languages
English (en)
Other versions
JP2014183380A (ja
Inventor
鈴木　利明
利明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2013055316A priority Critical patent/JP6548203B2/ja
Priority to US14/027,832 priority patent/US9094655B2/en
Priority to EP13184736.0A priority patent/EP2782333B1/en
Publication of JP2014183380A publication Critical patent/JP2014183380A/ja
Application granted granted Critical
Publication of JP6548203B2 publication Critical patent/JP6548203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Description

本発明は、パノラマ動画を表示装置に表示させる情報処理プログラム、情報処理装置、情報処理システム、パノラマ動画表示方法、および、制御データのデータ構造に関する。
従来、パノラマ画像を生成して表示装置に表示する技術がある（例えば、特許文献１参照）。
特開２００４−１８７２９８号公報
従来においては、単にパノラマ画像を表示するだけであるため、パノラマ画像とともに種々の情報をユーザに提供することが望まれる。
それ故、本発明の目的は、パノラマ画像を再生する際により多くの情報をユーザに提示することが可能な情報処理プログラム、情報処理装置、情報処理システム、パノラマ動画表示方法、および、制御データのデータ構造を提供することである。
上記の課題を解決すべく、本発明は、以下の（１）〜（１１）の構成を採用した。
（１）
本発明の他の一例は、パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムである。情報処理プログラムは、取得手段と、表示制御手段と、時間条件判定手段と、方向条件判定手段と、処理実行手段としてコンピュータを機能させる。
取得手段は、パノラマ動画について、当該パノラマ動画の再生時間軸上における時間に関する時間条件と、当該パノラマ動画のうちの表示される領域に対応する視線方向に関する方向条件とを含む制御データを取得する。表示制御手段は、パノラマ動画のうちで、所定の入力装置に対する第１の入力に応じて決定される視線方向に対応する視野範囲の画像を表示装置に表示させる。時間条件判定手段は、表示装置において再生中のパノラマ動画の再生時点について、制御データに含まれる時間条件が充足されるか否かを判定する。方向条件判定手段は、第１の入力に応じて決定される視線方向について、制御データに含まれる方向条件が充足されるか否かを判定する。処理実行手段は、時間条件および方向条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する。
制御データは、第１の入力とは異なる第２の入力に関する追加条件をさらに含む。処理実行手段は、追加条件に基づいて、パノラマ動画の再生中におけるユーザによる第２の入力に応じてユーザに対する出力の形態が変化するように情報処理を実行する。
上記（１）の構成によれば、情報処理装置は、時間条件と方向条件とを含む制御データを取得し、時間条件および方向条件の判定結果に応じて、再生中のパノラマ動画とともに画像および／または音を出力することに関する所定の情報処理を実行する。これによって、パノラマ動画とともに付加的な情報をユーザに提示することができ、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。また、制御データを用いて時間条件および方向条件を設定することによって、情報を提示する条件やタイミングを容易に設定することができる。
（２）
時間条件は、再生中のパノラマ動画の再生時点が、時間条件において指定される期間内に含まれることであってもよい。
上記（２）の構成によれば、パノラマ動画の再生中における期間のうちで、時間条件において指定される期間内に情報が出力されるように制御することができる。
（３）
方向条件は、第１の入力に応じて決定される視線方向が、方向条件において指定される範囲内に含まれることであってもよい。
上記（３）の構成によれば、ユーザが操作する視線方向が、方向条件において指定される範囲内に含まれる場合に情報が出力されるように制御することができる。
（４）
方向条件において指定される範囲は、表示装置に表示されるパノラマ動画の視野範囲よりも小さくてもよい。処理実行手段は、再生中のパノラマ動画の再生時点が、時間条件において指定される期間内となる場合において、第１の入力に応じて決定される視線方向が、方向条件において指定される範囲内に含まれたことに応じて、所定の情報処理の実行を開始してもよい。
上記（４）の構成によれば、時間条件が充足される期間中において、方向条件が充足されたタイミングで情報処理が実行され、パノラマ動画とともに情報が出力される。すなわち、時間が到来すれば自動的に情報が提示されるのではなく、例えば、視線方向が対象の方向を向いたタイミングや、その対象が表示範囲に含まれたタイミングで情報の提示が開始される。したがって、上記（４）の構成によれば、ユーザにとって適切なタイミングで付加情報を出力することができる。
（５）
方向条件判定手段は、第１の入力に応じて決定される視線方向が、方向条件において指定される範囲内に含まれないことを方向条件としてもよい。
上記（５）の構成によれば、ユーザが操作する視線方向が、方向条件において指定される範囲内に含まれない場合に情報が出力されるように制御することができる。
（６）
方向条件判定手段は、視線方向によって決められる表示装置における表示範囲と、制御データに含まれる方向条件において指定される範囲とが重複するか否かによって、方向条件が充足されるか否かを判定してもよい。
上記（６）の構成によれば、ユーザが操作する視線方向によって決められる表示範囲と、方向条件において指定される範囲との関係に基づいて方向条件を判定することができる。これによれば、例えば、方向条件に対応する対象（例えば、コメントを付す対象）が表示範囲に含まれるか否かによって情報（例えばコメント）の出力を切り替える、といった制御が可能になる。
（７）
制御データは、時間条件と、方向条件と、当該時間条件および当該方向条件が充足された場合に実行すべき情報処理とを関連づけたデータであってもよい。
上記（７）の構成によれば、パノラマ動画の再生中において実行すべき情報処理とそれを実行する条件とに関する情報を１つの制御データとして提供できるので、当該情報の取り扱いが容易になる。
（８）
制御データは、時間条件が充足されかつ方向条件が充足された場合に情報処理を実行するか、それとも、時間条件が充足されかつ方向条件が充足されない場合に情報処理を実行するかを示す実行条件をさらに含んでもよい。
上記（８）の構成によれば、実行条件を用いることによって、方向条件において指定される（視線方向に関する）範囲を変更することができるので、方向条件の内容の設定あるいは変更を容易に行うことができる。
（９）
制御データは、所定の情報処理によって画像を表示する位置を指定する表示位置情報をさらに含んでもよい。処理実行手段は、制御データに含まれる表示位置情報によって指定される位置に画像を表示する情報処理を実行してもよい。
上記（９）の構成によれば、情報処理によって画像を表示する場合において、当該画像を表示する位置を、制御データを用いて容易に指定することができる。
（１０）
処理実行手段は、時間条件および方向条件が充足されたことに応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行う処理を開始してもよい。
上記（１０）の構成によれば、方向条件および時間条件が充足されたタイミングで情報を提示することができるので、適切なタイミングでユーザに情報を提示することができる。
（１１）
取得手段は、表示装置において再生されるべきパノラマ動画について、時間条件を含み、かつ、方向条件を含まない追加制御データをさらに取得してもよい。時間条件判定手段は、再生中のパノラマ動画の再生時点と、追加制御データに含まれる時間条件をさらに判定してもよい。処理実行手段は、追加制御データに含まれる時間条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行してもよい。
上記（１１）の構成によれば、追加制御データを用いることによって、ユーザが操作する視線方向とは独立して情報を出力することができる。つまり、制御データに加えて追加制御データを用いることによって、情報の出力制御をより多彩な方法で行うことができる。
なお、本発明の別の一例は、上記（１）〜（１１）の情報処理プログラムを実行することによって実現される各手段と同等の手段を備える情報処理装置あるいは情報処理システムであってもよいし、上記（１）〜（１１）において実行される情報提示方法であってもよい。また、本発明の別の一例は、上記制御データのデータ構造であってもよい。
本発明によれば、制御データを用いてパノラマ動画とともに情報を出力することができ、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。
本実施形態に係る情報処理システムの一例を示すブロック図 情報処理システムにおいて表示されるパノラマ動画（画像）の一例を示す図 端末装置の姿勢に応じて表示領域を決定する方法の一例を示す図 ユーザがコメントを入力する操作の一例を示す図 付加情報を入力するためのボタンが表示されたパノラマ動画の一例を示す図 付加情報の入力に応じて記憶される情報（「入力情報」と呼ぶ。）の一例を示す図 範囲情報に関する条件を判定する方法の一例を示す図 範囲情報に関する条件を判定する方法の他の一例を示す図 コメントの出力期間の一例を示す図 パノラマ動画とともに付加情報が表示される画像の一例を示す図 出力される付加情報の他の一例を示す図 オブジェクト情報の一例を示す図 パノラマ動画とともに付加情報が表示される画像の他の一例を示す図 パノラマ動画とともに付加情報が表示される画像の他の一例を示す図 パノラマ動画とともに付加情報が表示される画像の他の一例を示す図 表示範囲と付加情報の入力位置との位置関係の一例を示す図 ガイド情報の一例を示す図 他の表示装置において目標が設定される場合において各表示装置に表示される画像の一例を示す図 表示範囲が目標として設定される場合における各表示装置に表示される画像の一例を示す図 履歴情報の一例を示す図 履歴関連情報の画像の一例を示す図 履歴関連情報の画像の他の一例を示す図 履歴情報に基づく履歴関連情報の画像の他の一例を示す図 履歴情報に基づいて決定された表示範囲のパノラマ動画がモニタ４に表示される場合の一例を示す図 パノラマ動画とともに補助画像が表示される場合の一例を示す図 視線方向を表す画像の一例を示す図 範囲情報に基づく位置を表す画像がパノラマ画像とともに表示される場合の一例を示す図 パノラマ動画の再生終了後において表示される画像の一例を示す図 本実施形態において情報処理システムの記憶部に記憶されるデータの一例を示す図 本実施形態において情報処理装置のＣＰＵが実行する第１モードの動画再生処理の流れの一例を示すフローチャート 本実施形態において情報処理装置のＣＰＵが実行する第２モードの動画再生処理の流れの一例を示すフローチャート 本実施形態において情報処理装置のＣＰＵが実行する第３モードの動画再生処理の流れの一例を示すフローチャート 本実施形態において情報処理装置のＣＰＵが実行する第３モードの動画再生処理の流れの一例を示すフローチャート 制御データのデータ構造の一例を示す図 方向情報によって特定される視線方向および範囲の一例を示す図 第２の実施形態における情報処理の大まかな流れの一例を示すフローチャート 方向条件が充足されたタイミングと、情報処理が実行されるタイミングの関係の一例を示す図 方向条件が充足されたタイミングと、情報処理が実行されるタイミングの関係の一例を示す図 ガイド情報を出力するための制御データのデータ構造の一例を示す図 付加情報の表示形態が変化する前のパノラマ動画の一例を示す図 付加情報の表示形態が変化した後のパノラマ動画の一例を示す図 付加情報の出力形態を変化させるための制御データのデータ構造の一例を示す図 追加条件を含む制御データのデータ構造の一例を示す図 追加制御データのデータ構造の一例を示す図 第２の実施形態において情報処理装置３のＣＰＵ５が実行する動画再生処理の流れの一例を示すフローチャート
＜第１の実施形態＞
［１．情報処理システムの構成］
以下、第１の実施形態の一例に係る情報処理システム、情報処理装置、情報処理プログラム、および動画表示方法について説明する。図１は、第１の実施形態に係る情報処理システムの一例を示すブロック図である。図１において、情報処理システム１は、端末装置２、情報処理装置３、モニタ４、および操作装置７を備える。本実施形態における情報処理システム１は、画像（パノラマ画像）を生成して表示装置（端末装置２および／またはモニタ４）に表示するものである。
本情報処理システム１においては、端末装置２（および操作装置７）に対する入力に応じて情報処理装置３が情報処理（図３０〜図３３に示す動画再生処理）を実行し、実行の結果得られた画像が端末装置２および／またはモニタ４に表示される。このように、本実施形態においては、情報処理システム１は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施形態においては、情報処理システム１は、これらの機能を有する単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。
端末装置２は、ユーザが把持可能な入力装置である。つまり、端末装置２は、可搬型の入力装置である。端末装置２は情報処理装置３と通信可能である。端末装置２は、端末装置２に対する操作を表す操作データを情報処理装置３へ送信する。また、本実施形態においては、端末装置２は表示部（ＬＣＤ１１）を備えており、端末装置２は表示装置でもある。情報処理装置３から画像が送信されてくる場合、端末装置２は表示部に当該画像を表示する。また、端末装置２は、スピーカを備える。情報処理装置３から音声が送信されてくる場合、端末装置２はスピーカから当該音声を出力する。
また、端末装置２は、入力部としてタッチパネル１２を備える。タッチパネル１２は、ハウジング１０に設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置２は、入力部として、スライドパッド、十字キー、およびボタン等の操作部１３を備える。
また、端末装置２は入力部として加速度センサ１４を備える。加速度センサ１４は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）に関する加速度を検出する。また、端末装置２は入力部としてジャイロセンサ１５を備える。ジャイロセンサ１５は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）を軸とした回転に関する角速度を検出する。加速度センサ１４およびジャイロセンサ１５は、端末装置２の姿勢を算出するための情報（姿勢を算出あるいは推定可能な情報）を検出するセンサである。なお、他の実施形態においては、端末装置２の姿勢はどのような方法で算出されてもよい。例えば、上記センサ以外の他のセンサを用いて、あるいは、端末装置２を撮影可能なカメラを用いて端末装置２の姿勢が算出されてもよい。
情報処理装置３は、画像を生成する処理等、情報処理システム１において実行される情報処理を実行する。本実施形態においては、情報処理装置３は、ＣＰＵ（制御部）５およびメモリ６を有し、ＣＰＵ５がメモリ６を用いて所定の情報処理プログラムを実行することによって、情報処理装置３における各種機能（図３０〜図３３に示す情報処理）が実現される。なお、情報処理装置３は、上記の情報処理を実行することができればどのような構成であってもよい。本実施形態においては、情報処理装置３によって画像（パノラマ画像）が生成され、生成された画像は、表示装置である端末装置２および／またはモニタ４へ出力される。また、情報処理装置３は、パノラマ動画とともに出力すべき音声を生成してもよい。生成された音声は、端末装置２および／またはモニタ４へ出力される。
モニタ４は、生成された画像を表示する表示装置の一例である。モニタ４は情報処理装置３から送信されるデータを受信可能である。情報処理装置３において生成された画像がモニタ４へ送信されてくる場合、モニタ４は当該画像を表示する。また、モニタ４はスピーカを備えていてもよい。情報処理装置３において生成された音声がモニタ４へ送信されてくる場合、スピーカは当該音声を出力する。
操作装置７は、情報処理装置３と通信可能な任意の入力装置である。操作装置７は、ボタン（キー）および／またはスティック等の入力手段を有するものであってもよいし、加速度センサおよび／またはジャイロセンサ等、操作装置７の位置および／または姿勢を算出（推測）することが可能なセンサであってもよい。操作装置７は、自機に対する操作を表す操作データを情報処理装置３へ送信する。情報処理装置３は、操作装置７からの操作データに基づいて上記情報処理を実行してもよい。なお、他の実施形態においては、情報処理システム１は端末装置２とは異なる他の入力装置（操作装置７）を含まない構成であってもよい。
［２．パノラマ動画の再生］
次に、情報処理システム１において実行される、パノラマ動画を再生する処理について説明する。図２は、情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図である。図２に示すように、本実施形態においては、端末装置２およびモニタ４にパノラマ画像が表示される。なお、他の実施形態においては、パノラマ画像は少なくとも１つの表示装置に表示されればよい。
ここで、パノラマ画像とは、表示装置に表示される画像の視野角よりも広い視野角の画像である。つまり、パノラマ画像は、基本的にはその一部領域の画像が表示装置に表示される（ただし、本実施形態のように複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。）。パノラマ画像は、表示領域が変化することによって視線の方向が変化する画像であるとも言える。本実施形態においては、上下左右方向に関して全方向（３６０°）の視野角を有するパノラマ画像が用いられる（図３参照）。ただし、パノラマ画像には死角があってもよく、例えば視野角が１８０°程度であってもよい。また、本実施形態においては、パノラマ画像はカメラによって撮影された実画像（実写画像）であるが、その一部または全部が仮想画像（ＣＧ画像）であってもよい。
本実施形態においては、パノラマ画像が表示装置（端末装置２およびモニタ４）に逐次表示されることによって、パノラマ動画が再生される。すなわち、複数のパノラマ画像によってパノラマ動画が構成される。複数のパノラマ画像にはそれぞれフレーム番号が付されており、パノラマ画像がフレーム番号順に表示されることによって、パノラマ動画が再生される。本実施形態においては、時間経過に伴って視点が移動するパノラマ動画が再生される。すなわち、図２に示すように道路上から周囲を見たパノラマ画像が表示され、道路を進んでいく（視点が道路に沿って移動する）パノラマ動画が再生される。
図２に示すように、各表示装置（端末装置２およびモニタ４）には、パノラマ画像の一部の範囲が表示される。以下では、パノラマ画像のうちで表示装置に表示される範囲を「表示範囲」と呼ぶ。図２においては、モニタ４には、視線方向が視点の進行方向（正面方向）となる表示範囲のパノラマ画像が表示される。本実施形態においては、モニタ４における表示範囲は、基本的には予め定められた所定範囲に固定され、一定条件下で変更されることもある（詳細は後述する）。
一方、端末装置２における表示範囲は、端末装置２の姿勢に応じて変更される。例えば図２においては、端末装置２は正面方向（ユーザ（端末装置２）からモニタ４への方向）に対して右を向いた姿勢となっており、端末装置２には、上記進行方向に対して視線が右を向いた場合の表示範囲のパノラマ画像が表示されている。このように、情報処理システム１は、入力装置（端末装置２）に対する入力に基づいて、パノラマ動画のうちで表示装置に表示する表示範囲を決定する。これによれば、ユーザは、端末装置２に対する操作（姿勢を変化させる操作）によって視線方向（表示範囲）を自由に変化させてパノラマ動画を見ることができる。なお、他の実施形態においては、表示範囲はユーザの操作に応じて変化するように決定される任意の方法によって決定されてもよい。
図３は、端末装置２の姿勢に応じて表示領域を決定する方法の一例を示す図である。本実施形態においては、図３に示すように、仮想空間に立体モデル２１を配置し、その立体モデル２１の内側に仮想カメラ２２を配置する。そして、仮想カメラ２２から見た立体モデル２１（立体モデル２１の内側面）の画像を生成する際に、パノラマ画像をテクスチャとして立体モデルの内側面に描画することで、パノラマ画像が生成される。このとき、パノラマ画像のうち、仮想カメラ２２の視野範囲（図３に示す斜線領域２３）が表示範囲となる。なお、本実施形態においては立体モデル２１は立方体であるとするが、立体モデル２１の形状は任意であり、例えば球体または柱状（例えば円柱）の形状であってもよい。
図３において、端末装置２に表示すべき画像を生成するための仮想カメラ２２は、仮想カメラ２２の姿勢が端末装置２の姿勢に応じて制御される。これによって、端末装置２の姿勢に応じて表示範囲が変化する。なお、情報処理装置３は、表示範囲の位置に加えて、表示範囲の大きさ（ズームインまたはズームアウト）を端末装置２に対する操作に応じて変更するようにしてもよい。
一方、モニタ４に表示すべき画像を生成するための仮想カメラ（図示せず）は、その視線方向が基本的には所定の基準方向（ここでは、上述した進行方向。図３ではＺ軸正方向）を向くように設定される。つまり、モニタ４の表示範囲（図３に示す斜線領域２４）は、仮想カメラから基準方向への位置に設定される。これら各仮想カメラの位置は立体モデル２１内の所定位置（本実施形態においては立体モデル２１の中心位置）に固定される。
なお、本実施形態においては、モニタ４の視線方向（モニタ４に表示されるパノラマ動画の視線方向）と端末装置２の視線方向（端末装置２に表示されるパノラマ動画の視線方向）との関係が、モニタ４の向きと端末装置２の向きとの関係と概ね一致するように、仮想カメラ２２の視線方向が制御される。具体的には、端末装置２がモニタ４の方を向く姿勢（基準姿勢とする）となる場合、仮想カメラ２２の視線方向は、モニタ４のための仮想カメラと同じ方向（すなわち、所定の基準方向）となる。そして、端末装置２の姿勢が基準姿勢から変化した場合、その変化方向に応じた方向へ、変化量に応じた量だけ、仮想カメラ２２の姿勢が変化する。これによれば、ユーザは、モニタ４によってある視線方向の風景を見ながら、端末装置２の向きを変化させることによって所望の視線方向の風景を見ることができる。また、端末装置２の姿勢の変化と仮想カメラ２２の姿勢の変化とを一致させることによって、現実空間における端末装置２の向きと、仮想空間における仮想カメラ２２の視線方向とが一致するので、ユーザは、パノラマ画像が表す空間をよりリアルに感じることができる。
［３．ユーザによるコメントの入力］
本実施形態においては、パノラマ動画の再生中において、ユーザはコメント（付加情報）を入力することができる（図４，図５参照）。また、入力されたコメントは、その後パノラマ動画が再生される際に、パノラマ動画とともに出力される（図１０〜図１３参照）。なお、付加情報（コメント）は、画像として表示されてもよいし、音声として出力されてもよい。これによって、ユーザは、パノラマ動画を単に見るだけでなく、自分や他のユーザが入力したコメントと共にパノラマ動画を視聴することができる。したがって、本実施形態によれば、情報処理システム１は、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。また、付加情報が提示されることによって、ユーザは、パノラマ動画のうちで自分が見た範囲を他のユーザに伝えたり、他のユーザが見た範囲を知ったりすることができる。以下、コメントの入力を受け付け、入力されたコメントを出力する方法の詳細を説明する。
本実施形態においては、上記コメントのように、パノラマ動画に付加される情報を「付加情報」と呼ぶ。本実施形態においては、ユーザによって入力される付加情報はコメント（メッセージ）である。ただし、付加情報の内容はどのようなものであってもよく、例えば、後述する評価情報（パノラマ動画中に登場するオブジェクトに対する評価を表す情報）、あるいは、ユーザ情報等であってもよい。
（３−１）付加情報の入力
図４および図５を参照して、ユーザが付加情報（コメント）を入力する方法を説明する。情報処理システム１は、パノラマ動画の再生中において、端末装置２に表示されているパノラマ動画に対するコメントの入力を受け付ける。図４は、ユーザがコメントを入力する操作の一例を示す図である。本実施形態においては、情報処理システム１は、パノラマ動画が表示される画面上（タッチパネル１２上）に対する入力（タッチ入力）を受け付ける。図４においては、ユーザは、パノラマ動画が表示される画面に対して直接手書きでコメントを入力することができる。なお、付加情報（コメント）の具体的な入力方法はどのような方法であってもよく、他の実施形態においては、例えばキーボードやボタン等の操作部を用いて入力が行われてもよいし、端末装置２がマイクを備える場合には音声入力が行われてもよい。
例えば、付加情報の入力は、パノラマ動画上に表示されるボタンに対する入力によって行われてもよい。図５は、付加情報を入力するためのボタンが表示されたパノラマ動画の一例を示す図である。図５に示すように、パノラマ動画上に評価ボタン３１が表示される場合、情報処理システム１は、付加情報の入力として、当該評価ボタン３１に対する入力（例えば、評価ボタン３１をタッチする入力）を受け付けるようにしてもよい。例えば、ユーザは、評価に応じた回数だけ評価ボタン３１に対する入力を行うようにしてもよい。
また、付加情報を入力する際、情報処理システム１は、端末装置２のＬＣＤ１１に表示されているパノラマ画像上における位置を指定する入力（位置指定入力）を受け付けてもよい。例えば、コメントの入力を行う前に、コメントの入力を行う位置をユーザにタッチさせるようにしてもよい。なお、詳細は後述するが、パノラマ動画とともに付加情報が表示される場合、上記位置指定入力による位置に関連づけられて付加情報が表示されてもよい。
なお、付加情報の入力を受け付ける間は少なくとも、情報処理システム１は、パノラマ動画の再生を一時停止してもよい。例えば、付加情報（コメント）の入力が開始されてから終了されるまでの間、パノラマ動画の再生が一時停止されてもよい。これは、コメントを入力中のユーザが動画の内容を見逃すことを防止したり、コメントを入力しやすくしたりするためである。なお、他の実施形態においては、付加情報の入力中においてもパノラマ動画の再生が継続されてもよい。
（３−２）付加情報の記憶
付加情報の入力が行われた場合、情報処理システム１は、付加情報と、付加情報を出力するために必要な情報とを記憶する。図６は、付加情報の入力に応じて記憶される情報（「入力情報」と呼ぶ。）の一例を示す図である。本実施形態においては、図６に示すように、付加情報と、入力範囲情報とを含む入力情報が記憶部に記憶される。この記憶部は、本実施形態においてはメモリ６とするが、情報処理システム１（情報処理装置３）のコンピュータがアクセス可能な記憶装置であればよい。
上記の入力範囲情報は、付加情報の入力が受け付けられた場合における表示範囲および／または当該表示範囲内の位置を特定可能な情報である。なお、以下では、表示範囲および／または当該表示範囲内の位置を特定可能な情報を「範囲情報」と呼ぶ。つまり、入力範囲情報は、付加情報の入力が受け付けられた場合における範囲情報である。また、以下では、付加情報の入力が受け付けられた場合における表示範囲を、「入力範囲」と呼び、付加情報の入力が受け付けられた場合における（表示範囲内の）位置を「入力位置」と呼ぶ。
入力範囲情報は、上記入力範囲および入力位置の少なくともいずれかを特定できればよい。本実施形態においては、入力位置を特定可能な情報が入力範囲情報として記憶される。上記入力位置は、例えば、上述した位置指定入力によって指定された位置であってもよいし、付加情報が入力された位置（手書きのコメントが入力された位置や、評価ボタン３１の位置）であってもよいし、付加情報が入力された時点における表示範囲の所定位置（例えば中心位置）であってもよい。また、音声入力に関しては、例えば、ユーザの声をマイクによって検知された時点における表示範囲（または表示範囲の中心位置）を表す入力範囲情報が記憶されてもよい。
上記入力範囲および／または入力位置を示す入力範囲情報として、本実施形態においては、仮想カメラ２２の姿勢（視線方向）を表すベクトル（図６参照）の情報が記憶される。例えば、仮想カメラ２２の位置から立体モデル２１上の上記入力位置への方向を表すベクトルによって入力位置を表すことができる。また、仮想カメラ２２の位置から立体モデル２１上の上記入力範囲の中心位置への方向を表すベクトルと、当該方向を軸とした回転に関する姿勢を表すベクトルとによって入力範囲を表すことができる。なお、他の実施形態においては、上記入力範囲情報は、上記ベクトルの情報に加えて、表示範囲の大きさを示す情報（ズーム情報）を含んでいてもよい。また、他の実施形態においては、上記入力範囲情報として、立体モデル２１上の範囲または位置を示す情報が記憶されてもよい。
本実施形態においては、付加情報は、コメントの内容を示す情報である（図６参照）。具体的には、コメントの内容を示す文字情報が付加情報として記憶されてもよいし、タッチパネル１２に対する手書き入力が受け付けられる場合には、入力されたタッチ位置の軌跡を示す情報が付加情報として記憶されてもよい。また、付加情報として記憶される情報は、コメントの内容に限らずどのような内容であってもよい。
また、図６に示すように、本実施形態においては、入力情報は入力時間情報をさらに含む。入力時間情報は、付加情報の入力が受け付けられた再生時点を特定可能な情報である。なお、再生時点とは、パノラマ動画における時間軸上の時点である。以下では、付加情報の入力が受け付けられた再生時点を「入力時点」と呼ぶ。本実施形態においては、入力時間情報は、入力時点で表示されたパノラマ画像のフレーム番号（図６では「第ｉフレーム」と記載している）の情報である。入力時間情報は、パノラマ動画における時間軸上の再生時点を特定可能な任意の情報であってもよい。例えば、入力時間情報は、パノラマ動画の再生が開始されてからの経過時間を示す情報であってもよい。また、本実施形態のようにパノラマ動画の視点が時間経過につれて所定空間内を移動する場合には、当該所定空間内における視点の位置を示す情報が入力時間情報として記憶されてもよい。なお、他の実施形態においては、入力情報は入力時間情報を含まなくてもよい。
また、図６に示すように、本実施形態においては、入力情報はユーザ情報をさらに含む。ユーザ情報は、付加情報を入力したユーザを特定可能な情報である。ユーザ情報の具体的な内容はどのような情報であってもよい。本実施形態においては、パノラマ動画の再生前にユーザの識別情報（例えばユーザの名前（ニックネーム））が予め登録され、登録された識別情報がユーザ情報として記憶される。なお、他の実施形態においては、入力情報はユーザ情報を含まなくてもよい。
（３−３）付加情報の出力
以上のようにして付加情報を含む入力情報が記憶された状態でパノラマ動画が再生される場合、情報処理システム１は、パノラマ動画とともに付加情報を出力する。本実施形態においては、情報処理システム１は、パノラマ動画とともに出力される付加情報を上記入力範囲情報に基づいて制御する。典型的には、パノラマ動画の再生中において、上記入力時点が到来し、かつ、上記入力位置が現在の表示範囲に含まれる場合、付加情報がパノラマ動画とともに表示される（図１０等参照）。なお、例えば入力時点が到来していない場合、あるいは、入力位置が現在の表示範囲に含まれない場合（現在の視線方向が付加情報の入力時とは別の方向を向いている場合）には、付加情報は表示されない。以下、付加情報を出力する方法について説明する。
（３−３−１）付加情報の出力判別の方法
本実施形態においては、情報処理システム１は、付加情報を出力するか否かを上記入力時間情報および入力範囲情報を用いて判別する。具体的には、情報処理装置３は、（ａ）再生されているパノラマ動画のうちの表示範囲が、入力範囲情報により特定される表示範囲および／または位置に関する条件を満たすか否か、および、（ｂ）再生されているパノラマ動画が、入力時間情報により特定される再生時点に関する条件を満たすタイミングとなるか否か、を判定する。
図７は、入力範囲情報に関する条件を判定する方法の一例を示す図である。上記（ａ）に関する判定として、情報処理装置３は、現在の表示範囲と、コメントの入力位置（入力範囲情報により特定される位置）とが重なるか否かを判定してもよい（図７参照）。例えば図７に示すように入力位置が現在の表示範囲内に含まれる場合、上記（ａ）における条件が満たされると判定される。これによって、コメントの入力位置が端末装置２に表示されているか否かを判断することができる。
また、図８は、入力範囲情報に関する条件を判定する方法の他の一例を示す図である。他の実施形態においては、上記（ａ）に関する判定として、情報処理装置３は、現在の表示範囲と、コメント入力時の表示範囲（入力時間情報により特定される表示範囲）とが重なるか否かを判定してもよい。例えば図８に示すように入力範囲が現在の表示範囲と少なくとも一部において重複する場合、上記（ａ）における条件が満たされると判定される。これによれば、上記入力範囲と現在の表示範囲とが少なくとも一部において重複するか否かを判断することができる。つまり、コメント入力時の表示範囲の少なくとも一部が現在表示されているか否かを判断することができる。
なお、図７および図８を用いて説明した上記の判定は、立体モデル２１上の位置（または範囲）を比較することによって行われてもよいし、仮想カメラ２２の姿勢を表すベクトルを比較することによって行われてもよい。
また、上記（ｂ）に関する判定としては、例えば、現在のパノラマ動画の再生時点が、入力時間情報により特定される再生時点（入力時点）を含む所定の出力期間であるか否かを判定してもよい。図９は、コメントの出力期間の一例を示す図である。図９に示すように、上記出力期間は、例えば、コメントの入力時点（入力時間情報が示す再生時点）の所定時間前から、所定の出力時間が経過するまでの期間として設定されてもよい。なお、出力期間は、コメントの入力時点に基づいて設定されてもよいし、コメントを入力したユーザによって設定されてもよい。また、コメントが文字情報である場合には、出力期間は文字数に応じた長さに（例えば、文字数が多いほど長くなるように）設定されてもよい。
上記（ａ）および（ｂ）の判定がともに肯定となる場合、情報処理システム１は、パノラマ動画とともに付加情報を出力すると判断する。本実施形態においては、コメント入力時点を含む出力期間において、現在の表示範囲が上記入力位置を含む場合に、コメント（付加情報）が出力される。
（３−３−２）付加情報の出力態様
図１０は、パノラマ動画とともに付加情報が表示される画像の一例を示す図である。付加情報を出力すると情報処理システム１が判断した場合、図１０に示すように、端末装置２にはパノラマ動画上にコメント画像３２が表示される。このように、本実施形態においては、パノラマ動画中に登場するあるオブジェクト（ここではビル）に対してコメントが入力されると、その後においてパノラマ動画が再生される際には、当該オブジェクトにコメントが付された状態でパノラマ動画が表示される。
ここで、図１０に示すように、コメント画像３２は、パノラマ画像上における上記入力位置を指し示す。つまり、情報処理システム１は、現在の表示範囲に入力位置が含まれる場合、当該入力位置に関連づけて付加情報の画像を表示させる。これによれば、コメントが付された位置をユーザに対して明確に認識させることができる。例えば図１０においては、ユーザは、コメントが付された対象となったビルがどれであるかを容易に把握することができる。なお、図１１は、出力される付加情報の他の一例を示す図である。図１１に示されるように、コメント画像３２は入力位置に表示されてもよい。また例えば、コメントがタッチパネル１２に対する手書き入力によって行われる場合には、手書きの文字が入力位置に（そのまま）表示されてもよい。なお、付加情報の画像は、入力位置に関連づけて表示されるが、必ずしも入力位置に表示されなくてもよい。例えば、入力位置にコメント画像３２が表示されると、コメントを付した対象が見にくくなるおそれがある。そのため、コメント画像３２は、（図１０に示すように）入力位置から少しずれた位置に表示されてもよい。なお、本明細書において、「画像」とは、文字（テキスト情報）を表す画像を含む。
また、図１０に示すように、本実施形態においては、コメント画像３２とともに、コメントを入力したユーザの名前（Ａさん）を表すユーザ画像３３が表示される。このように、情報処理システム１は、付加情報とともに当該付加情報に対応するユーザ情報を出力する。なお、出力されるユーザ情報は、ユーザの名前であってもよいし、ユーザ毎に設定されるキャラクタ（例えばユーザを模したキャラクタ）であってもよいし、ユーザの似顔絵の画像等であってもよい。本実施形態によれば、付加情報を見たユーザは、付加情報の内容だけでなく、付加情報を入力したユーザがパノラマ動画のどこを見ていたかを知ることができる。ここで、パノラマ動画は、一画面内に収まらない領域を有する動画であり、端末装置２における表示範囲はユーザが自由に操作することができる。そのため、パノラマ動画を視聴した際の表示範囲の位置やその変化はユーザによって異なる。そのため、本実施形態のように、他のユーザがパノラマ動画のどこを見ていたかを知ることができることはユーザにとって興味深い情報である。なお、図１０に示す付加情報の表示態様以外の他の表示態様（図１１〜図１３等）においても、付加情報とともにユーザ情報が表示されてもよい。
なお、他の実施形態においては、ユーザ情報は付加情報自体として表示されてもよい。例えば、上記入力位置にユーザ情報を表す画像（例えば、ユーザの似顔絵の画像）のみが表示されてもよい。これによれば、付加情報（ユーザ情報）を見たユーザに対して、付加情報を入力したユーザが入力位置を含む表示範囲を閲覧していたことを伝えることができる。
なお、本実施形態のようにパノラマ動画の視点が時間に応じて移動する場合、パノラマ動画に登場する各オブジェクトは、パノラマ画像上において視点の移動方向とは逆方向に移動する。したがって、上記の場合、情報処理システム１は、付加情報を、当該付加情報に対応するオブジェクトの移動に合わせて移動させて表示するようにしてもよい。なお、「付加情報に対応するオブジェクト」とは、入力時点において入力位置に表示されているオブジェクトであり、換言すれば、入力時点において、入力範囲情報によって特定される位置に配置されているオブジェクトである。具体的には、付加情報は、視点の移動方向とは逆方向へ時間に応じて移動するように表示されてもよい。例えば、視点の移動方向を前方向とする場合には、付加情報は前から後へ移動するように表示されてもよい。なお、視点の移動方向および移動速度がわかる場合、空間内に固定的に配置されるオブジェクト（ビル等）がパノラマ動画上で移動する方向および速度を特定することができ、視点の移動方向および移動速度に基づいて、付加情報を移動させるアルゴリズムを算出することができる。したがって、このアルゴリズムに従って付加情報を移動させることによって、オブジェクトの移動に合わせて付加情報を移動させて表示することができる。なお、付加情報はオブジェクトの位置と厳密に一致する必要はなく、オブジェクトのある程度近傍に表示されてもよい。
また、オブジェクトの移動に合わせて付加情報を移動させる方法としては、オブジェクトの（パノラマ画像上における）位置および／または範囲を表すオブジェクト情報をパノラマ画像とともに用意しておく方法が考えられる。図１２は、オブジェクト情報の一例を示す図である。図１２に示すように、パノラマ画像中にオブジェクト（図１２ではビル）が登場する場合、このオブジェクトの範囲（例えば図１２に示す点線領域３４）を示すオブジェクト情報がパノラマ動画とともに記憶される。なお、情報処理システム１は、パノラマ動画を構成する複数のパノラマ画像毎に、登場する１以上のオブジェクトについてオブジェクト情報を当該パノラマ画像に関連づけて記憶しておく。コメントの入力を受け付ける際には、情報処理装置３は、コメントの入力位置がオブジェクトの範囲内であるか否かを、オブジェクト情報を用いて判定する。入力位置がオブジェクトの範囲内である場合、情報処理装置３は、当該オブジェクトを示す情報を上記入力範囲情報として記憶する。パノラマ動画を再生する際には、情報処理装置３は、再生中のパノラマ動画のうちの表示範囲に上記オブジェクトが含まれることを少なくとも条件として、当該オブジェクトの位置に関連づけてコメントの画像を表示させる。具体的には、コメントは、オブジェクト情報から特定される上記オブジェクトの位置（または範囲）に関連づけて表示される。これによって、オブジェクトの位置に合わせた正確な位置に付加情報を表示させることができる。また、上記オブジェクト情報を用いる方法によれば、（視点の移動にかかわらず）空間内を移動することによってパノラマ画像上において移動して見えるオブジェクトに対しても、当該オブジェクトに応じた位置に付加情報を表示させることができる。
なお、後述するようなマップの画像（図２５参照）が用意され、マップ上の位置とパノラマ動画上での位置とを対応付けることが可能である場合、オブジェクト情報は、マップと関連付けて（マップ上における位置または範囲を表す情報として）記憶されていてもよい。このとき、情報処理装置３は、表示範囲に対応するマップ上の範囲を特定し、特定された範囲内に関連づけられているオブジェクト情報から、オブジェクトのパノラマ動画上における位置または範囲を特定してもよい。
また、オブジェクト情報を入力範囲情報として記憶する場合には、オブジェクト情報が表すオブジェクトがパノラマ動画中に登場する期間に付加情報を表示することも可能である。つまり、オブジェクト情報を入力範囲情報として記憶することによって、（入力時間情報を用いることなく）付加情報の出力期間を制御することもできる。
また、他の実施形態においては、付加情報は、端末装置２の画面上における所定位置に表示されてもよい。図１３は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。図１３に示すように、コメント画像３２は、（コメントに対応するオブジェクトの位置にかかわらず）画面の所定領域（図１３では下側の領域）に表示されてもよい。例えばコメントの入力位置が上記入力範囲情報として記憶されない場合には、オブジェクトに対応する位置にコメントを表示することが難しいので、画面上の所定位置にコメントを表示するようにしてもよい。つまり、情報処理システム１は、再生中のパノラマ動画のうちの表示範囲が、付加情報が受け付けられた場合における表示範囲と少なくとも一部が重複する場合、表示装置の画面における所定位置に付加情報を表示させてもよい。これによれば、付加情報を表示する位置を容易に特定することができる。さらに、図１３に示すように、付加情報は、パノラマ動画が表示される領域とは異なる領域に表示されてもよい。これによれば、付加情報によってパノラマ動画が隠されることがないので、パノラマ動画を見やすく表示することができる。
（３−３−３）付加情報の出力内容
他の実施形態においては、付加情報として出力される内容は、ユーザが入力したコメントに限らず、ユーザの入力に基づく他の情報であってもよい。例えば上述した評価ボタン３１を用いて評価情報の入力が行われる場合には、評価ボタン３１に対する入力回数を表す評価情報を付加情報として記憶し、当該入力回数を表す画像が付加情報として出力されてもよい。図１４は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。上記の場合、例えば図１４に示すように、入力回数に応じた長さのバー３５が付加情報として表示されてもよい。なお、バー３５は、付加情報の入力位置（評価ボタン３１の位置）に基づく位置（例えば近傍の位置）に表示される。
なお、情報処理システム１は、１つの付加情報に基づく情報を出力することに限らず、複数の付加情報に基づく情報を出力してもよい。例えば、図１４に示す例において、バー３５の長さは、複数の入力情報における各入力回数の和（すなわち、複数のユーザによる評価ボタン３１の入力回数の合計）あるいは平均値を表すように設定されてもよい。このように、情報処理システム１は、付加情報が数値（ここでは、入力回数）を表す情報である場合、出力すべき複数の付加情報が表す各数値に基づいて得られる数値（ここでは、入力回数の和）を表す情報を出力してもよい。なお、上記「出力すべき複数の付加情報」は、出力内容を１つにまとめるべき同種の付加情報（例えば、評価ボタン３１に関する付加情報）であることを条件としてもよい。これによれば、複数人のユーザ（あるいは複数回の視聴）に基づく統計情報をユーザに提供することができる。また、情報処理システム１は、複数の付加情報のうち、所定の条件を満たす付加情報の数を表す情報を出力してもよい。例えば、同種の付加情報の数を表す情報が出力されてもよい。
また、他の実施形態においては、情報処理システム１は、端末装置２の表示範囲の変化に応じて付加情報の出力態様が変化するように制御してもよい。図１５は、パノラマ動画とともに付加情報が表示される画像の他の一例を示す図である。なお、図１５においては図１４に示す場合と同様、評価ボタン３１に対する入力回数を付加情報として記憶するものとする。このとき、情報処理システム１は、入力回数に応じた長さとなり、かつ、現在の表示範囲と上記入力範囲との位置関係に応じた長さとなるバー３６を表示する。すなわち、バー３６は、入力回数が多いほど長く表示される。さらに、バー３６は、評価ボタン３１（評価ボタン３１に対応するオブジェクト）が表示範囲の中央に近いほど長く表示される。なお、情報処理システム１は、上記位置関係を入力範囲情報に基づいて判断することができる。また、バー３６は、現在の表示範囲にかかわらず常に端末装置２の画面上に表示される。そのため、バー３６の長さは、表示範囲の移動に応じて変化することとなる。なお、バー３６の長さは、評価ボタン３１に加えて他の評価ボタンの入力回数をも考慮して決定されてもよい。すなわち、評価が高い（入力回数が多い）オブジェクトが表示範囲内に多く存在するほどバー３６が長く表示されてもよい。これによれば、ユーザは、バー３６を見ながら表示範囲を移動させることで、評価が高いオブジェクトを探すことができる。
以上のように、情報処理システム１は、再生中のパノラマ動画の表示範囲と、付加情報が受け付けられた場合における表示範囲との位置関係を入力範囲情報に基づいて判断し、当該位置関係に基づいて付加情報の出力態様（バーの長さ）を変更してもよい。これによれば、表示範囲に応じて変化する情報をユーザに提示することができ、ユーザは、この情報に基づいて表示範囲を操作することができる。
なお、他の実施形態においては、情報処理システム１は、付加情報を表す画像を表示させることとともに、あるいは、表示させることに代えて、付加情報を表す音声を出力してもよい。なお、上記音声は、端末装置２から出力されてもよいし、モニタ４が備えるスピーカから出力されてもよいし、両者から出力されてもよい。
（３−３−４）付加情報の出力先
本実施形態においては、上記付加情報は端末装置２に表示される。端末装置２は、表示範囲がユーザによって操作される表示装置である。したがって、ユーザは、端末装置２を操作して表示範囲を移動させる際に付加情報を認識することができるので、付加情報をより確実にユーザに認識させることができる。
なお、他の実施形態においては、付加情報は、端末装置２とは異なる表示装置（モニタ４）に表示されてもよい。例えば、情報処理システム１は、端末装置２に対する入力に基づいて決定される表示範囲のパノラマ動画を当該端末装置２に表示させるとともに、モニタ４に付加情報を表示させてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、端末装置２を用いるユーザ以外にモニタ４を見ている他のユーザが存在する場合には、当該他のユーザに対しても付加情報を提示することができる。また、モニタ４における表示範囲内に付加情報の入力位置が含まれる場合、あるいは、モニタ４における表示範囲と付加情報の入力範囲とが少なくとも一部において重なる場合、付加情報はモニタ４に表示されてもよい。これによって、ユーザが付加情報を見る機会を増やすことができる。
また、他の実施形態においては、情報処理システム１は、パノラマ画像の全体をモニタ４に表示してもよいし、パノラマ画像が表す空間の画像（例えば、鳥瞰図やマップ）をモニタ４に表示してもよい。このとき、モニタ４に表示される画像とともに（当該画像に重ねて）付加情報を表示してもよい。
（３−４）他のユーザによる付加情報
情報処理システム１は、端末装置２に対する入力によって入力情報を記憶する他、情報処理システム１の外部の他の装置から入力情報を取得し、当該入力情報に含まれる付加情報をパノラマ動画とともに出力してもよい。例えば、情報処理装置３は、インターネット等のネットワークを介して外部の装置と通信可能であってもよく、このとき、当該外部の装置から入力情報を取得してもよい。なお、上記「外部の装置」は、例えば、情報処理システム１と同機能のシステムに含まれる情報処理装置であってもよいし、入力情報を記憶するサーバであってもよい。上記によれば、ユーザは、他のユーザ（例えば知人や有名人）が入力した付加情報（コメント）が付加されたパノラマ動画を見ることができる。また、ユーザは、他のユーザによる付加情報を見ることで、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。
［４．ガイドの出力］
本実施形態においては、パノラマ動画の再生中において、付加情報（コメント）の他にガイド情報が出力される。ガイド情報は、パノラマ画像上における目標をガイドするための情報である。ここで、目標とは、パノラマ画像上において設定される位置および／または範囲である。例えば、上述の付加情報が表示される位置が目標として設定されてもよいし、他のユーザが指定した位置が目標として設定されてもよいし、後述する履歴情報から得られる表示範囲が目標として設定されてもよい。ガイド情報は、パノラマ画像上において目標が設定される場所をユーザに通知するための情報とも言える。
図１６は、表示範囲と目標との位置関係の一例を示す図である。図１６において、表示範囲は領域２３であり、目標は領域２３の外側にある。そのため、図１６に示す状態では、目標の位置に対応する情報は出力されない。このとき、仮に目標となる位置が表示範囲のすぐ近くであったとしても、ユーザは目標の存在に気づかず、表示範囲を目標の方へ移動させない可能性がある。
そこで、本実施形態においては、情報処理システム１は、目標をユーザに知らせるべく、パノラマ動画の一部領域とともにガイド情報を出力する。図１７は、ガイド情報の一例を示す図である。なお、図１７に示すガイド情報は、表示範囲と目標との関係が図１６に示す状態となる場合に表示されるものである。図１７に示すように、本実施形態においては、右方向を示す矢印を表すガイド画像４１がガイド情報として表示される。これによって、目標となる位置または範囲を表示範囲に含めるためには表示範囲をどちらに動かせばよいかをユーザに通知することができる。このように、パノラマ動画とともにガイド情報が出力される場合、ユーザにガイド情報を提示することによって、現在の表示範囲が目標を含んでいない場合であっても、目標の方へ表示範囲を移動させるようにユーザを誘導することができる。なお、ガイド情報は、画像として表示されてもよいし、音声として出力されてもよい。
（４−１）目標の設定
情報処理装置３は、パノラマ画像上における範囲および／または位置を目標に設定する。目標として設定される位置および／または範囲は、どのようなものであってもよい。例えば、目標は、ユーザに対して何らかの情報が提示される位置および／または範囲であってもよい。具体的には、付加情報がパノラマ動画上に表示される場合、情報処理装置３は、付加情報に対応する位置（および／または範囲）を目標に設定してもよい。このとき、ガイド情報によって、付加情報が表示される表示範囲となるようにユーザを誘導することができる。なお、図１７に示す画像は、付加情報の一例であるコメントの位置が目標に設定された場合において表示される画像の例である。また、履歴情報から生成される履歴関連情報は付加情報となり得るものであり、付加情報である履歴関連情報に対応する位置が目標に設定されてもよい。なお、詳細は後述するが、履歴情報は、パノラマ画像の再生中におけるユーザによる操作、および／または、当該操作によって決定される情報を表す。
また、情報処理装置３は、端末装置２のユーザとは別の他のユーザによって指定された位置（または範囲）を目標に設定してもよい。すなわち、情報処理装置３は、表示範囲を操作するための入力装置（端末装置２）とは異なる他の入力装置（操作装置７）に対する入力によって指定された範囲または位置を目標に設定してもよい。例えば、端末装置２の表示装置（ＬＣＤ１１）とは異なる他の表示装置（モニタ４）にパノラマ動画が表示される場合、情報処理装置３は、上記他の入力装置に対する入力に基づいて、当該他の表示装置に表示されるパノラマ動画上における位置（および／または範囲）を指定するようにしてもよい。このとき、指定された位置（および／または範囲）が目標に設定される。
図１８は、他の表示装置において目標が設定される場合において各表示装置に表示される画像の一例を示す図である。図１８において、モニタ４には、パノラマ動画とともにカーソル４３が表示される。カーソル４３は、操作装置７によって操作される。操作装置７を用いる他のユーザは、カーソル４３を所望の位置に移動して、所定の操作（例えば、操作装置７のボタンを押下する操作）を行う。情報処理装置３は、上記所定の操作が行われた時点におけるパノラマ画像上の位置を目標に設定する。なお、本実施形態においてはカーソル４３を用いて目標を設定する操作を例として説明するが、目標を設定するための操作方法はどのようなものであってもよい。また、図１８では、目標の位置には付加情報を表す画像（「注目！」を表す画像）４４が表示されるが、当該画像が表示されなくてもよい。目標が設定された場合、情報処理装置３は、目標に対応するガイド情報を端末装置２において出力（表示）する。例えば図１８においては、端末装置２における表示範囲に対して左方向に目標が設定されるので、端末装置２においては、左方向を示す矢印を表すガイド画像４５がガイド情報として表示される。
上記のように、上記他の入力装置に対する入力によって目標を設定することができる場合には、端末装置２を用いるユーザとは異なる他のユーザが目標を設定することができる。例えば、他のユーザが「おすすめの位置」を目標として他の入力装置を用いて入力することによって、端末装置２のユーザに対して「おすすめの位置」を知らせることも可能である。
また、上記他の表示装置に表示されるパノラマ動画上における位置（および／または範囲）を目標として指定することができる場合には、ある表示装置の画面上において指定された目標に対するガイド情報を別の表示装置において出力することができる。したがって、目標を設定するユーザは、他のユーザが見ている表示範囲外の場所に目標を容易に設定することができる。なお、他の実施形態においては、情報処理装置３は、端末装置２に対する入力に基づいて目標となる位置（および／または範囲）を設定し、設定された目標に対応するガイド情報をモニタ４に表示するようにしてもよい。これによっても、上記と同様の効果を奏することができる。
また、目標として設定される対象はパノラマ画像上における位置に限らず、範囲であってもよい。例えば、情報処理装置３は、パノラマ動画が別に再生される場合における表示範囲を目標に設定してもよい。ここで、「パノラマ動画が別に再生される場合」とは、ユーザの操作に従って表示範囲が決められる再生（本実施形態においては、端末装置２における再生）とは別にパノラマ動画が再生される場合である。例えば、過去にパノラマ動画が再生された場合は、「パノラマ動画が別に再生された場合」と言える。また、ユーザの操作に従って表示範囲が決められる表示装置（例えば端末装置２）とは別の表示装置（例えばモニタ４）においてパノラマ動画が再生される場合は、「パノラマ動画が別に再生された場合」と言える。上記のように、パノラマ動画が別に再生される場合、その場合における表示範囲を目標として設定し、当該表示範囲に対応するガイド情報が出力されてもよい。
図１９は、表示範囲が目標として設定される場合における各表示装置に表示される画像の一例を示す図である。図１９においては、モニタ４には仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画が表示され、端末装置２には視線方向が正面方向よりも右方向を向くときの表示範囲のパノラマ動画が表示される。そのため、端末装置２においては、端末装置２における表示範囲を基準にしてモニタ４の表示範囲への向きである左方向を示す矢印を表すガイド画像４７がガイド情報として表示される。また、モニタ４においては、モニタ４における表示範囲を基準としたときの端末装置２の表示範囲への向きである右方向を示す矢印を表すガイド画像４６がガイド情報として表示される。このように、情報処理装置３は、ある表示装置とは異なる他の表示装置にパノラマ動画が表示される場合、当該他の表示装置において表示される表示範囲を目標に設定してもよい。なお、図１９においては、２つの表示装置の両方において、他の表示装置における表示範囲に対応するガイド情報が出力されるが、いずれか一方の表示装置においてのみ当該ガイド情報が出力されてもよい。
また、情報処理装置３は、過去にパノラマ動画が再生された場合における表示範囲を目標として設定してもよい。例えば、過去にパノラマ動画が再生された場合における表示範囲は、後述する履歴情報に基づいて特定することができる。情報処理装置３は、履歴情報に基づいて特定される表示範囲を目標として設定してもよい。すなわち、情報処理装置３は、現在の表示範囲を基準として、過去にパノラマ動画が再生された場合における表示範囲を向く方向を表すガイド情報をパノラマ動画とともに出力してもよい（図２１参照）。なお、後述する"（表示範囲の方向を表す履歴関連情報）"において説明する履歴関連情報は、ガイド情報の１つである。
以上のように、パノラマ動画が別に再生される場合における表示範囲が目標に設定される場合には、他のユーザが見ていた（あるいは見ている）表示範囲をユーザに通知することができ、その表示範囲の方へ自分が見ている表示範囲を向けるように誘導することができる。
（４−２）目標情報の記憶
上記目標が設定される場合、情報処理装置３は、設定された目標を表す目標情報を記憶する。本実施形態においては、目標情報は、目標位置情報と、目標期間情報とを含む。目標位置情報は、目標として設定された位置および／または範囲を特定可能な情報である。目標として設定された位置および／または範囲は、上述の範囲情報（入力範囲情報）と同様に表すことができ、例えば、仮想カメラ２２の姿勢（視線方向）を表すベクトルの情報によって表されてもよいし、立体モデル２１上の範囲および／または位置として表されてもよい。
また、目標期間情報は、目標が設定される期間を特定可能な情報である。目標期間情報は、例えば上記期間の開始時点と終了時点とを表すものであってもよいし、目標が設定された時点（当該時点から上記期間を設定可能である場合）を表すものであってもよい。目標が設定される期間は、上述の入力時間情報と同様に表すことができ、例えばパノラマ画像のフレーム番号によって表されてもよい。
なお、設定される目標が上記付加情報に対応する場合（付加情報の位置に目標が設定される場合）、情報処理装置３は、付加情報に対応する入力情報に基づいて上記目標情報を設定してもよい。すなわち、目標位置情報は、入力情報に含まれる入力範囲情報に基づいて設定されてもよい。また、目標期間情報は、入力情報に含まれる入力時間情報に基づいて設定されてもよい。さらに、入力範囲情報がそのまま目標位置情報として用いられてもよいし、入力時間情報がそのまま目標期間情報として用いられてもよい。このとき、情報処理装置３は、上記入力情報とは別に目標情報を別途記憶しなくてもよい（入力情報を記憶することで、目標情報を記憶したとみなすことができる）。
（４−３）ガイド情報の出力判別の方法
本実施形態においては、ガイド情報を出力するタイミングは、当該ガイド情報に対応する目標が設定される期間に基づいて決定される。上記タイミングの具体的な決定方法はどのようなものであってもよいが、本実施形態においては、情報処理システム１は、上記期間においてガイド情報を表示する。なお、ガイド情報の表示は、上記期間の所定時間前から開始され、当該期間が終了するまで行われてもよい。
また、本実施形態において、目標が表示範囲内に位置する場合には、目標に対応するガイド情報は出力されない。例えば、現在の表示範囲内に付加情報が表示される場合、当該付加情報に対応するガイド情報は表示されない。これによって、不要なガイド情報を表示することなく、パノラマ動画および付加情報を見やすく表示することができる。
また、パノラマ動画中において複数の目標が設定される場合、情報処理システム１は、所定の条件を満たす目標についてガイド情報を出力するようにしてもよい。上記所定の条件は、例えば、特定のユーザが設定した目標（例えば、特定のユーザが入力した付加情報に対応する目標）であること、特定の種類の目標（例えば、コメントの付加情報に対応する目標）であること、および、現在の表示範囲を基準として所定の範囲内において設定される目標であること等である。これによれば、条件を満たす目標について（のみ）ガイド情報が出力されるので、出力されるガイド情報の数を減少し、パノラマ動画を見やすく表示することができる。なお、上記所定の条件は、例えばユーザによって指定されてもよい。
また、本実施形態においては、ガイド情報は、現在の表示範囲を基準として目標（目標に設定される範囲および／または位置）への向きを表す（図１７参照）。情報処理装置３は、現在の表示範囲と、目標に設定される範囲および／または位置とに基づいて上記向きを決定する。例えば、上記向きは、仮想カメラ２２の視線方向を表すベクトルを用いて算出することができる。より具体的には、上記向きは、現在の表示範囲の中心位置を表すベクトルを基準とした、上記目標に設定される位置（または、目標に設定される範囲の中心位置）を表すベクトルへの向きとして算出することができる。
（４−４）ガイド情報の出力態様
ガイド情報は、表示範囲と目標との関係を表す画像および／または音声である。本実施形態においては、上記のように、表示範囲を基準として目標への向きを表すガイド情報が出力される。本実施形態においては、ガイド情報は、図１７に示すような矢印を表すガイド画像４１であるが、ガイド情報は、ユーザに対して上記向きを通知することが可能な任意の出力態様で出力されてもよい。例えば他の実施形態においては、情報処理システム１は、上記向きを表す画像とともに（または画像に代えて）、当該向きを表す音声を出力してもよい。なお、上記音声は、端末装置２および／またはモニタ４から出力される。また、後述するようなマップの画像（図２５参照）によって、表示範囲を基準として目標への向きをユーザに推測させることも可能である。本願のガイド画像によれば、表示範囲に対する目標の向きをより直感的にわかりやすく提示することができる。
また、本実施形態においては、情報処理装置３は、ガイド情報とともに、ユーザ情報を出力してもよい。ここで出力されるユーザ情報は、ガイド情報に対応する付加情報を入力したユーザを表す。例えば、図１７においては、コメントを入力したユーザの名前（Ａさん）を表すユーザ画像４２がガイド画像４１とともに表示される。これによれば、ユーザは、コメントを入力したユーザが誰であるかによってそのコメントを見るかどうか（すなわち、そのコメントの方へ表示範囲を移動させるかどうか）を判断することができる。
また、情報処理装置３は、ガイド情報とともに、目標の種類を表す情報を出力してもよい。例えば図１７においては、ガイド画像４１とともに、目標の種類を表す画像（「Ａさんのコメント」を表す画像）４２が表示される。目標の種類とは、例えば、目標の位置および／または範囲が表示範囲に含まれる場合に出力される情報の種類である。具体的には、目標の種類を表す情報は、「コメント」あるいは「評価情報」といった、出力される内容に関する種類であってもよいし、「Ａさん」あるいは「Ｂさん」といった、情報の入力者の種類であってもよい。これによって、どのような情報が目標として設定されているかをユーザに通知することができる。ユーザは、目標へと実際に表示範囲を動かす前に、目標の場所で出力される情報の種類を知ることができる。
なお、パノラマ画像上において付加情報の位置が移動する場合、付加情報に対応する目標も付加情報の移動に応じて移動される。このとき、情報処理システム１は、ガイド情報が表す向きを目標（付加情報）の移動に応じて変化させる。すなわち、情報処理システム１は、ガイド情報を出力する間、その時点での表示範囲と、目標との位置関係を繰り返し算出し、ガイド情報が表す向きを当該位置関係に基づいて繰り返し算出してもよい。これによれば、目標が移動する場合であっても、移動に応じた正確な向きを表すガイド情報を出力することができる。
（４−５）ガイド情報の出力先
本実施形態においては、ガイド情報は、付加情報が表示される表示装置（端末装置２）に表示される（図１７、図１８参照）。したがって、ユーザは、端末装置２を操作して表示範囲を移動させる際にガイド情報を認識することができるので、ユーザにガイド情報をより確実に認識させることができる。なお、他の実施形態においては、ガイド情報は、付加情報が表示される表示装置とは別の表示装置（モニタ４）に表示されてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態においては、２つの表示装置の両方にガイド情報が表示されてもよい。
（４−６）ガイド情報に対応する付加情報の内容
なお、付加情報に対応して目標が設定される場合、ガイド情報に対応する付加情報の内容は、ユーザが入力した付加情報に限らない。ガイド情報に対応する付加情報は、パノラマ動画の再生中における表示範囲および再生時点に関する条件が満たされる場合に、パノラマ動画とともに出力される情報であればよい。つまり、上記付加情報は、パノラマ動画が所定の再生時点となり、かつ、表示範囲が所定の範囲を含む場合にパノラマ動画とともに出力されるものであればよい。例えば、上記付加情報は、上記（３−４）で述べたような、外部の装置から取得される情報であってもよいし、パノラマ動画に予め登録されている情報であってもよい。また、後述する履歴関連情報は付加情報の一種であり、履歴関連情報に対してガイド情報が設定されてもよい。
［５．他のパノラマ動画再生を反映する出力］
本実施形態においては、情報処理システム１は、上述した「パノラマ動画が別に再生される場合」における再生内容を反映してパノラマ動画を出力することが可能である。なお、再生内容とは、パノラマ動画の表示範囲、および、表示範囲内における位置（例えばユーザによって指定された位置）を含む概念である。情報処理システム１は、例えば、過去にパノラマ動画が再生された場合に取得された履歴に基づく情報をパノラマ動画とともに出力することが可能である。また例えば、複数の表示装置において１つのパノラマ動画が同時に再生される場合において、情報処理システム１は、他の表示装置で再生されている表示範囲を表す情報を、別の表示装置においてパノラマ動画とともに出力したりすることが可能である。上記のように、本実施形態においては、情報処理システム１は、過去においてまたは他の装置においてパノラマ動画が再生される際の再生内容を、現在再生中のパノラマ動画の出力に反映する。これによって、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。例えば、他のユーザがパノラマ動画のどこを見ていたか等の興味深い情報をユーザに提示することができる。
パノラマ動画が別に再生される場合における再生内容を反映してパノラマ動画を出力する態様としては、過去に再生された再生内容を反映する第１の態様と、他の装置において同時に（リアルタイムに）再生された再生内容を反映する第２の態様とが少なくとも考えられる。第１の態様は、過去にパノラマ動画が再生された場合における再生内容を、そのパノラマ動画がその後に再生される場合に反映させる態様である。第２の態様は、少なくとも２つの表示装置において同じパノラマ動画（表示範囲は異なっていてもよい）が再生される場合に、ある表示装置における再生内容を、他の表示装置におけるパノラマ動画の再生に反映させる態様である。以下、第１の態様および第２の態様について説明する。
（５−１）第１の態様
第１の態様において、情報処理システム１は、パノラマ動画の再生中における表示範囲に関する情報を履歴情報として記憶しておき、その後において当該パノラマ動画が再生される際に、記憶した履歴情報に基づいて出力を行う（後述する第２および第３モード）。すなわち、情報処理装置３は、パノラマ動画の再生中において上述の範囲情報を取得し、情報処理装置がアクセス可能な記憶部に履歴情報として記憶する。そして、情報処理装置３は、履歴情報が記憶された後で、履歴情報に基づく情報を出力する。
上記のように、本実施形態においては、パノラマ画像の再生中において、ユーザによって操作された表示範囲を履歴情報として記憶しておくことが可能である。これによって、履歴情報に応じた出力をパノラマ動画の再生とともに行うことが可能である。例えば、情報処理装置３は、履歴情報に基づいて付加情報を生成し、当該付加情報をパノラマ動画とともに出力したり、履歴に基づいて表示範囲を制御してパノラマ動画を再生したりすることができる。これによれば、ユーザは、例えばパノラマ動画のどの位置がよく見られているか、および／または、他のユーザがパノラマ動画のどの場所を見ていたか等を知ることができる。つまり、本実施形態によれば、単にパノラマ動画を提示するだけでなく、ユーザにとって興味深い情報をパノラマ動画とともに提示することができる。以下、履歴の記憶および履歴に基づくパノラマ動画の再生の詳細について説明する。
（５−１−１）履歴情報の記憶
情報処理システム１は、パノラマ動画の再生中において、上記の履歴情報を記憶する。本実施形態において、情報処理システム１は、パノラマ動画における再生時点を特定可能な入力時間情報と、当該再生時点における表示範囲および／または当該表示範囲内の位置を特定可能な範囲情報とを関連づけた履歴情報を記憶する。履歴情報は、上述の記憶部（ここではメモリ６）に記憶される。図２０は、履歴情報の一例を示す図である。図２０に示すように、履歴情報は、上記入力時間情報と範囲情報との組を複数含む。本実施形態においては、入力時間情報はパノラマ画像のフレーム番号の情報であり、範囲情報は仮想カメラ２２の姿勢を表すベクトルの情報である。本実施形態においては、入力時間情報と範囲情報との組がパノラマ動画の１フレーム毎に記憶されるが、他の実施形態においては、所定時間間隔で当該組が記憶されてもよいし、キーとなるフレームについて当該組が記憶されてもよいし、所定の条件が満たされたタイミングで当該組が記憶されてもよい。上記のように、入力時間情報と範囲情報とを関連づけた履歴情報を記憶することによって、パノラマ動画における各再生時点における表示範囲を特定することができる。
また、図２０に示すように、本実施形態においては、履歴情報に対応するユーザを表すユーザ情報が履歴情報と関連づけて記憶される。なお、「履歴情報に対応するユーザ」とは、履歴情報により表される表示範囲の操作を行ったユーザである。ユーザ情報は、ユーザを特定可能な情報であればどのような情報であってもよいが、本実施形態においては、予め登録されたユーザの名前がユーザ情報として記憶される。
なお、他の実施形態においては、履歴情報には上記の情報以外の他の情報が含まれていてもよい。例えば、履歴情報は、表示範囲の大きさを示す情報（ズーム情報）を含んでいてもよい。また、履歴情報は、パノラマ動画の再生中にユーザが行った、再生に関する操作を示す情報（再生制御情報と呼ぶ）を含んでいてもよい。再生制御情報とは、例えば、パノラマ動画の再生の一時停止、巻き戻し、および早送り等の操作を示す情報である。再生制御情報は、さらに、当該操作が行われた再生時点を含んでいてもよい。また、パノラマ動画がいわゆるマルチカメラ方式である場合がある。マルチカメラ方式においては、単一の空間を異なる視点から見た複数のパノラマ動画が用意され、パノラマ動画の再生中において視点を切り替えることが可能である。この場合には、当該視点の情報を履歴情報に含めて記憶してもよい。また、上述したコメント（付加情報）がユーザによって入力される場合には、上述の入力情報と履歴情報とを関連づけて記憶しておいてもよい。つまり、上記入力情報を履歴情報の一部として記憶しておいてもよい。
（５−１−２）履歴情報を用いたパノラマ動画の再生
情報処理システム１は、上記履歴情報に基づいてパノラマ動画の再生を行うことが可能である。すなわち、情報処理システム１は、履歴情報に応じて出力内容（表示態様）を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、履歴情報（あるいは履歴情報に基づく情報）をユーザに提示することができる。ここで、履歴情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の（Ａ）〜（Ｃ）の方法が考えられる。
（Ａ）履歴関連情報を出力する方法
本実施形態において、情報処理システム１は、履歴情報に基づいて生成される情報をパノラマ動画とともに出力することが可能である。以下では、履歴情報に基づいて生成される情報を「履歴関連情報」と呼ぶ。情報処理システム１は、以下に説明する各種の履歴関連情報を履歴情報から生成し、パノラマ動画が再生される際に当該履歴関連情報を出力する。これによれば、ユーザは、パノラマ動画の再生中に履歴関連情報を見ることにより、他のユーザの履歴に関する情報を知ることができる。
（表示範囲の方向を表す履歴関連情報）
図２１は、履歴関連情報の画像の一例を示す図である。図２１に示す履歴関連情報は、履歴情報により特定される表示範囲の向きをユーザに提示するものである。すなわち、図２１においては、現在の表示範囲に対する、履歴情報（履歴情報に含まれる範囲情報）により特定される表示範囲の向きを表す画像５１が履歴関連情報として表示される。なお、履歴関連情報である画像５１は、上述のガイド情報であるとも言える。
具体的には、情報処理システム１は、履歴情報に含まれる範囲情報のうち、現在の再生時点に対応する入力時間情報に関連づけられる範囲情報に基づいて、パノラマ画像上の範囲または位置を特定する。そして、現在の表示範囲を基準として、算出された範囲または位置の向きを算出する。なお、この向きは、上述したガイド情報が表す向きと同様の方法で算出することができる。情報処理システム１は、算出された向きを表す画像５１を端末装置２に表示させる。なお、画像５１は、ＬＣＤ１１の画面上において、算出された向きに応じた位置（図２１では、算出された向きが左向きであるので、画面左側の位置）に表示される。
上記画像５１が提示されることによって、ユーザは、自分が見ている表示範囲を基準にして、他のユーザがパノラマ動画のどこを見ていたかを知ることができる。また、他のユーザが見ていた場所が気になる場合には、ユーザは、画像５１が示す方向に表示範囲を移動させることによって、当該他のユーザが見ていた場所と同じ場所を見ることができる。なお、図２１に示す例において、現在の表示範囲と履歴情報により特定される表示範囲とが（一部において）重なる場合には、その旨を通知する画像が表示されてもよい。
また、図２１においては、履歴関連情報を表す画像５１とともに、当該履歴関連情報に対応するユーザ情報（履歴情報に関連づけられて記憶されるユーザ情報）を表す画像５２が表示される。これによって、ユーザは、履歴関連情報により特定される表示範囲を見ていたユーザを特定することができる。ここで、パノラマ動画は、一画面内に収まらない領域を有する動画であり、端末装置２における表示範囲はユーザが自由に操作することができる。そのため、表示範囲の位置やその変化は、パノラマ動画を見る人（ユーザ）によって異なるので、表示範囲の履歴情報はユーザの個性を反映したものと言え、このような履歴情報は他のユーザにとって有益な（興味深い）情報となり得る。したがって、履歴情報とともにユーザ情報を提示することで、パノラマ動画に対するユーザの興味を向上させることができ、パノラマ動画を何度も視聴する動機付けをユーザに与えることができる。なお、以下に説明する他の内容を表す表示態様（図２２および図２３）においても、履歴関連情報とともにユーザ情報が表示されてもよい。
（表示頻度を表す履歴関連情報）
図２２は、履歴関連情報の画像の他の一例を示す図である。図２２に示す履歴関連情報は、履歴情報から得られる、パノラマ画像上における所定の範囲についての表示頻度をユーザに提示するものである。図２２においては、以前のパノラマ動画の再生において現在の表示範囲が表示された回数を表す画像５３が履歴関連情報として表示される。なお、上記表示頻度をユーザに提示するための画像は、回数を表す画像５３の他、どのようなものであってもよい。情報処理装置３は、例えば、履歴情報に含まれる範囲情報から得られる位置およびまたは範囲毎にユーザ情報（各ユーザを表すキャラクタ等）をパノラマ動画とともに表示するようにしてもよい。これによれば、以前のパノラマ動画の再生において現在の表示範囲が表示された回数に応じた数のユーザ情報が表示されるので、ユーザは、表示されるユーザ情報の数によって当該回数の多寡を知ることができる。
上記回数を表示頻度として算出する場合、情報処理システム１はまず、履歴情報に含まれる範囲情報のうち、現在の再生時点に対応する入力時間情報に関連づけられる範囲情報を選出する。そして、選出された範囲情報に基づいて、パノラマ画像上の範囲または位置を特定し、特定された範囲または位置が現在の表示範囲に含まれるか否かを判定する。情報処理システム１は、記憶部に記憶される各履歴情報について上記の判定を行い、判定結果が肯定となる履歴情報の数をカウントする。以上のようにしてカウントされた数を表す画像５３が端末装置２に表示される。画像５３の履歴関連情報は、複数の履歴情報から得られる統計を表すものである。また、画像５３は、ＬＣＤ１１の画面上における所定位置に表示される。なお、情報処理システム１は、画像５３を繰り返し（例えば、１フレーム毎に）更新してもよい。
上記回数は、記憶されている１以上の履歴情報のうちで、入力時間情報に関する条件（入力時間情報が現在の再生時点に対応すること）と、範囲情報に関する条件（範囲情報が表す範囲または位置が現在の表示範囲に含まれること）とを満たす履歴情報の数であった。これによって、複数回のパノラマ動画の再生を対象とした表示頻度を算出することができ、当該表示頻度をユーザに提示することができる。すなわち、上記画像５３が提示されることによって、ユーザは、自分が見ている表示範囲が他のユーザにどの程度見られているかを知ることができる。例えばユーザは、人気が高い（他のユーザによく見られている）範囲に表示範囲を合わせてパノラマ動画を再生したり、逆にあまり見られていない範囲に表示範囲を合わせてパノラマ動画を再生したりすることができる。また、上記画像５３によって、複数人のユーザ（あるいは複数回の視聴）に基づく統計情報をユーザに提供することができる。
なお、履歴情報から算出される表示頻度は、複数回のパノラマ動画の再生を対象としたものに限らず、１回のパノラマ動画の再生を対象としたものであってもよい。つまり、表示頻度は、１回のパノラマ動画の再生において、パノラマ画像中の所定範囲がどの程度見られたかを表すものであってもよい。図２３は、履歴情報に基づく履歴関連情報の画像の他の一例を示す図である。図２３に示す履歴関連情報は、上述のオブジェクト情報が表すオブジェクトに関するものであり、１回のパノラマ動画の再生においてオブジェクト（オブジェクトの範囲）がどの程度見られたか（表示されたか）を表す。すなわち、図２３においては、現在の表示範囲内のオブジェクトについて、履歴情報に基づいて判断されるオブジェクトの表示頻度（注目度合い）を表す画像５４が履歴関連情報として表示される。なお、図２３に示すように、履歴関連情報を表す画像５４は、当該履歴関連情報に対応するオブジェクトの位置（範囲）に関連づけて表示される。上記画像５４が提示されることによって、ユーザは、パノラマ動画を他のユーザが再生した際にそのオブジェクトをどの程度注目していたかを知ることができる。
１回のパノラマ動画の再生を対象とした表示頻度を算出する場合、情報処理システム１は、履歴情報に含まれる範囲情報のうちで、パノラマ画像上における位置に関する所定の条件を満たす範囲情報の数を算出する。具体的に本実施形態においては、情報処理システム１は、履歴情報に含まれる各範囲情報について、範囲情報により特定される表示範囲内に上記オブジェクトが含まれているか否かを判定する。なお、この判定は、各範囲情報と上記オブジェクト情報とに基づいて行うことができる。情報処理システム１は、上記の判定の結果が肯定となる範囲情報の数をカウントし、カウントされた数に応じた注目度合いを判断する。例えば、上記の数が所定数以上である場合には、当該オブジェクトに関連づけて注目度合いが高いことを表す画像５４が履歴関連情報として出力される。一方、上記の数が所定数より小さい場合には、注目度が低いことを表す画像が履歴関連情報として出力されてもよいし、履歴関連情報が出力されなくてもよい。
なお、他の実施形態においては、複数回のパノラマ動画の再生を対象としてオブジェクトの表示頻度（注目度合い）を表す履歴関連情報を算出することも可能である。このとき、情報処理システム１は、上記範囲情報の数を算出する処理を、記憶部に記憶されている各履歴情報について行う。
また、履歴関連情報が表す表示頻度は、パノラマ画像中の所定範囲に関する表示頻度を表すものであればよく、当該所定範囲は、表示範囲でもよいし、オブジェクトの範囲でもよい。
また、表示頻度（注目度合い）は、上述した再生制御情報を用いて決定されてもよい。例えば、情報処理システム１は、ユーザが再生を一時停止した時点で表示範囲に含まれるオブジェクトについて注目度合いが高いと判断してもよい。また例えば、巻き戻しによって何回も繰り返し再生された期間に表示されていた範囲については、表示頻度（あるいは注目度合い）が高いと判断してもよい。
なお、履歴関連情報は、例えば画像５４のように、パノラマ画像上における特定の位置に表示されることがあり得る。この場合、情報処理システム１は、上記（３−３−２）で説明した付加情報と同様、履歴関連情報を、当該履歴関連情報に対応するオブジェクトの移動に合わせて移動させて表示するようにしてもよい。
また、他の実施形態においては、情報処理システム１は、履歴関連情報を表す画像を表示させることとともに、あるいは、表示させることに代えて、履歴関連情報を表す音声を出力してもよい。なお、上記音声は、端末装置２および／またはモニタ４から出力される。
（履歴関連情報の出力先）
本実施形態においては、履歴関連情報も上記［３．ユーザによるコメントの入力］等で説明した付加情報と同様、端末装置２に表示される。これによって、ユーザに履歴関連情報をより確実に認識させることができる。なお、履歴関連情報も上記付加情報と同様、モニタ４に表示されてもよい。これによれば、端末装置２に表示されるパノラマ動画を見やすく提示することができる。また、他の実施形態において、情報処理システム１は、モニタ４にパノラマ画像の全体を表示し、全体のパノラマ画像とともに（全体のパノラマ画像に重ねて）履歴関連情報を表示してもよい。
（Ｂ）履歴情報に基づいて決定される表示範囲を再生する方法
本実施形態において、情報処理システム１は、履歴情報に基づいて表示範囲を決定してパノラマ動画を再生することが可能である。具体的には、情報処理システム１は、パノラマ動画の各再生時点（各フレーム）における表示範囲を、履歴情報に記憶されている範囲情報に基づいて決定する。そして、決定された表示範囲のパノラマ画像を表示装置に表示させる。これによって、ユーザは、履歴情報が記憶された場合と同じ表示範囲でパノラマ動画を再生することができる。
本実施形態においては、履歴情報に基づいて決定された表示範囲のパノラマ動画は、モニタ４に表示される。一方、端末装置２には、ユーザ入力に基づいて決定される表示範囲のパノラマ動画が表示される。これによって、ユーザは、端末装置２を用いて所望の表示範囲でパノラマ動画を見ることができるとともに、それと同時に、他のユーザが見ていた表示範囲でパノラマ動画を見ることができる。なお、他の実施形態においては、情報処理システム１は、履歴情報に基づいて決定された表示範囲のパノラマ動画を単に１つの表示装置（端末装置２またはモニタ４）によって再生してもよい。また、他の実施形態において、パノラマ画像の全体、あるいは、パノラマ画像が表す空間の画像（例えば、鳥瞰図やマップ）がモニタ４に表示される場合、モニタ４に表示される画像とともに（当該画像に重ねて）履歴関連情報が表示されてもよい。
図２４は、履歴情報に基づいて決定された表示範囲のパノラマ動画がモニタ４に表示される場合の一例を示す図である。図２４においては、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画５５とともに、履歴情報に基づいて決定された表示範囲のパノラマ動画５６がモニタ４に表示される。このように、履歴情報に基づく表示範囲のパノラマ動画５６は、モニタ４の画面領域の一部に表示されてもよい。履歴情報に基づく表示範囲のパノラマ動画５６は、端末装置２の画面領域の一部に表示されてもよい。また、例えば、複数の履歴情報からそれぞれ複数の表示範囲が決定され、決定された各表示範囲のパノラマ動画（複数のパノラマ動画）が、モニタ４および／または端末装置２に表示されてもよい。
また、表示範囲は、複数の履歴情報に基づいて決定されてもよい。例えば、情報処理システム１は、表示頻度が高い表示範囲を、複数の履歴情報を用いて特定し、特定された表示範囲のパノラマ動画を表示するようにしてもよい。
（Ｃ）パノラマ動画とともに他の画像を表示する方法
また、他の実施形態においては、情報処理システム１は、履歴情報に基づいて補助画像を生成し、当該補助画像をパノラマ動画とともに表示してもよい。補助画像は、履歴情報に基づいて決定される表示範囲に応じた画像であり、換言すれば、当該表示範囲をユーザに認識させることができる画像である。補助画像としては、例えば、パノラマ動画が表す空間を上方から見たマップ（あるいは俯瞰図）の画像が考えられる。
図２５は、パノラマ動画とともに補助画像が表示される場合の一例を示す図である。図２５においては、現在の表示範囲のパノラマ動画６１とともに、パノラマ動画が表すマップ画像６２が補助画像として端末装置２に表示される。マップ画像６２は、パノラマ動画６１が表す空間を上方から見たマップを表す画像である。マップ画像６２は、例えば視点画像６３を含む。視点画像６３は、マップ上における視点の位置を表す。すなわち、カメラを表す視点画像６３が、マップ上における視点の位置に配置される。なお、視点の移動方向および移動速度が予めわかる場合、マップ上における視点の位置は、現在の再生時点（フレーム番号）から特定することができる。
また、視点画像６３は、マップ上における視線方向を表す。すなわち、カメラを表す視点画像６３は、マップ上における視線方向を向くように配置される。上記視線方向は、履歴情報に基づいて決定される表示範囲から（例えば仮想カメラ２２の姿勢を用いて）算出することができる。このように、情報処理装置３は、範囲情報に基づく表示範囲に対応する視線方向を表す画像（視点画像６３）を表示装置に表示させてもよい。これによって、他のユーザが見ていた方向をユーザに提示することができる。なお、図２５においては、視点画像６３は、履歴情報に基づく表示範囲に対応する視線方向を表すが、履歴情報に基づく位置に対応する視線方向を表すものであってもよい。
また、マップ画像６２は、履歴関連情報を含んでいてもよい。例えば図２５においては、注目度合いが高いことを表す画像６４がマップ上に配置される。このとき、履歴関連情報はパノラマ動画６１上にも表示されてもよいし、されなくてもよい。このように、情報処理装置３は、パノラマ動画が表す空間と、範囲情報に基づく位置（パノラマ動画上における位置。ここでは履歴関連情報の位置）に対応する当該空間内における位置とを表す画像を表示装置に表示させてもよい。これによって、範囲情報が表す位置を、パノラマ動画とは異なる視点から見た画像で表現することができ、当該位置をよりわかりやすくユーザに提示することができる。
なお、履歴関連情報のマップ上における位置は、履歴関連情報のパノラマ動画上における位置から算出することができる。マップ上における位置は、どのような方法で算出されてもよい。例えば、パノラマ動画上の位置（あるいは仮想カメラ２２の姿勢）と、マップ上における位置とを予め対応づけた情報を用意してくことで、パノラマ動画上の位置から当該情報に基づいてマップ上の位置を算出することができる。また例えば、上記オブジェクト情報が用意される場合には、オブジェクト情報により表されるオブジェクトに関するマップ上の位置を予め算出しておき、パノラマ動画上の位置からオブジェクトを特定し、オブジェクトからマップ上の位置を特定するようにしてもよい。
以上のように、履歴情報に基づく表示範囲および／または履歴関連情報は、マップ画像を用いて表すことも可能である。履歴情報に基づく表示範囲および／または履歴関連情報を、パノラマ動画とは別の補助画像上に表示することによって、パノラマ動画を見やすく表示することができる。
また、他の実施形態においては、情報処理システム１は、上記の（Ａ）〜（Ｃ）の方法のうちのいくつかを同時に用いてパノラマ動画を再生してもよい。例えば、情報処理システム１は、パノラマ動画とともに履歴関連情報を端末装置２に表示しつつ、履歴情報に基づいて決定された表示範囲のパノラマ動画をモニタ４に表示するようにしてもよい。
（５−１−３）履歴情報の取得
過去に再生された再生内容を反映する第１の態様において、履歴情報を取得する装置と、履歴情報を反映させる装置とは同じ装置であってもよいし、異なる装置であってもよい。すなわち、情報処理装置３は、履歴情報を反映したパノラマ動画を表示する表示装置において再生されるパノラマ動画に関する範囲情報を履歴情報として取得してもよい。また、情報処理装置３は、履歴情報を反映したパノラマ動画を表示する表示装置とは異なる他の表示装置において再生されるパノラマ動画に関する範囲情報を取得してもよい。このとき、例えば上記（Ｂ）で述べたように、情報処理装置３は、２つの表示装置を用いてパノラマ動画を再生してもよい。すなわち、情報処理装置３は、パノラマ動画が上記表示装置（本実施形態においては端末装置２）において表示される間、所定の入力装置に対する入力に基づいて表示範囲を決定し、決定された表示範囲のパノラマ動画を上記他の表示装置（本実施形態においてはモニタ４）に表示させてもよい（図２４）。
情報処理システム１は、端末装置２に対する入力に応じて履歴情報を記憶する他、情報処理システム１の外部の他の装置から履歴情報を取得してもよい。そして、取得された履歴情報に応じて出力内容を変化させてパノラマ動画を出力するようにしてもよい。例えば、情報処理装置３は、インターネット等のネットワークを介して外部の装置と通信可能であってもよく、このとき、当該外部の装置から履歴情報を取得してもよい。これによれば、ユーザは、他のユーザ（例えば知人や有名人）の履歴情報に基づく情報をパノラマ動画とともに見ることができる。
なお、外部の装置から履歴情報を取得する場合において、履歴情報には、当該履歴情報により表される入力を行ったユーザを表すユーザ情報が含まれていてもよい。このとき、情報処理システム１は、パノラマ動画を出力する場合にユーザ情報を出力してもよい。例えば、履歴関連情報を出力する場合には、履歴関連情報とともにユーザ情報を出力してもよいし（図２０参照）、履歴情報に基づいて表示範囲を決定する場合には、決定された表示範囲のパノラマ動画とともにユーザ情報を出力してもよい。
（５−２）第２の態様
本実施形態において、情報処理システム１は、２つの表示装置（端末装置２およびモニタ４）において同じパノラマ動画を再生させ、一方の表示装置における再生内容を、他の表示装置におけるパノラマ動画の再生に反映させる（後述する第４モード）。すなわち、情報処理装置３は、パノラマ動画が表示装置（例えばモニタ４）において表示される間に、当該表示装置とは別の他の表示装置（例えば端末装置２）において当該パノラマ動画を出力させる。そして、情報処理装置３は、上記他の表示装置（端末装置２）においてパノラマ動画が再生される場合に上記範囲情報を取得する。さらに、情報処理装置３は、他の表示装置（端末装置２）においてパノラマ動画が再生される間に、取得された範囲情報に応じて出力内容を変化させて表示装置（モニタ４）にパノラマ動画を表示させる。
上記によれば、複数のユーザが同時に１つのパノラマ動画を見ている場合において、他のユーザがパノラマ動画のどの場所を見ているかという、ユーザにとって興味深い情報をパノラマ動画とともに提示することができる。以下、他の装置において同時に再生された再生内容を反映する第２の態様について詳細を説明する。
（５−２−１）範囲情報の取得
第２の態様において、情報処理システム１は、パノラマ動画が再生される際、少なくとも範囲情報を取得する。本実施形態においては、情報処理装置３は、端末装置２およびモニタ４においてパノラマ動画を再生させる際、端末装置２における再生に関する範囲情報を取得する。なお、第２の態様においては、ある表示装置における再生において取得した範囲情報をリアルタイムで別の表示装置における再生に反映させるので、入力時間情報は必ずしも取得されなくてもよい。ただし、現時点で取得した範囲情報に加えて、過去に取得した範囲情報に基づいて出力内容を変化させる場合には、情報処理装置３は、上記第１の態様と同様、範囲情報とともに入力時間情報を取得してもよい。また、情報処理装置３は、範囲情報とともに、ユーザ情報、ズーム情報、および再生制御情報等のうちいくつかを取得してもよい。
（５−２−２）範囲情報を用いたパノラマ動画の再生
情報処理システム１は、上記範囲情報に基づいてパノラマ動画の再生を行う。すなわち、情報処理システム１は、範囲情報に応じて出力内容（表示態様）を変化させてパノラマ動画を出力する。これによって、パノラマ動画を単に提示するだけでなく、他の表示装置における再生内容に関する情報（範囲情報）をユーザに提示することができる。第２の態様において、範囲情報に応じて出力内容を変化させてパノラマ動画を出力する方法としては、例えば以下の方法が考えられる。
本実施形態においては、情報処理装置３は、端末装置２における再生によって取得された範囲情報に基づいて決定される表示範囲をモニタ４において再生する。すなわち、端末装置２における表示範囲のパノラマ動画の画像を、モニタ４の一部領域において表示させる。具体的には、情報処理装置３は、パノラマ動画がモニタ４において表示される間、所定の入力装置（端末装置２）に対する入力に基づいて表示範囲を決定し、決定される表示範囲のパノラマ動画を端末装置２に表示させる。そして、情報処理装置３は、所定の範囲のパノラマ動画をモニタ４に表示させるとともに、上記範囲情報に基づく表示範囲のパノラマ動画をモニタ４に表示させる。このとき、モニタ４に表示される画像については、例えば図２４と同様、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画５５とともに、上記範囲情報に基づく表示範囲のパノラマ動画がモニタ４の一部の領域に表示されてもよい。
上記によれば、モニタ４を見ることで端末装置２の再生内容を確認することができる。ここで、端末装置２は可搬型であるので、端末装置２の表示画面を複数人で見ると見づらくなる。これに対して、モニタ４に端末装置２の再生内容を表示することで、端末装置２のユーザ以外の他のユーザは端末装置２の再生内容を容易に確認することができる。これによって、端末装置２のユーザと他のユーザとの間でコミュニケーションが図りやすくなり、例えば表示範囲を操作しない他のユーザもパノラマ動画を十分に楽しむことができる。
なお、端末装置２において表示範囲が操作されるパノラマ動画をモニタ４に表示する場合、他のユーザは、自身が操作しない表示範囲のパノラマ動画を見ることになる。このとき、表示範囲の変化が大きい場合には、他のユーザはパノラマ動画を見づらく感じるおそれがある。例えば、表示範囲が急激に変化する場合等には、他のユーザはパノラマ動画を見づらく感じるおそれがある。また例えば、本実施形態のように端末装置２自体を動かすことで表示範囲が移動する場合に、手ぶれによる表示範囲の小さな移動（揺れ）が生じると、他のユーザはパノラマ動画を見づらく感じるおそれがある。そのため、情報処理装置３は、範囲情報に基づいて決定される表示範囲における変化を軽減してパノラマ動画を表示装置（モニタ４）に表示させてもよい。これによって、他のユーザにとってより見やすいパノラマ動画を提供することができる。なお、表示範囲の変化を軽減する方法としては、例えば以下の方法が考えられる。
例えば、端末装置２にパノラマ動画を表示するための端末装置用仮想カメラと同じ視点に同じ視線方向となるモニタ用仮想カメラを仮想世界に設定し、当該端末装置用仮想カメラの動きと基本的に同じ動きで当該モニタ用仮想カメラを動作させる。そして、第１の制御例として、実空間における端末装置２の向きの単位時間当たり変化量が所定の閾値未満である場合や、端末装置２の動きを検出するセンサ（加速度センサ１４、ジャイロセンサ１５等）から出力される値（加速度や角速度を示す値）が所定の閾値未満である場合等には、上記モニタ用仮想カメラの姿勢を固定して、手ぶれによる画像の相対的に小さな揺れを防止する。そして、上記変化量や出力値が０になった場合や当該閾値以上となった場合に上記端末装置用仮想カメラの姿勢に近づくまたは同じとなるように当該モニタ用仮想カメラの姿勢を制御する。
第２の制御例として、実空間における端末装置２の向きの単位時間当たり変化量が所定の閾値以上である場合や、端末装置２の動きを検出するセンサから出力される値が所定の閾値以上である場合等には、上記モニタ用仮想カメラの動きを制限して、視線方向の相対的に大きな変化を抑制する。そして、上記変化量や出力値が当該閾値未満となった場合に上記端末装置用仮想カメラの姿勢に近づくように当該モニタ用仮想カメラの姿勢を制御する。
第３の制御例として、上記端末装置用仮想カメラの動きに所定の割合で追従するように上記モニタ用仮想カメラの動きを制御することによって、手ぶれによる画像の相対的に小さな揺れや視線方向の相対的に大きな変化を抑制する。具体的には、上記端末装置用仮想カメラの視線方向と上記モニタ用仮想カメラの視線方向との角度差に対して所定の割合（例えば、５０％）だけ、当該端末装置用仮想カメラの視線方向に近づくように当該モニタ用仮想カメラの視線方向が常に変化するように制御する。
上記の制御例の１つまたは組み合わせを用いて姿勢制御されるモニタ用仮想カメラから見た上記立体モデル内面の画像をモニタ４に表示することによって、端末装置２に表示しているパノラマ動画の視線方向の変化を軽減した画像をモニタ４に表示することができる。
また、上述した説明では、ある表示装置に表示しているパノラマ動画を他の表示装置に表示する場合において、表示範囲の移動の変化を軽減する例を説明した。なお、他の実施形態においては、表示範囲が拡大または縮小する際の変化を軽減することも考えられる。例えば、端末装置２を把持するユーザが端末装置２に表示されているパノラマ動画を拡大表示または縮小表示する操作を行った場合、ＬＣＤ１１には当該操作に応じて拡大または縮小したパノラマ動画がそのまま表示される。一方、端末装置２に対する操作に応じて拡大または縮小して端末装置２に表示されたパノラマ動画をモニタ４にも表示する場合、当該パノラマ動画の拡大率または縮小率が所定の閾値以上となる場合は、拡大率または縮小率を当該閾値に抑制したパノラマ動画をモニタ４に表示する。また、端末装置２に対する操作に応じて、パノラマ動画を拡大してから縮小するまでの時間またはパノラマ動画を縮小してから拡大するまでの時間が所定時間以内に行われた場合、当該所定時間内に行われた縮小または拡大を抑制したパノラマ動画をモニタ４に表示する。このような制御例の１つまたは組み合わせを用いてパノラマ動画の拡大または縮小を制御したパノラマ動画をモニタ４に表示することによって、端末装置２に拡大または縮小する画像変化を軽減したパノラマ動画をモニタ４に表示することができる。
また、他の実施形態において、情報処理装置３は、範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像をパノラマ動画とともに表示装置に表示させてもよい。図２６は、視線方向を表す画像の一例を示す図である。図２６においては、端末装置２には、端末装置２の姿勢に応じた視線方向（ここでは正面方向よりもやや右向きの視線方向）に対応する表示範囲のパノラマ動画が表示される。モニタ４には、仮想カメラ２２の視線方向が正面方向を向くときの表示範囲のパノラマ動画６５とともに、範囲情報に基づく表示範囲または位置に対応する視線方向を表す画像６６が表示される。本実施形態においては、上記視線方向を表す画像６６は、端末装置２のユーザを模したキャラクタが端末装置を把持した様子を表す。このとき、キャラクタが把持する端末装置の姿勢は、端末装置２の実際の姿勢に対応するように変化する。端末装置２の姿勢は上記視線方向に対応しているので、端末装置２の姿勢を表す画像６６を表示することによって、ユーザに上記視線方向を通知することができる。なお、図２６では、画像６６によって表されるキャラクタの向きは、端末装置２のユーザの向きと同じとなるように制御される。これに対して他の実施形態においては、キャラクタの顔が見えやすいように、端末装置２のユーザの向きに対して前後方向を逆にした向きを向くように（つまり、端末装置２のユーザの鏡像となるように）、当該キャラクタの向きが制御されてもよい。また、他の実施形態においては、上記視線方向を表す画像として、マップ画像６２および視点画像６３がパノラマ動画とともに表示されてもよい。これによっても、ユーザに上記視線方向を通知することができる。
また、他の実施形態において、情報処理装置３は、パノラマ動画の再生中においてユーザによって指定された位置を表す範囲情報を取得し、当該範囲情報に基づいて決定されるパノラマ画像上における位置を表す画像をパノラマ動画とともに表示装置に表示させてもよい。例えば、端末装置２においてパノラマ動画上のある位置に対して付加情報が入力された場合、モニタ４においても当該位置に当該付加情報を表示するようにしてもよい。図２７は、範囲情報に基づく位置を表す画像がパノラマ画像とともに表示される場合の一例を示す図である。図２７においては、端末装置２の表示範囲内において、付加情報を表す画像６７が入力されて表示されたものとする。このとき、情報処理装置３は、表示範囲内において付加情報が入力された位置を表す範囲情報を取得する。そして、情報処理装置３は、モニタ４に表示される表示範囲において、取得された範囲情報が表す位置に、上記付加情報を表す画像６８を表示させる。これによって、ユーザは、端末装置２において入力された付加情報をモニタ４においても確認することができ、端末装置２のユーザ以外の他のユーザも付加情報を確認することができる。なお、取得された範囲情報が表す位置が、モニタ４における表示範囲外にある場合には、上記画像６８はモニタ４に表示されない。この場合、情報処理装置３は、上述したガイド画像をモニタ４に表示してもよい。また、上記画像６８が表示される期間は、対応する付加情報を表す画像６７が端末装置２に表示される期間に基づいて決定される。そのため、情報処理装置３は、付加情報が入力された位置を表す範囲情報を取得するとともに、上記期間を表す入力時間情報を取得してもよい。
なお、本実施形態においては、端末装置２における再生内容をモニタ４に反映させる場合を例として説明した。ここで、他の実施形態においては、情報処理装置３は、モニタ４における再生内容を端末装置２に反映させるようにしてもよい。例えば、情報処理装置３は、モニタ４における表示範囲のパノラマ画像を端末装置２において表示させるようにしてもよい。また例えば、モニタ４における表示範囲内の位置を上記操作装置７によって指定することが可能な場合には、情報処理装置３は、モニタ４における表示範囲内において指定された位置を表す画像を端末装置２に表示させるようにしてもよい。
以上のように、上記第１の態様および第２の態様においては、情報処理装置３は、パノラマ動画の再生中において、所定の入力装置（端末装置２）に対する入力に基づいて決定される表示範囲（および／または当該表示範囲内の位置）を特定可能な範囲情報を取得する。そして、パノラマ動画を表示装置（モニタ４）を用いて出力する場合、取得された範囲情報に応じて出力内容を変化させてパノラマ動画を出力する。これによって、過去においてまたは他の装置においてパノラマ動画が再生される際の再生内容を、現在再生中のパノラマ動画の出力に反映することができ、パノラマ画像を再生する際により多くの情報をユーザに提示することができる。
（５−３）再生終了後における履歴情報に基づく出力
なお、上記第１の態様においては、範囲情報が履歴情報として記憶される。情報処理装置３は、パノラマ動画の再生が終了した後において当該再生時に取得された履歴情報に基づく情報を出力するようにしてもよい。例えば、情報処理装置３は、パノラマ動画の再生中において表示頻度が高かったオブジェクト、あるいは、複数回の再生において表示頻度が高かった表示範囲を再生終了後に提示することができる。これによれば、パノラマ動画の再生中にユーザがどこを見ていたか、という興味深い情報をユーザに提示することができる。
例えば、情報処理装置３は、パノラマ動画の再生が終了した場合、当該再生において履歴情報として記憶された範囲情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置（端末装置２および／またはモニタ４）に表示させてもよい。以下、パノラマ動画の再生終了後に、履歴情報に基づいて決定される表示範囲のパノラマ画像を提示する例について説明する。
図２８は、パノラマ動画の再生終了後において表示される画像の一例を示す図である。図２８においては、パノラマ動画の再生中において表示頻度が高かったオブジェクトを含むパノラマ画像６８がモニタ４に表示される。このとき、上記オブジェクトを指し示す画像６９が表示されてもよい。なお、情報処理装置３は、上記オブジェクトを含むパノラマ画像を、静止画として表示してもよいし、動画として表示してもよい。このように、報処理装置３は、パノラマ動画の再生中において表示頻度が高かったオブジェクト（つまり、よく見られていたオブジェクト）を、再生終了後において表示してもよい。
具体的には、情報処理装置３は、（パノラマ動画の再生中において）上記範囲情報を履歴情報として取得しておく。そして、情報処理装置３は、履歴情報によって特定される表示範囲に、パノラマ動画中に登場するオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出する。なお、上記の判別は、例えば履歴情報と上述のオブジェクト情報とを用いて行うことが可能である。例えば、情報処理装置３は、パノラマ動画に登場する複数のオブジェクトについて表示時間を上記の判別によって算出し、表示時間が長い（表示頻度が高い）オブジェクトを選出してもよい。パノラマ動画の再生後において、情報処理装置３は、選出されたオブジェクトが含まれる表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。
上記において、情報処理装置３は、パノラマ動画の再生中において表示頻度が高いオブジェクトを表す範囲情報を履歴情報として取得しておき、再生後に当該履歴情報が表すオブジェクトを特定するようにしてもよい。具体的には、情報処理装置３は、（パノラマ動画の再生中において）パノラマ動画の再生中における表示範囲にオブジェクトが含まれるか否かを判別し、出力すべきオブジェクトを判別結果に応じて選出する。なお、この判別も第１の方法と同様、例えば上述のオブジェクト情報を用いて行うことが可能である。情報処理装置３は、選出されたオブジェクトを表す情報を範囲情報として記憶する。このように、オブジェクトを表す情報からパノラマ動画上における表示範囲および／または表示範囲内の位置を特定可能である場合には、当該オブジェクトを表す情報が範囲情報として記憶されてもよい。パノラマ動画の再生後において、情報処理装置３は、範囲情報が表すオブジェクトが含まれる表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。
また、情報処理装置３は、複数の履歴情報がある場合、複数の履歴情報に基づいて決定される表示範囲のパノラマ画像を静止画または動画として表示装置に表示させてもよい。例えば、情報処理装置３は、パノラマ動画の再生後において、複数の履歴情報に基づいて、パノラマ動画の領域のうちで表示頻度が高い範囲（あるいは位置）を特定する。そして、特定された表示範囲のパノラマ画像を表示装置（例えばモニタ４）に表示させる。
なお、他の実施形態においては、情報処理装置３は、オブジェクトあるいは表示範囲について、表示頻度の高い順に複数の表示範囲のパノラマ画像を表示してもよい。これによって、ユーザは、パノラマ動画のうちでよく見られている場所（対象）のランキングを知ることができる。また、情報処理装置３は、表示頻度が低いオブジェクトあるいは表示範囲（例えば、まだ表示されたことのないオブジェクトを含む表示範囲）のパノラマ画像を表示してもよい。これによって、パノラマ動画のうちであまり見られていない場所をユーザに通知することができる。
上記（５−１）〜（５−３）にて説明したように、本実施形態においては、情報処理システム１は、パノラマ動画の再生中に取得された範囲情報に応じて出力内容を変化させてパノラマ動画の少なくとも一部を出力する。これによって、パノラマ動画の再生時における情報（例えば、ユーザがどこの表示範囲を見ていたか等）をユーザに提示することができる。
［６．第１の実施形態の具体的な処理例］
以下、図２９〜図３３を参照して、本実施形態に係る情報処理システム１の具体的な処理および動作を説明する。図２９は、本実施形態において情報処理システム１の記憶部（メモリ６）に記憶されるデータの一例を示す図である。図２９に示すように、情報処理装置３のメモリ６には、情報処理プログラム７０、パノラマ動画データ７１、および処理用データ７２が記憶される。なお、メモリ６には、図２９に示すデータの他、端末装置２から取得した操作データや、各表示装置へ出力すべき画像やそれを生成するために用いられる画像のデータ等が記憶されてもよい。
情報処理プログラム７０は、情報処理装置３のコンピュータ（ＣＰＵ５）に実行させるためのプログラムである。なお、情報処理プログラム７０は、情報処理装置３がアクセス可能であって情報処理装置３の内部または外部に設けられるプログラム格納部（記憶装置または記憶媒体等）に記憶されている。プログラム格納部に記憶される情報処理プログラム７０の一部または全部が適宜のタイミングで読み込まれてメモリ６に記憶され、ＣＰＵ５によって実行される。また、情報処理プログラム７０の一部または全部は、情報処理プログラム７０を実行する情報処理装置内に（例えばライブラリとして）予め記憶されていてもよい。
パノラマ動画データ７１は、情報処理システム１において再生されるパノラマ動画データを表す。パノラマ動画データ７１には、パノラマ動画を構成する複数のパノラマ画像のデータが含まれる。なお、パノラマ動画データ７１には、上述したオブジェクト情報のデータおよび／または付加情報のデータが含まれていてもよい。
処理用データ７２は、ＣＰＵ５において実行される情報処理（図３０〜図３３）において用いられるデータである。処理用データ７２は、表示範囲データ７３、入力情報データ７４、履歴情報データ７５、および、範囲情報データ７６を含む。
表示範囲データ７３は、ユーザの入力に応じて決定される上記表示範囲を表す。表示範囲データ７３は、パノラマ画像上における位置または範囲を示す情報であってもよいし、仮想カメラ２２の姿勢を表すベクトルを示す情報であってもよい。入力情報データ７４は、上記入力情報を表すデータであり、例えば"（３−２）付加情報の記憶"で述べた各情報を含む（図６参照）。履歴情報データ７５は、上記履歴情報を表すデータであり、例えば"（５−１−１）履歴情報の記憶"で述べた各情報を含む（図２０参照）。範囲情報データ７６は、パノラマ動画の再生中において取得される上記範囲情報を表すデータである。
次に、本実施形態における情報処理の詳細な流れを説明する。本実施形態においては、情報処理システム１が起動されると、情報処理装置３のＣＰＵ５は、メモリ６等の記憶部を初期化し、プログラム格納部から情報処理プログラム７０をメモリ６に読み込む。そして、ＣＰＵ５によって当該情報処理プログラム７０の実行が開始される。
ここで、本実施形態においては、情報処理システム１は、以下の４種類のモードでパノラマ動画を再生することができる。
・第１モード：パノラマ動画を再生中において上記付加情報の入力を受け付けるとともに、履歴情報を記憶するモード
・第２モード：パノラマ動画の再生中において上記付加情報、ガイド情報、および履歴関連情報を出力するモード
・第３モード：上記履歴情報に基づいて表示範囲を決定してパノラマ動画を再生するモード
・第４モード：２つの表示装置でパノラマ動画を再生し、一方の表示装置の再生内容を他方の表示装置における再生に反映させるモード
上記第１〜第４モードのいずれが実行されるかは、どのように決定されてもよく、例えばユーザの選択によって決定される。なお、情報処理システム１は、いずれか１つのモードのみを実行可能であってもよい。以下、図３０〜図３３を参照して、各モードにおける動画再生処理の流れを説明する。
なお、図３０〜図３３に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて（または代えて）別の処理が実行されてもよい。また、本実施形態（後述する第２の実施形態についても同様）では、上記フローチャートの各ステップの処理をＣＰＵ５が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、ＣＰＵ５以外のプロセッサや専用回路が実行するようにしてもよい。
（第１モードの再生動作）
図３０は、本実施形態において情報処理装置３のＣＰＵ５が実行する第１モードの動画再生処理の流れの一例を示すフローチャートである。第１モードの実行が選択された場合、ＣＰＵ５は、図３０に示す処理を実行する。
まずステップＳ１において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。上記ステップＳ１の処理は、例えば上記"［２．パノラマ動画の再生］"で述べた方法で行われる。なお、ステップＳ１において、表示範囲を決定するための端末装置２の姿勢はどのように算出されてもよい。本実施形態においては、ＣＰＵ５は、加速度センサ１４および／またはジャイロセンサ１５の検出結果を端末装置２から取得し、当該検出結果に基づいて端末装置２の姿勢を算出する。また、端末装置２の姿勢に基づいて決定された表示範囲を表すデータは、表示範囲データ７３としてメモリ６に記憶される。
ステップＳ２において、ＣＰＵ５は、端末装置２からの操作データを取得し、操作データに基づいて、付加情報（コメント）の入力があるか否かを判定する。すなわち、ＣＰＵ５は、付加情報（コメント）の入力を受け付ける。付加情報の入力は、例えば、上記"（３−１）付加情報の入力"で述べた方法で行われる。ステップＳ２の判定結果が肯定である場合、ステップＳ３の処理が実行される。一方、ステップＳ２の判定結果が否定である場合、ステップＳ３の処理がスキップされてステップＳ４の処理が実行される。
ステップＳ３において、ＣＰＵ５は、入力情報データ７４をメモリ６に記憶する。入力情報の記憶は、例えば上記"（３−２）付加情報の記憶"で述べた方法によって行われる。具体的な処理としては、ＣＰＵ５は、入力情報を表すデータを入力情報データ７４としてメモリに記憶する。
ステップＳ４において、ＣＰＵ５は履歴情報を記憶する。履歴情報の記憶は、例えば上記"（５−１−１）履歴情報の記憶"で述べた方法によって行われる。具体的な処理としては、ＣＰＵ５は、メモリ６に記憶されている履歴情報データ７５を読み出し、履歴情報データ７５が表す履歴情報に対して、現在の入力時間情報と、範囲情報（表示範囲データ）とを追加する。なお、履歴情報データ７５が記憶されていない場合には、現在の入力時間情報と、範囲情報（表示範囲データ）とを表すデータを履歴情報データ７５としてメモリに記憶する。また、ステップＳ１〜Ｓ６における処理ループ中における任意のステップＳ４の時点で、履歴情報にユーザ情報が追加される。
ステップＳ５において、ＣＰＵ５はパノラマ画像を表示する。本実施形態においては、端末装置２とモニタ４との両方にパノラマ画像が表示される。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ１で決定された表示範囲のパノラマ画像を生成して端末装置２へ出力する。また、現在の再生時点に対応するパノラマ画像のうち、予め定められる表示範囲のパノラマ画像を生成してモニタ４へ出力する。
ステップＳ６において、ＣＰＵ５は、パノラマ動画の再生を終了するか否かを判定する。ＣＰＵ５は、例えば、パノラマ動画の再生が最後まで終了したか、および／または、再生を停止する指示がユーザによって行われたか否かを判定する。ステップＳ６の判定結果が否定の場合、ステップＳ１の処理が再度実行される。以降、ステップＳ１〜Ｓ６の一連の処理は、ステップＳ６で再生を終了すると判定されるまで繰り返し実行される。一方、ステップＳ６の判定結果が肯定の場合、ステップＳ７の処理が実行される。
ステップＳ７において、ＣＰＵ５は、履歴情報に基づいて、再生終了後に提示すべきオブジェクトを選出する。このオブジェクトの選出は、例えば上記"（５−３）再生終了後における履歴情報に基づく出力"で述べた方法によって行われる。なお、上述したように、提示すべきオブジェクトを選出する処理は、パノラマ動画の再生中に実行されてもよい。また、他の実施形態においては、オブジェクトの選出処理に代えて（あるいは、オブジェクトの選出処理とともに）、ＣＰＵ５は、履歴情報に基づいて表示範囲を選出する処理を実行してもよい。
ステップＳ８において、ＣＰＵ５は、選択されたオブジェクトを含む表示範囲のパノラマ画像を表示装置に表示させる。ステップＳ８における表示処理は、例えば上記"（５−３）再生終了後における履歴情報に基づく出力"で述べた方法によって行われる。ステップＳ７の後、ＣＰＵ５は、図３０に示す動画再生処理を終了する。
なお、他の実施形態においては、第１モードの動画再生処理においては、付加情報の入力を受け付ける処理（ステップＳ２およびＳ３）と、履歴情報を記憶する処理（ステップＳ４）とのいずれか一方のみが実行されてもよい。また、履歴情報に基づく出力を行う処理（ステップＳ７およびＳ８）が実行されなくてもよい。
（第２モードの再生動作）
図３１は、本実施形態において情報処理装置３のＣＰＵ５が実行する第２モードの動画再生処理の流れの一例を示すフローチャートである。第２モードの実行が選択された場合、ＣＰＵ５は、図３１に示す処理を実行する。
まずステップＳ１１において、ＣＰＵ５は、外部の装置から各種の情報を取得する。各種の情報とは、付加情報を含む入力情報、および／または、履歴情報である。ＣＰＵ５は、上記"（３−４）他のユーザによる付加情報"および"（５−１−３）履歴情報の取得"で述べた方法で各種の情報を取得し、新たな入力情報データ７４または履歴情報データ７５としてメモリ６に記憶する。
ステップＳ１２において、ＣＰＵ５は、目標を設定する。例えば上記"（４−１）目標の設定"で述べたように、再生すべきパノラマ動画に設定されている付加情報に対応する位置が目標に設定されてもよい。また、ＣＰＵ５は、設定された目標を表す目標情報を記憶する。すなわち、ＣＰＵ５は、上記"（４−２）目標情報の記憶"で述べた方法で目標情報を表すデータをメモリ６に記憶する。
ステップＳ１３において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ１３の処理は、上述のステップＳ１の処理と同じである。
ステップＳ１４において、ＣＰＵ５は、出力すべきガイド情報を生成する。すなわち、ＣＰＵ５は、入力情報データ７４と、上記目標情報を表すデータとをメモリ６から読み出し、入力情報および目標情報に基づいて、ガイド情報を出力するか否かを判別する。この判別は、上記"（４−３）ガイド情報の出力判別の方法"で述べた方法で行われる。ガイド情報を出力すると判別された場合、ＣＰＵ５は、"（４−４）ガイド情報の出力態様"で述べた方法でガイド情報（およびユーザ情報）を表す画像（図１７に示すガイド画像４１）を生成し、画面上において当該画像を表示する位置を決定する。
ステップＳ１５において、ＣＰＵ５は、出力すべき付加情報を生成する。すなわち、ＣＰＵ５は、メモリ６から入力情報データ７４を読み出し、入力情報に基づいて、付加情報を出力するか否かを判別する。この判別は、上記"（３−３−１）付加情報の出力判別の方法"で述べた方法で行われる。付加情報を出力すると判別された場合、上記"（３−３−２）付加情報の出力態様"および"（３−３−３）付加情報の出力内容"で述べた方法で付加情報（およびユーザ情報）を表す画像（例えばコメント画像３２）を生成し、画面上において当該画像を表示する位置を決定する。
ステップＳ１６において、ＣＰＵ５は、出力すべき履歴関連情報を生成する。すなわち、ＣＰＵ５は、メモリ６から履歴情報データ７５を読み出し、履歴情報に基づいて、履歴関連情報を表す画像を生成する。この画像の生成は、上記"（５−１−２）履歴情報を用いたパノラマ動画の再生"の"（Ａ）履歴関連情報を出力する方法"で述べた方法で行われる。また、ＣＰＵ５は、画面上において上記画像を表示する位置を決定する。なお、他の実施形態においては、ステップＳ１６において、上記"（５−１−２）履歴情報を用いたパノラマ動画の再生"の"（Ｃ）パノラマ動画とともに他の画像を表示する方法"で述べた補助画像が生成されてもよい。このとき、ステップＳ１７においては、パノラマ画像とともに補助画像が表示される。
ステップＳ１７において、ＣＰＵ５は、上記ガイド情報、付加情報、および履歴関連情報の画像をパノラマ画像とともに表示する。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ１３で決定された表示範囲のパノラマ画像を生成する。そして、生成されたパノラマ画像に対して、ステップＳ１４〜Ｓ１６で生成された画像を重ねた画像を生成し、端末装置２に出力する。なお、ステップＳ１７においてモニタ４にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。
ステップＳ１８において、ＣＰＵ５は、ステップＳ６と同様の方法で、パノラマ動画の再生を終了するか否かを判定する。ステップＳ１８の判定結果が否定の場合、ステップＳ１３の処理が再度実行される。一方、ステップＳ１８の判定結果が肯定の場合、ＣＰＵ５は図３１に示す動画再生処理を終了する。以降、ステップＳ１３〜Ｓ１８の一連の処理は、ステップＳ１８で再生を終了すると判定されるまで繰り返し実行される。
なお、他の実施形態においては、第２モードの動画再生処理において、各種情報（付加情報、ガイド情報、および履歴関連情報）のうち、いくつかの情報のみが出力されてもよい。例えば、第２モードの動画再生処理において、各種情報を出力する処理（ステップＳ１４〜Ｓ１６）のうち、付加情報を出力する処理（ステップＳ１４）のみが実行されてもよいし、付加情報およびガイド情報を出力する処理（ステップＳ１４およびＳ１５）のみが実行されてもよいし、履歴関連情報を出力する処理（ステップＳ１６）のみが実行されてもよい。
（第３モードの再生動作）
図３２は、本実施形態において情報処理装置３のＣＰＵ５が実行する第３モードの動画再生処理の流れの一例を示すフローチャートである。第３モードの実行が選択された場合、ＣＰＵ５は、図３２に示す処理を実行する。
まずステップＳ２１において、ＣＰＵ５は、表示範囲の決定に用いる履歴情報を選択する。この履歴情報はどのような方法で選択されてもよく、例えば、ユーザの指示に従って選択される。
ステップＳ２２において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ２２で決定される表示範囲は、端末装置２に表示されるパノラマ動画の表示範囲である。ステップＳ２２の処理は、上述のステップＳ１の処理と同じである。
ステップＳ２３において、ＣＰＵ５は、ステップＳ２１で選択された履歴情報に基づいて表示範囲を決定する。ステップＳ２２で決定される表示範囲は、モニタ４に表示されるパノラマ動画の表示範囲である。すなわち、ＣＰＵ５は、選択された履歴情報を表す履歴情報データ７５をメモリ６から読み出し、上記"（５−２−２）履歴情報に基づいて決定される表示範囲を再生する方法"で述べた方法で表示範囲を決定する。また、ＣＰＵ５は、決定された表示範囲を表すデータを表示範囲データ７３としてメモリ６に記憶する。
ステップＳ２４において、ＣＰＵ５はパノラマ画像を表示する。具体的には、ＣＰＵ５は、パノラマ動画データ７１および表示範囲データ７３をメモリ６から読み出し、現在の再生時点に対応するパノラマ画像のうち、ステップＳ２３で決定された表示範囲のパノラマ画像を生成してモニタ４へ出力する。このとき、履歴情報に基づく表示範囲のパノラマ画像は、図２４に示したように、モニタ４の画面領域の一部に表示されてもよい。なお、ステップＳ２４において端末装置２にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。
なお、他の実施形態においては、第３モードの動画再生処理において、付加情報の入力を受け付ける処理（ステップＳ２およびＳ３）と、履歴情報を記憶する処理（ステップＳ４）とのうちいくつかの処理が実行されてもよい。また、第３モードの動画再生処理において、付加情報等の各種情報を出力する処理（ステップＳ１４〜Ｓ１６）のうちいくつかの処理が実行されてもよい。
（第４モードの再生動作）
図３３は、本実施形態において情報処理装置３のＣＰＵ５が実行する第４モードの動画再生処理の流れの一例を示すフローチャートである。第４モードの実行が選択された場合、ＣＰＵ５は、図３３に示す処理を実行する。
まずステップＳ３１において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ３１の処理は、上述のステップＳ１の処理と同じである。
ステップＳ３２において、ＣＰＵ５は、範囲情報を取得する。例えば、ＣＰＵ５は、上記ステップＳ３１で決定された表示範囲を表す範囲情報を取得する。範囲情報は、例えば上記"（５−２−１）範囲情報の取得"で述べた方法で取得されてもよい。取得された範囲情報を表すデータは、範囲情報データ７６としてメモリ６に記憶される。
ステップＳ３３において、ＣＰＵ５は、パノラマ動画とともに出力すべき、範囲情報に基づく画像（端末装置２の再生内容を反映した画像）を生成する。すなわち、ＣＰＵ５は、範囲情報データ７６をメモリ６から読み出し、範囲情報に基づいて上記画像を生成する。例えば、上記"（５−２−２）範囲情報を用いたパノラマ動画の再生"で述べた画像が生成される。
ステップＳ３４において、ＣＰＵ５は、端末装置２にパノラマ動画を表示させる。端末装置２にパノラマ動画を表示させる処理は、上記ステップＳ５と同じである。
ステップＳ３５において、ＣＰＵ５は、範囲情報に応じて出力内容を変化させてパノラマ動画をモニタ４に表示させる。具体的には、ＣＰＵ５は、ステップＳ３３で生成された画像をパノラマ画像とともにモニタ４に表示させる。これによって、上記"（５−２−１）範囲情報の取得"で述べた、端末装置２の再生内容を反映した画像がモニタ４に表示される。なお、ステップＳ３５においてパノラマ画像を生成して表示する方法は、上記ステップＳ５と同じである。
ステップＳ３６において、ＣＰＵ５は、ステップＳ６と同様の方法で、パノラマ動画の再生を終了するか否かを判定する。ステップＳ３６の判定結果が否定の場合、ステップＳ３１の処理が再度実行される。一方、ステップＳ３６の判定結果が肯定の場合、ＣＰＵ５は図３３に示す動画再生処理を終了する。以降、ステップＳ３１〜Ｓ３６の一連の処理は、ステップＳ３６で再生を終了すると判定されるまで繰り返し実行される。
なお、他の実施形態においては、上記第１〜第４モードのうち、いくつかのモードにおける処理は同時に（１つのモード中で）実行されてもよい。例えば、第４モードにおいて、第１モードにおける各種情報の入力処理（ステップＳ２〜Ｓ４）が実行されてもよいし、第２モードにおける各種情報の出力処理（ステップＳ１３〜Ｓ１６）が実行されてもよい。以上で、情報処理装置３において実行される処理の説明を終了する。
＜第２実施形態＞
次に、第２の実施形態として、上述の付加情報をパノラマ動画とともに出力するための情報処理システム、情報処理装置、情報処理プログラム、動画表示方法、および制御データのデータ構造について説明する。第２の実施形態では、付加情報をパノラマ動画とともに出力する方法の一例として、制御データを用いる方法について説明する。なお、上記第１の実施形態で述べた上述のコメントやガイド情報や履歴関連情報等の付加情報は、第２の実施形態における制御データを用いて出力されてもよい。
なお、第２の実施形態に係る情報処理システムのハードウェア構成は第１の実施形態と同じであるので、詳細な説明を省略する。
［１．制御データのデータ構造］
まず、第２の実施形態において用いられる制御データについて説明する。第２の実施形態においては、パノラマ動画とともに付加情報を出力する条件等が制御データによって管理され、パノラマ動画の再生中において情報処理システム１は、制御データに従って付加情報を出力する。以下、制御データの詳細なデータ構造について説明する。
図３４は、制御データのデータ構造の一例を示す図である。図３４に示すように、制御データは、時間条件と、方向条件と、情報処理とを関連づけたデータである。情報処理システム１は、制御データに含まれる時間条件と、制御データに含まれる方向条件とが充足されたか否かを判定する。この判定結果に応じて、情報処理システム１は、制御データにおいて指定される情報処理を実行する。以下、制御データの具体例について説明する。
時間条件は、パノラマ動画の再生時間軸上における時点（再生時点）に関する条件である。時間条件においては、パノラマ動画の再生時間軸上における時点（再生時点）または期間が指定される。つまり、時間条件としては、当該時点または期間を特定可能な情報（「時間情報」と呼ぶ）が制御データ内に格納される。例えば図３４においては、制御データは、再生時間軸上における時間Ｔ１〜Ｔ２の期間を示す時間情報を格納する。なお、例えば、パノラマ動画に登場する所定の対象（例えば図４０に示すビル１０１）に対して付加情報を付す場合には、当該所定の対象が登場する期間を示すように時間情報が設定される。
本実施形態においては、時間条件は、現在の再生時点が、時間情報が表す期間（図３４では時間Ｔ１〜Ｔ２の期間）内に含まれることである。ただし、他の実施形態においては、時間条件は、パノラマ動画の再生時点に関する任意の条件でよく、例えば、現在の再生時点が、時間情報が表す期間内に含まれないことであってもよい。
また、時間情報は、パノラマ動画における時間軸上の時点または期間を特定可能な任意の情報であってよい。例えば、時間情報は、パノラマ動画の再生が開始されてからの経過時点を示す情報であってもよいし、パノラマ動画のフレーム番号を示す情報であってもよい。また、パノラマ動画における視点が時間とともに移動する場合には、時間情報は、当該視点の位置を示す情報であってもよい。つまり、第１の実施形態で述べた入力時間情報と同様の情報を時間情報として用いることができる。
方向条件は、パノラマ動画における（ユーザによって操作される）視線方向に関する条件である。ここで、パノラマ動画における視線方向とは、パノラマ動画のうちで（画面に）表示される領域に対応する視線方向のことである。より具体的には、パノラマ動画における視線方向とは、パノラマ動画の視点から表示装置に表示される領域（パノラマ画像の一部の領域）への方向である。方向条件においては、パノラマ動画における視線方向、あるいは、当該視線方向を含む範囲が指定される。つまり、方向条件としては、当該視線方向あるいは範囲を特定可能な情報（「方向情報」と呼ぶ）が制御データ内に格納される。
図３５は、方向情報によって特定される視線方向および範囲の一例を示す図である。第２の実施形態においては、図３５に示すように、方向情報は、仮想カメラ２２の視線方向（姿勢）を表すベクトル（図３５ではベクトルＶ１）を示す。例えば、パノラマ動画に登場する所定の対象（例えば図４０に示すビル１０１）に対して付加情報を付す場合には、当該所定の対象の方を向く視線方向を表すベクトルを示す方向情報が設定される。なお、第２の実施形態においては、方向条件において指定される範囲は、上記ベクトルを中心とした所定の大きさの範囲（図３５に示す範囲Ａ）であると、情報処理システム１において予め定められているものとする。したがって、方向条件は、方向情報によって示されるベクトルＶ１の方向とその周囲の方向とを含む範囲Ａを指定するものである。
なお、方向情報は、方向条件として指定される（視線方向に関する）範囲を特定可能な任意の情報であってよい。例えば、方向情報は、視線方向を表すベクトルと、当該ベクトルを中心とする範囲の大きさを示す情報であってもよい。これによれば、方向情報毎に異なる大きさの範囲を表すことができる。また、方向情報は、視線方向を表すベクトルに限らず、立体モデル２１上の位置（視線方向に対応する位置）または範囲を示す情報であってもよいし、パノラマ画像上の位置（視線方向に対応する位置）または範囲を示す情報であってもよい。例えば、方向情報は、仮想カメラ２２がある視線方向となる場合における表示範囲を示す情報であってもよい。以上のように、第１の実施形態で述べた範囲情報と同様の情報を方向情報として用いることができる。
図３４に示す制御データにおいては、方向条件は、ユーザが操作する視線方向が、方向条件において指定される範囲内に含まれることである。例えば図３５に示すように、ユーザが操作する視線方向を表すベクトルＶａが、方向条件において指定される範囲Ａ内に含まれない場合には、方向条件が充足されない。一方、上記視線方向を表すベクトルＶａが、上記範囲Ａ内に含まれる場合には、方向条件が充足される。なお、他の実施形態においては、方向条件は、ユーザが操作する視線方向に関する任意の条件でよく、例えば後述するガイド情報の例のように、ユーザが操作する視線方向が、方向条件において指定される範囲内に含まれないことであってもよい。
なお、方向条件において指定される範囲Ａは、表示範囲よりも小さくてもよいし、同じでもよいし、大きくてもよい。当該範囲Ａが表示範囲より小さく設定される場合には、付加情報を付加する対象が単に表示されることを条件とするのではなく、視線方向が対象の方を向いていることを条件として付加情報を出力することができる。また、当該範囲Ａが表示範囲より大きく設定される場合には、付加情報を付加する対象が表示されていない場合でも付加情報（例えば付加情報の音）を出力することができる。
なお、制御データにおいて方向条件として指定される視線方向または範囲は、パノラマ動画の再生時間の経過において一定であってもよいし、再生時間の経過に応じて変化してもよい。図３４においては、方向情報は、時間Ｔ１〜Ｔ２の期間において、ベクトルＶ１からベクトルＶ２へと一定の割合で変化することを示している。つまり、方向条件として指定される範囲は、時間Ｔ１の時点においてはベクトルＶ１に対応する範囲であり、時間Ｔ２の時点においてはベクトルＶ２に対応する範囲へと変化する。このように、方向条件の範囲を時間に応じて変化するように設定することで、パノラマ動画中に登場する対象の位置が時間経過とともに変化する場合であっても、その対象に対応する範囲となるように方向条件を設定することができる。なお、図３４では、方向情報は、時間情報が表す期間の最初と最後の時点におけるベクトルだけを示したが、一定時間毎（例えば１フレーム時間毎）のベクトルを示してもよい。
制御データによって指定される情報処理は、時間条件および方向条件の判定結果に応じて実行すべき情報処理である。図３４においては、制御データが指定する情報処理は、コメントを表示させる処理である。制御データが指定する情報処理は、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する任意の処理でよい。上記情報処理は、例えば、上述したガイドや、履歴関連情報や、ボタン画像等を表示（出力）する処理であってもよい。つまり、情報処理システム１は、ガイドや履歴関連情報やボタン画像をパノラマ動画に付加して表示する場合にも、制御データを用いることができる。また、上記情報処理は、パノラマ動画に画像を追加する処理（例えば、パノラマ動画に登場する人物に落書き等の画像を付加する処理）でもよい。また、上記情報処理は、ユーザが認識可能な任意の方法でユーザに対して出力を行うものであればよい。例えば上記情報処理は、画像を表示（出力）する処理に限らず、音声を出力する処理であってもよい。例えばユーザが把持する入力装置（ここでは端末装置２）が振動機能を有する場合、上記情報処理は、振動出力を行う（例えば入力装置を振動させる）処理であってもよい。上記情報処理は、画像出力、音出力、および、振動出力のうちのいくつかを組み合わせて出力する処理であってもよい。
本実施形態においては、制御データは、上記情報処理が記述されたプログラムを含むスクリプトデータとして提供される。すなわち、制御データは、時間条件と、方向条件と、情報処理（より具体的には、情報処理の内容が記述されたプログラム）とを関連づけたデータである。これによれば、パノラマ動画の再生中において実行すべき情報処理とそれを実行する条件とに関する情報を１つの制御データとして提供できるので、当該情報の取り扱いが容易になる。また、情報処理システム１は、パノラマ動画に付加情報を付加して出力する情報処理を制御データによって容易に実行することができる。なお、他の実施形態においては、制御データは、方向条件と時間条件と情報処理の内容とを関連づけるデータであってもよく、情報処理の内容が記述されたプログラムを含まない形式であってもよい。このとき、時間条件および方向条件に応じて実行される情報処理のプログラムは、情報処理システム１内の記憶部（例えばメモリ６等）に記憶される。
［２．制御データを用いた処理の一例］
次に、制御データを用いて付加情報（例えばコメント）を出力する処理の一例について説明する。図３６は、第２の実施形態における情報処理の大まかな流れの一例を示すフローチャートである。図３６は、パノラマ動画の再生時において実行される情報処理を示している。
図３６に示すステップＳ５１において、情報処理システム１は、パノラマ動画の再生時に用いる制御データを取得する。本実施形態においては、制御データの取得処理は、パノラマ動画の再生を開始する前に実行される。制御データは、パノラマ動画とともに情報処理システム１に取得されてもよいし、パノラマ動画とは別に情報処理システム１に取得されてもよい。例えば、パノラマ動画がインターネット等のネットワークを介して外部の装置から情報処理システム１に取得される場合に、パノラマ動画とともに１以上の制御データが取得されてもよい。また例えば、上述のコメントがパノラマ動画の再生中に入力される場合に、コメントの入力に応じて制御データが生成されてもよい。このとき、例えば上記ステップＳ３の処理において再生中のパノラマ動画に関連づけて制御データがメモリに記憶され、ステップＳ５１においてメモリから制御データが読み出されてもよい。
ステップＳ５１の後のステップＳ５２〜Ｓ５６の処理は、パノラマ動画の再生中に実行される。ステップＳ５２において、情報処理システム１は、パノラマ動画のうちで、端末装置２に対する入力に応じて決定される視線方向に対応する視野範囲（表示範囲）の画像を端末装置２のＬＣＤ１１に表示させる。ステップＳ５２の処理は、第１の実施形態におけるステップＳ１の処理と同様である。
また、パノラマ動画の再生中において、情報処理システム１は、制御データにより特定される時間条件および方向条件が充足されるか否かをそれぞれ判定する。すなわち、ステップＳ５２の次のステップＳ５３において、情報処理システム１は、再生中のパノラマ動画の現在の再生時点について、制御データに含まれる時間条件が充足されるか否かを判定する。例えば、情報処理システム１は、現在の再生時点が、時間情報が表す期間内に含まれるか否かを判定する。
ステップＳ５３において時間条件が充足されると判定される場合、ステップＳ５４において方向条件がさらに判定される。すなわち、ステップＳ５４において、情報処理システム１は、端末装置２に対する入力に応じて決定される現在の視線方向について、制御データに含まれる方向条件が充足されるか否かを判定する。例えば、情報処理システム１は、現在の視線方向が、方向情報によって特定される範囲内に含まれるか否かを判定する。なお、現在の視線方向は、上記ステップＳ５２で決定された視線方向である。
上記時間条件および方向条件の判定結果に応じて、情報処理システム１は、制御データにより特定される情報処理を実行する。本実施形態においては、上記ステップＳ５３において時間条件が充足され、かつ、上記ステップＳ５４において方向条件が充足されると判定される場合、ステップＳ５５において、上記情報処理が実行される。すなわち、ステップＳ５５において、情報処理システム１は、制御データにおいて指定される、付加情報を出力するための情報処理の実行を開始する。すなわち、情報処理システム１は、制御データに含まれるプログラムを用いて（当該プログラムを実行することによって）上記情報処理を実行する。
なお、情報処理システム１は、ステップＳ５５のタイミングで情報処理の実行を開始すればよく、情報処理を終了するタイミングは任意である。本実施形態においては、時間条件および方向条件が充足される間、付加情報が出力されるものとするが、他の実施形態においては、開始から一定時間が経過した後で付加情報の出力が終了してもよいし、パノラマ動画の再生が終了するまで付加情報が継続して出力されてもよい。
ステップＳ５６において、情報処理システム１は、ステップＳ５２で決定された表示範囲のパノラマ画像を端末装置２のＬＣＤ１１に表示する。このとき、上記ステップＳ５５において付加情報を出力する情報処理が実行された場合には、パノラマ動画とともに付加情報が出力される。なお、詳細は後述するが、本実施形態においては、上記ステップＳ５２〜Ｓ５６の一連の処理は、パノラマ動画の再生中において所定時間（１フレーム時間）に１回の割合で繰り返し実行される（図４５参照）。
以上によって、例えばパノラマ動画に登場する所定の対象（例えば図４０に示すビル１０１）に対して、適切なタイミングで付加情報（コメント等）を付加することができる。例えばパノラマ動画に所定の対象が登場する時間帯であって（ステップＳ５３：ＹＥＳ）、かつ、ユーザが操作する視線方向が当該所定の対象の方を向いている場合（ステップＳ５４：ＹＥＳ）に、当該所定の対象に対して付加情報（コメント等）が付加されることとなる（ステップＳ５５）。なお、ステップＳ５３において時間条件が充足されないと判定される場合、または、ステップＳ５４において方向条件が充足されないと判定される場合、ステップＳ５５の処理は実行されない。つまり、例えばパノラマ動画に上記所定の対象（例えば図４０に示すビル１０１）が登場しない時間帯である場合、または、ユーザが操作する視線方向が当該所定の対象の方を向いていない場合には、付加情報が出力されない。
図３７および図３８は、方向条件が充足されたタイミングと、情報処理が実行されるタイミングの関係の一例を示す図である。なお、図３７および図３８の説明においては、制御データにおける時間条件は、パノラマ動画の再生時間軸上における時間Ｔａ〜Ｔｂの期間を指定するものとする。
図３７は、制御データにおける方向条件が、パノラマ動画の再生時間軸上における時間Ｔｓ１に充足された場合を示している。この場合、付加情報を出力する情報処理は、時間Ｔｓ１に実行が開始され、付加情報（コメント等）は時間Ｔｓ１から出力される。なお、本実施形態においては、時間条件および方向条件の両方が充足される間、付加情報が出力される。
一方、図３８は、時間Ｔｓ２に方向条件が充足された場合を示す。時間Ｔｓ２は、図３７に示す時間Ｔｓ１よりも遅い時間である。この場合、付加情報を出力する情報処理は、時間Ｔｓ２に実行が開始されるので、付加情報（コメント等）は時間Ｔｓ２から出力される。
図３７および図３８から明らかなように、情報処理システム１は、再生中のパノラマ動画の再生時点が、時間条件において指定される期間内となる場合において、ユーザ入力に応じて決定される視線方向が、方向条件において指定される範囲内に含まれたことに応じて、情報処理の実行を開始する。したがって、付加情報は、時間条件が充足される期間中において、方向条件が充足されたタイミングで付加情報が出力される。情報処理システム１は、時間が到来すれば自動的に付加情報を提示するのではなく、例えば、視線方向が対象の方向を向いたタイミングや、その対象が表示範囲に含まれたタイミングで付加情報の提示を開始することができる。上述したように、パノラマ動画は、一画面内に収まらない領域を有する動画であるので、付加情報を付加する対象をユーザが見るタイミング、あるいは、対象が表示範囲に含まれるタイミングは不確定である。これに対して、本実施形態によれば、時間条件および方向条件を用いて付加情報の出力タイミングを判定するので、ユーザにとって適切なタイミングで付加情報を出力することができる。
以上のように、第２の実施形態においては、情報処理システム１は、時間条件と方向条件とを含む制御データを取得し（ステップＳ５１）、時間条件および方向条件の判定結果に応じて、再生中のパノラマ動画とともに画像および／または音を出力することに関する所定の情報処理を実行する（ステップＳ５３〜Ｓ５５）。これによれば、パノラマ動画とともに付加的な情報をユーザに提示することができる。また、制御データを用いて時間条件および方向条件を設定することによって、情報を提示する条件やタイミングを容易に設定することができる。
［３．制御データを用いる具体例］
上記制御データを用いることによって、情報処理システム１は、種々の形態でパノラマ動画とともに情報を提示することができる。以下、制御データを用いて情報を提示するいくつかの具体例について説明する。
（３−１：コメント）
第１の実施形態で述べたコメントをパノラマ動画に付加する場合にも、上記制御データを利用することができる。この場合、情報処理システム１は、時間情報として、上述の入力時間情報により特定される出力期間を示す情報を設定する。また、情報処理システム１は、方向情報として上述の入力範囲情報を設定する。また、情報処理システム１は、制御データにおいて指定される情報処理として、入力範囲情報により特定される位置にコメントを表示する処理を設定する。以上のように時間条件、方向条件、および情報処理を設定した制御データを生成し、上記ステップＳ５１〜Ｓ５６の処理を実行することによって、コメントを付加してパノラマ動画を再生することができる。
なお、上記第１の実施形態のように、コメントを付す対象が表示範囲内に含まれることを条件としてコメントを出力する場合には、ユーザが操作する視線方向によって決められる表示範囲と、方向情報により特定される方向との関係に基づいて方向条件を判定するようにすればよい。すなわち、情報処理システム１は、表示範囲と、方向条件において指定される範囲とが重複する否かによって、方向条件が充足されるか否かを判定してもよい。これによれば、方向条件に対応する対象（コメントを付す対象）が表示範囲に含まれるか否かによって付加情報（コメント）の出力を切り替えることができる。
（３−２：ガイド）
第１の実施形態で述べたガイド情報をパノラマ動画に付加する場合にも、上記制御データを利用することができる。この場合、情報処理システム１は、例えば以下に示す制御データを用いるようにしてもよい。
図３９は、ガイド情報を出力するための制御データのデータ構造の一例を示す図である。図３９に示す具体例においては、制御データは、上述した時間条件、方向条件、および情報処理を含む。本具体例においては、時間条件は、パノラマ動画の再生時点が、ガイド情報の目標（上記“［４．ガイドの出力］”参照）が登場する期間（図３９では時間Ｔ１〜Ｔ２）内に含まれることである。また、方向条件は、ユーザが操作する視線方向が、当該目標の方を向く視線方向（図３９ではベクトルＶ１〜Ｖ２）を含む所定の範囲内に含まれることである。また、制御データにおいて指定される情報処理は、ガイド画像を表示する情報処理である。
また、本具体例においては、制御データは実行条件を含む（図３９参照）。実行条件は、方向条件が充足された場合に情報処理を実行するか、方向条件が充足されない場合に情報処理を実行するかを表す。本具体例では、方向条件に対して、その方向条件が充足されない場合に情報処理を実行することを示す実行条件（図３９では、「条件非充足」と記載する）が関連づけられる。したがって、方向条件が充足されない場合、すなわち、ユーザが操作する視線方向が上記目標の方を向いていない場合に、ガイド情報を出力するための情報処理が実行される。
上記のように、実行条件を設定することによって、現在の視線方向が方向情報により表される範囲の外を向くことを条件として付加情報を出力することができる。つまり、実行条件は、方向条件の内容（方向情報）を変更する機能を有すると言え、実行条件を用いることによって、方向条件の内容をより容易に設定することができる。なお、他の実施形態においては、実行条件を用いることに代えて、方向条件の内容を変更しても良い。例えば、上記具体例における方向情報が表す範囲以外の範囲を表すように方向情報を変更することによって、図３９に示す方向条件と同様の条件を設定することができる。
図３９に示す制御データを用いることによって、パノラマ動画の再生中において適切なタイミングでガイド情報を出力することができる。すなわち、視線方向が目標の方を向いている場合には、方向条件が充足されると判定される結果、ガイド画像は表示されず、視線方向が目標の方を向いていない場合には、方向条件が充足されないと判定される結果、ガイド画像は表示されることとなる。なお、ここでは、方向条件は、方向情報が示すベクトルを中心とした、表示範囲以上の大きさの範囲を指定するものとする。これによって、目標が表示範囲内に含まれない場合（つまり、目標が画面に表示されない場合）に、ガイド画像を表示することができる。
なお、本具体例においては、制御データは、方向条件に対応する対象（目標）が表示範囲に含まれない場合にガイド画像を表示する。したがって、上記コメントを出力する場合とは異なり、方向条件に対応する対象の位置（あるいは対象の位置によって決められる位置）に画像を表示することができない。そこで、本具体例においては、制御データに含まれる情報処理において、ガイド画像を表示する位置を指定する。つまり、制御データは、情報処理によって画像を表示する位置を指定する表示位置情報をさらに含む。そして、情報処理システム１は、制御データに含まれる表示位置情報によって指定される位置にガイド画像を表示する。これによって、方向条件に対応する対象の位置に付加情報の画像を表示することができない場合であっても、適切な位置に画像を表示することができる。
なお、表示位置情報が示す位置は、画像を表示する位置を特定可能な任意の情報でよく、画面上の位置であってもよいし、パノラマ画像上における位置であってもよいし、上述の立体モデル２１の内側面上における位置であってもよい。
（３−３：視線方向を向けたことに応じて変化するバルーン）
情報処理システム１は、制御データを用いて、付加情報の出力形態（表示形態）を変化させることも可能である。図４０および図４１は、付加情報の表示形態が変化する場合のパノラマ動画の一例を示す図である。図４０および図４１においては、パノラマ動画に登場するビル１０１に対して、表示形態が変化する付加情報を付加する場合を例として説明する。
図４０は、付加情報の表示形態が変化する前のパノラマ動画の一例を示す図である。図４０においては、付加情報を付加する対象であるビル１０１は、表示範囲の端に位置する状態であり、画面の端に表示されている。この状態では、付加情報としてバルーン１０２が表示される。ここでは、バルーン１０２は、ビル１０１にコメントが付されていることをユーザに通知する目的で提示される。
一方、図４１は、付加情報の表示形態が変化した後のパノラマ動画の一例を示す図である。図４１においては、ビル１０１は仮想カメラ２２の視線方向（すなわち、表示範囲の中央付近）に位置する状態であり、画面の中央に表示されている。この状態では、バルーン１０２に変えて、コメント１０３が表示される。つまり、視線方向がビル１０１の方を向くことに応じて、バルーン１０２がコメント１０３へと表示形態を変化させる。このように、視線方向が対象の方を向いているか否かに応じて表示形態を変化させるようにしてもよい。
図４０および図４１に示したような出力形態の変化は、例えば以下に示すデータ構造の制御データを用いて実現することができる。図４２は、付加情報の出力形態を変化させるための制御データのデータ構造の一例を示す図である。図４２に示す具体例においては、制御データは、上述した時間情報、方向情報、および情報処理を含む。本具体例においては、時間条件は、現在の再生時点が、バルーン１０２またはコメント１０３を付加する対象（ビル１０１）が登場する期間内に含まれることである。また、方向条件は、ユーザが操作する視線方向が、当該対象の方を向く視線方向を含む所定の範囲内に含まれることである。
また、本具体例における制御データは、上述の実行条件を含む。本具体例では、１つの方向条件に対して、方向条件が充足された場合に情報処理を実行することを示す実行条件（図４２では、「条件充足」と記載する）と、方向条件が充足されない場合に情報処理を実行することを示す実行条件（図４２では、「条件非充足」と記載する）という２つの実行条件が関連づけられる。
また、本具体例における制御データにおいては、設定される２つの実行条件のそれぞれに、互いに異なる情報処理が関連づけられる。これら２つの情報処理は、付加情報の表示形態が異なり、表示位置は同じ位置（上記対象の位置）である。具体的には、「条件非充足」を示す実行条件に対して、バルーンを表示する情報処理が関連づけられ、「条件充足」を示す実行条件に対して、コメントを表示する情報処理が関連づけられる。
図４２に示す制御データを用いることによって、視線方向に応じて表示形態が変化する付加情報を出力することができる。すなわち、視線方向がビル１０１の方を向かない場合には、方向条件が充足されないと判定される結果、ビル１０１にバルーンが付加して表示され（図４０）、視線方向がビル１０１の方を向く場合には、方向条件が充足されると判定される結果、ビル１０１にコメントが付加して表示される（図４１）。なお、本具体例においては、方向条件によって指定される範囲は、表示装置に表示されるパノラマ動画の表示範囲よりも小さいものとする。これによって、ビル１０１が単に表示範囲に含まれたことを条件とするのではなく、ユーザがビル１０１に注目した（すなわち、視線方向がビル１０１の方を向いた）ことを条件として、コメントを表示することができる。
以上のように、制御データにおいて複数の方向条件（あるいは実行条件）を設定し、方向条件毎に出力形態が異なる情報処理を関連づけることによって、視線方向に応じて出力形態が変化するように付加情報を出力することができる。
（３−４：ユーザの入力に応じて変化するバルーン）
情報処理システム１は、制御データを用いて、図４０に示したバルーンをユーザ入力に応じて変化させるようにすることも可能である。例えば追加条件を含む制御データを用いることによって、ユーザ入力に応じて付加情報の出力形態を変化させることができる。
図４３は、追加条件を含む制御データのデータ構造の一例を示す図である。図４３に示す具体例においては、制御データは、上述の時間条件、方向条件および情報処理を含む。これらの情報は、図４２に示す制御データと同様である。
本具体例においては、制御データは、追加条件をさらに含む。追加条件は、付加情報を出力するための条件として、時間条件および方向条件に追加される条件である。追加条件の内容は任意であるが、本具体例では、追加条件は、ユーザによる所定の入力（例えば、端末装置２の所定のボタンを押下する操作）があったこと、あるいは、ユーザによる所定の入力がないこと、である。本具体例では、１つの方向条件に対して、ユーザによる所定の入力があったことを示す追加条件（図４３では、「ユーザ入力有」と記載する）と、ユーザによる所定の入力がないことを示す追加条件（図４３では、「ユーザ入力無」と記載する）という２つの追加条件が関連づけられる。
また、図４３に示す制御データにおいては、設定される２つの追加条件のそれぞれに、互いに異なる情報処理が関連づけられる。これら２つの情報処理は、図４２に示す制御データにおける情報処理と同様である。
図４３に示す制御データを用いることによって、ユーザ入力に応じて表示形態が変化する付加情報を出力することができる。すなわち、時間条件および方向条件が充足される前提において、ユーザ入力が行われていない場合には、「ユーザ入力無」という追加条件が充足される結果、対象（ビル１０１）にバルーンが付加して表示され、ユーザ入力が行われた場合には、「ユーザ入力有」という追加条件が充足される結果、対象（ビル１０１）にコメントが付加して表示される。
以上のように、制御データにおいて追加条件を設定することで、時間条件および方向条件とは独立した別の条件を考慮して付加情報を出力することができる。また、制御データにおいて複数の追加条件を設定し、追加条件毎に出力形態が異なる情報処理を関連づけることによって、追加条件（例えばユーザ入力の有無）に応じて出力形態が変化するように付加情報を出力することができる。
なお、他の実施形態においては、情報処理システム１は、実行条件と追加条件との両方を含む制御データを用いるようにしてもよい。これによって、例えば、ある対象について付加情報を付加する場合において、視線方向が対象の方を向いていない場合には通常のバルーンを表示し、視線方向が対象の方を向いた場合にバルーンの色や形状を変化させて表示し、さらに、ユーザが所定の入力を行ったことに応じてコメントを表示させる、といったことが可能になる。
（３−５：追加制御データ）
また、情報処理システム１は、パノラマ動画とともに付加情報を出力するために、上記の制御データに加えて、方向条件を含まない制御データ（以下「追加制御データ」と呼ぶ）を用いてもよい。図４４は、追加制御データのデータ構造の一例を示す図である。図４４に示すように、追加制御データは、時間条件と情報処理を含み、方向条件を含まない。なお、追加制御データにおける時間条件の内容は制御データと同様である。また、追加制御データにおいて指定される情報処理は制御データと同様である。ただし、当該情報処理が画像を表示する内容である場合、追加制御データには上記表示位置情報が含まれる。
追加制御データを用いる場合、情報処理システム１は、再生中のパノラマ動画の再生時点について、追加制御データに含まれる時間条件が充足されるか否かを判定する。そして、追加制御データに含まれる時間条件の判定結果に応じて、追加制御データにおいて指定される情報処理を実行する。したがって、追加制御データにおいて指定される情報処理は、ユーザが操作する視線方向に関わらず、時間情報により特定される期間が到来すれば実行される。
上記追加制御データによれば、ユーザが操作する視線方向とは独立して付加情報を出力することができる。例えば、一定の時間が到来した場合には常に所定の音声を出力する場合には、追加制御データを用いることによって容易に付加情報を出力することができる。制御データに加えて追加制御データを用いることによって、付加情報の出力制御をより多彩な方法で行うことができる。
［４．第２の実施形態における具体的な処理例］
以下、図４５を参照して、本実施形態に係る情報処理システム１の具体的な動画再生処理の一例を説明する。図４５は、第２の実施形態において情報処理装置３のＣＰＵ５が実行する動画再生処理の流れの一例を示すフローチャートである。図４５に示すフローチャートは、図３６に示す処理をより具体的な処理例に適用した場合における処理の流れを示す。第２の実施形態においても上記第１の実施形態と同様、情報処理装置３のＣＰＵ５によって所定の情報処理プログラムが実行されることによって、図４５に示す一連の処理が実行される。
まずステップＳ６１において、ＣＰＵ５は、パノラマ動画の再生時に用いる制御データを取得する。制御データの取得方法は上記ステップＳ５１で述べた方法と同様である。ＣＰＵ５は、取得した制御データをメモリ６に記憶する。ステップＳ６１の次にステップＳ６２の処理が実行される。パノラマ動画の再生中においては、ステップＳ６２〜７０の処理が繰り返し実行される。
ステップＳ６２において、ＣＰＵ５は、端末装置２に対する入力に基づいて表示範囲を決定する。ステップＳ６２の処理は、上述したステップＳ１あるいはＳ５２の処理と同様である。ステップＳ６２の次にステップＳ６３の処理が実行される。
ステップＳ６３において、ＣＰＵ５は、時間条件が充足されるか否かを判定する。ステップＳ６３の処理は上記ステップＳ５３の処理と同様である。ステップＳ６３の判定結果が肯定である場合、ステップＳ６４の処理が実行される。一方、ステップＳ６３の判定結果が否定である場合、後述するステップＳ６９の処理が実行される。
ステップＳ６４において、ＣＰＵ５は、追加条件が充足されるか否かを判定する。すなわち、ＣＰＵ５は、メモリ６に記憶されている制御データを参照し、制御データに含まれる追加条件が充足されるか否かを判定する。ステップＳ６４の判定結果が肯定である場合、ステップＳ６５の処理が実行される。一方、ステップＳ６４の判定結果が否定である場合、後述するステップＳ６９の処理が実行される。なお、本実施形態においては、制御データに追加条件が含まれない場合には、上記ステップＳ６４の処理はスキップされる。この場合、ステップＳ６３の判定結果が肯定である場合、ステップＳ６５の処理が実行される。
ステップＳ６５において、ＣＰＵ５は、方向条件が充足されるか否かを判定する。ステップＳ６５の処理は上記ステップＳ５４の処理と同様である。ステップＳ６５の判定結果が肯定である場合、ステップＳ６６の処理が実行される。一方、ステップＳ６５の判定結果が否定である場合、後述するステップＳ６７の処理が実行される。
ステップＳ６６において、ＣＰＵ５は、メモリ６に記憶されている制御データに含まれる実行条件を参照し、方向条件が充足される場合に情報処理を実行するか否かを判定する。ステップＳ６６の判定結果が肯定である場合、ステップＳ６８の処理が実行される。一方、ステップＳ６６の判定結果が否定である場合、後述するステップＳ６９の処理が実行される。
ステップＳ６７において、ＣＰＵ５は、メモリ６に記憶されている制御データに含まれる実行条件を参照し、方向条件が充足されない場合に情報処理を実行するか否かを判定する。ステップＳ６７の判定結果が肯定である場合、ステップＳ６８の処理が実行される。一方、ステップＳ６７の判定結果が否定である場合、後述するステップＳ６９の処理が実行される。
なお、本実施形態においては、制御データに実行条件が含まれない場合には、上記ステップＳ６６およびＳ６７の処理はスキップされる。この場合、ＣＰＵ５は、方向条件が充足される場合に情報処理を実行するものと判断する。具体的には、ステップＳ６５の判定結果が肯定である場合、ステップＳ６８の処理が実行され、ステップＳ６５の判定結果が否定である場合、後述するステップＳ６９の処理が実行される。
ステップＳ６８において、ＣＰＵ５は、制御データにおいて指定される情報処理の実行を開始する。ステップＳ６８の処理は上記ステップＳ５５と同様である。なお、制御データにおいて複数の情報処理が含まれる場合（例えば図４２および図４３に示す場合）には、充足された条件に関連づけられる情報処理が実行される。ステップＳ６８の次にステップＳ６９の処理が実行される。
ステップＳ６９において、ＣＰＵ５は、ステップＳ６２で決定された表示範囲のパノラマ画像を端末装置２のＬＣＤ１１に表示する。このとき、上記ステップＳ６８において付加情報を出力する情報処理が実行された場合には、パノラマ動画とともに付加情報が出力される。ステップＳ６９の次にステップＳ７０の処理が実行される。
ステップＳ７０において、ＣＰＵ５は、ステップＳ６と同様の方法で、パノラマ動画の再生を終了するか否かを判定する。ステップＳ７０の判定結果が否定の場合、ステップＳ６２の処理が再度実行される。一方、ステップＳ７０の判定結果が肯定の場合、ＣＰＵ５は図４５に示す動画再生処理を終了する。以降、ステップＳ６２〜Ｓ７０の一連の処理は、ステップＳ７０で再生を終了すると判定されるまで繰り返し実行される。
なお、上記動画再生処理において、（１つの付加情報に関する制御データを１つとして）制御データが複数存在する場合、ＣＰＵ５は、上記ステップＳ６３〜Ｓ６８の一連の処理を制御データ毎に実行する。これによって、複数の付加情報を同時に出力することが可能である。
また、追加制御データが存在する場合、ＣＰＵ５は、上記ステップＳ６３、Ｓ６８、およびＳ６９の処理を追加制御データについて実行する。このとき、ステップＳ６３の判定結果が肯定である場合、ステップＳ６８の処理が実行され、ステップＳ６３の判定結果が否定である場合、ステップＳ６９の処理が実行される。
＜変形例＞
上記第１および第２の実施形態においては、情報処理システム１が複数の装置（情報処理装置）によって構成される場合を例として説明したが、情報処理システムは、単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。また、他の実施形態においては、情報処理システム１あるいは情報処理装置３の機能が複数の装置によって実現されてもよい。例えば、他の実施形態においては、情報処理装置３において実行される情報処理の少なくとも一部が、ネットワーク（広域ネットワークおよび／またはローカルネットワーク）によって通信可能な複数の装置によって分散して実行されてもよい。また、情報処理装置３において実行される情報処理の少なくとも一部は、端末装置２によって実行されてもよい。
上記第２の実施形態においては、パノラマ動画を再生する場合において制御データが用いられる例として説明した。ここで、他の実施形態においては、パノラマ画像（静止画）を再生（表示）する場合において制御データを用いることも可能である。なお、静止画であるパノラマ画像を表示する場合には、制御データは、時間条件を含まず、方向条件を含むものでよい。また、静止画であるパノラマ画像を表示する場合であっても、パノラマ画像の表示開始からの経過時間を再生時間とすることによって、時間条件および方向条件を含む制御データを当該パノラマ画像の表示に用いることができる。
以上のように、本発明は、パノラマ画像を再生する際により多くの情報をユーザに提示すること等を目的として、情報処理システムや情報処理プログラムとして利用することができる。
１ 情報処理システム
２ 端末装置
３ 情報処理装置
４ モニタ
５ ＣＰＵ
６ メモリ
２１ 立体モデル
２２ 仮想カメラ
３２ コメント画像
３５ バー
４１，４５，４６，４７ ガイド画像
５５，５６，６１，６５ パノラマ動画
６２ マップ画像
６３ 視点画像
１０２ バルーン
１０３ コメント

Claims (14)

  1. パノラマ動画の一部の領域を表示装置に表示する情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    前記パノラマ動画について、当該パノラマ動画の再生時間軸上における時間に関する時間条件と、当該パノラマ動画のうちの表示される領域に対応する視線方向に関する方向条件とを含む制御データを取得する取得手段と、
    前記パノラマ動画のうちで、所定の入力装置に対する第１の入力に応じて決定される視線方向に対応する視野範囲の画像を前記表示装置に表示させる表示制御手段と、
    前記表示装置において再生中の前記パノラマ動画の再生時点について、前記制御データに含まれる時間条件が充足されるか否かを判定する時間条件判定手段と、
    前記第１の入力に応じて決定される視線方向について、前記制御データに含まれる方向条件が充足されるか否かを判定する方向条件判定手段と、
    前記時間条件および前記方向条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する処理実行手段として前記コンピュータを機能させ、
    前記制御データは、前記第１の入力とは異なる第２の入力に関する追加条件をさらに含み、
    前記処理実行手段は、前記追加条件に基づいて、前記パノラマ動画の再生中における前記ユーザによる前記第２の入力に応じて前記ユーザに対する出力の形態が変化するように前記情報処理を実行する、情報処理プログラム。
  2. 前記時間条件は、再生中の前記パノラマ動画の再生時点が、前記時間条件において指定される期間内に含まれることである、請求項１に記載の情報処理プログラム。
  3. 前記方向条件は、前記第１の入力に応じて決定される視線方向が、前記方向条件において指定される範囲内に含まれることである、請求項１または請求項２に記載の情報処理プログラム。
  4. 前記方向条件において指定される範囲は、前記表示装置に表示されるパノラマ動画の視野範囲よりも小さく、
    前記処理実行手段は、再生中の前記パノラマ動画の再生時点が、前記時間条件において指定される期間内となる場合において、前記第１の入力に応じて決定される視線方向が、前記方向条件において指定される範囲内に含まれたことに応じて、前記所定の情報処理の実行を開始する、請求項３に記載の情報処理プログラム。
  5. 前記方向条件判定手段は、前記第１の入力に応じて決定される視線方向が、前記方向条件において指定される範囲内に含まれないことを前記方向条件とする、請求項１または請求項２に記載の情報処理プログラム。
  6. 前記方向条件判定手段は、前記視線方向によって決められる前記表示装置における表示範囲と、前記制御データに含まれる方向条件において指定される範囲とが重複するか否かによって、前記方向条件が充足されるか否かを判定する、請求項１から請求項５のいずれか１項に記載の情報処理プログラム。
  7. 前記制御データは、前記時間条件と、前記方向条件と、当該時間条件および当該方向条件が充足された場合に実行すべき情報処理とを関連づけたデータである、請求項１から請求項６のいずれか１項に記載の情報処理プログラム。
  8. 前記制御データは、前記時間条件が充足されかつ前記方向条件が充足された場合に前記情報処理を実行するか、それとも、前記時間条件が充足されかつ前記方向条件が充足されない場合に前記情報処理を実行するかを示す実行条件をさらに含む、請求項７に記載の情報処理プログラム。
  9. 前記制御データは、前記所定の情報処理によって画像を表示する位置を指定する表示位置情報をさらに含み、
    前記処理実行手段は、前記制御データに含まれる表示位置情報によって指定される位置に画像を表示する情報処理を実行する、請求項７に記載の情報処理プログラム。
  10. 前記処理実行手段は、前記時間条件および前記方向条件が充足されたことに応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行う処理を開始する、請求項１から請求項９のいずれか１項に記載の情報処理プログラム。
  11. 前記取得手段は、前記表示装置において再生されるべきパノラマ動画について、前記時間条件を含み、かつ、前記方向条件を含まない追加制御データをさらに取得し、
    前記時間条件判定手段は、再生中の前記パノラマ動画の再生時点と、前記追加制御データに含まれる時間条件をさらに判定し、
    前記処理実行手段は、前記追加制御データに含まれる前記時間条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する、請求項１から請求項１０のいずれか１項に記載の情報処理プログラム。
  12. パノラマ動画の一部の領域を表示装置に表示する情報処理装置であって、
    前記パノラマ動画について、当該パノラマ動画の再生時間軸上における時間に関する時間条件と、当該パノラマ動画のうちの表示される領域に対応する視線方向に関する方向条件とを含む制御データを取得する取得部と、
    前記パノラマ動画のうちで、所定の入力装置に対する第１の入力に応じて決定される視線方向に対応する視野範囲の画像を前記表示装置に表示させる表示制御部と、
    前記表示装置において再生中の前記パノラマ動画の再生時点について、前記制御データに含まれる時間条件が充足されるか否かを判定する時間条件判定部と、
    前記第１の入力に応じて決定される視線方向について、前記制御データに含まれる方向条件が充足されるか否かを判定する方向条件判定部と、
    前記時間条件および前記方向条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する処理実行部とを備え、
    前記制御データは、前記第１の入力とは異なる第２の入力に関する追加条件をさらに含み、
    前記処理実行部は、前記追加条件に基づいて、前記パノラマ動画の再生中における前記ユーザによる前記第２の入力に応じて前記ユーザに対する出力の形態が変化するように前記情報処理を実行する、情報処理装置。
  13. パノラマ動画の一部の領域を表示装置に表示する情報処理システムであって、
    前記パノラマ動画について、当該パノラマ動画の再生時間軸上における時間に関する時間条件と、当該パノラマ動画のうちの表示される領域に対応する視線方向に関する方向条件とを含む制御データを取得する取得部と、
    前記パノラマ動画のうちで、所定の入力装置に対する第１の入力に応じて決定される視線方向に対応する視野範囲の画像を前記表示装置に表示させる表示制御部と、
    前記表示装置において再生中の前記パノラマ動画の再生時点について、前記制御データに含まれる時間条件が充足されるか否かを判定する時間条件判定部と、
    前記第１の入力に応じて決定される視線方向について、前記制御データに含まれる方向条件が充足されるか否かを判定する方向条件判定部と、
    前記時間条件および前記方向条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する処理実行部とを備え、
    前記制御データは、前記第１の入力とは異なる第２の入力に関する追加条件をさらに含み、
    前記処理実行部は、前記追加条件に基づいて、前記パノラマ動画の再生中における前記ユーザによる前記第２の入力に応じて前記ユーザに対する出力の形態が変化するように前記情報処理を実行する、情報処理システム。
  14. パノラマ動画の一部の領域を表示装置に表示するパノラマ動画表示方法であって、
    前記パノラマ動画について、当該パノラマ動画の再生時間軸上における時間に関する時間条件と、当該パノラマ動画のうちの表示される領域に対応する視線方向に関する方向条件とを含む制御データを取得する取得ステップと、
    前記パノラマ動画のうちで、所定の入力装置に対する第１の入力に応じて決定される視線方向に対応する視野範囲の画像を前記表示装置に表示させる表示制御ステップと、
    前記表示装置において再生中の前記パノラマ動画の再生時点について、前記制御データに含まれる時間条件が充足されるか否かを判定する時間条件判定ステップと、
    前記第１の入力に応じて決定される視線方向について、前記制御データに含まれる方向条件が充足されるか否かを判定する方向条件判定ステップと、
    前記時間条件および前記方向条件の判定結果に応じて、再生中のパノラマ動画に合わせてユーザに対する出力を行うことに関する所定の情報処理を実行する処理実行ステップとを備え、
    前記制御データは、前記第１の入力とは異なる第２の入力に関する追加条件をさらに含み、
    前記処理実行ステップにおいては、前記追加条件に基づいて、前記パノラマ動画の再生中における前記ユーザによる前記第２の入力に応じて前記ユーザに対する出力の形態が変化するように前記情報処理を実行する、パノラマ動画表示方法。
JP2013055316A 2013-03-18 2013-03-18 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 Active JP6548203B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013055316A JP6548203B2 (ja) 2013-03-18 2013-03-18 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
US14/027,832 US9094655B2 (en) 2013-03-18 2013-09-16 Storage medium storing information processing program, information processing device, information processing system, panoramic video display method, and storage medium storing control data
EP13184736.0A EP2782333B1 (en) 2013-03-18 2013-09-17 Partial area rendering in a panoramic video, with time range and view direction control data for display of annotations.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013055316A JP6548203B2 (ja) 2013-03-18 2013-03-18 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法

Publications (2)

Publication Number Publication Date
JP2014183380A JP2014183380A (ja) 2014-09-29
JP6548203B2 true JP6548203B2 (ja) 2019-07-24

Family

ID=49230522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055316A Active JP6548203B2 (ja) 2013-03-18 2013-03-18 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法

Country Status (3)

Country Link
US (1) US9094655B2 (ja)
EP (1) EP2782333B1 (ja)
JP (1) JP6548203B2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089614B1 (ko) * 2013-08-28 2020-04-14 삼성전자주식회사 구면 파노라마 이미지 촬영 방법 및 그 전자 장치
US10168871B2 (en) * 2013-09-16 2019-01-01 Rovi Guides, Inc. Methods and systems for presenting direction-specific media assets
DE102013021834B4 (de) * 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
JP6518069B2 (ja) * 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
JP5931257B1 (ja) * 2015-03-31 2016-06-08 株式会社トライグループ 動画再生装置及びプログラム
JP6566698B2 (ja) * 2015-04-13 2019-08-28 キヤノン株式会社 表示制御装置および表示制御方法
KR101969943B1 (ko) * 2015-05-27 2019-08-13 구글 엘엘씨 사용자 헤드셋으로의 구면 영상 대역폭을 감소시키는 방법 및 장치
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
JP2017041780A (ja) * 2015-08-20 2017-02-23 株式会社 ディー・エヌ・エー 動画を特定の視野で表示するシステム、方法、及びプログラム
KR20170035755A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2017052001A1 (en) * 2015-09-23 2017-03-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
US10558353B2 (en) 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
CN105611160B (zh) * 2015-12-28 2019-07-09 北京极图科技有限公司 六路拼接式全景成像装置
US20170186218A1 (en) * 2015-12-28 2017-06-29 Le Holding (Beijing) Co., Ltd. Method for loading 360 degree images, a loading module and mobile terminal
US10068617B2 (en) * 2016-02-10 2018-09-04 Microsoft Technology Licensing, Llc Adding content to a media timeline
KR20180130504A (ko) * 2016-03-31 2018-12-07 소니 주식회사 정보 처리 장치, 정보 처리 방법, 프로그램
WO2017183436A1 (ja) * 2016-04-18 2017-10-26 ソニー株式会社 表示制御装置および表示制御方法、並びに、生成装置および生成方法
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2017041872A (ja) * 2016-06-01 2017-02-23 株式会社 ディー・エヌ・エー 動画を特定の視野で表示するシステム、方法、及びプログラム
CN106375863A (zh) * 2016-08-19 2017-02-01 乐视控股（北京）有限公司 一种全景信息呈现方法及其呈现装置
CN107888987B (zh) 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
CN108062507B (zh) * 2016-11-08 2024-02-27 中兴通讯股份有限公司 一种视频处理方法及装置
KR102314594B1 (ko) * 2017-03-03 2021-10-18 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디스플레이 방법 및 전자 장치
CN107105127B (zh) * 2017-04-18 2020-10-16 努比亚技术有限公司 一种全景照片摄制方法及装置
JP6343779B1 (ja) * 2017-04-28 2018-06-20 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
WO2018216355A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018234622A1 (en) * 2017-06-21 2018-12-27 Nokia Technologies Oy METHOD OF DETECTING EVENTS OF INTEREST
JP6330089B1 (ja) * 2017-06-30 2018-05-23 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法
JP7140527B2 (ja) * 2018-03-30 2022-09-21 キヤノン株式会社 電子機器及びその制御方法
US11212439B2 (en) * 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
US10574975B1 (en) 2018-08-08 2020-02-25 At&T Intellectual Property I, L.P. Method and apparatus for navigating through panoramic content
JP6586717B1 (ja) * 2019-04-05 2019-10-09 Ｍｉｌ株式会社 コンテンツ提供システム及びプログラム
JP6644232B1 (ja) * 2019-08-22 2020-02-12 Ｍｉｌ株式会社 コンテンツ提供システム及びプログラム
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US11943565B2 (en) * 2021-07-12 2024-03-26 Milestone Systems A/S Computer implemented method and apparatus for operating a video management system
WO2023224031A1 (ja) * 2022-05-17 2023-11-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び情報処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6624846B1 (en) 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
AU2002348192A1 (en) * 2001-11-08 2003-05-19 Eyesee360, Inc. Method and apparatus for the computation of panoramic views and _perspective projections from omnidirectional images
JP3982295B2 (ja) * 2002-03-20 2007-09-26 日本電信電話株式会社 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
EP1854282B1 (en) 2004-11-05 2019-02-27 Briefcam Ltd. Method and system for spatio-temporal video warping
US8453060B2 (en) * 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
CA2688339C (en) * 2007-05-25 2017-04-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
FR2963470A1 (fr) 2010-07-29 2012-02-03 3Dtv Solutions Procede et dispositif de montage audiovisuel
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5020398B1 (ja) * 2011-06-29 2012-09-05 パナソニック株式会社 画像変換装置、カメラ、画像変換方法およびプログラム
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5975739B2 (ja) * 2012-06-01 2016-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US20140232819A1 (en) * 2013-02-19 2014-08-21 Tourwrist, Inc. Systems and methods for generating and sharing panoramic moments

Also Published As

Publication number Publication date
EP2782333A1 (en) 2014-09-24
EP2782333B1 (en) 2016-08-03
US9094655B2 (en) 2015-07-28
US20140270692A1 (en) 2014-09-18
JP2014183380A (ja) 2014-09-29

Similar Documents

Publication Publication Date Title
JP6548203B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
JP6124517B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6006536B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5975739B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
CN109416931A (zh) 用于视线跟踪的装置和方法
JP6450064B2 (ja) 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US10841557B2 (en) Content navigation
US20160381341A1 (en) View interpolation for visual storytelling
KR101556055B1 (ko) 통지 제어 장치, 통지 제어 방법 및 프로그램을 기록한 기록 매체
US9776088B2 (en) Apparatus and method of user interaction
JP2019180060A (ja) 電子機器及びその制御方法
WO2015033446A1 (ja) ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
US20210385554A1 (en) Information processing device, information processing method, and information processing program
CN107506026A (zh) 控制应用运行的方法、装置及头戴式显示设备
JP6621165B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2018061666A (ja) ゲームプログラム及びゲーム装置
JP2018192272A (ja) ゲームプログラム及びゲーム装置
US20230342989A1 (en) Virtual Content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180427

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190619

R150 Certificate of patent or registration of utility model

Ref document number: 6548203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250