JPWO2016009864A1 - 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム - Google Patents

情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム Download PDF

Info

Publication number
JPWO2016009864A1
JPWO2016009864A1 JP2016534369A JP2016534369A JPWO2016009864A1 JP WO2016009864 A1 JPWO2016009864 A1 JP WO2016009864A1 JP 2016534369 A JP2016534369 A JP 2016534369A JP 2016534369 A JP2016534369 A JP 2016534369A JP WO2016009864 A1 JPWO2016009864 A1 JP WO2016009864A1
Authority
JP
Japan
Prior art keywords
range
display
content
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016534369A
Other languages
English (en)
Other versions
JP6558587B2 (ja
Inventor
徹 増田
徹 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016009864A1 publication Critical patent/JPWO2016009864A1/ja
Application granted granted Critical
Publication of JP6558587B2 publication Critical patent/JP6558587B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができるようにする情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システムに関する。本技術の一側面の情報処理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれのビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、所定の表示装置におけるビデオコンテンツの映像の表示範囲の履歴に基づいて、ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する。本技術は、HMDが再生するコンテンツを提供する装置に適用することができる。

Description

本技術は、情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システムに関し、特に、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができるようにした情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システムに関する。
近年、HMD(Head Mounted Display)にヘッドトラッキング用のセンサを搭載し、ユーザの頭部の姿勢に応じて映像の表示範囲をリアルタイムで切り替えることにより、別空間にいるかのような体験をユーザに与える技術が各種提案されている。
HMDのコンテンツとしては、例えば、複数のビデオカメラで撮影された映像を合成することによって生成された３６０度の画角の実写の映像や、３６０度の画角のCG(Computer Graphics)の映像などが用いられる。ユーザは、３６０度の画角全体のうちの、HMDに設けられた表示デバイスの視野角に応じた一部の範囲の映像を見ることになる。
特開２０１４−４１５０２号公報
例えばスポーツイベントの映像を視聴する場合、通常のテレビジョン番組であれば、番組制作者側で選択されたプレーの映像が表示されるため、ユーザはその映像を見ればよいものの、視野を自由に変えることができるとすると、どこを見るかを自分で決める必要がある。
従って、コンテンツによっては、どこを見ればいいのか分からなくなることがあるものと考えられる。
本技術はこのような状況に鑑みてなされたものであり、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができるようにするものである。
本技術の一側面の情報処理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部とを備える。
本技術の他の側面の表示装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する通信部とを備える。
本技術によれば、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。 自由視点コンテンツの撮影空間の例を示す平面図である。 映像の画角の例を示す図である。 映像の画角の他の例を示す図である。 撮影映像の例を示す図である。 視野の例を示す図である。 コンテンツ管理サーバの構成例を示すブロック図である。 コンテンツ管理サーバの機能構成例を示すブロック図である。 視聴履歴情報の例を示す図である。 コンテンツ情報の例を示す図である。 HMDの構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 クライアント端末のコンテンツ再生処理について説明するフローチャートである。 コンテンツ管理サーバの記録処理について説明するフローチャートである。 コンテンツ管理サーバの最多視野情報生成処理について説明するフローチャートである。 視野の重複の例を示す図である。 コンテンツ管理サーバの特徴点別最多視野情報生成処理について説明するフローチャートである。 コンテンツ管理サーバのハイライトコンテンツ配信処理について説明するフローチャートである。 視野の重複数の最大値の時系列を示す図である。 コンテンツ管理サーバの他のハイライトコンテンツ配信処理について説明するフローチャートである。 クライアント端末のハイライトコンテンツ再生処理について説明するフローチャートである。 クライアント端末の他のハイライトコンテンツ再生処理について説明するフローチャートである。 ハイライトポイントの提示の例を示す図である。 クライアント端末のコンテンツ再生処理について説明するフローチャートである。 コンテンツ管理サーバのハイライトポイント提示処理について説明するフローチャートである。 図２５のステップＳ２３２において行われる第１のハイライトポイント特定処理について説明するフローチャートである。 図２５のステップＳ２３２において行われる第２のハイライトポイント特定処理について説明するフローチャートである。 図２５のステップＳ２３２において行われる第３のハイライトポイント特定処理について説明するフローチャートである。 図２５のステップＳ２３２において行われる第４のハイライトポイント特定処理について説明するフローチャートである。 図２５のステップＳ２３２において行われる第５のハイライトポイント特定処理について説明するフローチャートである。 HMDの例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（ハイライトコンテンツを配信する例）
２．第２の実施の形態（ハイライトポイントを提示する例）
＜＜第１の実施の形態＞＞
＜コンテンツ配信システムの構成＞
図１は、本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。
図１のコンテンツ配信システムは、コンテンツ管理サーバ１、HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４から構成される。HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４は、それぞれ、インターネットなどのネットワーク１１を介してコンテンツ管理サーバ１に接続される。
HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４を区別する必要がない場合、適宜、まとめてクライアント端末という。図１には５台のクライアント端末を示しているが、さらに多くの端末がネットワーク１１に接続される。
コンテンツ管理サーバ１は、複数のビデオコンテンツを管理し、クライアント端末のユーザにより選択されたビデオコンテンツを送信する。コンテンツ管理サーバ１が送信するビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。
コンテンツ管理サーバ１から送信されたビデオコンテンツを受信した例えばHMD２−１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。コンテンツ管理サーバ１が送信するビデオコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。
HMD２−１乃至２−３には、加速度センサ、ジャイロセンサなどの、ヘッドトラッキング用のセンサが搭載されている。HMD２−１乃至２−３は、HMD２−１乃至２−３を装着するユーザの頭部の姿勢を検出し、頭部の姿勢から推測される視線の方向に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。
ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。
以下、コンテンツ管理サーバ１が送信する自由視点コンテンツの映像が、複数の歌手が出演するコンサートの映像である場合について説明する。演劇の映像、スポーツの映像、観光地の映像、CGの映像など、様々な自由視点コンテンツがコンテンツ管理サーバ１から送信されるようにすることが可能である。
図２は、自由視点コンテンツの撮影空間であるコンサート会場の例を示す平面図である。
コンサート会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいるものとする。被写体は、コンサート会場全体の風景となる。
位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。
白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のそれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。
図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。
位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。
図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。
以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。
図５のＡ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。
図５のＡ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。
図５のＡに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
図５のＢに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
図５のＣに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。
図６は、位置Ｐ１における視野の例を示す図である。
図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD２−１の表示範囲、すなわちHMD２−１のユーザの視野を示す。HMD２−１においては、枠Ｆ１で示す範囲内の画像が各フレームから切り出され、動画として表示される。
ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD２−１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。
ここで、ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。コンテンツ管理サーバ１は、ユーザが選択した視点の位置、自由視点コンテンツの再生中にHMD２−１により検出された視線の方向、および、HMD２−１が有するディスプレイの画角に基づいて、ユーザの視野を特定することが可能となる。
なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。コンテンツ管理サーバ１が配信する自由視点コンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。視点の切り替えは、ある視点のビデオストリームの再生中に行うことも可能とされる。
また、複数の位置から撮影された映像を合成することによって生成された完全自由視点コンテンツがコンテンツ管理サーバ１から配信されるようにしてもよい。完全自由視点コンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。
図１の説明に戻り、HMD２−１乃至２−３は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。コンテンツ管理サーバ１が送信する自由視点コンテンツは、例えばコンサートの映像をリアルタイムで提供するコンテンツである。コンサート会場にいる観客が見ている風景とほぼ同じ風景を、HMD２−１乃至２−３のユーザも見ることができる。
HMD２−１乃至２−３は、自由視点コンテンツを再生し、ユーザにより選択された視点の映像を、内蔵するディスプレイに表示させる。HMD２−１乃至２−３はいわゆる没入型のHMDであり、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる。
HMD２−１乃至２−３は、自由視点コンテンツの再生中、ユーザの頭部の姿勢を検出し、頭部の姿勢に応じて映像の表示範囲を切り替える。
図６を参照して説明したように、HMD２−１乃至２−３は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。また、HMD２−１乃至２−３は、ユーザが顔を上に向けたとき、視点の位置をそのままに映像の表示範囲を上方向に移動させ、下に向けたとき、視点の位置をそのままに映像の表示範囲を下方向に移動させる。HMD２−１乃至２−３は、例えばユーザが頭を右に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を右に回転させ、左に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を左に回転させる。
図１の例においては、HMD２−１乃至２−３のユーザは、それぞれ異なる視野の映像である映像Ｖ１乃至Ｖ３を視聴しているものとされている。
また、HMD２−１乃至２−３は、自由視点コンテンツの再生中、各時刻のユーザの視野の情報である視野情報をコンテンツ管理サーバ１に周期的に送信する。自由視点コンテンツの再生終了後などの所定のタイミングで視野情報が送信されるようにしてもよい。
携帯端末３も同様に、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信して再生し、ユーザにより選択された視点の映像を、筐体表面に設けられたディスプレイに表示させる。
また、携帯端末３は、自由視点コンテンツの再生中、携帯端末３の筐体の姿勢を検出し、検出した姿勢に応じて映像の表示範囲を切り替える。携帯端末３のユーザは、携帯端末３を持つ手を動かし、筐体の姿勢を変えることによって、自分の見たい映像を表示させることができる。
スマートフォンやタブレット端末である携帯端末３にも、ジャイロセンサ、加速度センサなどの、姿勢検出に用いられるセンサが搭載されている。ディスプレイに重ねて設けられたタッチパネルによってユーザのタッチ操作を検出し、タッチ操作に応じて映像の表示範囲を切り替えるようにしてもよい。
携帯端末３は、自由視点コンテンツの再生中、視野情報をコンテンツ管理サーバ１に送信する。
このように、図１のコンテンツ配信システムにおいては、自由視点コンテンツが、各クライアント端末のユーザの好きな視野の映像を表示するようにして再生される。コンテンツ管理サーバ１においては、各クライアント端末のユーザがどの視野の映像を見ていたのかを表す情報が管理される。
コンテンツ管理サーバ１は、複数のクライアント端末から送信されてきた視野情報に基づいて、自由視点コンテンツの注目すべき時間帯を特定するとともに、注目すべき視野を特定する。
コンテンツ管理サーバ１は、例えば各時刻における視野毎の重複数を求め、重複数の最大値が大きい時間帯を、注目すべき時間帯として特定する。
上述したようなコンサートの映像が各クライアント端末で再生された場合、人物Ｈ１乃至Ｈ３がステージ＃１上に登場する時間帯は、各ユーザが同じような範囲を見ることから視野の重複数は多くなる。また、人物Ｈ１乃至Ｈ３の登場後、各ユーザの視野は、各ユーザの好みの人物に分散する。例えば、１００００人のうち、５０００人以上のユーザが重複して見ている範囲があるような時間帯が、注目すべき時間帯として特定される。
また、コンテンツ管理サーバ１は、注目すべき時間帯において、視野の重複数が最も多い視野を、注目すべき視野として特定する。コンテンツ管理サーバ１においては、多くのユーザが同じ範囲に注目している時間帯の単位時間毎に、最も多くのユーザが見ている視野が特定される。
コンテンツ管理サーバ１は、自由視点コンテンツ全体のうち、特定した注目すべき時間帯の、注目すべき視野の映像をつなぎ合わせることによってハイライトコンテンツを生成する。ある自由視点コンテンツのハイライトコンテンツを送信することが例えばテレビジョン受像機４のユーザにより要求されている場合、コンテンツ管理サーバ１は、生成したハイライトコンテンツをテレビジョン受像機４に送信する。
テレビジョン受像機４は、ハイライトコンテンツを受信して再生し、ハイライトコンテンツの映像をディスプレイに表示させる。テレビジョン受像機４のユーザは、他の多くのユーザが同じ範囲に注目した時間帯の、最も多くのユーザによって見られていた視野の映像を見ることになる。
ここでは、HMD２−１乃至２−３と携帯端末３は、本体の姿勢に応じて視野を切り替えることができる機器であるが、テレビジョン受像機４は、視野を切り替えることができない機器であるものとする。
このように、コンテンツ管理サーバ１は、自由視点コンテンツの注目すべき時間帯、注目すべき視野を、その自由視点コンテンツを視聴した複数のユーザの視野の履歴に基づいて決定することができる。自由視点コンテンツの制作者は、自ら編集操作を行うことなく、ハイライトコンテンツを作成することができる。
自由視点コンテンツを視聴する場合、視点や視野を任意の位置に変えることができることから、どこに注目して視聴してよいのかユーザは迷うことがある。ハイライトコンテンツが提供されることにより、ユーザは、他の多くのユーザと同じような視点、視野で映像を見ることができ、視聴の仕方に迷うといったことはない。
なお、ハイライトコンテンツがHMD２−１乃至２−３または携帯端末３に送信され、HMD２−１乃至２−３または携帯端末３を用いてハイライトコンテンツが視聴されるようにしてもよい。
以上のようなハイライトコンテンツを生成するための各機器の一連の処理については後述する。
＜各機器の構成＞
・コンテンツ管理サーバの構成
図７は、コンテンツ管理サーバ１の構成例を示すブロック図である。
CPU(Central Processing Unit)２１、ROM(Read Only Memory)２２、RAM(Random Access Memory)２３は、バス２４により相互に接続されている。
バス２４には、さらに、入出力インタフェース２５が接続される。入出力インタフェース２５には、ディスプレイ２６と入力部２７が接続される。入力部２７は、キーボード、マウスなどであり、コンテンツ管理サーバ１の管理者により用いられる。
また、入出力インタフェース２５には、ハードディスクや不揮発性のメモリなどよりなる記録部２８、ネットワークインタフェースであり、ネットワーク１１を介して他の機器と通信を行う通信部２９が接続される。入出力インタフェース２５には、リムーバブルメディア３１を駆動するドライブ３０も接続される。
図８は、コンテンツ管理サーバ１の機能構成例を示すブロック図である。
図８に示す機能部のうちの少なくとも一部は、CPU２１により所定のプログラムが実行されることによって実現される。図８に示すように、コンテンツ管理サーバ１においては、通信制御部４１、視聴履歴情報記録部４２、コンテンツ情報記録部４３、ハイライトポイント特定部４４、配信映像生成部４５、およびコンテンツ記録部４６が実現される。視聴履歴情報記録部４２、コンテンツ情報記録部４３、およびコンテンツ記録部４６は記録部２８において実現される。
通信制御部４１は、通信部２９を制御し、クライアント端末と通信を行う。通信制御部４１は、クライアント端末から送信されてきた視野情報を受信し、視聴履歴情報記録部４２に記録させる。また、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信する。
後述するように、コンテンツ管理サーバ１は、ハイライトポイントをクライアント端末のユーザに提示することも可能とされる。この場合、通信制御部４１は、クライアント端末から送信されてきた、ハイライトポイントを提示する自由視点コンテンツの情報などを受信し、ハイライトポイント特定部４４と配信映像生成部４５に出力する。
視聴履歴情報記録部４２は、通信制御部４１から供給された視野情報の時系列である時系列視野情報を含む視聴履歴情報を記録する。視聴履歴情報記録部４２には、それぞれのクライアント端末において視聴された複数の自由視点コンテンツに関する視聴履歴情報が記録される。
図９は、視聴履歴情報の例を示す図である。
視聴履歴情報には、コンテンツ情報、視聴状況情報、デバイス情報、時系列視野情報、およびユーザ情報が含まれる。例えば１つの自由視点コンテンツがあるクライアント端末で１回再生される毎に、図９の各情報を含む視聴履歴情報が生成される。
コンテンツ情報は、再生された自由視点コンテンツの識別情報である。コンテンツ情報にはコンテンツIDが含まれる。
視聴状況情報は、自由視点コンテンツの再生時の状況を表す情報である。視聴状況情報には、視聴時間（視聴開始時刻、視聴終了時刻）を表す情報と、クライアント端末が備える測位センサなどにより検出された視聴場所を表す情報が含まれる。
デバイス情報は、自由視点コンテンツの再生に用いられたクライアント端末の属性を表す情報である。デバイス情報には、HMD、スマートフォン、テレビジョン受像機などのクライアント端末の種別であるデバイス種別を表す情報と、クライアント端末の識別情報であるデバイスIDが含まれる。
時系列視野情報は、自由視点コンテンツの再生中の各時刻における視野を表す情報である。上述したように、ユーザの視野は、視点の位置、視線の方向、および画角により表される。画角については、クライアント端末から送信されてきたデバイス情報に基づいてコンテンツ管理サーバ１側で特定されるようにしてもよい。この場合、各クライアント端末が備えるディスプレイの画角の情報がコンテンツ管理サーバ１に用意される。
ユーザ情報は、自由視点コンテンツを視聴したユーザの属性を表す情報である。ユーザ情報には、ユーザIDとユーザプロファイル情報が含まれる。ユーザプロファイル情報は、年齢、性別、趣味、専門分野などを表す情報である。
このように、コンテンツ管理サーバ１においては、自由視点コンテンツの視聴時の各時刻の視野を表す情報が、視聴された自由視点コンテンツを表す情報、視聴に用いられたクライアント端末を表す情報、視聴したユーザの情報と対応付けて管理される。
なお、ユーザ情報については、視聴履歴情報に含めて管理されるのではなく、デバイス情報と対応付けてコンテンツ管理サーバ１において管理されるようにしてもよい。
視聴履歴情報記録部４２に記録された視聴履歴情報は、ハイライトポイント特定部４４と配信映像生成部４５により読み出される。
図８のコンテンツ情報記録部４３はコンテンツ情報を記録する。コンテンツ情報は、コンテンツ管理サーバ１が配信可能な自由視点コンテンツ毎に用意される。
図１０は、コンテンツ情報の例を示す図である。
コンテンツ情報には、特徴点別時系列位置情報、最多視野情報、および特徴点別最多視野情報が含まれる。
特徴点別時系列位置情報は、特徴点毎の、撮影空間における各時刻の位置と回転方向を表す情報である。特徴点は、例えば、映像に映る人物、顔などの人物の一部、動物、マーカーである。自由視点コンテンツの映像が球技のスポーツの映像である場合、ボールなども特徴点として扱われる。特徴点の位置は、撮影空間の所定の位置を基準とした絶対的な位置であり、回転方向は、撮影空間における顔の向きなどの、特徴点の向きである。
最多視野情報は、各時刻において最も見られた視野を表す情報である。最多視野情報は時系列視野情報に基づいて生成される。
特徴点別最多視野情報は、各時刻において最も見られた特徴点毎の視野を表す情報である。例えば図２の人物Ｈ１乃至Ｈ３がそれぞれ特徴点として設定されている場合、人物Ｈ１乃至Ｈ３のそれぞれが、各時刻においてどの視野で最も見られていたのかが特徴点別最多視野情報により表される。特徴点別最多視野情報は、特徴点を含む視野の情報に基づいて生成される。
コンテンツ情報に含まれる情報のうち、特徴点別時系列位置情報は自由視点コンテンツの制作者などにより用意される。自由視点コンテンツの映像を解析することによって、特徴点別時系列位置情報が自動的に生成されるようにしてもよい。また、最多視野情報と特徴点別最多視野情報はハイライトポイント特定部４４により生成される。
図８のハイライトポイント特定部４４は、視聴履歴情報記録部４２に記録されている視聴履歴情報に基づいて、コンテンツ情報に含まれる最多視野情報と特徴点別最多視野情報を生成し、コンテンツ情報記録部４３に記録させる。
また、ハイライトポイント特定部４４は、ハイライトコンテンツを生成する自由視点コンテンツに関するコンテンツ情報をコンテンツ情報記録部４３から読み出し、コンテンツ情報に基づいてハイライトポイントを特定する。ハイライトポイントは、注目すべき時間帯の各時刻における注目すべき視野である。ハイライトポイント特定部４４は、特定したハイライトポイントを表す情報を配信映像生成部４５に出力する。
ハイライトポイントをクライアント端末のユーザに提示する場合、ハイライトポイント特定部４４は、特定したハイライトポイントを表す情報を通信制御部４１に出力する。
配信映像生成部４５は、クライアント端末に対して自由視点コンテンツを配信する。例えば、配信映像生成部４５は、自由視点コンテンツをコンテンツ記録部４６から読み出して通信制御部４１に出力し、自由視点コンテンツの送信を要求したクライアント端末に対して送信させる。
また、配信映像生成部４５はハイライトコンテンツを生成する。例えば、配信映像生成部４５は、自由視点コンテンツをコンテンツ記録部４６から読み出し、ハイライトポイントの映像をつなぎ合わせることによってハイライトコンテンツを生成する。配信映像生成部４５は、生成したハイライトコンテンツを通信制御部４１に出力し、ハイライトコンテンツの配信を要求したクライアント端末に対して送信させる。
コンテンツ記録部４６は、コンテンツ管理サーバ１が配信可能な自由視点コンテンツを記録する。
なお、図８の構成において実現される各機能が１つのサーバで実現されるのではなく、複数のサーバで分担して実現されるようにすることも可能である。この場合、複数のサーバは、コンテンツ管理サーバ１が実現する各処理を分担して行うことになる。
・HMDの構成
図１１は、HMD２−１の構成例を示すブロック図である。
HMD２−１は、制御部７１に対して、通信部７２、センサ７３、ディスプレイ７４、操作部７５、スピーカ７６、および記憶部７７が接続されることによって構成される。HMD２−２，２−３も図１１に示す構成と同じ構成を有する。
制御部７１は、CPU、ROM、RAMなどより構成される。制御部７１は、所定のプログラムを実行し、HMD２−１の全体の動作を制御する。
通信部７２は、コンテンツ管理サーバ１との間で無線により通信を行う。通信部７２は、制御部７１から供給された視野情報をコンテンツ管理サーバ１に送信する。また、通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツやハイライトコンテンツを受信し、制御部７１に出力する。
センサ７３は、GPS(Global Positioning System)センサ、ジャイロセンサ、加速度センサなどにより構成される。センサ７３は、自由視点コンテンツの再生中、測位や、角速度、加速度の検出を行い、センサデータを制御部７１に出力する。
ディスプレイ７４は、LCDや有機ELディスプレイなどにより構成され、制御部７１による制御に従って自由視点コンテンツの映像を表示する。
操作部７５は、HMD２−１の筐体表面に設けられた操作ボタンなどにより構成される。自由視点コンテンツの選択、視点の選択などが操作部７５を用いて行われる。
スピーカ７６は、自由視点コンテンツの再生中、制御部７１から供給された、自由視点コンテンツに含まれるオーディオデータに基づいて音声を出力する。
記憶部７７は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。
携帯端末３も、図１１に示す構成と基本的に同じ構成を有する。また、テレビジョン受像機４も、センサ７３が設けられていない点を除いて、図１１に示す構成と基本的に同じ構成を有する。以下、適宜、図１１の構成を、携帯端末３またはテレビジョン受像機４の構成として引用して説明する。
図１２は、制御部７１の構成例を示すブロック図である。
図１２に示す機能部のうちの少なくとも一部は、制御部７１のCPUにより所定のプログラムが実行されることによって実現される。図１２に示すように、制御部７１においては、再生部９１、表示制御部９２、視野検出部９３、および視野情報管理部９４が実現される。センサ７３から出力されたセンサデータが視野検出部９３に入力される。
再生部９１は、コンテンツ管理サーバ１から送信され、通信部７２において受信された自由視点コンテンツを再生する。再生部９１は、例えば、自由視点コンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部９２に出力する。再生部９１は、コンテンツ管理サーバ１から送信されてきたハイライトコンテンツの再生なども行う。
表示制御部９２は、再生部９１から供給されたデータに基づいて、自由視点コンテンツの所定の視野の映像をディスプレイ７４に表示させる。また、表示制御部９２は、視野検出部９３により検出された視野に応じて映像の表示範囲を切り替える。
視野検出部９３は、自由視点コンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの視野を特定し、視野の情報を表示制御部９２と視野情報管理部９４に出力する。
視野情報管理部９４は、視野検出部９３により検出された視野情報を通信部７２に出力し、コンテンツ管理サーバ１に送信させる。視野情報は、再生中の自由視点コンテンツのコンテンツID、デバイスID、ユーザIDなどと対応付けてコンテンツ管理サーバ１に送信される。
＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。
・ハイライトコンテンツ配信前の処理
はじめに、図１３のフローチャートを参照して、自由視点コンテンツを再生するクライアント端末の処理について説明する。ここでは、HMD２−１が処理を行うものとして説明するが、HMD２−２，２−３、または携帯端末３においても同様の処理が行われる。
例えば、図１３の処理は、HMD２−１のユーザが選択した自由視点コンテンツがコンテンツ管理サーバ１から送信されてきたときに開始される。自由視点コンテンツの選択は、例えば、HMD２−１のディスプレイ７４に表示されるメニュー画面を用いて行われる。
ステップＳ１において、HMD２−１の通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。自由視点コンテンツの送信はストリーミング形式で行われるようにしてもよいし、ダウンロード形式で行われるようにしてもよい。自由視点コンテンツのデータは制御部７１に供給される。
ステップＳ２において、再生部９１は、ユーザによる操作に応じて視点を選択する。視点の選択は、例えば視点の一覧が表示されるメニュー画面を用いて行われるようにしてもよいし、自由視点コンテンツの視聴中に所定の操作によって行われるようにしてもよい。
ステップＳ３において、再生部９１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部９２に順次供給される。
ステップＳ４において、視野検出部９３は、センサ７３から供給されたセンサデータに基づいてユーザの視野を検出する。視野検出部９３が検出した視野を表す、視点、視線方向、画角の情報は表示制御部９２と視野情報管理部９４に供給される。
ステップＳ５において、表示制御部９２は、視野検出部９３により検出された視野に応じて映像を表示させる。すなわち、表示制御部９２は、ユーザにより選択された視点において視聴可能な映像全体のうち、ユーザの視野に応じた一部の範囲の映像をディスプレイ７４に表示させる。
ステップＳ６において、視野情報管理部９４は、視野検出部９３が検出した視野を表す視野情報をコンテンツ管理サーバ１に送信する。
ステップＳ７において、再生部９１は、再生終了か否かを判定する。再生終了ではないとステップＳ７において判定した場合、ステップＳ８において、再生部９１は、視点を切り替えるか否かをユーザの操作に基づいて判定する。
視点を切り替えないとステップＳ８において判定された場合、ステップＳ４に戻り、それ以降の処理が繰り返される。センサデータに基づいてユーザの視野が検出され、映像の表示範囲を視野に応じて切り替えることが繰り返される。
視点を切り替えるとステップＳ８において判定された場合、ステップＳ２に戻り、視点を切り替えた後、それ以降の処理が繰り返される。
一方、自由視点コンテンツを最後まで再生したことなどから、再生終了であるとステップＳ７において判定した場合、再生部９１は処理を終了させる。
自由視点コンテンツの配信を受けた各クライアント端末において以上の処理が行なわれる。各クライアント端末においては自由視点コンテンツが視聴されるとともに、各時刻の視野を表す情報がコンテンツ管理サーバ１に対して繰り返し送信される。
以上においては、自由視点コンテンツの再生中、視野情報が繰り返し送信されるものとしたが、再生中に検出された全ての視野の時系列である時系列視野情報が、自由視点コンテンツの再生終了後にまとめて送信されるようにしてもよい。
次に、図１４のフローチャートを参照して、視聴履歴情報を記録するコンテンツ管理サーバ１の処理について説明する。
ステップＳ２１において、コンテンツ管理サーバ１の通信制御部４１は、クライアント端末から送信されてきた視野情報を受信する。
ステップＳ２２において、視聴履歴情報記録部４２は、受信された視野情報を、その視聴情報を送信してきたクライアント端末において視聴された自由視点コンテンツの時系列視野情報に追加するように視聴履歴情報記録部４２に記録させる。その後、処理は終了される。
以上の処理が、クライアント端末から視野情報が送信されてくる毎に行われる。リアルタイムの映像を含む自由視点コンテンツの配信が行われている場合、視聴履歴情報記録部４２には、各クライアント端末におけるリアルタイムの視野を表す情報が記録される。
次に、図１５のフローチャートを参照して、最多視野情報を生成するコンテンツ管理サーバ１の処理について説明する。
図１０を参照して説明したように、各自由視点コンテンツのコンテンツ情報には最多視野情報が含まれる。例えば、図１５の処理は、図１４の処理が行われることによって視野情報が追加される毎に行われる。
ステップＳ３１において、ハイライトポイント特定部４４は、最多視野情報を生成する対象の自由視点コンテンツに関する全ユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
ステップＳ３２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報に含まれる時系列視野情報を解析し、各ユーザの、自由視点コンテンツの視聴中の各時刻における視野を特定する。
ステップＳ３３において、ハイライトポイント特定部４４は、特定した視野に基づいて、各時刻の視野の重複数を求める。
図１６は、視野の重複の例を示す図である。
図１６は、自由視点コンテンツの再生中の所定の時刻における、所定の視点の映像を平面に展開したときの人物Ｈ１乃至Ｈ３と、４つのクライアント端末のユーザの視野（表示範囲）を示している。
長方形の枠Ｆ１１乃至Ｆ１４はそれぞれクライアント端末の表示範囲を表す。それぞれのクライアント端末の表示範囲は、ユーザの頭部の姿勢に応じて位置が異なるとともに、ディスプレイの性能に応じて大きさが異なる。
例えば、枠Ｆ１１の左側には人物Ｈ１の一部が入り、右側には人物Ｈ２が入っている。この場合、ユーザは、枠Ｆ１１の左側には人物Ｈ１が入り、右側には人物Ｈ２が入るような視野で自由視点コンテンツを視聴していることになる。
斜線を付して示す領域Ａ１は、枠Ｆ１１乃至Ｆ１４が重なっている領域である。領域Ａ１の視野の重複数は４となる。
領域Ａ１の上側に位置する横長の長方形の領域Ａ２は、枠Ｆ１１，Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は３となる。また、領域Ａ１の右上に位置する小さい長方形の領域Ａ３は、枠Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は２となる。領域Ａ４乃至Ａ１１についても同様に視野の重複数が求められる。一定の面積以上重複している視野のみが、重複する視野として処理されるようにしてもよい。
図１５の説明に戻り、ステップＳ３４において、ハイライトポイント特定部４４は、各時刻の、重複数が最も多い視野を特定する。ハイライトポイント特定部４４は、特定した視野を表す情報を、対象としている自由視点コンテンツの最多視野情報としてコンテンツ情報記録部４３に記録する。図１６に示すタイミングにおいては、視野の重複数が４である領域Ａ１が、重複数が最も多い視野として特定され、領域Ａ１の方向、大きさなどを表す情報が記録される。
次に、図１７のフローチャートを参照して、特徴点別最多視野情報を生成するコンテンツ管理サーバ１の処理について説明する。例えば、図１７の処理も、視野情報が追加される毎に行われる。
ステップＳ５１において、ハイライトポイント特定部４４は、特徴点別最多視野情報を生成する対象の自由視点コンテンツに関する全ユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
ステップＳ５２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報に含まれる時系列視野情報を解析し、各ユーザの、自由視点コンテンツ視聴中の各時刻における視野を特定する。
ステップＳ５３において、ハイライトポイント特定部４４は、対象の自由視点コンテンツに関するコンテンツ情報としてあらかじめ用意されている特徴点別時系列位置情報をコンテンツ情報記録部４３から読み出す。
ステップＳ５４において、ハイライトポイント特定部４４は、特徴点別時系列位置情報を解析し、ステップＳ５２において特定した各ユーザの各時刻における視野に特徴点が含まれるか否かを、特徴点毎に特定する。特徴点別時系列位置情報は、各時刻における特徴点毎の位置を表す情報である。
ステップＳ５５において、ハイライトポイント特定部４４は、各時刻における、特徴点を含む視野の重複数を、特徴点毎に求める。
例えば図２の人物Ｈ１乃至Ｈ３のそれぞれの顔が特徴点として設定され、それらの各時刻の位置が特徴点別時系列位置情報により表される場合、各ユーザの各時刻の視野に人物Ｈ１乃至Ｈ３のそれぞれの顔が含まれるか否かが特定される。また、特徴点を含む視野に注目し、各時刻における、人物Ｈ１の顔を含む視野の重複数、人物Ｈ２の顔を含む視野の重複数、および人物Ｈ３の顔を含む視野の重複数がそれぞれ求められる。
ステップＳ５６において、ハイライトポイント特定部４４は、重複数が最も多い特徴点毎の視野を表す情報を、対象としている自由視点コンテンツの特徴点別最多視野情報としてコンテンツ情報記録部４３に記録する。各時刻における、人物Ｈ１の顔を含む重複数が最も多い視野、人物Ｈ２の顔を含む重複数が最も多い視野、および、人物Ｈ３の顔を含む重複数が最も多い視野を表す情報がそれぞれ記録される。
以上のように、最多視野情報と特徴点別最多視野情報は視野情報が追加される毎に更新される。ハイライトコンテンツは、最新の最多視野情報と特徴点別最多視野情報に基づいて生成される。
・ハイライトコンテンツの配信処理
次に、図１８のフローチャートを参照して、ハイライトコンテンツを配信するコンテンツ管理サーバ１の処理について説明する。
図１８の処理は、最多視野情報に基づいて生成したハイライトコンテンツを配信する処理である。図１８の処理は、例えば、所定のクライアント端末から、ハイライトコンテンツの送信が要求されたときに開始される。
ステップＳ７１において、通信制御部４１は、クライアント端末から送信されてきた要求を受信する。クライアント端末から送信されてくる要求には、例えば、ハイライトコンテンツの元になる自由視点コンテンツを指定する情報と、クライアント端末の仕様を表す情報が含まれる。
クライアント端末の仕様を表す情報により、ハイライトコンテンツの送信を要求するクライアント端末が姿勢に応じて表示範囲を変えることができる機器であるか否か、および、クライアント端末が有するディスプレイの画角などが表される。通信制御部４１により受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
ステップＳ７２において、ハイライトポイント特定部４４は、ハイライトポイントを生成する対象の自由視点コンテンツに関する最多視野情報をコンテンツ情報記録部４３から読み出す。
ステップＳ７３において、ハイライトポイント特定部４４は、最多視野情報に基づいて、視野の重複数の最大値が閾値以上となる区間（時間帯）を特定する。視野の重複数の最大値が大きい区間は、多くのユーザが同じ被写体に注目している区間であるといえる。反対に、視野の重複数の最大値が小さい区間は、ユーザの視野が、複数の被写体に分散している区間であるといえる。
図１９は、視野の重複数の最大値の時系列を示す図である。
図１９の横軸は自由視点コンテンツの時刻を表し、縦軸は視野の重複数の最大値を示す。水平方向の破線は閾値となる最大の重複数を表す。
図１９の例においては、時刻ｔ１から時刻ｔ２までの区間Ｔ１、時刻ｔ３から時刻ｔ４までの区間Ｔ２、および時刻ｔ５から時刻ｔ６までの区間Ｔ３が、視野の重複数の最大値が閾値以上となる区間とされている。ハイライトポイント特定部４４は、区間Ｔ１乃至Ｔ３を注目すべき区間として特定する。
注目すべき区間の判断基準となる閾値は可変である。ハイライトポイント特定部４４は、送信するハイライトコンテンツの時間に応じた閾値を設定し、注目すべき区間を特定する。
図１８のステップＳ７４において、ハイライトポイント特定部４４は、注目すべき区間の各時刻における、重複数が最も多い視野を最多視野情報に基づいて特定する。最多視野情報は、各時刻における、重複数が最も多い視野を表す情報である。ハイライトポイント特定部４４は、注目すべき区間の各時刻における重複数が最も多い視野であるハイライトポイントに関する情報を配信映像生成部４５に出力する。
ステップＳ７５において、配信映像生成部４５は、対象の自由視点コンテンツをコンテンツ記録部４６から読み出す。
ステップＳ７６において、配信映像生成部４５は、ハイライトコンテンツを要求するクライアント端末が、機器の姿勢などに応じて表示範囲を切り替えることができる機器であるか否かを判定する。表示範囲を切り替えることができる機器であるか否かは、ステップＳ７１において受信された、クライアント端末の仕様を表す情報により表される。
表示範囲を切り替えることができる機器ではないとステップＳ７６において判定した場合、配信映像生成部４５は、自由視点コンテンツの映像のうち、ハイライトポイントの映像からなるハイライトコンテンツを生成する。
例えば、視野の重複が図１６に示す状態となる時刻においては、重複数が最も多い領域Ａ１で表される視野を含む一定の範囲の映像が切り出され、ハイライトコンテンツの生成に用いられる。配信映像生成部４５は、映像の切り出し範囲を、例えば、ハイライトコンテンツを送信するクライアント端末が有するディスプレイの画角に応じて決定する。配信映像生成部４５は、生成したハイライトコンテンツを通信制御部４１に出力する。
ステップＳ７８において、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信し、処理を終了させる。
テレビジョン受像機４などのクライアント端末においては、ハイライトコンテンツの再生が行われ、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。
一方、表示範囲を切り替えることができる機器であるとステップＳ７６において判定した場合、ステップＳ７９において、配信映像生成部４５は、ハイライトポイント情報とコンテンツ記録部４６から読み出した自由視点コンテンツを通信制御部４１に出力する。ハイライトポイント情報は、ハイライトポイント特定部４４により特定されたハイライトポイントを表す情報である。通信制御部４１は、ハイライトポイント情報と自由視点コンテンツをクライアント端末に送信し、処理を終了させる。
HMD２−１などのクライアント端末においては、自由視点コンテンツの再生が行われ、ハイライトポイント情報に基づいて表示範囲を制御することによって、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。
次に、図２０のフローチャートを参照して、ハイライトコンテンツを配信するコンテンツ管理サーバ１の他の処理について説明する。
図２０の処理は、特徴点別最多視野情報に基づいて生成したハイライトコンテンツを配信する処理である。図２０の処理は、ハイライトコンテンツの生成に用いる情報が、最多視野情報ではなく特徴点別最多視野情報である点を除いて、図１８を参照して説明した処理と基本的に同様の処理である。重複する説明については適宜省略する。
ステップＳ９１において、通信制御部４１は、クライアント端末から送信されてきた要求を受信する。クライアント端末から送信されてくるハイライトコンテンツの要求には、自由視点コンテンツを指定する情報、クライアント端末の仕様を表す情報、および、注目する特徴点を指定する情報が含まれる。通信制御部４１により受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
ステップＳ９２において、ハイライトポイント特定部４４は、対象の自由視点コンテンツの特徴点別最多視野情報をコンテンツ情報記録部４３から読み出す。
ステップＳ９３において、ハイライトポイント特定部４４は、特徴点別最多視野情報に基づいて、クライアント端末のユーザにより選択された特徴点を含む視野の重複数の最大値が閾値以上となる区間を特定する。
ステップＳ９４において、ハイライトポイント特定部４４は、注目すべき区間の各時刻における、クライアント端末のユーザにより選択された特徴点を含む視野のうちの、重複数が最も多い視野を特徴点別最多視野情報に基づいて特定する。ハイライトポイント特定部４４は、注目すべき区間の各時刻における、所定の特徴点を含む、重複数が最も多い視野であるハイライトポイントに関する情報を配信映像生成部４５に出力する。
ステップＳ９５において、配信映像生成部４５は、対象の自由視点コンテンツをコンテンツ記録部４６から読み出す。
ステップＳ９６において、配信映像生成部４５は、ハイライトコンテンツを要求するクライアント端末が表示範囲を切り替えることができる機器であるか否かを判定する。
表示範囲を切り替えることができる機器ではないとステップＳ９６において判定した場合、ステップＳ９７において、配信映像生成部４５は、ハイライトポイントの映像からなるハイライトコンテンツを生成する。
ステップＳ９８において、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信し、処理を終了させる。
一方、表示範囲を切り替えることができる機器であるとステップＳ９６において判定した場合、ステップＳ９９において、配信映像生成部４５は、ハイライトポイント情報と自由視点コンテンツを通信制御部４１に出力する。通信制御部４１は、ハイライトポイント情報と自由視点コンテンツをクライアント端末に送信し、処理を終了させる。
以上のように、クライアント端末が表示範囲の切り替えが可能な機器であるか、表示範囲の切り替えができない機器であるかに応じて、コンテンツ管理サーバ１からクライアント端末に送信される情報が切り替えられる。
次に、図２１のフローチャートを参照して、ハイライトコンテンツを再生するクライアント端末の処理について説明する。
図２１の処理は、図１８または図２０の処理に対応して行われる処理である。図２１の処理は、姿勢に応じて表示範囲を変えることができない、例えばテレビジョン受像機４により行われる。
ステップＳ１２１において、テレビジョン受像機４の制御部７１（図１１）は、通信部７２を制御し、ハイライトコンテンツの送信を要求する情報をコンテンツ管理サーバ１に送信する。
テレビジョン受像機４が送信する情報には、自由視点コンテンツを指定する情報と、テレビジョン受像機４の仕様を表す情報が含まれる。テレビジョン受像機４の仕様を表す情報は、テレビジョン受像機４が、姿勢に応じて表示範囲を変えることができる機器ではないことと、テレビジョン受像機４が有するディスプレイ７４の画角などを表す情報である。
また、所定の特徴点を含むハイライトコンテンツを視聴することがユーザにより選択された場合、テレビジョン受像機４が送信する情報には、ユーザにより選択された特徴点を指定する情報も含まれる。
特徴点が選択されていない場合には、図１８の処理がコンテンツ管理サーバ１において行われ、ハイライトコンテンツが送信されてくる。一方、特徴点が選択されている場合には、図２０の処理がコンテンツ管理サーバ１において行われ、所定の特徴点を含む視野の映像からなるハイライトコンテンツが送信されてくる。
ステップＳ１２２において、通信部７２は、コンテンツ管理サーバ１から送信されてきたハイライトコンテンツを受信する。
ステップＳ１２３において、再生部９１はハイライトコンテンツを再生する。
ステップＳ１２４において、表示制御部９２は、ハイライトコンテンツの映像をディスプレイ７４に表示させる。ディスプレイ７４には、例えば、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。ハイライトコンテンツの再生が終了したとき、処理は終了される。
テレビジョン受像機４のユーザは、他のユーザがよく見ている時間帯の、よく見ている視野の映像を視聴することができる。
次に、図２２のフローチャートを参照して、ハイライトコンテンツを再生するクライアント端末の処理について説明する。
図２２の処理も、図１８または図２０の処理に対応して行われる処理である。図２２の処理は、姿勢に応じて表示範囲を変えることができる機器である、例えば携帯端末３により行われる。
ステップＳ１３１において、携帯端末３の制御部７１（図１１）は、通信部７２を制御し、ハイライトコンテンツの送信を要求する情報をコンテンツ管理サーバ１に送信する。
携帯端末３が送信する情報には、自由視点コンテンツを指定する情報と、携帯端末３の仕様を表す情報が含まれる。携帯端末３の仕様を表す情報は、携帯端末３が、姿勢に応じて表示範囲を変えることができる機器であることと、携帯端末３が有するディスプレイ７４の画角などを表す情報である。
また、所定の特徴点を含むハイライトコンテンツを視聴することがユーザにより選択された場合、携帯端末３が送信する情報には、ユーザにより選択された特徴点を指定する情報も含まれる。
ステップＳ１３２において、通信部７２は、コンテンツ管理サーバ１から送信されてきたハイライトポイント情報と自由視点コンテンツを受信する。
ステップＳ１３３において、再生部９１は自由視点コンテンツを再生する。
ステップＳ１３４において、表示制御部９２は、自由視点コンテンツを再生して得られた全体の映像のうち、ハイライトポイントとして指定された視野の映像をディスプレイ７４に表示させる。ディスプレイ７４には、例えば、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。ハイライトコンテンツの再生が終了したとき、処理は終了される。
携帯端末３のユーザは、他のユーザがよく見ている時間帯の、よく見ている視野の映像を視聴することができる。携帯端末３の向きを変えることにより、ハイライトポイントの範囲から外れて、映像の表示範囲をユーザが任意に選択することができるようにしてもよい。
以上の一連の処理により、クライアント端末のユーザは、自由視点コンテンツを視聴するときに、どこに注目して視聴してよいのか迷うことなく、他の多くのユーザと同じような視点、視野で映像を見ることができる。また、特徴点を指定することにより、その特徴点を含む視点、視野として、他の多くのユーザが注目する視点、視野の映像を見ることができる。
ハイライトコンテンツの生成に用いられる最多視野情報または特徴点別最多視野情報は視野情報が追加される毎に更新される情報である。ユーザは、ハイライトコンテンツを視聴する時点で他のユーザによって見られている視点、視野の映像を見ることができる。
以上においては、視野の重複数の最大値が閾値以上となる区間において重複数が最も多い視野がハイライトポイントとして特定されるものとしたが、区間のみが特定されるようにしてもよい。この場合、ハイライトコンテンツは、視野の重複数の最大値が閾値以上となる区間の全ての視野の映像から構成されることになる。
＜＜第２の実施の形態＞＞
自由視点コンテンツの再生中にハイライトポイントの方向などを提示することも可能である。例えばHMD２−１のユーザは、視聴している映像に重ねて表示される情報に従って顔の向きを変え、視野を切り替えることによって、ハイライトポイントの映像を見ることができる。
図２３は、ハイライトポイントの提示の例を示す図である。
図２３に示す映像は、例えばHMD２−１のユーザが視聴している映像である。HMD２−１のディスプレイ７４には、ユーザの視野に応じた自由視点コンテンツの映像が表示される。
図２３の映像に重ねて表示される矢印画像Ａ３１は、視聴中の映像の方向を基準としたときの、ハイライトポイントの方向を示す情報である。矢印画像Ａ３１に従って顔を右に向け、視野を変えることによって、コンテンツ管理サーバ１により選択されたハイライトポイントの映像がHMD２−１のディスプレイ７４に表示される。ユーザの視野がハイライトポイントになったとき、そのことを表す情報が表示されるようにしてもよい。
ハイライトポイントを提示する場合、コンテンツ管理サーバ１からクライアント端末に対しては、自由視点コンテンツとともに、コンテンツ管理サーバ１によって特定されたハイライトポイントを表すハイライトポイント情報が送信される。
＜各機器の動作＞
図２４のフローチャートを参照して、自由視点コンテンツを再生するクライアント端末の処理について説明する。
ここでは、HMD２−１が処理を行うものとして説明する。HMD２−２，２−３、または携帯端末３においても同様の処理が行われる。
ステップＳ２０１において、制御部７１は、ユーザの操作に応じて、視聴する自由視点コンテンツを選択する。
ステップＳ２０２において、制御部７１は、ユーザの操作に応じて、ハイライトポイントの特定方法を選択する。
後述するように、ハイライトポイントの特定方法として複数の方法が用意されている。コンテンツ管理サーバ１においては、ユーザにより選択された方法に従ってハイライトポイントが特定される。ユーザにより選択された特定方法を指定する情報がHMD２−１からコンテンツ管理サーバ１に送信される。
コンテンツ管理サーバ１においては、HMD２−１のユーザにより選択された自由視点コンテンツのハイライトポイントが、HMD２−１のユーザにより選択された方法に従って特定される。HMD２−１に対しては、自由視点コンテンツとともにハイライトポイント情報が送信されてくる。ハイライトポイントを特定するコンテンツ管理サーバ１の処理については後述する。
ステップＳ２０３において、通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツとハイライトポイント情報を受信する。
ステップＳ２０４において、再生部９１は、ユーザによる操作に応じて視点を選択する。
ステップＳ２０５において、再生部９１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部９２に順次供給される。
ステップＳ２０６において、視野検出部９３は、センサ７３から供給されたセンサデータに基づいてユーザの視野を検出する。
ステップＳ２０７において、表示制御部９２は、視野検出部９３により検出された視野に応じて映像を表示させる。
ステップＳ２０８において、表示制御部９２は、視聴中の視野の方向を基準としたハイライトポイントの方向を、ハイライトポイント情報に基づいて特定する。表示制御部９２は、ハイライトポイントの方向を表す情報を、自由視点コンテンツの映像に重ねて表示させる。
ステップＳ２０９において、再生部９１は、再生終了か否かを判定する。再生終了ではないとステップＳ２０９において判定した場合、ステップＳ２１０において、再生部９１は、視点を切り替えるか否かを判定する。
視点を切り替えないとステップＳ２１０において判定された場合、ステップＳ２０６に戻り、それ以降の処理が行われる。映像の表示範囲をユーザの視野に応じて切り替えるとともに、ハイライトポイントの方向を提示することが繰り返される。
視点を切り替えるとステップＳ２１０において判定された場合、ステップＳ２０４に戻り、視点を切り替えた後、それ以降の処理が繰り返される。
一方、再生終了であるとステップＳ２０９において判定した場合、再生部９１は処理を終了させる。
自由視点コンテンツの視聴中に表示される案内に従って視野を変えることにより、ユーザは、自分で選択した方法で特定されたハイライトポイントの映像を見ることができる。
次に、図２５のフローチャートを参照して、ハイライトポイントを提示するコンテンツ管理サーバ１の処理について説明する。
図２５の処理は、視聴する自由視点コンテンツとハイライトポイントの特定方法を表す情報がHMD２−１などのクライアント端末から送信されてきたときに開始される。
ステップＳ２３１において、コンテンツ管理サーバ１の通信制御部４１は、HMD２−１から送信されてきた選択内容を表す情報を受信する。受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
ステップＳ２３２において、ハイライトポイント特定部４４はハイライトポイント特定処理を行う。ハイライトポイント特定処理の内容が、HMD２−１のユーザにより選択された特定方法に従って切り替わる。ハイライトポイント特定処理については、図２６乃至図３０のフローチャートを参照して後述する。
ハイライトポイント特定部４４は、ハイライトポイント特定処理によって特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。配信映像生成部４５は、ユーザにより選択された自由視点コンテンツをコンテンツ記録部４６から読み出し、通信制御部４１に出力する。
ステップＳ２３３において、通信制御部４１は、配信映像生成部４５から供給された自由視点コンテンツと、ハイライトポイント特定部４４から供給されたハイライトポイント情報をHMD２−１に送信し、処理を終了させる。
・第１のハイライトポイント特定処理
次に、図２６のフローチャートを参照して、図２５のステップＳ２３２において行われる第１のハイライトポイント特定処理について説明する。
第１のハイライトポイント特定処理は、視野の重複数の最大値が閾値以上となる区間の各時刻における、重複数が最も多い視野をハイライトポイントとして特定する処理である。
ステップＳ２４１において、ハイライトポイント特定部４４は、ハイライトコンテンツを生成する対象の自由視点コンテンツの最多視野情報をコンテンツ情報記録部４３から読み出す。
ステップＳ２４２において、ハイライトポイント特定部４４は、最多視野情報に基づいて、視野の重複数の最大値が閾値以上となる区間を特定する。
ステップＳ２４３において、ハイライトポイント特定部４４は、特定した注目すべき区間の各時刻における、重複数が最も多い視野を最多視野情報に基づいて特定する。ハイライトポイント特定部４４は、注目すべき区間の各時刻における重複数が最も多い視野を表すハイライトポイント情報を通信制御部４１に出力する。
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、視野の重複数の最大値が閾値以上となる区間の再生中、ハイライトポイントの方向を表す情報が映像に重ねて表示される。
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、ハイライトポイントの映像を視聴することができる。ハイライトポイントは、多くのユーザが視聴している区間の、多くのユーザが視聴している視野の映像である。HMD２−１のユーザは、多くのユーザと同じ視野の映像を見ることができ、どの視野の映像を見ればいいのか悩むことがない。
・第２のハイライトポイント特定処理
次に、図２７のフローチャートを参照して、図２５のステップＳ２３２において行われる第２のハイライトポイント特定処理について説明する。
第２のハイライトポイント特定処理は、ユーザの好みの人物を特定し、特定した人物がよく映っている視野をハイライトポイントとして特定する処理である。視聴対象として選択された自由視点コンテンツは、ユーザの好みの人物が映っているコンテンツであるものとする。
ステップＳ２５１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
ステップＳ２５２において、ハイライトポイント特定部４４は、ユーザが過去に視聴した視聴済みの自由視点コンテンツを視聴履歴情報に基づいて特定し、特定した自由視点コンテンツの特徴点別時系列位置情報をコンテンツ情報記録部４３から読み出す。
ステップＳ２５３において、ハイライトポイント特定部４４は、各自由視点コンテンツの視聴履歴情報と特徴点別時系列位置情報を解析し、ユーザの視野に特徴点が含まれていたか否かを特徴点毎に特定する。また、ハイライトポイント特定部４４は、特徴点毎に、視野に含まれていた時間、視野内の位置、視野に含まれていたときの顔の向きなどを特定し、特徴点毎の評価を行う。
上述したように、特徴点別時系列位置情報は、自由視点コンテンツの映像に映る特徴点毎の、撮影空間における各時刻の位置と回転方向を表す情報である。視聴履歴情報により表されるユーザの視野と重ねることによって、視野に含まれていた時間、視野内の位置、視野に含まれていたときの顔の向きなどを特徴点毎に特定することが可能になる。
例えば、ハイライトポイント特定部４４は、視野に含まれていた時間が長い特徴点に対して、視野に含まれていた時間が短い特徴点より高い評価を設定する。また、ハイライトポイント特定部４４は、視野の中央近傍に映っている特徴点に対して、視野の端に映っている特徴点より高い評価を設定する。ハイライトポイント特定部４４は、正面を向いている状態で視野に映っている特徴点に対して、正面以外の方向を向いている状態で視野に映っている特徴点より高い評価を設定する。
ステップＳ２５４において、ハイライトポイント特定部４４は、評価が最も高い特徴点の人物を、ユーザの好みの人物として特定する。
ステップＳ２５５において、ハイライトポイント特定部４４は、ハイライトポイントを提示する自由視点コンテンツの特徴点別最多視野情報をコンテンツ情報記録部４３から読み出す。
ステップＳ２５６において、ハイライトポイント特定部４４は、特徴点別最多視野情報に基づいて、ユーザの好みの人物が映る、重複数が最も多い視野をハイライトポイントとして特定する。ハイライトポイント特定部４４は、特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、自由視点コンテンツの映像に重ねて、ユーザの好みの人物が映っているハイライトポイントの方向を表す情報が表示される。
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、自分の好みの人物が映る視野として多くのユーザが視聴している視野の映像を見ることができる。
・第３のハイライトポイント特定処理
次に、図２８のフローチャートを参照して、図２５のステップＳ２３２において行われる第３のハイライトポイント特定処理について説明する。
第３のハイライトポイント特定処理は、ハイライトポイントの提示を受けるHMD２−１のユーザと視聴履歴が似ている他のユーザを特定し、他のユーザが多く視聴している視野をハイライトポイントとして特定する処理である。
ステップＳ２７１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
ステップＳ２７２において、ハイライトポイント特定部４４は、HMD２−１のユーザに視聴させる自由視点コンテンツと同じ自由視点コンテンツを過去に視聴済みの他のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
ステップＳ２７３において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報と、ステップＳ２７２において読み出した視聴履歴情報に基づいて、HMD２−１のユーザと視聴履歴が類似する他のユーザを特定する。例えば、ハイライトポイント特定部４４は、HMD２−１のユーザが過去に視聴した自由視点コンテンツと同じ自由視点コンテンツを所定の数以上視聴したユーザを、視聴履歴が類似する他のユーザとして特定する。
ステップＳ２７４において、ハイライトポイント特定部４４は、ステップＳ２７３において特定した他のユーザの視聴履歴情報のうち、HMD２−１のユーザに視聴させる自由視点コンテンツに関する視聴履歴情報を解析する。ハイライトポイント特定部４４は、視聴履歴情報を解析することによって、それぞれの他のユーザの各時刻における視野を特定する。
ステップＳ２７５において、特定した各時刻における視野の重複数を求め、重複数の最大値が閾値以上となる区間を特定する。
ステップＳ２７６において、ハイライトポイント特定部４４は、特定した注目すべき区間の各時刻における、重複数が最も多い視野をハイライトポイントとして特定する。ハイライトポイント特定部４４は、特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、視聴履歴が類似するユーザの視野の重複数の最大値が閾値以上となる区間の再生中、ハイライトポイントの方向を表す情報が映像に重ねて表示される。
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、視聴履歴が類似する他のユーザの視野と同じ視野の映像を視聴することができる。視聴履歴が類似する他のユーザが視聴していた映像は、HMD２−１のユーザが興味のある映像である可能性が高い。HMD２−１のユーザは、自分の興味のある映像を視聴することが可能になる。
・第４のハイライトポイント特定処理
次に、図２９のフローチャートを参照して、図２５のステップＳ２３２において行われる第４のハイライトポイント特定処理について説明する。
第４のハイライトポイント特定処理は、HMD２−１のユーザが視聴する自由視点コンテンツのジャンルに詳しい他のユーザを特定し、他のユーザの視野をハイライトポイントとして特定する処理である。
ステップＳ２９１において、ハイライトポイント特定部４４は、視聴履歴情報記録部４２に記録されているユーザプロファイル情報を解析し、HMD２−１のユーザに視聴させる自由視点コンテンツのジャンルの専門家といえるユーザを特定する。例えば、HMD２−１のユーザに視聴させる自由視点コンテンツと同じ自由視点コンテンツに関する、全てのユーザの視聴履歴情報に含まれるユーザプロファイル情報が解析される。
HMD２−１のユーザに視聴させる自由視点コンテンツがあるアイドルグループのコンサートのコンテンツである場合、そのアイドルグループに詳しい専門家のユーザが特定される。ユーザプロファイル情報には各ユーザの専門分野などの情報も含まれる。
ステップＳ２９２において、ハイライトポイント特定部４４は、特定した所定の専門家の視聴履歴情報のうち、HMD２−１のユーザに視聴させる自由視点コンテンツの視聴履歴情報を解析することによって、その専門家の各時刻の視野を特定する。
ステップＳ２９３において、ハイライトポイント特定部４４は、専門家の視野と同じ視野をハイライトポイントとして特定し、ハイライトポイント情報を通信制御部４１に出力する。
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、ハイライトポイントの方向を表す情報が表示される。
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、視聴している自由視点コンテンツを、そのジャンルの専門家と同じ視野で見ることができる。
ユーザプロファイル情報を解析して専門家を特定するのではなく、専門家のユーザがあらかじめ決まっているようにしてもよい。コンテンツ管理サーバ１は、同じ自由視点コンテンツについて、複数の専門家の視野に基づいて複数のハイライトポイント情報を生成しておき、HMD２−１のユーザにより選択された所定の専門家の視野を表すハイライトポイントを提示するなどのサービスを実現することもできる。
・第５のハイライトポイント特定処理
次に、図３０のフローチャートを参照して、図２５のステップＳ２３２において行われる第５のハイライトポイント特定処理について説明する。
第５のハイライトポイント特定処理は、HMD２−１のユーザが同じ自由視点コンテンツを複数回視聴している場合に、まだ視聴していない視野をハイライトポイントとして特定する処理である。
ステップＳ３１１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報のうち、今回視聴させる自由視点コンテンツと同じ自由視点コンテンツに関する過去の視聴履歴情報を視聴履歴情報記録部４２から読み出す。例えば今回が５回目の視聴である場合、過去の４回の視聴時に生成された視聴履歴情報が読み出される。
ステップＳ３１２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報を解析し、各回の視聴時の、各時刻における視野を特定する。
ステップＳ３１３において、ハイライトポイント特定部４４は、各時刻において、過去に視聴していない視野をハイライトポイントとして特定し、ハイライトポイント情報を通信制御部４１に出力する。
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、自由視点コンテンツの映像に重ねてハイライトポイントの方向を表す情報が表示される。
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、まだ見たことのない視野の映像を見ることができる。
このように、ハイライトポイントを様々な方法によって特定することが可能である。自由視点コンテンツの視聴がある時間帯、ある場所で行われたときの視聴履歴情報に基づいてハイライトポイントを特定するといったように、ハイライトポイントの特定に用いる視聴履歴情報を各種のフィルタ条件によって抽出し、抽出した視聴履歴情報に基づいてハイライトポイントを特定することが可能である。
＜変形例＞
・ハイライトポイントの提示について
以上においては、矢印の画像を自由視点コンテンツの映像に重ねて表示することによってハイライトポイントの方向を提示するものとしたが、映像に重ねて表示する情報は矢印の画像に限られない。
また、情報の表示によって提示するのではなく、HMD２−１のスピーカ７６から出力する自由視点コンテンツの音声の音量や音場を制御することによって、ハイライトポイントの方向を提示してもよい。例えば、視聴中の視野の位置を基準として、ハイライトポイントの方向から音が聞こえるように、音声の音量や音場が制御される。
さらに、ユーザの頭に接するHMD２−１のベルト部分の締め付けの程度を調整してハイライトポイントを提示するようにしてもよい。例えば、視聴中の視野の位置を基準として、ハイライトポイントの方向を無意識にユーザが向くように、ベルト部分の締め付けの程度が調整される。
・HMDの形態について
HMD２−１乃至２−３が図３１のＡに示すような没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
ビデオシースルー型のHMDは、図３１のＢに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。
光学シースルー型のHMDは、図３１のＣに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力された自由視点コンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。ユーザは、目の前の風景に重ねて各種の情報を見ることができる。
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図７に示されるリムーバブルメディア３１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２２や記録部２８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
を備える情報処理装置。
（２）
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
前記（１）に記載の情報処理装置。
（３）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
（４）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
（５）
前記注目範囲の映像からなる注目コンテンツを生成する生成部をさらに備え、
前記通信部は、前記注目コンテンツを前記表示装置に送信する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（５）に記載の情報処理装置。
（７）
前記通信部は、前記注目範囲を表す情報と前記ビデオコンテンツを前記表示装置に送信し、
前記表示装置においては、前記ビデオコンテンツの視聴中に前記注目範囲が提示される
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（８）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
（９）
前記特定部は、前記注目範囲を提示するユーザの前記視聴履歴情報により表される表示範囲に含まれる所定の特徴点を選択し、複数の前記表示装置のユーザの前記視聴履歴情報に基づいて、前記所定の特徴点を含む表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の前記所定の特徴点を含む表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
（１０）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、視聴済みの前記ビデオコンテンツが前記注目範囲を提示するユーザと類似する他のユーザを選択し、前記他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
（１１）
前記特定部は、前記注目範囲を提示するユーザとは異なる他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記他のユーザによる視聴時の表示範囲と同じ表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
（１２）
前記特定部は、前記注目範囲を提示するユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記注目範囲を提示するユーザによる視聴時の表示範囲とは異なる表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
（１３）
情報処理装置の受信部が、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
前記情報処理装置の特定部が、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
ステップを含む情報処理方法。
（１４）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
ステップを含む処理をコンピュータに実行させるプログラム。
（１５）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する通信部と
を備える表示装置。
（１６）
前記通信部は、複数のユーザの前記視聴履歴情報に基づいて前記情報処理装置により生成され、前記情報処理装置から送信されてきた、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲である前記注目範囲の映像からなる注目コンテンツを受信し、
前記再生部は、前記注目コンテンツを再生する
前記（１５）に記載の表示装置。
（１７）
前記通信部は、前記情報処理装置から送信されてきた、前記注目範囲を表す情報と前記ビデオコンテンツを受信し、
前記表示制御部は、前記ビデオコンテンツの映像に重ねて、前記注目範囲を表す情報を表示させる
前記（１５）に記載の表示装置。
（１８）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
ステップを含む情報処理方法。
（１９）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
ステップを含む処理をコンピュータに実行させるプログラム。
（２０）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を情報処理装置に送信する通信部と
を備える表示装置と、
複数の前記表示装置から送信された前記視聴履歴情報を受信する通信部と、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
を備える情報処理装置と
から構成される情報処理システム。
１ コンテンツ管理サーバ， ２−１乃至２−３ HMD， ３ 携帯端末， ４ テレビジョン受像機， ４１ 通信制御部， ４２ 視聴履歴情報記録部， ４３ コンテンツ情報記録部， ４４ ハイライトポイント特定部， ４５ 配信映像生成部， ４６ コンテンツ記録部， ９１ 再生部， ９２ 表示制御部， ９３ 視野検出部， ９４ 視野情報管理部

Claims (20)

  1. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、
    所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
    を備える情報処理装置。
  2. 前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
    請求項１に記載の情報処理装置。
  3. 前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
    請求項２に記載の情報処理装置。
  4. 前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
    請求項２に記載の情報処理装置。
  5. 前記注目範囲の映像からなる注目コンテンツを生成する生成部をさらに備え、
    前記通信部は、前記注目コンテンツを前記表示装置に送信する
    請求項１に記載の情報処理装置。
  6. 前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
    請求項５に記載の情報処理装置。
  7. 前記通信部は、前記注目範囲を表す情報と前記ビデオコンテンツを前記表示装置に送信し、
    前記表示装置においては、前記ビデオコンテンツの視聴中に前記注目範囲が提示される
    請求項１に記載の情報処理装置。
  8. 前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
    請求項７に記載の情報処理装置。
  9. 前記特定部は、前記注目範囲を提示するユーザの前記視聴履歴情報により表される表示範囲に含まれる所定の特徴点を選択し、複数の前記表示装置のユーザの前記視聴履歴情報に基づいて、前記所定の特徴点を含む表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の前記所定の特徴点を含む表示範囲を前記注目範囲として特定する
    請求項７に記載の情報処理装置。
  10. 前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、視聴済みの前記ビデオコンテンツが前記注目範囲を提示するユーザと類似する他のユーザを選択し、前記他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
    請求項７に記載の情報処理装置。
  11. 前記特定部は、前記注目範囲を提示するユーザとは異なる他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記他のユーザによる視聴時の表示範囲と同じ表示範囲を前記注目範囲として特定する
    請求項７に記載の情報処理装置。
  12. 前記特定部は、前記注目範囲を提示するユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記注目範囲を提示するユーザによる視聴時の表示範囲とは異なる表示範囲を前記注目範囲として特定する
    請求項７に記載の情報処理装置。
  13. 情報処理装置の受信部が、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
    前記情報処理装置の特定部が、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
    ステップを含む情報処理方法。
  14. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
    所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
    ステップを含む処理をコンピュータに実行させるプログラム。
  15. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
    前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
    前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
    前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する通信部と
    を備える表示装置。
  16. 前記通信部は、複数のユーザの前記視聴履歴情報に基づいて前記情報処理装置により生成され、前記情報処理装置から送信されてきた、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲である前記注目範囲の映像からなる注目コンテンツを受信し、
    前記再生部は、前記注目コンテンツを再生する
    請求項１５に記載の表示装置。
  17. 前記通信部は、前記情報処理装置から送信されてきた、前記注目範囲を表す情報と前記ビデオコンテンツを受信し、
    前記表示制御部は、前記ビデオコンテンツの映像に重ねて、前記注目範囲を表す情報を表示させる
    請求項１５に記載の表示装置。
  18. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
    ユーザの動きを検出し、
    前記ユーザの動きに追従して、映像の表示範囲を制御し、
    前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
    ステップを含む情報処理方法。
  19. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
    ユーザの動きを検出し、
    前記ユーザの動きに追従して、映像の表示範囲を制御し、
    前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
    ステップを含む処理をコンピュータに実行させるプログラム。
  20. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
    前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
    前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
    前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を情報処理装置に送信する通信部と
    を備える表示装置と、
    複数の前記表示装置から送信された前記視聴履歴情報を受信する通信部と、
    所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
    を備える情報処理装置と
    から構成される情報処理システム。
JP2016534369A 2014-07-18 2015-07-06 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム Expired - Fee Related JP6558587B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014147598 2014-07-18
JP2014147598 2014-07-18
PCT/JP2015/069381 WO2016009864A1 (ja) 2014-07-18 2015-07-06 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2016009864A1 true JPWO2016009864A1 (ja) 2017-06-01
JP6558587B2 JP6558587B2 (ja) 2019-08-14

Family

ID=55078362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016534369A Expired - Fee Related JP6558587B2 (ja) 2014-07-18 2015-07-06 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム

Country Status (5)

Country Link
US (1) US20170142486A1 (ja)
EP (1) EP3171602A4 (ja)
JP (1) JP6558587B2 (ja)
CN (1) CN106576184B (ja)
WO (1) WO2016009864A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
JP6095830B1 (ja) * 2016-05-18 2017-03-15 株式会社コロプラ 視野情報収集方法および当該視野情報収集方法をコンピュータに実行させるためのプログラム
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
CN106101847A (zh) 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
JP6241802B1 (ja) * 2017-01-20 2017-12-06 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法
WO2018139147A1 (ja) * 2017-01-24 2018-08-02 シャープ株式会社 制御装置、ヘッドマウントディスプレイ、制御装置の制御方法、および制御プログラム
KR102054947B1 (ko) * 2017-04-21 2019-12-11 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
JP6878177B2 (ja) * 2017-07-04 2021-05-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6462059B1 (ja) * 2017-07-13 2019-01-30 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
KR102233667B1 (ko) * 2017-07-13 2021-03-31 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
JP7069970B2 (ja) * 2017-07-18 2022-05-18 株式会社リコー 閲覧システム、画像配信装置、画像配信方法、プログラム
JP6433559B1 (ja) 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7031228B2 (ja) * 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
CN107872731B (zh) * 2017-11-22 2020-02-21 三星电子（中国）研发中心 全景视频播放方法及装置
JP7272278B2 (ja) * 2018-01-04 2023-05-12 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
JP2019149122A (ja) * 2018-02-28 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6898879B2 (ja) * 2018-03-19 2021-07-07 株式会社Ｎｔｔドコモ 情報処理装置
JP7085869B2 (ja) * 2018-03-20 2022-06-17 株式会社Ｎｔｔドコモ 情報処理装置
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11385850B2 (en) * 2018-10-26 2022-07-12 Sony Interactive Entertainment Inc. Content reproduction device, picture data output device, content creation device, content reproduction method, picture data output method, and content creation method
CN113454707A (zh) * 2019-02-08 2021-09-28 索尼集团公司 再现装置、再现方法和程序
JPWO2020203167A1 (ja) * 2019-03-29 2020-10-08
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
WO2021149336A1 (ja) * 2020-01-22 2021-07-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
WO2022019149A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、３ｄモデル生成方法、情報処理方法およびプログラム
JP7486110B2 (ja) * 2021-04-16 2024-05-17 パナソニックＩｐマネジメント株式会社 映像表示システム及び映像表示方法
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
JP7140890B1 (ja) 2021-06-18 2022-09-21 株式会社ドワンゴ 視聴者端末、視聴者端末の制御方法、視聴者端末の制御プログラム、および、記録媒体
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
WO2023157782A1 (ja) * 2022-02-21 2023-08-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7257080B1 (ja) 2022-07-06 2023-04-13 株式会社PocketRD 映像分析装置、映像分析方法及び映像分析プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179904A (ja) * 2001-12-11 2003-06-27 Sony Corp 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014041502A (ja) * 2012-08-23 2014-03-06 Yahoo Japan Corp 映像配信装置、映像配信方法及び映像配信プログラム
JP2014050068A (ja) * 2012-09-04 2014-03-17 Nippon Telegr & Teleph Corp <Ntt> 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP2014075743A (ja) * 2012-10-05 2014-04-24 Nippon Telegr & Teleph Corp <Ntt> 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184345A (ja) * 1998-12-14 2000-06-30 Nec Corp マルチモーダルコミュニケーション支援装置
CN100359363C (zh) * 2004-05-06 2008-01-02 奥林巴斯株式会社 头戴式显示装置
WO2008019334A2 (en) * 2006-08-04 2008-02-14 Tegic Communications, Inc. Remote control in a mobile terminal
US20100009809A1 (en) * 2008-06-26 2010-01-14 Janice Carrington System for simulating a tour of or being in a remote location while exercising
US10092868B2 (en) * 2011-08-31 2018-10-09 Donaldson Company, Inc. Liquid filter assembly, system and methods
CN102729902B (zh) * 2012-07-19 2014-10-15 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
US9532095B2 (en) * 2012-11-29 2016-12-27 Fanvision Entertainment Llc Mobile device with smart gestures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179904A (ja) * 2001-12-11 2003-06-27 Sony Corp 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014041502A (ja) * 2012-08-23 2014-03-06 Yahoo Japan Corp 映像配信装置、映像配信方法及び映像配信プログラム
JP2014050068A (ja) * 2012-09-04 2014-03-17 Nippon Telegr & Teleph Corp <Ntt> 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP2014075743A (ja) * 2012-10-05 2014-04-24 Nippon Telegr & Teleph Corp <Ntt> 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム

Also Published As

Publication number Publication date
EP3171602A4 (en) 2018-02-14
WO2016009864A1 (ja) 2016-01-21
CN106576184A (zh) 2017-04-19
CN106576184B (zh) 2020-08-18
EP3171602A1 (en) 2017-05-24
JP6558587B2 (ja) 2019-08-14
US20170142486A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US10679676B2 (en) Automatic generation of video and directional audio from spherical content
US10805592B2 (en) Apparatus and method for gaze tracking
US9026596B2 (en) Sharing of event media streams
JP6178524B2 (ja) パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
JP2016025633A (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
US10296281B2 (en) Handheld multi vantage point player
US20210067840A1 (en) Providing virtual content based on user context
US10156898B2 (en) Multi vantage point player with wearable display
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
US20240077941A1 (en) Information processing system, information processing method, and program
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190703

R151 Written notification of patent or utility model registration

Ref document number: 6558587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees