WO2018079166A1

WO2018079166A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Info

Publication number: WO2018079166A1
Application number: PCT/JP2017/034884
Authority: WO
Inventors: 友久田中; 裕介瀬下
Original assignee: ソニー株式会社
Priority date: 2016-10-26
Filing date: 2017-09-27
Publication date: 2018-05-03
Also published as: CN109845277A; US20190253743A1; JPWO2018079166A1; JP6996514B2

Abstract

コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成し、ヒートマップを利用したコンテンツや広告の配信制御を可能とする。サーバは、視点位置や視線方向に応じた映像を観察可能とした自由視点映像コンテンツをクライアントに送信する。クライアントはコンテンツ視聴ユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信する。サーバは、複数クライアントから視聴状況情報を受信し、視聴ユーザの視点位置分布状況を示す視点位置ヒートマップと、視聴ユーザの注視点位置分布状況を示す注視点位置ヒートマップを生成する。さらに、ヒートマップに応じたコンテンツの配信制御、広告の配信制御等を実行する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、全天球映像や全方位映像、あるいはパノラマ映像等、様々な方向の映像を観察可能な自由視点映像に対するユーザの観察位置情報等を取得して、視聴者に提供する映像の制御等を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

　全天球映像や全方位映像、あるいはパノラマ映像等、様々な方向の画像をＰＣや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ（ＨＭＤ）等の表示部に表示し、ユーザによる選択画像、あるいはユーザの向きに応じて自動選択された映像を観察可能としたシステムが広く利用されている。
　なお、ユーザの選択した様々な方向の映像を提示可能とした映像を「自由視点映像」と呼ぶ。

　例えば、ＰＣ等において、周囲３６０度の全方位映像の映像（動画像）データを外部サーバから取得、あるいは記録メディアから読み出して表示装置に表示させることができる。ユーザは、任意方向の映像を選択して表示装置に表示可能であり、自由に視点を変えて動画像や静止画等の画像を観察することができる。

　ＰＣやタブレット端末、あるいは携帯端末の表示部に表示した映像は、ユーザによるマウス操作、あるいはタッチパネルに対するスライド処理や、フリック処理などによって観察方向を移動させて表示可能であり、ユーザは、容易に様々な方向の映像を楽しむことができる。

　ヘッド・マウント・ディスプレイ（ＨＭＤ）に映像を表示する場合は、ＨＭＤに搭載した頭部の動きや方向を検出するセンサ情報に応じて、ユーザの頭の向きに応じた映像を表示可能であり、ユーザは、あたかもＨＭＤの表示部に表示された映像の中に存在しているような感覚を味わうことができる。

　このような自由視点映像は、ユーザ操作等によって観察映像を切り替えることが可能であるため、多くのユーザが観察される映像領域と、ほとんど観察されない映像領域が発生することがある。
　すなわち、視聴率の高い映像領域と視聴率の低い映像領域が存在する。
　このような自由視点映像固有の特徴に基づくデータ解析として、例えば、視聴率の高い映像領域等を解析する処理が可能であり、この解析結果を利用すれば、より効果的なコンテンツの提供処理や広告の提供処理、あるいは課金処理等を行うことが可能になる。

　特許文献１（特開２０１３－１８３２０９号公報「多視点映像ストリーム視聴システムおよび方法」）は、複数の映像ストリームのどのストリームを見るかを視聴者が任意に選択、切り替え可能なシステムにおいて、視点切り替え操作を記録することで、人気のある画像や映像を解析する構成を開示している。

　また、特許文献２（特開２０１３－２５５２１０号公報「映像表示方法、映像表示装置および映像表示プログラム」）は、視聴者がパノラマ映像の所望の領域を選択して視聴可能なコンテンツを提供するシステムにおいて、視聴者の領域選択情報を記録して、同じ映像を再度視聴する際に、過去の選択領域を表示する構成を開示している。

　なお、自由視点映像にも複数の異なる種類の映像がある。従来型の多視点映像、パノラマ映像や全天球映像などの多くは、視点位置を固定し、向きのみを変更可能な構成としたものが多い。
　このようなコンテンツでは、視聴者が映像のどの部分を見ているかの解析を行う場合、向きのみを解析すればよい。

　しかし、昨今、例えばＨＭＤ（ヘッド・マウント・ディスプレイ）に対する表示映像のような視点位置と視点方向の両方を変更可能な自由視点映像の利用が進んでいる。
　このような視点位置と視点方向の両方を変更可能な自由視点映像についての視聴領域解析を行うためには、視聴者がどの視点位置からどの方向を見ていたかの時系列情報が必要となる。しかし、このような解析処理については明確な手法が確立されていないというのが現状である。

特開２０１３－１８３２０９号公報特開２０１３－２５５２１０号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、全天球映像や全方位映像、あるいはパノラマ映像等、様々な方向の映像を観察可能な自由視点映像に対するユーザの観察位置情報等を取得し、解析する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　また、本開示の一実施例においては、例えばＨＭＤ（ヘッド・マウント・ディスプレイ）に対する表示映像のように視点位置と視点方向の両方を変更可能な自由視点映像について、視聴者が観察している画像領域の時系列視聴情報を取得、解析し、解析結果に応じて提供映像の制御等を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成するデータ処理部を有する情報処理装置。

　さらに、本開示の第２の側面は、
　サーバとクライアントを有する情報処理システムであり、
　前記サーバは、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツを前記クライアントに送信し、
　前記クライアントは、
　コンテンツを視聴するユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信し、
　サーバは、複数のクライアントから視聴状況情報を受信し、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを生成する情報処理システムにある。

　さらに、本開示の第３の側面は、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツをサーバから受信して表示する処理を実行し、さらに、
　前記自由視点映像コンテンツを視聴するユーザの視点位置と視線方向の時系列データを含む視聴状況情報を生成してサーバに送信する情報処理装置にある。

　さらに、本開示の第４の側面は、
　情報処理装置において、情報処理を実行する情報処理方法であり、
　前記情報処理装置のデータ処理部が、
　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において、情報処理を実行させるプログラムであり、
　前記情報処理装置のデータ処理部に、
　コンテンツを視聴する複数ユーザの視点位置情報を取得する処理と、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成し、ヒートマップを利用したコンテンツや広告の配信制御を可能とする構成が実現される。
　具体的には、例えば、サーバは、視点位置や視線方向に応じた映像を観察可能とした自由視点映像コンテンツをクライアントに送信する。クライアントはコンテンツ視聴ユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信する。サーバは、複数クライアントから視聴状況情報を受信し、視聴ユーザの視点位置分布状況を示す視点位置ヒートマップと、視聴ユーザの注視点位置分布状況を示す注視点位置ヒートマップを生成する。さらに、ヒートマップに応じたコンテンツの配信制御、広告の配信制御等を実行する。
　本構成により、コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成し、ヒートマップを利用したコンテンツや広告の配信制御を可能とする構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

情報処理システムの一構成例について説明する図である。視聴デバイスの利用例について説明する図である。視聴状況情報のデータ例について説明する図である。視聴状況情報のデータの具体例について説明する図である。注視点について説明する図である。注視点位置ヒートマップの一例について説明する図である。三次元ヒートマップの構成例について説明する図である。頭部位置（視点位置）ヒートマップの一例について説明する図である。頭部位置（視点位置）ヒートマップの生成シーケンスについて説明するフローチャートを示す図である。頭部位置（視点位置）ヒートマップの生成シーケンスについて説明するフローチャートを示す図である。頭部位置（視点位置）ヒートマップの具体例について説明する図である。注視点位置ヒートマップの生成シーケンスについて説明するフローチャートを示す図である。注視点位置ヒートマップの生成シーケンスについて説明するフローチャートを示す図である。注視点位置ヒートマップの具体例について説明する図である。情報処理システムの一構成例について説明する図である。視聴デバイスの一例について説明する図である。推奨視点情報の一例について説明する図である。視聴デバイスの視点制御モードの切り替え処理例について説明する図である。推奨視点情報を利用した処理シーケンスについて説明するフローチャートを示す図である。推奨視点情報を利用した処理シーケンスについて説明するフローチャートを示す図である。情報処理システムの一構成例について説明する図である。シーン転換点情報の一例について説明する図である。シーン転換点情報を利用した処理シーケンスについて説明するフローチャートを示す図である。シーン転換点情報を利用した処理シーケンスについて説明するフローチャートを示す図である。広告ランク規定リストの一例について説明する図である。広告データベース格納データの一例について説明する図である。情報処理システムの一構成例について説明する図である。広告提供処理のシーケンスについて説明するフローチャートを示す図である。情報処理システムの一構成例について説明する図である。エンコード制御コンテンツを利用した処理シーケンスについて説明するフローチャートを示す図である。エンコード制御コンテンツを利用した処理シーケンスについて説明するフローチャートを示す図である。課金設定データの例について説明する図である。情報処理システムの一構成例について説明する図である。課金処理を実行する場合の処理シーケンスについて説明するフローチャートを示す図である。情報処理システムの一構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理システムの実行する処理の概要について
　２－（ａ）．注視点位置ヒートマップと、頭部位置ヒートマップを生成する実施例について
　２－（ｂ）．推奨視点情報の提供と推奨視点情報に基づく表示制御を実行する実施例について
　２－（ｃ）．コンテンツの自動チャプタ分割処理を実行する実施例について
　２－（ｄ）．広告表示制御を実行する実施例について
　２－（ｅ）．注目度に応じた画質制御を実行する実施例について
　２－（ｆ）．視聴状況の解析結果に基づく課金処理を実行する実施例について
　２－（ｇ）．コンサートや映画などの観客の注目領域を解析する実施例について
　３．情報処理装置のハードウェア構成例について
　４．本開示の構成のまとめ

　　［１．本開示の情報処理システムの実行する処理の概要について］
　まず、本開示の情報処理システムの実行する処理の概要について説明する。
　前述したように、全天球映像や全方位映像、あるいはパノラマ映像等、様々な方向の映像をＰＣや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ（ＨＭＤ）等の表示部に表示し、ユーザによる選択映像、あるいはユーザの向きに応じて自動選択された映像を観察可能としたシステムが広く利用されている。
　なお、前述したように、ユーザの選択した様々な方向の映像を提示可能とした映像を「自由視点映像」と呼ぶ。

　本開示の情報処理システムにおいて視聴者に提供する映像コンテンツは、視聴者が視点の位置と向きを自由に指定できるコンテンツである。
　なお、コンテンツは例えばストリーミング配信されるライブコンテンツや、予めダウンロード、あるいはメディア（情報記録媒体）に記録されて配布される録画コンテンツいずれでもよい。

　本開示の情報処理システムでは、視点位置または視線方向の少なくともいずれかに応じた映像を観察可能な自由視点映像コンテンツを、クライアント（視聴者側の情報処理装置）で再生する際に、クライアントは、視聴者がどの位置からどの方向を見ているかの情報（視聴状況情報）を時系列情報として記録する。
　クライアント（視聴者側の情報処理装置）が記録した「視聴状況情報」は、リアルタイムまたは後でまとめてデータ解析処理を行う情報処理装置（サーバ）に送信される。

　サーバは、多くのクライアント（視聴者側装置）から受信した視聴状況情報をデータベースに格納する。
　サーバは、データベースに蓄積された視聴状況情報を解析し、各時刻における視線者の視聴位置（頭部位置）や視線方向、あるいは視聴領域情報であるＦｏＶ（Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）等の統計情報を取得する。
　さらに、この統計情報に基づいて、
　（１）コンテンツのどの位置が多く見られているかの注視点情報
　（２）コンテンツに対する視聴者の頭部位置（視点位置）情報、
　これらの各情報を即座に把握できるマップ、具体的には、三次元ヒートマップを生成する。

　サーバは、同じコンテンツを視聴している多数の視聴者から、例えばネットワークを介して視聴状況情報を受信し、解析処理を行う。

　本開示のサーバ等の情報処理装置、あるいは情報処理システムの実行する処理は、例えば以下の処理である。
　（ａ）注視点位置ヒートマップと、頭部位置ヒートマップの生成
　コンテンツの視聴領域、ユーザの視点位置（頭部位置）の統計情報を把握できるヒートマップを生成する。

　（ｂ）推奨視点情報の提供と推奨視点情報に基づく表示制御の実行
　視聴状況の解析結果に基づいて、各時刻において最も人気のある視点位置と視線方向の映像領域からなるコンテンツを自動表示する。
　このコンテンツ制御により、多くの視聴者の高い映像等を優先的に提供することができる。

　（ｃ）コンテンツの自動チャプタ分割処理の実行
　具体的には、視聴状況の解析結果、例えばヒートマップの時系列変化の度合いに基づいて、シーン転換点を検出し、このシーン転換点をチャプタの切り替え点として設定する。

　（ｄ）広告表示制御の実行
　具体的には、視聴状況の解析結果、例えばヒートマップに基づいて、コンテンツ中で視聴者が注目した映像領域を抽出し、自由視点映像における映像領域単位の「視聴率」を求め、視聴率に基づいて以下の処理を行う。
　コンテンツに広告を重畳して提供する場合、視聴率をベースに広告料を自動算出する。

　（ｅ）注目度に応じた画質制御を実行する。
　具体的には、視聴状況の解析結果に基づいて、例えば、エンコードビットレートを制御する。ヒートマップに基づいて、注目度の高いオブジェクトのテクスチャをより高いビットレートでエンコードし、逆にあまり注目されていないオブジェクトのテクスチャを低ビットレートでエンコードするといったエンコード制御を実行する。

　（ｆ）視聴状況の解析結果に基づく課金処理を実行する。
　ヒートマップに基づいて映像領域単位の視聴率を算出し、視聴率の高い人気のある画像領域の再生には高額な課金を行い、逆に人気のない映像領域の再生は低額課金とする。コンテンツの視聴料金の設定を自動化する。

　（ｇ）コンサートや映画などの観客の注目領域を解析する。
　コンサートや映画などの観客に、視線検出用の器具（ＨＭＤなど）を装着させて、観客の視線情報等を取得して解析する。

　本開示のサーバ等の情報処理装置や情報処理システムは、例えば上述の（ａ）～（ｇ）の各処理を実行する。
　以下、上述の実施例（ａ）～（ｇ）の処理を実行するための具体的な構成例と処理例について、順次説明する。

　　［２－（ａ）．注視点位置ヒートマップと、頭部位置ヒートマップを生成する実施例について］
　まず、コンテンツ視聴状況の解析情報としての注視点位置ヒートマップと、頭部位置ヒートマップを生成する実施例について説明する。
　以下に説明する処理は、コンテンツの視聴領域、ユーザの視点位置（頭部位置）の統計情報を把握できるヒートマップを生成する処理である。

　図１は、本開示の情報処理システムの一構成例を示す図である。
　ユーザ（コンテンツ視聴者）１０は、視聴デバイス２０を装着する。視聴デバイス２０は、例えばＨＤＭ（ヘッド・マウント・ディスプレイ）である。
　視聴デバイス２０には、ユーザ１０の向き、視線方向に応じた映像が表示される。
　すなわち、全天球映像や全方位映像、あるいはパノラマ映像等、様々な方向映像を提示可能とした「自由視点映像」が表示される。

　視聴デバイス２０はユーザ（視聴者）１０の位置や向き（頭部位置と方向）を検出するセンサ、さらに、ユーザ１０の視線を検出するセンサを搭載している。
　ユーザ１０の位置や向き（頭部位置と方向）を検出するセンサは、例えば、ジャイロ、ステレオカメラ等の既存のセンサによって構成される。
　ユーザ１０の視線を検出するセンサについても、例えば瞳孔角膜反射法などを用いた既存の視線検出センサが利用可能である。

　視線検出センサは、例えば、左右の眼球の回転中心位置と視軸の向き（および頭部姿勢）からユーザ１０の視線方向を検出する。
　なお、単にヘッドトラッキングで頭部の姿勢を検出し、頭部前方方向を視線方向として判断するセンサを用いてもよい。
　この場合、頭部前方方向と、視線方向は一致することになる。

　視聴デバイス２０の搭載センサが検出したユーザの位置（頭部位置）と視線方向の情報は、視聴デバイス２０から逐次ＰＣ２１に送信される。
　視聴デバイス２０は、例えば、ユーザ（視聴者）１０が自由視点映像を両眼で立体画像として視聴できる３Ｄディスプレイを搭載する。
　視聴デバイス２０のディスプレイにはＰＣ２１によるレンダリング画像（動画）が表示される。

　ＰＣ２１は、ネットワーク３６を介して自由視点映像配信サーバ３０から提供される自由視点映像のコンテンツ５１を受信し、視聴デバイス２０に表示する画像領域を切り出して視聴デバイス２０に出力してディスプレイに表示させる。

　なお、図１では、ユーザ（視聴者）１０、視聴デバイス２０、ＰＣ２１を、各々１つのみ示しているが、ネットワーク３６には、多数のＰＣ２１が接続され、多数のユーザ（視聴者）が、視聴デバイス２０を利用してコンテンツ５１を視聴している。
　また、ユーザ（視聴者）１０側においてコンテンツ出力を行う表示装置としては、ＨＭＤに限らず、例えばＰＣ、テレビ、スマホ等の携帯端末等も利用可能である。

　ＰＣ２１による画像切り出し処理は、以下のように行われる。
　視聴デバイス２０から受信した自己位置と、視聴デバイス２０既定の視野角、すなわちＦｏＶ（Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）に従って、表示画像領域を特定し、特定した画像領域を自由視点映像配信サーバ３０から提供される自由視点映像コンテンツ５１から切り出して、視聴デバイス２０に出力してディスプレイに表示させる。

　視聴デバイス２０のディスプレイに表示された映像を観察するユーザ（視聴者）１０は自分の頭部姿勢を変えることで、視聴の位置と方向を自由に制御できる。
　なお、自由視点映像配信サーバ３０から提供されるコンテンツ５１には、様々なメタデータが設定されている。

　メタデータには、例えば、表示画像の画像領域を規定する視錐台の規定情報が含まれる。視錐台を構成するユーザ側平面を構成する「ｎｅａｒクリップ」と、ユーザから離間した平面を構成する「ｆａｒクリップ」の情報等がメタデータに含まれる。
　ＰＣ２１のデータ処理部は、視聴デバイス２０既定のＦｏＶと、これらのメタデータを利用して、レンダリングに必要な視錐台を決定することができる。
　なお、視錐台と、「ｎｅａｒクリップ」、「ｆａｒクリップ」の詳細については、図４を参照して後段でさらに説明する。

　前述したように、自由視点映像のコンテンツ５１は、例えばネットワーク３６を介して自由視点映像配信サーバ３０からストリーミング配信される。
　自由視点映像のコンテンツ５１は、例えば自由視点映像コンテンツデータベース３１に格納されたコンテンツであり、自由視点映像配信サーバ３０は、ネットワーク３５を介して自由視点映像コンテンツデータベース３１からコンテンツを読み出してユーザ（視聴者）１０側のＰＣ２１に送信する。

　なお、ユーザ（視聴者）１０と、コンテンツ５１にはそれぞれ一意に定まる視聴者ＩＤとコンテンツＩＤが割り当てられている。
　ＰＣ２１は、コンテンツ５１の再生中の各時刻におけるユーザ（視聴者）１０の頭部位置（視点位置）と姿勢（頭部前方方向、頭部上部方向）、視線方向、ＦｏＶを記録し、視聴状況情報５２を生成して、視聴状況情報収集サーバ４０に逐次送信する。

　視聴状況情報収集サーバ４０は、ネットワーク３６を介してＰＣ２１から視聴状況情報５２を受信し、受信した視聴状況情報５２をネットワーク３５によって接続された視聴情報記録データベース４１に視聴情報を保存、記録する。

　図２は、視聴デバイス２０を装着したユーザ（視聴者）と、視聴デバイス２０のディスプレイに対する表示画像の例を示す図である。
　視聴デバイス２０のディスプレイには、視聴デバイス２０に搭載した頭部の動きや方向に応じた画像が表示される。この画像はＰＣ２１によるレンダリング画像である。
　この画像表示制御により、ユーザは、あたかも視聴デバイス２０の表示部に表示された画像の中に存在しているような感覚を味わうことができる。

　視聴デバイス２０を装着したユーザ（視聴者）１０が右を向いたときの画像が表示画像Ｐである。
　視聴デバイス２０を装着したユーザ（視聴者）１０が左を向いたときの画像が表示画像Ｑである。
　視聴デバイス２０を装着したユーザ（視聴者）１０は、体（頭）の向きを変更することで、周囲３６０度の画像を観察することができる。

　次に、図３を参照して、視聴デバイス２０と接続されたＰＣ２１が生成し、視聴状況情報収集サーバ４０に送信する視聴状況情報５２の詳細データ構成について説明する。

　先に図１を参照して説明したように、視聴デバイス２０の搭載センサが検出したユーザの頭部位置（視点位置）と視線方向の情報は、視聴デバイス２０から逐次ＰＣ２１に送信される。
　ＰＣ２１は、コンテンツ５１の再生中の各時刻におけるユーザ（視聴者）１０の頭部位置（視点位置）と姿勢（頭部前方方向、頭部頭上方向）、視線方向、ＦｏＶを記録し、視聴状況情報５２を生成して、視聴状況情報収集サーバ４０に逐次送信する。
　図３に示すデータは、ＰＣ２１の生成する視聴状況情報５２のデータの一例である。

　図３には、２人のユーザ（視聴者）Ａ，Ｂの視聴状況情報５２のデータ例（１），（２）を示している。
　視聴状況情報収集サーバ４０は、多数のユーザの視聴状況情報５２を、ネットワークを介して収集して視聴情報記録データベース４１に格納する。

　図３に示すように、視聴状況情報５２には、視聴デバイス２０のディスプレイに表示されるコンテンツの再生期間中の各時刻について、視聴者ＩＤ、コンテンツＩＤ、頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶが記録される。

　なお、先に説明したように、単にヘッドトラッキングで頭部の姿勢を検出し、頭部前方方向を視線方向として判断するセンサを用いることも可能であり、この場合、頭部前方方向と、視線方向は一致することになる。
　なお、後述するヒートマップの生成処理等においては、視聴状況情報に「視線方向」データがあれば、このデータを「視線方向」データとして利用し、無い場合は、「頭部前方方向」を「視線方向」データとして利用することが可能である。

　視聴者ＩＤは、視聴者の識別子であり、例えばコンテンツ５１の管理者である自由視点映像配信サーバ３０や、視聴情報収集サーバ４０の運営者や管理者によって、コンテンツを視聴するユーザ（視聴者）ごとに付与される。
　コンテンツＩＤは、コンテンツの識別子である。例えばコンテンツ５１の管理者である自由視点映像配信サーバ３０や、視聴情報収集サーバ４０の運営者や管理者によって、提供コンテンツの各々に設定される。

　自由視点映像配信サーバ３０や、視聴情報収集サーバ４０の運営者であるコンテンツ管理者は、ユーザＩＤを記録したユーザリストを保持しており、さらに、ユーザＩＤ単位の視聴履歴情報として、各ユーザが視聴したコンテンツのコンテンツＩＤを記録したリストを保持する。

　頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶ、これらの情報は、ＰＣ２１が、ユーザ（視聴者）１０の装着した視聴デバイス２０から入力するセンサ情報等に基づいて取得、または算出可能なデータである。
　頭部位置（視点位置）データは、ｘｙｚ三次元空間における位置情報を示すｘｙｚの座標情報からなる。

　頭部前方方向、頭部頭上方向、視線方向、これらの方向情報は、ｘｙｚ三次元空間における方向を示す方向ベクトル（単位ベクトル）のｘｙｚの値によって構成される。
　ＦｏＶは、前述したように、視聴デバイス２０既定の視野角、すなわちＦｏＶ（Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）であり、ＦｏＶの規定ボックスとして設定される視錐台の上面の広がり角度と、側面の広がり角度情報から構成される。
　図３に示す例では、ＦｏＶとして、データ［３０×２０］が記録されているが、これは、ＦｏＶの規定ボックスとして設定される視錐台の上面の広がり角度＝３０°、側面の広がり角度＝２０°であることを示す。

　図４を参照して、頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶ、これらのデータについて説明する。
　頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶ、これらの位置と方向情報に適用する座標系は、視聴デバイス２０に表示される自由視点映像コンテンツに予め設定された図４左下に示す自由視点映像コンテンツ座標系とする。
　ただし、これらのデータは、視聴デバイス２０のセンサ情報に基づいてＰＣ２１が算出する。

　ＰＣ２１が、視聴デバイス２０に対して、自由視点映像コンテンツとともに自由視点映像コンテンツ座標系情報を出力し、視聴デバイス２０が、センサ情報として、自由視点映像コンテンツ座標系に従った位置情報や方向情報を有するセンサ情報をＰＣ２１に出力する場合は、ＰＣ２１は、このセンサ情報をそのまま適用して図３に示す視聴状況情報として記録することができる。

　一方、視聴デバイス２０が独自の座標系、例えば、視聴デバイス２０を装着したユーザ（視聴者）の頭部位置を基準位置（原点）とした視聴者頭部座標系等を適用したセンサ情報としての位置情報や方向情報を出力する場合は、ＰＣ２１は、視聴デバイス２０から入力するセンサ情報を、コンテンツ固有の座標系である自由視点映像コンテンツ座標系に変換して、図３に示す視聴状況情報に記録する。

　図４には、頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶ、これらの各データを、視聴者頭部座標系に従ったデータとして示している。
　図４に示すように、ユーザ（視聴者）の左右両眼球の中心位置Ｐを、視聴者頭部座標系の原点Ｏに設定する。この左右両眼球の中心位置Ｐが頭部位置Ｐ（＝視点位置Ｐ）とする。
　頭部前方方向は視聴者頭部座標系のＺ軸方向であり、頭部上方向が視聴者頭部座標系のＹ軸方向である。

　図４に示すＦｏＶ（視錐台）は、ユーザ（視聴者）１０の装着した視聴デバイス２０既定の視野角に相当し、このＦｏＶ（視錐台）の範囲のコンテンツ領域がユーザ（視聴者）１０の視聴領域に相当する画像領域であ。
　このＦｏＶ（視錐台）は、ユーザ（視聴者）１０の頭部前方方向（Ｚ軸）を中心とした四角錐形状のボックスとして規定される。

　四角錐形状のＦｏＶ（視錐台）のユーザ視点に近い側の平面を「Ｎｅａｒクリップ」、ユーザ視点に遠い側の平面を「Ｆａｒクリップ」と呼ぶ。
　先に説明したように、図３に示す視聴状況情報５２中のＦｏＶデータとして、
　「３０×２０」
　上記データが記録されている。
　３０は、四角錐形状のＦｏＶ（視錐台）を上面から見たときの「Ｎｅａｒクリップ」から「Ｆａｒクリップ」へ延びる線（辺）の原点Ｐ（頭部位置Ｐ（＝視点位置Ｐ））からの広がり角度が３０度であることを意味する。
　２０は、四角錐形状のＦｏＶ（視錐台）を側面から見たときの「Ｎｅａｒクリップ」から「Ｆａｒクリップ」へ延びる線（辺）の原点Ｐ（頭部位置Ｐ（＝視点位置Ｐ））からの広がり角度が２０度であることを意味する。

　図４に示す例は、「頭部位置（視点位置）」、「頭部前方方向」、「頭部頭上方向」、「視線方向」の各データを、視聴者頭部座標系に従って示している。ユーザ（視聴者）１０の装着した視聴デバイス２０から入力するセンサ情報が、この視聴者頭部座標系に従ったデータである場合、ＰＣ２１は、視聴デバイス２０から入力するセンサ情報を、コンテンツ固有の座標系である自由視点映像コンテンツ座標系に変換して、その変換データを図３に示す視聴状況情報５２として記録する。

　ＰＣ２１は、図３に示す視聴状況情報５２、すなわち、視聴デバイス２０のディスプレイに表示されるコンテンツの再生期間中の各時刻について、視聴者ＩＤ、コンテンツＩＤ、頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶを記録した視聴状況情報５２を生成して、視聴状況情報収集サーバ４０に逐次送信する。

　視聴状況情報収集サーバ４０は、多数のユーザの視聴状況情報５２を、ネットワークを介して収集して視聴情報記録データベース４１に格納する。

　視聴状況情報収集サーバ４０、あるいは、自由視点映像配信サーバ３０等のサーバ（情報処理装置）は、視聴情報記録データベース４１に格納された視聴状況情報５２を利用して、様々な解析情報を生成する。
　具体的には、例えば、コンテンツの注目領域に相当する注視点位置や、ユーザの視点位置（頭部位置）の統計情報を把握できるヒートマップを生成する。

　図５は、視聴情報記録データベース４１に格納された視聴状況情報５２を利用して取得することが可能なユーザ注視点、すなわち、自由視点映像コンテンツに対するユーザ（視聴者）の注視点を算出する処理例について説明する図である。

　図５に示すように、自由視点映像コンテンツに含まれるある１つの表示オブジェクト５６と視聴者視線方向５７の交点から視聴者が注視していた場所である注視点５８を求めることができる。
　なお、図５は、ある再生時刻での自由視点コンテンツ座標系の平面射影データを表しているが、実際には三次元空間での線分とオブジェクトの交わりから、三次元座標系での注視点位置を算出することができる。

　また、図５には１人のユーザ（視聴者）の１つの注視点を算出する例を示しているが、例えばある同一コンテンツの同一再生時刻における多数の視聴ユーザの注視点情報を集積することで、多くのユーザ（視聴者）の注視点の分布状況を示すヒートマップを生成することが可能となる。

　図６は、視聴情報記録データベース４１に格納された同一コンテンツの同一再生時刻における多数の視聴ユーザの注視点情報を利用して生成した多数ユーザ（視聴者）の注視点の分布状況を示すヒートマップの例である。
　図６には自由視点映像コンテンツに含まれる１つの表示オブジェクト５６を中心としたコンテンツ表示領域を示している。

　図６に示す例は、視聴情報記録データベース４１に格納された同一コンテンツの同一再生時刻の再生フレームにおける多数ユーザ（視聴者）の注視点の分布状況を示すヒートマップである。

　コンテンツの１つのフレームに含まれる映像空間に対応する三次元空間を既定の大きさの格子（例えば長さＬの立方体）で分割し、各格子に含まれる注視点の個数に応じて格子を色（濃淡）分けする。
　例えば、格子に含まれる注視点の個数が多いほど、濃い色（例えば黒や濃い赤）に設定し、注視点の個数が少ないほど、薄い色（例えば薄いグレーやピンク）に設定する。格子に含まれる注視点の個数が０の場合は、白または透明に設定する。

　このように各格子を注視点数に応じて色分けすることで、一目でコンテンツの注目領域を判別可能としたヒートマップ、すなわち注目領域を可視化したヒートマップを生成することができる。
　なお、例えばディスプレイにヒートマップを表示する場合の各格子の色付け処理は、出力色の設定情報として利用可能なアルファチャンネル値を注視点数に応じて変更して出力色や出力濃度を調整することで実現できる。

　アルファチャンネルを用いた各格子の出力値調整処理の具体例について説明する。
　例えば、ある時刻ｔのフレームの格子ｋに含まれる注視点の個数ｎ（ｋ）と、そのフレーム内の注視点の総数Ｎを用いて、格子ｋのアルファチャンネル値をｎ（ｋ）／Ｎとする。

　例えば、ある１つの格子に含まれる注視点の個数（＝その格子を注視したユーザ数）が０の場合は、アルファチャネル値＝０．０となり、格子の出力設定は透明（＝白）となる。
　また、格子に含まれる注視点の個数（＝その格子を注視したユーザ数）がＮの場合は、アルファチャネル値＝１．０となり、格子の出力設定は、不透明（＝黒）となる。

　なお、図６に示す例は、各格子の出力設定の説明を理解しやすくするため、ヒートマップを２次元データとして示しているが、実際には三次元空間での線分とオブジェクトの交わりから、三次元座標系での注視点位置を算出可能であり、ヒートマップも三次元データとして生成、出力することができる。

　三次元データとしてのヒートマップを生成した場合の格子設定例を図７に示す。
　図７に示すように、Ｘ×Ｙ×Ｚの三次元空間内に、一辺がＬの立方体を配列した格子を生成する。
　この三次元空間内に配置された多数のＬ×Ｌ×Ｌの立方体単位で、注視点数をカウントして、注視点数の多い格子を濃い色や黒に近い色で塗りつぶして出力し、注視点数が少ない格子を薄い色や白に近い色で塗りつぶして出力する。

　このように、視聴情報記録データベース４１に格納された同一コンテンツの同一再生時刻における多数の視聴ユーザの注視点情報を利用することで、注視点の多い画像領域を一目で把握可能なヒートマップを、図７に示すような三次元データとして生成して出力することができる。

　図６を参照して説明したヒートマップは、ユーザ（視聴者）がコンテンツのどこを見ているかを示す注視点位置を表したヒートマップであるが、図３に示す視聴状況情報の記録データを用いることで、ユーザ（視聴者）の頭部位置（視点位置）のヒートマップを生成することも可能である。

　図８は、ユーザ（視聴者）の頭部位置（視点位置）のヒートマップの構成例である。
　図８は、先に説明した図６と同様、視聴情報記録データベース４１に格納された同一コンテンツの同一再生時刻における多数の視聴ユーザの注視点情報を利用して生成した多数ユーザ（視聴者）の頭部位置（視点位置）の分布状況を示すヒートマップの例である。
　図８には自由視点映像コンテンツに含まれる１つの表示オブジェクト５６を中心とした領域を示している。

　図８に示す例は、視聴情報記録データベース４１に格納された同一コンテンツの同一再生時刻の再生フレームにおける多数ユーザ（視聴者）の頭部位置の分布状況を示すヒートマップである。

　三次元空間を既定の大きさの格子（例えば長さＬの立方体）で分割し、各格子に含まれる頭部位置の個数に応じて格子を色（濃淡）分けする。
　例えば、格子に含まれる頭部位置（視点位置）の個数が多いほど、濃い色（例えば黒や濃い赤）に設定し、頭部位置（視点位置）の個数が少ないほど、薄い色（例えば薄いグレーやピンク）に設定する。格子に含まれる頭部位置（視点位置）の個数が０の場合は、白または透明に設定する。

　このように各格子を頭部位置（視点位置）の数に応じて色分けすることで、一目でコンテンツを視聴しているユーザの頭部位置（視点位置）を判別可能としたヒートマップを生成することができる。
　なお、例えばディスプレイにヒートマップを表示する場合の各格子の色付け処理は、出力色の設定情報として利用可能なアルファチャンネル値を頭部位置（視点位置）数に応じて変更して出力色や出力濃度を調整することで実現できる。

　次に、図６を参照して説明した注視点位置ヒートマップ、図８を参照して説明した頭部位置（視点位置）ヒートマップの生成シーケンスについて、図９以下に示すフローチャートを参照して説明する。

　まず、図８を参照して説明した頭部位置（視点位置）ヒートマップの生成シーケンスについて、図９、図１０に示すフローチャートを参照して説明する。
　なお、図９、図１０に示すフローチャートに従った頭部位置（視点位置）ヒートマップの生成処理は、図１に示す自由視点映像配信サーバ３０、視聴情報収集サーバ４０のいずれかの情報処理装置において実行することができる。
　自由視点映像配信サーバ３０、視聴情報収集サーバ４０等の情報処理装置はプログラム実行機能を持つＣＰＵを備えたデータ処理部を有し、データ処理部の制御下で図９、図１０に示すフローチャートに従った処理が実行される。なお、情報処理装置のハードウェア構成例については後段で説明する。
　以下、図９、図１０に示すフローチャートの各ステップの処理について説明する。

　　（ステップＳ１０１）
　情報処理装置のデータ処理部は、ステップＳ１０１において、自由視点映像コンテンツから、頭部位置（視点位置）ヒートマップの生成処理対象フレームである解析フレームの初期設定を行う。具体的には、解析フレーム時間：ｔ＝０に設定する。
　これは、自由視点映像コンテンツの最初のフレームを解析対象フレームとして選択する処理に相当する。

　　（ステップＳ１０２）
　次に、情報処理装置のデータ処理部は、ステップＳ１０２において、一辺の長さＬの立方体格子要素によって構成される三次元ボックス（Ｘ×Ｙ×Ｚ）の格子要素単位の頭部位置情報を保持するための三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の値を全て０とする初期化処理を実行する。

　ヒートマップは、図７を参照して説明した三次元構成を持つ。
　図７に示すように、Ｌ×Ｌ×Ｌの格子要素からなるＸ×Ｙ×Ｚの大きさの三次元ボックスを設定する。
　Ｌ，Ｘ，Ｙ，Ｚはコンテンツ毎に定義できる定数である。例えば、Ｌを１ｍ、Ｘ＝Ｙ＝Ｚ＝１０と定義可能であり、この場合、ヒートマップを構成する三次元空間全体は、１０ｍ×１０ｍ×１０ｍの設定であり、この中に１０００個の１ｍ×１ｍ×１ｍの格子要素が設定されていることを意味する。

　Ｌ×Ｌ×Ｌの格子要素の各々は、座標情報（ｘ，ｙ，ｚ）によって識別可能であり、この座標情報（ｘ，ｙ，ｚ）によって特定される各格子要素に含まれる頭部位置（視点位置）の数をカウントする処理を行うことになる。このカウント値を保持するカウンタが、頭部位置情報保持三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］である。

　ステップＳ１０２では、図７に示すＸ×Ｙ×Ｚの大きさの三次元ボックス内のＬ×Ｌ×Ｌの格子要素のすべてのカウンタＡｈ［ｘ］［ｙ］［ｚ］の値を全て０とする初期化処理を実行する。

　　（ステップＳ１０３）
　次に、情報処理装置のデータ処理部は、ステップＳ１０３において、解析対象コンテンツの解析フレーム時間ｔにおける全視聴情報から、頭部位置情報リスト｛Ｐｈ（ｋ）｝を生成する。（ｋ＝０，１，・・・，ｎ－１、ただし、ｎ＝リスト要素総数）

　この処理は、図３に示す視聴状況情報から頭部位置情報のみを取得して、頭部位置情報のみからなるリストを生成する処理である。
　図３に示す視聴状況情報は、多数のユーザ（視聴者）から取得されており、情報処理装置は、取得した多数のリストから頭部位置情報のみを取得して、頭部位置情報のみからなるリストである頭部位置情報リスト｛Ｐｈ（ｋ）｝を生成する。
　ｋはリスト要素識別子であり、ｋ＝０，１，・・・，ｎ－１である。
　ｎ＝リスト要素総数であり、視聴状況リスト送信側のコンテンツ視聴者であるユーザ数に対応する。

　　（ステップＳ１０４）
　次に、情報処理装置のデータ処理部は、ステップＳ１０４において、頭部位置情報リストは空か否かを判定する。
　頭部位置情報リストにデータ（頭部位置情報）が無い場合は、ステップＳ１１３に進む。
　頭部位置情報リストにデータ（頭部位置情報）がある場合は、ステップＳ１０５に進む。

　　（ステップＳ１０５）
　次に、情報処理装置のデータ処理部は、ステップＳ１０５において、頭部位置情報リスト｛Ｐｈ（ｋ）｝のリスト要素識別子の値ｋをｋ＝０に初期化する。
　この処理は、頭部位置情報リスト｛Ｐｈ（ｋ）｝の処理対象とするリスト要素を先頭の要素に設定する初期化処理である。

　　（ステップＳ１０６）
　次に、情報処理装置のデータ処理部は、ステップＳ１０６において、リスト要素識別子：ｋが、
　ｋ＜ｎ
　上記判定式を満たすか否かを判定する。
　すなわち、リスト要素識別子：ｋが、リスト要素総数：ｎより小さいか否かを判定する。

　リスト要素識別子：ｋが、リスト要素総数：ｎに等しい場合、全てのリスト要素：ｋ＝０～ｎ－１に対する処理が完了したことを意味し、この場合は、ステップＳ１１２に進む。
　一方、リスト要素識別子：ｋが、リスト要素総数：ｎ未満である場合、全てのリスト要素：ｋ＝０～ｎ－１に対する処理が完了しておらず、未処理のリスト要素があることを意味し、この場合は、ステップＳ１０７に進む。

　　（ステップＳ１０７）
　次に、情報処理装置のデータ処理部は、ステップＳ１０７において、リスト要素識別子ｋの頭部位置情報｛Ｐｈ（ｋ）｝を取得する。
　この頭部位置情報は、先に図３他を参照して説明したように、自由視点映像コンテンツ座標系に従った座標情報（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）として得られる。

　　（ステップＳ１０８）
　次に、情報処理装置のデータ処理部は、ステップＳ１０８において、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）に基づいて、以下の（式１）に従って、ｘ，ｙ，ｚの各値を算出する。
　ｘ＝Ｆ_{ｆｌｏｏｒ}（Ｐｈｘ／Ｌ），
　ｙ＝Ｆ_{ｆｌｏｏｒ}（Ｐｈｙ／Ｌ），
　ｚ＝Ｆ_{ｆｌｏｏｒ}（Ｐｈｚ／Ｌ），
　　　　　　　　　　　　・・・・（式１）

　なお、Ｆ_{ｆｌｏｏｒ}（ａ）は、ａの整数部を返す関数とする。
　上記（式１）は、リスト要素識別子ｋの頭部位置情報｛Ｐｈ（ｋ）｝である座標情報（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）の位置が、図７に示すＸ×Ｙ×Ｚのボックス内に多数設定されたＬ×Ｌ×Ｌの格子要素のどの格子要素に含まれるかを算出する式である。

　上記（式１）において例えば、ｘ＝ｙ＝ｚ＝０の算出結果が得られた場合、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素は、図７に示すＸ×Ｙ×Ｚのボックス内の原点に接した１つの格子要素であることを意味する。
　また、上記（式１）において例えば、ｘ＝５、ｙ＝ｚ＝０の算出結果が得られた場合、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素は、図７に示すＸ×Ｙ×Ｚのボックス内のＸ軸に沿って、原点から６番目の１つの格子要素であることを意味する。

　ステップＳ１０８では、このようにして、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が、ヒットマップを構成する三次元ボックス内のどの格子要素に含まれるかを算出する。
　上記（式１）によって算出される（ｘ，ｙ，ｚ）は、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）となる。

　　（ステップＳ１０９）
　次に、情報処理装置のデータ処理部は、ステップＳ１０９において、ステップＳ１０８で上記（式１）に従って算出した（ｘ，ｙ，ｚ）、すなわち、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）が以下の（式２）を満たすか否かを判定する。
　０≦ｘ＜Ｘ，かつ、０≦ｙ＜Ｙ，かつ、０≦ｚ＜Ｚ　　　・・・（式２）

　Ｘ，Ｙ，Ｚは、図７に示すヒートマップを規定する三次元ボックスの各辺の長さである。
　上記（式２）を満たす場合は、頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの内部にあることになる。

　しかし、上記（式２）を満たしていない場合は、頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの外部にあることになる。
　この場合は、ヒートマップの格子要素のカウンタ値（＝頭部位置数）を増分させる処理ができない。
　従って、この場合は、ステップＳ１１０のカウンタ値の更新処理を省略して、ステップＳ１１１に進む。

　　（ステップＳ１１０）
　ステップＳ１１０の処理は、ステップＳ１０９において、頭部位置情報｛Ｐｈ（ｋ）｝の頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）が以下の（式２）を満たしたと判定した場合の処理である。
　０≦ｘ＜Ｘ，かつ、０≦ｙ＜Ｙ，かつ、０≦ｚ＜Ｚ　　　・・・（式２）

　上記（式２）を満たす場合は、頭部位置座標（Ｐｈｘ，Ｐｈｙ，Ｐｈｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの内部にあることになる。
　この場合、情報処理装置のデータ処理部は、ステップＳ１１０において、処理対象の頭部位置情報保持用三次元配列カウンタ：Ａｈ［ｘ］［ｙ］［ｚ］の更新処理として、カウンタ値を１つ増やす処理を実行する。すなわち、以下のカウンタ値更新処理を行う。
　Ａｈ［ｘ］［ｙ］［ｚ］＝Ａｈ［ｘ］［ｙ］［ｚ］＋１

　このカウンタ値更新処理によって、ステップＳ１０８で算出した頭部位置が属する格子要素である（ｘ，ｙ，ｚ）のカウンタ：Ａｈ［ｘ］［ｙ］［ｚ］のカウント値が１つ増加され、一人のユーザ（視聴者）の頭部位置がこの格子要素内に含まれる設定としたカウントデータに更新される。

　　（ステップＳ１１１）
　次に、情報処理装置のデータ処理部は、ステップＳ１１１において、頭部位置情報リスト｛Ｐｈ（ｋ）｝からの処理対象のリスト要素を更新する処理を実行する。
　すなわち、リスト要素識別子ｋを、
　ｋ＝ｋ＋１
　とする更新処理を行う。
　この処理によって、頭部位置情報リスト｛Ｐｈ（ｋ）｝の処理対象要素が、次の要素に設定される。

　このステップＳ１１１におけるリスト要素更新処理の後、新たな処理対象として設定されたリスト要素ｋに対して、ステップＳ１０６以下の処理を実行する。
　ステップＳ１０６において、
　ｋ＜ｎ
　上記判定式が成立せず、頭部位置情報リストに登録されたｎ個のリスト要素すべての処理が完了したと判定すると、ステップＳ１１２に進む。

　　（ステップＳ１１２）
　頭部位置情報リストに登録されたｎ個のリスト要素すべての処理が完了したと判定すると、情報処理装置のデータ処理部は、ステップＳ１１２において、一辺の長さＬの立方体格子要素からなる頭部位置情報保持用三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の全格子要素の各値を、リスト要素総数ｎで割った値（ヒートマップ出力値）を算出する。

　この除算処理により、各格子要素に対応する頭部位置情報保持用三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の設定値は０～１の範囲の値に設定される。
　１つの格子要素に含まれる頭部位置の数は、最大でｎであり、ｎによる除算処理によって、三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の設定値は０～１の範囲の値に設定される。

　　（ステップＳ１１３）
　次に、情報処理装置のデータ処理部は、ステップＳ１１３において、解析フレーム時間：ｔにおける、更新後の頭部位置情報保持用三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の設定値（ヒートマップ出力値）をデータベースに保存する。

　また、例えばユーザの出力要求に応じて出力処理を実行する。
　なお、先に説明したように、例えばディスプレイにヒートマップを表示する場合の各格子の色付け処理は、出力色の設定情報として利用可能なアルファチャンネル値を三次元配列カウンタＡｈ［ｘ］［ｙ］［ｚ］の設定値に応じて変更して出力色や出力濃度を調整する。
　この処理によって、頭部位置が多い格子要素は、濃い色での出力がなされ、頭部位置が少ない格子要素は、薄い色での出力がなされ、一目で頭部位置のかたより具合を判別することが可能となる。

　　（ステップＳ１１４）
　次に、情報処理装置のデータ処理部は、ステップＳ１１４において、解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間であるか否かを判定する。

　解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間である場合は、全フレームの処理が完了したと判定し、処理を終了する。
　一方、解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間でない場合は、未処理フレームがあると判定し、ステップＳ１１５に進む。

　　（ステップＳ１１５）
　ステップＳ１１４において、未処理フレームがあると判定した場合は、情報処理装置のデータ処理部は、ステップＳ１１５において、解析対象フレームのフレーム時間の更新処理を実行する。
　すなわち、解析対象フレームのフレーム時間：ｔを次のフレーム時間に更新する。

　この更新処理の後、ステップＳ１０３に戻り、未処理フレームについて、ステップＳ１０３以下の処理を実行する。

　ステップＳ１１４において、未処理フレームがないと判定されると、コンテンツの構成フレーム全てに対応す頭部位置ヒートマップが完成したことになり、処理を終了する。

　この図９、図１０に示すフローチャートに従った処理を実行することで、図１１（ａ）に示すようなデータが、フレーム単位データとして、データベースに格納され、このデータを利用することで、図１１（ｂ）に示すような頭部位置（視点位置）ヒートマップを出力することが可能となる。

　次に、図６を参照して説明した注視点位置ヒートマップの生成シーケンスについて、図１２、図１３に示すフローチャートを参照して説明する。
　なお、図１２、図１３に示すフローチャートに従った注視点位置ヒートマップの生成処理は、図１に示す自由視点映像配信サーバ３０、視聴情報収集サーバ４０のいずれかの情報処理装置において実行することができる。
　自由視点映像配信サーバ３０、視聴情報収集サーバ４０等の情報処理装置はプログラム実行機能を持つＣＰＵを備えたデータ処理部を有し、データ処理部の制御下で図１２、図１３に示すフローチャートに従った処理が実行される。なお、情報処理装置のハードウェア構成例については後段で説明する。
　以下、図１２、図１３に示すフローチャートの各ステップの処理について説明する。

　　（ステップＳ２０１）
　情報処理装置のデータ処理部は、ステップＳ２０１において、自由視点映像コンテンツから、注視点位置ヒートマップの生成処理対象フレームである解析フレームの初期設定を行う。具体的には、解析フレーム時間：ｔ＝０に設定する。
　これは、自由視点映像コンテンツの最初のフレームを解析対象フレームとして選択する処理に相当する。

　　（ステップＳ２０２）
　次に、情報処理装置のデータ処理部は、ステップＳ２０２において、一辺の長さＬの立方体格子要素によって構成される三次元ボックス（Ｘ×Ｙ×Ｚ）の格子要素単位の注視点位置情報を保持するための三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の値を全て０とする初期化処理を実行する。

　Ｌ×Ｌ×Ｌの格子要素の各々は、座標情報（ｘ，ｙ，ｚ）によって識別可能であり、この座標情報（ｘ，ｙ，ｚ）によって特定される各格子要素に含まれる注視点位置の数をカウントする処理を行うことになる。このカウント値を保持するカウンタが、注視点位置情報保持三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］である。

　ステップＳ２０２では、図７に示すＸ×Ｙ×Ｚの大きさの三次元ボックス内のＬ×Ｌ×Ｌの格子要素のすべてのカウンタＡｗ［ｘ］［ｙ］［ｚ］の値を全て０とする初期化処理を実行する。

　　（ステップＳ２０３）
　次に、情報処理装置のデータ処理部は、ステップＳ２０３において、解析対象コンテンツの解析フレーム時間ｔにおける全視聴情報から、注視点位置情報リスト｛Ｐｗ（ｋ）｝を生成する。（ｋ＝０，１，・・・，ｎ－１、ただし、ｎ＝リスト要素総数）

　この処理は、図３に示す視聴状況情報のデータに基づいて、注視点位置情報のみからなるリストを生成する処理である。
　図３に示す視聴状況情報は、多数のユーザ（視聴者）から取得されており、情報処理装置は、取得した多数のリストのデータに基づいて注視点位置情報のみからなるリストである注視点位置情報リスト｛Ｐｗ（ｋ）｝を生成する。
　ｋはリスト要素識別子であり、ｋ＝０，１，・・・，ｎ－１である。
　ｎ＝リスト要素総数である。

　なお、図３に示す視聴状況情報のデータに基づく注視点位置の算出処理は、先に図５を参照して説明した処理に従って実行される。
　すなわち、視聴状況情報に含まれる頭部位置座標と視線方向から視線（半直線）を求める。さらに、この視線（半直線）と自由視点映像コンテンツに含まれるオブジェクトとの交点を求める。
　これらの交点のうち、ＦｏＶとｎｅａｒクリップ、ｆａｒクリップで表される視錐台に含まれる交点で、最も頭部位置に近い交点を選ぶ。
　この結果、選択された交点位置の座標データを注視点位置情報リスト｛Ｐｗ（ｋ）｝に追加する。

　なお、オブジェクトとの交点がない場合や、視錐台に含まれる交点がなければ、注視点はなかったと判定し、リストには何も追加しない。
　このように視聴状況情報から注視点を求めリストに追加する処理を、すべての視聴状況情報について、繰り返し実行し、注視点位置情報のみからなるリストである注視点位置情報リスト｛Ｐｗ（ｋ）｝を生成する。

　　（ステップＳ２０４）
　次に、情報処理装置のデータ処理部は、ステップＳ２０４において、注視点位置情報リストは空か否かを判定する。
　注視点位置情報リストにデータ（注視点位置情報）が無い場合は、ステップＳ２１３に進む。
　注視点位置情報リストにデータ（注視点位置情報）がある場合は、ステップＳ２０５に進む。

　　（ステップＳ２０５）
　次に、情報処理装置のデータ処理部は、ステップＳ２０５において、注視点位置情報リスト｛Ｐｗ（ｋ）｝のリスト要素識別子の値ｋをｋ＝０に初期化する。
　この処理は、注視点位置情報リスト｛Ｐｗ（ｋ）｝の処理対象とするリスト要素を先頭の要素に設定する初期化処理である。

　　（ステップＳ２０６）
　次に、情報処理装置のデータ処理部は、ステップＳ２０６において、リスト要素識別子：ｋが、
　ｋ＜ｎ
　上記判定式を満たすか否かを判定する。
　すなわち、リスト要素識別子：ｋが、リスト要素総数：ｎより小さいか否かを判定する。

　リスト要素識別子：ｋが、リスト要素総数：ｎに等しい場合、全てのリスト要素：ｋ＝０～ｎ－１に対する処理が完了したことを意味し、この場合は、ステップＳ２１２に進む。
　一方、リスト要素識別子：ｋが、リスト要素総数：ｎ未満である場合、全てのリスト要素：ｋ＝０～ｎ－１に対する処理が完了しておらず、未処理のリスト要素があることを意味し、この場合は、ステップＳ２０７に進む。

　　（ステップＳ２０７）
　次に、情報処理装置のデータ処理部は、ステップＳ２０７において、リスト要素識別子ｋの注視点位置情報｛Ｐｗ（ｋ）｝を取得する。
　この注視点位置情報は、先に図３他を参照して説明したように、自由視点映像コンテンツ座標系に従った座標情報（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）として得られる。

　　（ステップＳ２０８）
　次に、情報処理装置のデータ処理部は、ステップＳ２０８において、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）に基づいて、以下の（式３）に従って、ｘ，ｙ，ｚの各値を算出する。
　ｘ＝Ｆ_{ｆｌｏｏｒ}（Ｐｗｘ／Ｌ），
　ｙ＝Ｆ_{ｆｌｏｏｒ}（Ｐｗｙ／Ｌ），
　ｚ＝Ｆ_{ｆｌｏｏｒ}（Ｐｗｚ／Ｌ），
　　　　　　　　　　　　・・・・（式３）

　なお、Ｆ_{ｆｌｏｏｒ}（ａ）は、ａの整数部を返す関数とする。
　上記（式１）は、リスト要素識別子ｋの注視点位置情報｛Ｐｗ（ｋ）｝である座標情報（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）の位置が、図７に示すＸ×Ｙ×Ｚのボックス内に多数設定されたＬ×Ｌ×Ｌの格子要素のどの格子要素に含まれるかを算出する式である。

　上記（式３）において例えば、ｘ＝ｙ＝ｚ＝５の算出結果が得られた場合、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素は、図７に示すＸ×Ｙ×Ｚのボックス内の原点から、Ｘ軸に沿って原点から６番目、かつＹ軸に沿って原点から６番目、かつＺ軸に沿って原点から６番目にある１つの格子要素であることを意味する。

　ステップＳ２０８では、このようにして、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が、ヒットマップを構成する三次元ボックス内のどの格子要素に含まれるかを算出する。
　上記（式１）によって算出される（ｘ，ｙ，ｚ）は、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）となる。

　　（ステップＳ２０９）
　次に、情報処理装置のデータ処理部は、ステップＳ２０９において、ステップＳ２０８で上記（式３）に従って算出した（ｘ，ｙ，ｚ）、すなわち、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）が以下の（式４）を満たすか否かを判定する。
　０≦ｘ＜Ｘ，かつ、０≦ｙ＜Ｙ，かつ、０≦ｚ＜Ｚ　　　・・・（式４）

　Ｘ，Ｙ，Ｚは、図７に示すヒートマップを規定する三次元ボックスの各辺の長さである。
　上記（式４）を満たす場合は、注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの内部にあることになる。

　しかし、上記（式４）を満たしていない場合は、注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの外部にあることになる。
　この場合は、ヒートマップの格子要素のカウンタ値（＝注視点位置数）を増分させる処理ができない。
　従って、この場合は、ステップＳ２１０のカウンタ値の更新処理を省略して、ステップＳ２１１に進む。

　　（ステップＳ２１０）
　ステップＳ２１０の処理は、ステップＳ２０９において、注視点位置情報｛Ｐｗ（ｋ）｝の注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）が以下の（式４）を満たしたと判定した場合の処理である。
　０≦ｘ＜Ｘ，かつ、０≦ｙ＜Ｙ，かつ、０≦ｚ＜Ｚ　　　・・・（式４）

　上記（式４）を満たす場合は、注視点位置座標（Ｐｗｘ，Ｐｗｙ，Ｐｗｚ）が含まれる格子要素の位置情報（識別子）である（ｘ，ｙ，ｚ）の位置は、図７に示すヒートマップを規定する三次元ボックスの内部にあることになる。
　この場合、情報処理装置のデータ処理部は、ステップＳ２１０において、処理対象の注視点位置情報保持用三次元配列カウンタ：Ａｗ［ｘ］［ｙ］［ｚ］の更新処理として、カウンタ値を１つ増やす処理を実行する。すなわち、以下のカウンタ値更新処理を行う。
　Ａｗ［ｘ］［ｙ］［ｚ］＝Ａｗ［ｘ］［ｙ］［ｚ］＋１

　このカウンタ値更新処理によって、ステップＳ２０８で算出した注視点位置が属する格子要素である（ｘ，ｙ，ｚ）のカウンタ：Ａｗ［ｘ］［ｙ］［ｚ］のカウント値が１つ増加され、一人のユーザ（視聴者）の注視点位置がこの格子要素内に含まれる設定としたカウントデータに更新される。

　　（ステップＳ２１１）
　次に、情報処理装置のデータ処理部は、ステップＳ２１１において、注視点位置情報リスト｛Ｐｗ（ｋ）｝からの処理対象のリスト要素を更新する処理を実行する。
　すなわち、リスト要素識別子ｋを、
　ｋ＝ｋ＋１
　とする更新処理を行う。
　この処理によって、注視点位置情報リスト｛Ｐｗ（ｋ）｝の処理対象要素が、次の要素に設定される。

　このステップＳ２１１におけるリスト要素更新処理の後、新たな処理対象として設定されたリスト要素ｋに対して、ステップＳ２０６以下の処理を実行する。
　ステップＳ２０６において、
　ｋ＜ｎ
　上記判定式が成立せず、注視点位置情報リストに登録されたｎ個のリスト要素すべての処理が完了したと判定すると、ステップＳ２１２に進む。

　　（ステップＳ２１２）
　注視点位置情報リストに登録されたｎ個のリスト要素すべての処理が完了したと判定すると、情報処理装置のデータ処理部は、ステップＳ２１２において、一辺の長さＬの立方体格子要素からなる注視点位置情報保持用三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の全格子要素の各値を、リスト要素総数ｎで割った値（ヒートマップ出力値）を算出する。

　この除算処理により、各格子要素に対応する注視点位置情報保持用三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の設定値は０～１の範囲の値に設定される。
　１つの格子要素に含まれる注視点位置の数は、最大でｎであり、ｎによる除算処理によって、三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の設定値は０～１の範囲の値に設定される。

　　（ステップＳ２１３）
　次に、情報処理装置のデータ処理部は、ステップＳ２１３において、解析フレーム時間：ｔにおける、更新後の注視点位置情報保持用三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の設定値（ヒートマップ出力値）をデータベースに保存する。

　また、例えばユーザの出力要求に応じて出力処理を実行する。
　なお、先に説明したように、例えばディスプレイにヒートマップを表示する場合の各格子の色付け処理は、出力色の設定情報として利用可能なアルファチャンネル値を三次元配列カウンタＡｗ［ｘ］［ｙ］［ｚ］の設定値に応じて変更して出力色や出力濃度を調整する。
　この処理によって、注視点位置が多い格子要素は、濃い色での出力がなされ、、注視点位置が少ない格子要素は、薄い色での出力がなされ、一目で注視点位置のかたより具合を判別することが可能となる。

　　（ステップＳ２１４）
　次に、情報処理装置のデータ処理部は、ステップＳ２１４において、解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間であるか否かを判定する。

　解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間である場合は、全フレームの処理が完了したと判定し、処理を終了する。
　一方、解析フレーム時間：ｔが、コンテンツ構成フレームのフレーム最終時間でない場合は、未処理フレームがあると判定し、ステップＳ２１５に進む。

　　（ステップＳ２１５）
　ステップＳ２１４において、未処理フレームがあると判定した場合は、情報処理装置のデータ処理部は、ステップＳ２１５において、解析対象フレームのフレーム時間の更新処理を実行する。
　すなわち、解析対象フレームのフレーム時間：ｔを次のフレーム時間に更新する。

　この更新処理の後、ステップＳ２０３に戻り、未処理フレームについて、ステップＳ２０３以下の処理を実行する。

　ステップＳ２１４において、未処理フレームがないと判定されると、コンテンツの構成フレーム全てに対応す注視点位置ヒートマップが完成したことになり、処理を終了する。

　この図１２、図１３に示すフローチャートに従った処理を実行することで、図１４（ａ）に示すようなデータが、フレーム単位データとして、データベースに格納され、このデータを利用することで、図１４（ｂ）に示すようなヒートマップを出力することが可能となる。

　　［２－（ｂ）．推奨視点情報の提供と推奨視点情報に基づく表示制御を実行する実施例について］
　次に、推奨視点情報の提供と推奨視点情報に基づく表示制御を実行する実施例について説明する。
　以下に説明する実施例は、視聴状況の解析結果に基づいて、各時刻において最も人気のある視点位置と視線方向の画像領域からなるコンテンツを自動表示することを可能とした実施例である。
　このコンテンツ制御により、多くの視聴者が見た映像を優先的に提供することができる。

　図１５は、推奨視点情報の提供と推奨視点情報に基づく表示制御を実行する情報処理システムの一構成例を示す図である。
　先に図１を参照して説明した情報処理システムと同様、自由視点映像配信サーバ３０は、自由視点映像コンテンツデータベース３１に格納された自由視点映像コンテンツを、ネットワーク３５を介して取得し、取得した自由視点映像コンテンツを、ネットワーク３６を介して、ユーザ（視聴者）側の情報処理装置（コンテンツ出力装置）７０に送信する。
　図１５では、視聴デバイス７０の例として、図１を参照して説明したと同様のＰＣ７１によるレンダリング画像を表示するＨＭＤ７２の組み合わせの他、ＰＣ７３、携帯端末（スマホ）７４を示している。

　ＨＭＤ７２以外のＰＣ７３、携帯端末（スマホ）７４においても、ユーザ（視聴者）は、各視聴デバイスに表示される画像領域を自由に変更することができる。
　表示画像領域の変更例について、図１６を参照して説明する。

　図１６上段には自由視点映像コンテンツであるコンテンツ５１、図１６下段には、携帯端末（スマホ）７４を示している。
　携帯端末（スマホ）７４の表示部には、自由視点映像コンテンツの一部の領域、例えばユーザが任意に選択した領域の画像を表示することができる。

　左側の携帯端末（スマホ）７４の表示画像Ａは、コンテンツ５１内の一部領域の画像区間ａ１～ａ２の部分区間の領域画像である。
　右側の携帯端末（スマホ）７４の表示画像Ｂは、コンテンツ５１内の一部領域の画像区間ｂ１～ｂ２の部分区間の領域画像である。
　ユーザは、タッチパネルとして構成された表示部に対する指のスライド処理などによって、表示画像を移動させて、任意の領域の画像を表示することができる。
　この他、ＰＣやテレビ等の表示装置を利用した場合も、キーボード、マウス、リモコン等の入力操作により、表示領域を自由に選択することができる。

　図１５に戻りシステム構成の説明を続ける。
　視聴デバイス７０は、図１以下を参照して説明した前述の処理と同様、図３に示すデータ構成を持つ視聴状況情報５２を視聴情報収集サーバ４０に送信する。
　視聴情報収集サーバ４０は、収集した視聴状況情報を、ネットワーク３５を介して接続された視聴情報記録データベース４１に格納する。

　図１５に示す情報処理システムにおいて、図１に示すシステムとの差異は、自由視点映像配信サーバ３０が、視聴者デバイス７０に対して、推奨視点情報６１を送信している点である。
　本実施例では、自由視点映像配信サーバ３０は、視聴情報記録データベース４１に格納された視聴状況情報を解析し、解析結果に基づいて推奨視点情報６１を生成して、視聴者デバイス７０に送信する。

　視聴者デバイス７０では、この推奨視点情報６１を利用して、例えば各コンテンツ再生時刻において最も人気のある視点位置と視線方向の画像領域からなるコンテンツを自動表示するといった表示制御を行うことができる。このコンテンツ表示制御により、多くの視聴者の高い画像等を優先的に提供することができる。

　自由視点映像配信サーバ３０が視聴情報記録データベース４１に格納された視聴状況情報に基づいて生成し、視聴者デバイス７０に送信する推奨視点情報６１のデータ構成例について、図１７を参照して説明する。
　図１７に示すように、推奨視点情報６１は、コンテンツＩＤ、再生時刻、頭部位置、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶが記録される。

　このデータは、コンテンツＩＤで特定されるコンテンツについて、各再生時刻における推奨される頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶを記録したデータである。
　すなわち、この図１７に示す推奨視点情報に記録された頭部位置（視点位置）、頭部前方方向、頭部頭上方向、視線方向、ＦｏＶの設定で画像を表示することにより、推奨画像、最も人気のある画像を自動的に表示することが可能となる。

　なお、視聴デバイス７０において、推奨視点情報６１に従った推奨画像をディスプレイに自動表示させる場合、視聴デバイス７０のモードを視点自動制御モードに設定することが必要である。
　図１８に示すように、視聴デバイス７０は、コンテンツの表示処理において設定可能な以下の２つの視点制御モードを切り替え可能な構成を持つ。
　（１）視点制御モード１＝視点マニュアル制御モード
　（２）視点制御モード２＝視点自動制御モード

　視点マニュアル制御モードは、ユーザの意思によって表示領域を変更可能としたモードであり、ＨＭＤの場合、ユーザ（視聴者）の頭部の位置や方向を変更することで、その変更態様に応じて表示画像を変更可能としたモードである。
　また、ＰＣやスマホ等のディスプレイにコンテンツを表示する場合は、ユーザによるタッチパネル、マウス等の入力処理により、表示画像領域を移動させることができる。

　一方、視点自動制御モードは、推奨視点情報６１に従った推奨画像をディスプレイに自動表示させるモードである。
　この視点自動制御モードの設定では、ＨＭＤの動きや、ＰＣスマホ等に対するユーザの入力に応じた表示画像の変更処理は停止される。

　以下、視聴デバイス７０側の情報処理装置において実行される本実施例に従ったコンテンツ表示制御処理シーケンスについて、図１９、図２０に示すフローチャートを参照して説明する。

　図１９、図２０に示すフローチャートは、視聴デバイス７０側の情報処理装置、すなわち、図１５に示すＰＣ７１、ＰＣ７３、携帯端末（スマホ）７４等の情報処理装置において実行される。これらの情報処理装置はプログラム実行機能を持つＣＰＵを備えたデータ処理部を有し、データ処理部の制御下でフローチャートに従った処理が実行される。なお、情報処理装置のハードウェア構成例については後段で説明する。

　まず、図１９に示すフローチャートの各処理について説明する。
　図１９に示すフローチャートは、視聴デバイス７０側の情報処理装置において実行する視点自動制御モードの設定処理のシーケンスを説明するフローチャートである。
　情報処理装置（視聴デバイス）では、まず、コンテンツ再生の開始前に再生アプリの状態を初期化する処理を行う。再生ボタンが押されたなどをトリガとして、図１９のステップＳ３０１から始まるステップを実行する。

　　（ステップＳ３０１）
　情報処理装置（視聴デバイス）は、ステップＳ３０１において、表示コンテンツに対応するデータである表示コンテンツ対応の視点位置Ｐと視点方向Ｑを初期値に設定する。初期値は、コンテンツのメタデータに含まれている。なお、コンテンツは、自由視点映像コンテンツである。
　視点位置Ｐと視点方向Ｑは、自由視点映像コンテンツ座標系で表現されている。

　なお、図１７に示す推奨視点情報、あるいは先に図３を参照して説明した視聴状況情報に記録されているデータ中、「頭部位置」が視点位置Ｐに対応し、「頭部前方方向」と「頭部頭上方向」の組が視点方向Ｑに対応する。なお、視点方向Ｑは四元数で表す。

　　（ステップＳ３０２）
　情報処理装置（視聴デバイス）は、次に、ステップＳ３０２において、視点制御モードを視点自動制御モードに設定する。
　これらの処理によって、初期化処理を終了する。

　次に、視点自動制御モードに設定された情報処理装置（視聴デバイス）が実行するコンテンツの表示制御シーケンスについて、図２０に示すフローチャートを参照して説明する。
　図２０に示すフローチャートに従った処理は、情報処理装置（視聴デバイス）において起動されたコンテンツ再生アプリによって実行される。
　視点自動制御モードでは、再生アプリがコンテンツを構成する画像フレーム毎の描画処理を推奨視点情報に従って実行する。
　例えば、コンテンツが６０ｆｐｓでレンダリングされる場合、ユーザ（視聴者）によりコンテンツ再生が停止されるか、コンテンツ再生が終了する（最終フレームが描画される）まで、各フレーム単位、すなわち１／６０秒ごとに図２０に示すフローのステップＳ３２１以下の処理を繰り返し実行する。

　　（ステップＳ３２１）
　まず、情報処理装置（視聴デバイス）は、ステップＳ３２１において、視点制御モードが視点自動制御モードに設定されているかどうかの判定を行う。
　視点自動制御モードに設定されている場合はステップＳ３２２に進む。
　視点自動制御モードに設定されていない場合はステップＳ３３１に進む。

　　（ステップＳ３２２）
　視点自動制御モードに設定されている場合、情報処理装置は、ステップＳ３２２において、モード切り替え入力が検出されたか否かを判定する。
　モード切り替え入力が検出されていなければ、ステップＳ３２３に進む。
　モード切り替え入力が検出された場合は、ステップＳ３３３に進む。

　　（ステップＳ３２３）
　モード切り替え入力が検出されていない場合、情報処理装置は、ステップＳ３２３において、コンテンツのメタデータに含まれる現再生時刻における「推奨視点情報Ｒ」を取得し、ステップＳ３２４に進む。
　「推奨視点情報Ｒ」は、先に図１７を参照して説明したデータを有する情報である。
　ここでは、推奨視点情報Ｒに含まれる頭部位置、頭部前方方向、頭部頭上方向を用いた処理例について説明する。
　現再生時刻における推奨視点情報Ｒに含まれる頭部位置Ｐｒ、頭部方向Ｑｒ（頭部前方方向、頭部頭上方向から求まる）を取得する。
　頭部方向Ｑｒは四元数で表す。

　　（ステップＳ３２４）
　次に、情報処理装置は、ステップＳ３２４において、現再生時刻での推奨視点を計算する。
　この推奨視点算出処理には、
　直前フレームの視点位置Ｐと、視点方向Ｑと、
　ステップＳ３２３で取得した推奨視点情報Ｒの記録データである頭部位置Ｐｒ、頭部前方方向Ｑｒ、
　これらのデータを用いる。

　現再生時刻の推奨視点の視点位置Ｐｃを、直前フレームの視点位置Ｐと、推奨視点情報Ｒに含まれる頭部位置Ｐｒを利用した線形補間（ｌｅｒｐ：ｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）により、以下の式に従って算出する。
　Ｐｃ＝（１－ｔ）Ｐ＋ｔＰｒ
　ｔは０≦ｔ≦１となるパラメータである。

　また現再生時刻での視点方向Ｑｃを、直前フレームの視点方向Ｑと、推奨視点情報Ｒから求めた頭部方向Ｑｒを利用した（ｓｌｅｒｐ：ｓｐｈｅｒｉｃａｌ　ｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）により同様に求める。

　　（ステップＳ３２５）
　次に、情報処理装置は、ステップＳ３２５において、ステップＳ３２４で算出した現再生時刻での推奨視点に対応する画像領域からなるコンテンツを視聴デバイスの表示部にレンダリングする。
　なお、レンダリングのパラメータとしてＦｏＶを設定できる場合は、推奨視点情報Ｒに含まれるＦｏＶを設定する。

　さらに、情報処理装置は、視聴情報収集サーバに送信する視聴状況情報に記録するための視点情報（位置，方向）を、現在の表示コンテンツに対応した視点情報に更新する。
　Ｐ、Ｑを、Ｐｃ、Ｑｃでそれぞれ更新する。

　　（ステップＳ３２６）
　次に、情報処理装置は、ステップＳ３２６において、ステップＳ３２５で更新した視点情報（位置Ｐｃ，方向Ｑｃ）と、コンテンツ再生時刻との対応データを含む視聴状況情報を生成して視聴情報収集サーバに送信する。

　　（ステップＳ３３１，Ｓ３３２）
　ステップＳ３２１において、視点自動制御モードに設定されていないと判定した場合、情報処理装置は、ステップＳ３３１において、モード切り替え入力が検出されたか否かを判定する。
　モード切り替え入力が検出された場合は、ステップＳ３３２に進み、視点制御モードを視点自動制御モードに変更する。
　モード切り替え入力が検出されていない場合は、ステップＳ３３４に進む。

　　（ステップＳ３３３）
　ステップＳ３２２で、モード切り替え入力が検出された場合は、ステップＳ３３３で、視点自動制御モードから、視点マニュアルモード制御への切り替えを行い、ステップＳ３３４に進む。

　　（ステップＳ３３４）
　ステップＳ３３４では、情報処理装置は、視点マニュアルモードでのコンテンツ表示制御を実行する。
　具体的には、視点マニュアル制御モードに従った視点（位置Ｐ，方向Ｑ）を算出して、その算出視点に応じた映像表示を行う。
　ＨＭＤの場合は、ＨＭＤの位置と方向に応じた視点（Ｐ，Ｑ）に従った映像表示を行う。
　また、ＰＣやスマホ等の場合は、ユーザ操作に応じた視点（Ｐ，Ｑ）に従った映像表示を行う。

　　［２－（ｃ）．コンテンツの自動チャプタ分割処理を実行する実施例について］
　次に、コンテンツの自動チャプタ分割処理を実行する実施例について説明する。
　以下に説明する実施例は、視聴状況の解析結果、例えばヒートマップの時系列変化の度合いに基づいて、シーン転換点を検出し、このシーン転換点をチャプタの切り替え点として設定することを可能とした実施例である。

　例えば、自由視点映像配信サーバが、推奨視点情報の頭部位置や頭部方向を時間方向にクラスタリングして、それらが適当な閾値を超えて変化するコンテンツ再生時刻をシーン転換点として記録し、それら時刻のリストをシーン転換点情報として、コンテンツ対応のメタ情報としてユーザ側の視聴デバイスに配信する。

　ユーザ側の視聴デバイス（ＰＣなど）は、例えば、「シーン転換点情報」に基づいて、コンテンツ再生時刻を示すプログレスバーの時刻位置にシーン転換点を意味するマークや印を表示することができる。また、リスト中の時刻から再生を開始することで、次／前のシーン転換点に移動、などの操作も可能になる。

　図２１は、シーン転換点情報８１の提供とシーン転換点情報８１を利用した処理を実行する情報処理システムの一構成例を示す図である。
　先に図１を参照して説明した情報処理システムと同様、自由視点映像配信サーバ３０は、自由視点映像コンテンツデータベース３１に格納された自由視点映像コンテンツを、ネットワーク３５を介して取得し、取得した自由視点映像コンテンツを、ネットワーク３６を介して、ユーザ（視聴者）側の情報処理装置（コンテンツ出力装置）７０に送信する。
　図２１では、先に説明した図１５と同様、視聴デバイス７０の例として、図１を参照して説明したと同様のＰＣ７１によるレンダリング画像を表示するＨＭＤ７２の組み合わせの他、ＰＣ７３、携帯端末（スマホ）７４を示している。

　視聴デバイス７０は、図１以下を参照して説明した前述の処理と同様、図３に示すデータ構成を持つ視聴状況情報５２を視聴情報収集サーバ４０に送信する。
　視聴情報収集サーバ４０は、収集した視聴状況情報を、ネットワーク３５を介して接続された視聴情報記録データベース４１に格納する。

　図２１に示す情報処理システムにおいて、自由視点映像配信サーバ３０は、視聴者デバイス７０に対して、シーン転換点情報８１を送信する。
　本実施例では、自由視点映像配信サーバ３０は、視聴情報記録データベース４１に格納された視聴状況情報を解析し、解析結果に基づいてシーン転換点情報８１をを生成して、視聴者デバイス７０に送信する。

　視聴者デバイス７０では、このシーン転換点情報８１を利用して、コンテンツのシーン転換点をあらかじめ知ることが可能となり、コンテンツ再生時刻を示すプログレスバーの時刻位置にシーン転換点を意味するマークや印を表示することができる。また、リスト中の時刻から再生を開始することで、次／前のシーン転換点に移動、などの操作も可能になる。

　自由視点映像配信サーバ３０が視聴情報記録データベース４１に格納された視聴状況情報に基づいて生成し、視聴者デバイス７０に送信するシーン転換点情報８１のデータ構成例について、図２２を参照して説明する。
　図２２に示すように、シーン転換点情報８１は、コンテンツＩＤ、シーン転換点時刻との対応データとして生成される。
　このデータは、コンテンツＩＤで特定されるコンテンツについてのシーン転換点時刻を記録したものである。

　以下、図２３に示すフローチャートを参照して、情報処理装置としての自由視点映像配信サーバ３０が実行する「シーン転換点情報」の生成シーケンスについて説明する。
　図２３に示すフローチャートの各ステップの処理について説明する。

　　（ステップＳ４０１）
　まず、情報処理装置（自由視点映像配信サーバ３０）は、ステップＳ４０１において、「シーン転換点情報リスト」をリセットする。
　すなわち、リストを空にする。

　　（ステップＳ４０２）
　次に、情報処理装置は、ステップＳ４０２において、処理対象コンテンツの推奨視点情報の記録データを取得し、時間Ｔ間隔単位で、頭部位置Ｐと頭部方向Ｑの平均値Ｐ（ｋ），Ｑ（ｋ）を算出（ｋ＝０，１，２，・・・，ｎ）して、頭部位置方向推移リストを生成する。

　すなわち、コンテンツの推奨視点情報に含まれる視点の位置と向きをＴ秒間隔で平均化した値を計算する。Ｔは既定の固定値で、例えば５秒などの値を用いる。コンテンツ全体をＴ秒間隔でｎ分割するとｎ＋１個のパートになる。
　各パート単位で頭部位置Ｐと向きＱの平均Ｐ（ｋ）とＱ（ｋ）を求める。
　Ｐ（ｋ）とＱ（ｋ）は時刻ｋＴからＴ秒間の頭部の位置と向きの平均を表す。

　　（ステップＳ４０３）
　次に、情報処理装置は、ステップＳ４０３において、ステップＳ４０２で生成した頭部位置方向推移リストのリスト要素識別パラメータｋを初期化（ｋ＝１）する。

　　（ステップＳ４０４）
　次に、情報処理装置は、ステップＳ４０４において、リスト要素識別パラメータｋが最大値ｎより大きいか否かを判定する。
　ｋ＞ｎである場合は、頭部位置方向推移リストの生成処理終了と判断してステップＳ４１１に進む。
　ｋ＞ｎでない場合は、頭部位置方向推移リストの生成処理が終了していないと判断してステップＳ４０５に進む。

　　（ステップＳ４０５）
　次に、情報処理装置は、ステップＳ４０５において、頭部位置方向推移リストにリストされた隣接するリスト要素に基づく、変化量（差分）情報を算出する。
　以下の２つの変化量を算出する。
　頭部位置変化量：ΔＰ（ｋ）＝｜Ｐ（ｋ）－Ｐ（ｋ－１）｜
　頭部方向変化量：ΔＱ（ｋ）＝｜Ｑ（ｋ）－Ｑ（ｋ－１）｜

　　（ステップＳ４０６）
　次に、情報処理装置は、ステップＳ４０６において、ステップＳ４０５で算出した変化量（差分）ΔＰ（ｋ）、またはΔＱ（ｋ）が既定のしきい値を超えたか否かを判定する。
　なお、しきい値は、変化量（差分）ΔＰ（ｋ）、ΔＱ（ｋ）各々について、予め規定したしきい値であり、コンテンツに応じて予め決定したしきい値である。

　ステップＳ４０５で算出した変化量（差分）ΔＰ（ｋ）、またはΔＱ（ｋ）が既定のしきい値を超えたと判定した場合は、ステップＳ４０７に進む。
　一方、ステップＳ４０５で算出した変化量（差分）ΔＰ（ｋ）、またはΔＱ（ｋ）が既定のしきい値を超えていないと判定した場合は、ステップＳ４０８に進む。

　　（ステップＳ４０７）
　ステップＳ４０５で算出した変化量（差分）ΔＰ（ｋ）、またはΔＱ（ｋ）が規定しきい値を超えたと判定した場合は、ステップＳ４０７において、シーン転換点情報リストに、シーン転換時刻として時刻ｋＴを追加する。

　すなわち、頭部位置方向推移リストにリストされた隣接するリスト要素について、変化量（差分）がしきい値より大きい場合、シーン転換点情報リストに、シーン転換時刻ｋＴを記録する。

　　（ステップＳ４０８）
　ステップＳ４０７の処理終了後、あるいは、ステップＳ４０６にのおいて、変化量（差分）ΔＰ（ｋ）、またはΔＱ（ｋ）が規定しきい値を超えていないと判定した場合は、ステップＳ４０８に進む。
　ステップＳ４０８では、頭部位置方向推移リストのリスト要素識別パラメータ：ｋの更新（ｋ＝ｋ＋１）を実行して、更新後のパラメータに基づいて、ステップＳ４０４以下の処理を実行する。

　　（ステップＳ４１１）
　ステップＳ４０４において、リスト要素識別パラメータｋが最大値ｎより大きいと判定した場合、すなわち、ｋ＞ｎである場合は、頭部位置方向推移リストの生成処理終了と判断してステップＳ４１１に進む。
　ステップＳ４１１では、生成したシーン転換点情報リストをデータベースに保存して処理を終了する。

　次に図２４に示すフローチャートを参照して、クライアント側、すなわち、視聴デバイス７０側の情報処理装置において、自由視点コンテンツを再生中にチャプタ移動操作を実行したときの処理について説明する。
　なお、再生するコンテンツと、シーン転換点情報リストは取得済みであるものとする。また、図２４に示すフローチャートに従った処理は、再生フレームごとに繰り返し実行される。

　　（ステップＳ４２１）
　まず、情報処理装置（視聴デバイス）は、ステップＳ４２１において、次のチャプタへの移動要求が入力されたか否かを判定する。
　次のチャプタへの移動要求が入力された場合は、ステップＳ４２２に進む。されていない場合は、処理を終了する。

　　（ステップＳ４２２）
　次に、情報処理装置は、ステップＳ４２２において、シーン転換点情報リストが空であるか、または、リストの最終エントリのシーン転換点時刻より、現在の再生時刻が後であるかを判定する。

　シーン転換点情報リストが空、または、リストの最終エントリのシーン転換点時刻より、現在の再生時刻が後である場合は、ステップＳ４２４に進む。
　シーン転換点情報リストが空でない、または、リストの最終エントリのシーン転換点時刻より、現在の再生時刻が後でない場合は、ステップＳ４２３に進む。

　　（ステップＳ４２３）
　ステップＳ４２２において、シーン転換点情報リストが空でない、または、リストの最終エントリのシーン転換点時刻より、現在の再生時刻が後でない場合は、ステップＳ４２３に進む。
　情報処理装置は、ステップＳ４２３において、シーン転換点情報リストから、現在の再生時刻より大きい最小シーン転換点時刻Ｔを取得して、再生開始時刻をＴに設定する。
　すなわち、チャプタの移動処理を行う。

　　（ステップＳ４２４）
　ステップＳ４２２において、シーン転換点情報リストが空、または、リストの最終エントリのシーン転換点時刻より、現在の再生時刻が後であると判定した場合は、ステップＳ４２４に進む。
　情報処理装置は、ステップＳ４２４において、コンテンツの最終フレームの時刻を、再生時刻に設定する。
　すなわち、最終フレームの再生処理に移動する処理を行う。

　なお、図２４に示すフローを参照して説明したチャプタ移動処理は、コンテンツ後方側へのチャプタ移動処理の例であるが、前方側へのチャプタ移動の場合も同様、シーン転換点情報リストを参照して行うことが可能である。

　　［２－（ｄ）．広告表示制御を実行する実施例について］
　次に、広告表示制御を実行する実施例について説明する。
　以下に説明する実施例は、視聴状況の解析結果、例えばヒートマップに基づいて効果的な広告表示処理を実現する実施例である。
　視聴状況の解析結果、例えばヒートマップに基づいて、自由視点映像における画像領域単位の「視聴率」を求め、視聴率に基づいて以下の処理を行う。
　コンテンツに広告を重畳して提供する場合、視聴率をベースに広告料を自動算出する。

　以下の実施例では、広告表示の一例として、自由視点映像コンテンツ内にＣＧによる仮想的な看板広告を配信して重畳する構成について説明する。広告主は広告の予算、看板広告となるテクスチャ画像、ランクを指定して、広告データベースに広告を登録する。

　ランクは、例えば３段階のランクが予め設定される。
　この３段階のランクは、視聴デバイスから送信される視聴状況情報に基づいて生成される注視点ヒートマップの注視点分布状況に応じたランクである。
　広告ランク規定リストの例を図２５に示す。

　図２５に示すように、広告ランク規定リストは、ランク３～１の各々に対して、注目度０～１．０と、単価（円／秒）が対応付けられたデータである。
　注目度は、視聴デバイスから送信される視聴状況情報に基づいて生成される注視点ヒートマップの注視点分布状況に対応するデータである。
　注視点ヒートマップにおいて注視点が多い格子を含む領域は注目度が高く、注視点ヒートマップにおいて注視点が少ない格子を含む領域は注目度が低く設定される。
　単価は、この注目度に応じて設定され、注目度の高い格子領域は高い単価となり、注目度の低い領域は低い単価となる。

　広告主は、この広告ランク規定に基づいて、ランクを決定し、看板広告となるテクスチャ画像とランク、予算等のデータとともに広告データベースに広告を登録する。
　広告データベースの登録データ例を図２６に示す。

　図２６に示すように、広告データベースには、看板広告となるテクスチャ画像のデータを取得するためのＵＲＬ、初期予算、予算残高、ランクが対応付けて登録される。
　自由視点映像コンテンツとともに広告を配信する自由視点映像配信サーバは、広告データベースに登録された広告をコンテンツに重畳してユーザ（視聴者）側の視聴デバイスに送信して表示部に表示する。
　自由視点映像配信サーバは、この広告提供処理に際して、所定のアルゴリズムに従った広告選択および広告出力位置決定処理を行う。

　広告出力位置決定処理においては、広告のランクに対応する注目度を満たす格子（ヒートマップから求まる）の表面を、広告の画像のテクスチャで置き換えて表示する。
　また、表示時間１秒ごとに予算から単価を減算し、予算が尽きたら（０になったら）広告ＤＢから該当の広告を取り除く。
　なお、格子表面のテクスチャとして広告画像を描画するのではなく、格子の外接球を考え、その外接球の球面上の法線が視聴者の頭部位置方向となる点に、広告画像を張る矩形の中心点が接するよう、かつ広告の上方向と視聴者の頭上方向を合わせて広告を配置してもよい。
　この例だと、すべてサーバ側で予算が消化されるが、クライアントから送られる視聴状況情報の注視点やＦｏＶから実際に広告が「見られた」「視界に入った」と判定できる場合にだけ課金される方法でもよい。

　図２７は、本実施例を実行する情報処理システムの一構成例を示す図である。
　先に図１を参照して説明した情報処理システムと同様、自由視点映像配信サーバ３０は、自由視点映像コンテンツデータベース３１に格納された自由視点映像コンテンツを、ネットワーク３５を介して取得し、取得した自由視点映像コンテンツを、ネットワーク３６を介して、ユーザ（視聴者）側の情報処理装置（コンテンツ出力装置）７０に送信する。
　図２７では、先に説明した図１５と同様、視聴デバイス７０の例として、図１を参照して説明したと同様のＰＣ７１によるレンダリング画像を表示するＨＭＤ７２の組み合わせの他、ＰＣ７３、携帯端末（スマホ）７４を示している。

　図２７に示す情報処理システムにおいて、自由視点映像配信サーバ３０は、視聴者デバイス７０に対して、広告埋め込みコンテンツ１０２を送信する。
　この広告埋め込みコンテンツ１０２は、図２６を参照して説明した広告データベースに記録されたＵＲＬに基づいて取得された広告情報（広告データを含むテクスチャ情報）が埋め込まれている。
　なお、図２７に示す広告データベース１０１に、図２６を参照して説明した広告データベース格納データが格納されている。

　自由視点映像コンテンツとともに広告を配信する自由視点映像配信サーバ３０は、広告データベース１０１に登録された広告をコンテンツに重畳した広告埋め込みコンテンツ１０２をユーザ（視聴者）側の視聴デバイス７０に送信して表示部に表示する。
　自由視点映像配信サーバ３０は、この広告提供処理に際して、所定のアルゴリズムに従った広告選択および広告出力位置決定処理を行う。

　以下、図２８に示すフローチャートを参照して、情報処理装置としての自由視点映像配信サーバ３０が実行する広告選択処理と広告出力位置決定処理、広告提供処理のシーケンスについて説明する。
　図２８に示すフローチャートの各ステップの処理について説明する。

　なお、図２８に示すフローは、先に図６を参照して説明した注視点位置ヒートマップが、ユーザ側に提供するコンテンツに対応する注視点位置ヒートマップとして生成済みであることを前提として実行される。

　　（ステップＳ５０１）
　まず、情報処理装置（自由視点映像配信サーバ３０）は、ステップＳ５０１において、オリジナルのコンテンツのコピーを作成し、広告埋め込みコンテンツＤの初期値とする。
　オリジナルのコンテンツは、自由視点映像配信サーバ３０が視聴デバイス７０に送信するコンテンツであり自由視点映像コンテンツである。

　　（ステップＳ５０２）
　次に、情報処理装置は、ステップＳ５０２において、注視点ヒートマップをＴ秒間隔で平均化した注視点位置推移ヒートマップリストＭ（ｋ）作成する。
　Ｔは既定の固定値で、例えば５秒～１５秒などの値を用いる。コンテンツ全体をＴ秒間隔でｎ分割するとｎ＋１個のパートになる。
　ｋは、注視点位置推移ヒートマップリストＭ（ｋ）のリスト要素パラメータであり、
　ｋ＝０，１，・・・，ｎである。

　　（ステップＳ５０３）
　次に、情報処理装置は、ステップＳ５０３において、注視点位置推移ヒートマップリストＭ（ｋ）のリスト要素パラメータｋを初期化、すなわち、
　ｋ＝０
　上記のようにパラメータの初期化処理を実行する。

　　（ステップＳ５０４）
　次に、情報処理装置は、ステップＳ５０４において、注視点位置推移ヒートマップリストＭ（ｋ）のリスト要素パラメータｋが、パラメータ最大値ｎより大きいか否かを判定する。
　ｋ＞ｎである場合は、処理終了と判断して処理を終了する。
　ｋ＞ｎでない場合は、ステップＳ５０５に進む。

　　（ステップＳ５０５）
　次に、情報処理装置は、ステップＳ５０５において、注視点位置推移ヒートマップリストＭ（ｋ）の全格子の中で最も注目度の大きい格子Ｌｍａｘを選択する。
　すなわち、注視点のもっとも多い格子Ｌｍａｘを選択する。

　　（ステップＳ５０６）
　次に、情報処理装置は、ステップＳ５０６において、Ｌｍａｘの注目度Ｆが、広告ランク規定リストに含まれるか否かを判定する。
　先に図１４を参照して説明したようにヒートマップの出力値は、０～１．０の範囲に設定される。
　一方、図２５を参照して説明した広告ランク規定リストの注目度の設定値も０～１．０に設定されている。
　図２５のような場合は広告ランク規定リストに常に含まれるが、広告ランク規定リストの内容によっては含まれない場合もある。

　ステップＳ５０６では、ステップＳ５０５で選択した注視点位置推移ヒートマップリストＭ（ｋ）の全格子の中で最も注目度の大きい格子Ｌｍａｘのヒートマップ出力値と一致する注目度に設定された広告ランク規定リストのエントリがあるか否かを判定する。
　一致エントリがある場合は、ステップＳ５０７に進み、無い場合はステップＳ５１２に進む。

　　（ステップＳ５０７）
　ステップＳ５０６において、注視点位置推移ヒートマップリストＭ（ｋ）の全格子の中で最も注目度の大きい格子Ｌｍａｘのヒートマップ出力値と一致する注目度に設定された広告ランク規定リストのエントリがあると判定した場合は、ステップＳ５０７に進む。

　情報処理装置は、ステップＳ５０７において、広告ランク規定リストから、Ｌｍａｘのヒートマップ出力値と一致する注目度に設定された広告ランク規定リストのエントリを選択し、そのエントリに設定されたランクＲと単価Ｐを取得する。

　　（ステップＳ５０８）
　次に、情報処理装置は、ステップＳ５０８において、広告データベース、すなわち図２６に示すデータを格納した広告データベースから、「ランク」がＲと等しく、かつ「予算残り」がＰ以上の値の広告Ａを検索する。

　　（ステップＳ５０９）
　次に、情報処理装置は、ステップＳ５０９において、ステップＳ５０８の検索結果として広告Ａが抽出できたか否かを判定する。
　すなわち、「ランク」がＲと等しく、かつ「予算残り」がＰ以上の値の広告Ａが抽出されたか否かを判定する。

　抽出された場合は、ステップＳ５１０に進み、抽出されなかった場合は、ステップＳ５１２に進む。

　　（ステップＳ５１０）
　ステップＳ５０９で、「ランク」がＲと等しく、かつ「予算残り」がＰ以上の値の広告Ａが抽出された場合、ステップＳ５１０に進む。
　情報処理装置はステップＳ５１０において、注視点位置推移ヒートマップリストＭ（ｋ）から選択した格子Ｌｍａｘと位置、大きさが同じ立方体Ｃを、コンテンツＤのＫｔからｔ秒間のパートに追加する。
　コンテンツＤは、ステップＳ５０１で生成したオリジナルコンテンツのコピーである。

　　（ステップＳ５１１）
　次に、情報処理装置は、ステップＳ５１１において、条件を満足する広告として抽出した広告ＡのＵＲＬを広告データベースから選択し、ＵＲＬを用いて広告データを取得する。
　さらに、取得した広告データを、ステップＳ５１０で、生成した立方体Ｃに貼り付けるテクスチャとしてコンテンツＤに設定する。
　また、広告Ａの「予算残り」からＰを引いた値が、新しい「予算残り」の値になるように、広告データベースを更新する。

　　（ステップＳ５１２）
　次に、情報処理装置は、ステップＳ５１２において、注視点位置推移ヒートマップリストＭ（ｋ）のリスト要素パラメータｋの更新処理を実行する。すなわち、
　ｋ＝ｋ＋１
　上記のパラメータ更新を実行して、ステップＳ５０４以下の処理を更新パラメータに基づいて実行する。

　ステップＳ５０４で、注視点位置推移ヒートマップリストＭ（ｋ）のリスト要素パラメータｋが、パラメータ最大値ｎより大きい、すなわち、
　ｋ＞ｎである場合は、処理終了と判断して処理を終了する。
　また、生成した「広告を埋め込んだコンテンツＤ」をコンテンツＤＢに保存して、オリジナルのコンテンツの代わりに配信できるようにする。

　　［２－（ｅ）．注目度に応じた画質制御を実行する実施例について］
　次に、注目度に応じた画質制御を実行する実施例について説明する。
　具体的には、視聴状況の解析結果に基づいて、例えば、エンコードビットレートを制御する。ヒートマップに基づいて、コンテンツ内にある注目度の高いオブジェクトのテクスチャをより高いビットレートでエンコードし、逆にコンテンツ内であまり注目されていないオブジェクトのテクスチャを低ビットレートでエンコードするといったエンコード制御を実行する。

　図２９は、本実施例を実行する情報処理システムの一構成例を示す図である。
　先に図１を参照して説明した情報処理システムと同様、自由視点映像配信サーバ３０は、自由視点映像コンテンツデータベース３１に格納された自由視点映像コンテンツを、ネットワーク３５を介して取得し、取得した自由視点映像コンテンツを、ネットワーク３６を介して、ユーザ（視聴者）側の情報処理装置（コンテンツ出力装置）７０に送信する。
　図２９では、先に説明した図１５と同様、視聴デバイス７０の例として、図１を参照して説明したと同様のＰＣ７１によるレンダリング画像を表示するＨＭＤ７２の組み合わせの他、ＰＣ７３、携帯端末（スマホ）７４を示している。

　図２９に示す情報処理システムにおいて、自由視点映像配信サーバ３０は、視聴者デバイス７０に対して、エンコード制御コンテンツ１３１を送信する。
　このエンコード制御コンテンツ１３１は、聴状況情報５２に基づいて生成された注視点位置ヒートマップ等に基づいて、コンテンツ内にある注目度の高いオブジェクトのテクスチャをより高いビットレートでエンコードし、逆にコンテンツ内であまり注目されていないオブジェクトのテクスチャを低ビットレートでエンコードするといったエンコード制御を実行して生成されたコンテンツである。

　なお、このようなコンテンツ領域単位のエンコード処理を実行するサーバが図２９に示すトランスコードサーバ１２１であり、この結果として得られるエンコードコンテンツを格納するデータベースが図２９に示すトランスコード済みコンテンツデータベース１２２である。
　トランスコードサーバ１２１は、自由視点映像コンテンツに対して生成された視聴状況情報に基づいて生成される注視点位置ヒートマップ等を利用して、注目度の高いコンテンツ領域や、注目度の低いコンテンツ領域を判別し、注目度の高いコンテンツ領域にあるオブジェクトのテクスチャのビットレートを高くなるような設定で再エンコードする。再エンコードしたコンテンツは、トランスコード済みコンテンツデータベース１２２に格納される。　

　自由視点映像配信サーバ３０は、視聴者デバイス７０に対して、トランスコード済みコンテンツデータベース１２２から取得したエンコード制御コンテンツ１３１を送信する。

　以下、図３０に示すフローチャートを参照して、情報処理装置としてのトランスコードサーバ１２１０が実行する自由視点映像コンテンツの再エンコード処理のシーケンスについて説明する。
　図３０に示すフローチャートの各ステップの処理について説明する。

　なお、図３０に示すフローは、先に図６を参照して説明した注視点位置ヒートマップが、ユーザ側に提供するコンテンツに対応する注視点位置ヒートマップとして生成済みであることを前提として実行される。
　また、トランスコードサーバ１２１０が実行する再エンコード対象とする自由視点映像コンテンツは、予めコンテンツ内の全空間で均一なビットレートでエンコード処理がなされているものとする。

　　（ステップＳ６０１）
　まず、情報処理装置（トランスコードサーバ１２１）は、ステップＳ６０１において、処理対象とするコンテンツ（自由視点映像コンテンツ）の全再生時刻対応（全フレーム対応）の注視点位置ヒートマップＨを取得する。
　注視点位置ヒートマップは、先に図６、図１２～図１４を参照して説明したヒートマップであり、コンテンツ中の注目度に応じたデータが表現されたヒートマップである。

　　（ステップＳ６０２）
　次に、情報処理装置は、ステップＳ６０２において、全再生時刻対応（全フレーム対応）の注視点位置ヒートマップＨの正規化処理を実行し、この正規化データをテクスチャ空間にマッピングした注視点マッピング情報Ｍを生成する。

　この注視点マッピング情報Ｍは、正規化後の注視点位置ヒートマップＨの三次元格子内に含まれるポリゴンの頂点データを取得し、そこからテクスチャ座標を参照することで求めることができる。
　なお、テクスチャは、例えば、コンテンツに含まれるオブジェクト単位、あるいは領域単位の画像に相当し、時系列で値が変化する。

　　（ステップＳ６０３）
　次に、情報処理装置は、ステップＳ６０３において、注視点マッピング情報Ｍに基づいて、テクスチャ領域の視聴割合ｐを求める。視聴割合ｐは、コンテンツの全体の視聴量（注視点数の総量）に対する格子単位の視聴割合（格子内の注視点数）に相当する。
　なお、視聴ログがない場合は、全テクスチャでｐを同値なものと想定する処理を行ってもよい。

　　（ステップＳ６０４）
　次に、情報処理装置は、ステップＳ６０４において、テクスチャ領域の視聴割合ｐに基づいて、コンテンツ構成全フレームにおける各テクスチャの視聴確率Ｐを算出する。
　視聴確率Ｐは、全再生時刻のｐを積算し、再生時刻のサンプリング数で割ることで算出することができる。

　　（ステップＳ６０５）
　次に、情報処理装置は、ステップＳ６０５において、予め規定した目標となる総ビットレートＢと、各テクスチャの視聴確率Ｐに応じて各テクスチャのエンコードに適用するビットレートを決定する。
　各テクスチャのビットレートは単純にＢ×Ｐで求めても良いが、極端な画質低下を防止するため、下限を設ける設定が望ましい。

　　（ステップＳ６０６）
　次に、情報処理装置は、ステップＳ６０６において、コンテンツに含まれる全テクスチャを、ステップＳ６０５で決定したテクスチャ単位のビットレートに従って、再エンコード処理を実行し、トランスコード済みコンテンツデータベース１２２に保存する。

　　（ステップＳ６０７）
　次に、情報処理装置は、ステップＳ６０７において、コンテンツ対応のテクスチャ単位のビットレートを記録した有効ビットレートリストのリストを更新する。
　なお、この有効ビットレートリストはコンテンツとともにトランスコード済みコンテンツデータベース１２２に保存する。

　自由視点映像配信サーバ３０は、視聴者デバイス７０に対して、トランスコード済みコンテンツデータベース１２２から取得したエンコード制御コンテンツ１３１を送信する。なお、この際、コンテンツのメタデータとして、上記の有効ビットレートリストも送信する。

　この処理によって、注目度の高い領域のみ高画質データとなり、注目度の低い領域は低画質となる画像コンテンツがネットワークを介して視聴デバイスに送信されることになる。結果としてデータ伝送効率が高まり、ネットワーク遅延によるコンテンツの再生遅延を防止することが可能となる。
　なお、上記処理においては、テクスチャのビットレートを変更する例について説明したが、ビットレートの変更対象はテクスチャに限らず、モデルデータ等であってもよい。

　次にクライアント側である視聴デバイス７０において実行するコンテンツ出力処理のシーケンスについて、図３１に示すフローチャートを参照して説明する。

　図３１に示すフローは、視聴デバイス７０側においてコンテンツのレンダリングを実行する情報処理装置において実行される。
　情報処理装置において起動された再生アプリがフレーム毎に描画する処理を行う。
　コンテンツが６０ｆｐｓでレンダリングされる場合、ユーザによりコンテンツ再生が停止されるか、コンテンツ再生が終了する（最終フレームが描画される）まで、１／６０秒ごとに、図３１に示すフローのステップを繰り返し実行する。

　　（ステップＳ６２１）
　まず、情報処理装置は、ステップＳ６２１において、ビットレート変更要求が入力されたか否かを判定する。
　ビットレート変更要求が入力された場合は、ステップＳ６２２に進み、入力されていない場合はステップＳ６２３に進む。
　なお、コンテンツのテクスチャ単位のビットレートが記録された有効ビットレートリストはコンテンツとともにメタデータとして取得される。

　　（ステップＳ６２２）
　ビットレート変更要求が入力された場合は、情報処理装置は、ステップＳ６２２において、変更要求のビットレートに応じた画像フレームを取得するためコンテンツ取得先を変更する。ビットレートのリスト同様、コンテンツのＵＲＬもメタデータとして取得できているものとする。

　　（ステップＳ６２３）
　次に、情報処理装置は、ステップＳ６２３において、再生用のフレームを取得する。

　　（ステップＳ６２４）
　次に、情報処理装置は、ステップＳ６２４において、ステップＳ６２３で取得したフレームのコンテンツをレンダリングする。

　これらの処理によって、クライアント側の視聴デバイスは、ユーザ（視聴者）の要求に応じた画質のコンテンツを表示することが可能となる。

　　［２－（ｆ）．視聴状況の解析結果に基づく課金処理を実行する実施例について］
　次に、視聴状況の解析結果に基づく課金処理を実行する実施例について説明する。
　具体的には、例えば注視点位置ヒートマップに基づいて画像領域単位の視聴率を算出し、視聴率の高い人気のある画像領域の再生には高額な課金を行い、逆に人気のない画像領域の再生は低額課金とする。コンテンツの視聴料金の設定を自動化することを可能とした実施例である。

　例えば、視点位置と注視点位置（またはＦｏＶ中心の領域）の人気度・注目度をヒートマップから取得し、取得データと視聴者のフレーム毎の視聴状況情報から視聴料金を計算して課金する。
　図３２には、以下の各図を示している。
　（１）視点位置人気度対応単価設定データ
　（２）注視点（またはＦｏＶ中心）注目度対応単価設定データ

　（１）視点位置人気度対応単価設定データは、コンテンツＩＤと、視点位置の人気度と、単価との対応データである。
　視点位置の人気度は、視聴状況情報から生成される視点位置ヒートマップに基づいて算出される。

　（２）注視点（またはＦｏＶ中心）注目度対応単価設定データは、コンテンツＩＤと、注視点（またはＦｏＶ中心）の注目度と、単価との対応データである。
　注視点（またはＦｏＶ中心）の注目度は、視聴状況情報から生成される注視点位置ヒートマップに基づいて算出される。

　これらの単価設定データと、コンテンツのフレームレート（６０ｆｐｓ／３０ｆｐｓなど）からフレーム毎の視聴課金額を計算する。例えば３０ｆｐｓのコンテンツで、ある時刻に視点位置が人気度０．４、注視点の注目度０．７であれば、その時刻のフレームの視聴料金は（０．１＋１）／３０＝０．０３７円として計算できる（最終桁を四捨五入）。このように各フレームの視聴料金の総和を求めることで、コンテンツ全体の視聴の課金ができる。

　図３３は、視聴状況の解析結果に基づく課金処理を実行する情報処理システムの一構成例を示す図である。
　先に図１を参照して説明した情報処理システムと同様、自由視点映像配信サーバ３０は、自由視点映像コンテンツデータベース３１に格納された自由視点映像コンテンツを、ネットワーク３５を介して取得し、取得した自由視点映像コンテンツを、ネットワーク３６を介して、ユーザ（視聴者）側の情報処理装置（コンテンツ出力装置）７０に送信する。
　図３３では、先に説明した図１５と同様、視聴デバイス７０の例として、図１を参照して説明したと同様のＰＣ７１によるレンダリング画像を表示するＨＭＤ７２の組み合わせの他、ＰＣ７３、携帯端末（スマホ）７４を示している。

　図３３に示す情報処理システムにおいて、課金情報データベース１４１には、先に図３２を参照して説明した以下のデータが格納されている。
　（１）視点位置人気度対応単価設定データ
　（２）注視点（またはＦｏＶ中心）注目度対応単価設定データ

　自由視点映像配信サーバ３０は、課金情報データベース１４１に格納されたこれらのデータに基づいて、各ユーザ（視聴者）に対する課金処理を実行する。

　以下、図３４に示すフローチャートを参照して、情報処理装置としての自由視点配信サーバ３０が実行するコンテンツ視聴料金の算出シーケンスについて説明する。
　図３４に示すフローチャートの各ステップの処理について説明する。

　　（ステップＳ７０１）
　まず、情報処理装置（自由視点映像配信サーバ３０）は、ステップＳ７０１において、「視聴料金Ｓ」をリセットする。
　「視聴料金Ｓ」は、処理対象となる指定のコンテンツに対する、処理対象となる指定ユーザ（視聴者）の視聴料金を計算するための変数である。
　情報処理装置は、ステップＳ７０１において、「視聴料金Ｓ」をリセットし、Ｓ＝０、すなわち視聴料金＝０に設定する。

　　（ステップＳ７０２）
　次に、情報処理装置は、ステップＳ７０２において、処理対象となる指定のコンテンツのコンテンツＩＤ、処理対象となる指定ユーザ（視聴者）の視聴者ＩＤにマッチする視聴状況情報リストＬ（ｋ）をすべて取得する。
　ｋは、視聴状況情報リストＬ（ｋ）のリスト要素を識別するリスト要素識別パラメータであり、ｋ＝０，１，２，・・・，ｎである。

　　（ステップＳ７０３）
　次に、情報処理装置は、ステップＳ７０３において、リスト要素識別パラメータのの初期化処理を実行する。
　ｋ＝０
　に設定する。

　　（ステップＳ７０４）
　次に、情報処理装置は、ステップＳ７０４において、リスト要素識別パラメータｋが最大値ｎより大きいか否かを判定する。
　ｋ＞ｎである場合は、コンテンツ視聴料金の算出処理終了と判断して処理を終了する。
　ｋ＞ｎでない場合は、コンテンツ視聴料金の算出処理が終了していないと判断してステップＳ７０５に進む。

　　（ステップＳ７０５）
　次に、情報処理装置は、ステップＳ７０５において、視聴状況情報リストＬ（ｋ）の視聴料金算出時刻にマッチする指定コンテンツの視点位置（頭部位置）ヒートマップＭｐと、注視点位置ヒートマップＭｑを取得する。

　　（ステップＳ７０６）
　次に、情報処理装置は、ステップＳ７０６において、視聴状況情報リストＬ（ｋ）の頭部位置（視点位置）座標Ｐに対応する視点位置（頭部位置）ヒートマップＭｐの格子Ｌｐを求め、その視点位置対応の人気度Ｒｐを取得する。

　　（ステップＳ７０７）
　次に、情報処理装置は、ステップＳ７０７において、視点位置人気度データに基づいて、人気度Ｒｐ対応の単価Ｖｐを取得する。単価は１秒当たりの価格とする。
　この処理は、先に図３２（１）を参照して説明した
　（１）視点位置人気度対応単価設定データ
　上記データを利用した単価算出処理である。

　　（ステップＳ７０８）
　次に、情報処理装置は、ステップＳ７０８において、視聴料金Ｓを更新する。
　具縦的には、以下の算出式によって視聴料金を算出する。
　Ｓ＝Ｓ＋Ｖｐ／（フレームレート）
　この算出値Ｓを、更新後の新たな視聴料金Ｓとする。

　　（ステップＳ７０９）
　次に、情報処理装置は、ステップＳ７０９において、視聴状況情報リストＬ（ｋ）の頭部位置座標Ｐと視線方向から、注視点位置Ｑを算出する。
　この注視点位置算出処理は、先に図５を参照して説明した処理に相当する。

　　（ステップＳ７１０）
　次に、情報処理装置は、ステップＳ７１０において、コンテンツ内に注視点位置Ｑが存在するか否かを判定する。
　存在する場合は、ステップＳ７１１に進み、存在しない場合は、ステップＳ７１４に進む。

　　（ステップＳ７１１）
　ステップＳ７１０において、コンテンツ内に注視点位置Ｑが存在すると判定されると、次に、情報処理装置は、ステップＳ７１１において、注視点位置Ｑに対応する注視点位置ヒートマップＭｑの格子Ｌｑを取得し、その注視点の人気度Ｒｑを取得する。

　　（ステップＳ７１２）
　次に、情報処理装置は、ステップＳ７１２において、注視点（またはＦｏＶ中心）注目度対応単価設定データに基づいて、人気度Ｒｑ対応の単価Ｖｑを取得する。単価は１秒当たりの価格とする。
　この処理は、先に図３２（２）を参照して説明した
　（１）注視点（またはＦｏＶ中心）注目度対応単価設定データ
　上記データを利用した単価算出処理である。

　　（ステップＳ７１３）
　次に、情報処理装置は、ステップＳ７１３において、視聴料金Ｓを更新する。
　具縦的には、以下の算出式によって視聴料金を算出する。
　Ｓ＝Ｓ＋Ｖｑ／（フレームレート）
　この算出値Ｓを、更新後の新たな視聴料金Ｓとする。

　　（ステップＳ７１４）
　次に、情報処理装置は、ステップＳ７１４において、視聴状況情報リストＬ（ｋ）のリスト要素パラメータｋの更新処理を実行する。すなわち、
　ｋ＝ｋ＋１
　上記のパラメータ更新を実行して、ステップＳ７０４以下の処理を更新パラメータに基づいて実行する。

　ステップＳ７０４で、視聴状況情報リストＬ（ｋ）のリスト要素パラメータｋが、パラメータ最大値ｎより大きい、すなわち、
　ｋ＞ｎである場合は、処理終了と判断して処理を終了する。

　　［２－（ｇ）．コンサートや映画などの観客の注目領域を解析する実施例について］
　次に、コンサートや映画などの観客の注目領域を解析する実施例について説明する。
　この実施例は、具体的には、例えば、コンサートや映画などの観客に、視線検出用の器具（ＨＭＤなど）を装着させ、観客の視線情報等を取得して解析する実施例である。

　図３５に示すように、例えば、コンサートや映画などの観客１５０に、視線検出用の器具（ＨＭＤなど）である視線トラッキングデバイス１５１を装着させ、この視線トラッキングデバイス１５１からの出力に基づいて、視線解析装置１５２が、観客１５０の視線位置（頭部位置）、視線方向情報等からなる視聴状況情報を生成する。
　すなわち、先に図３を参照して説明したデータを有する視聴状況情報を生成する。

　視線解析装置１５２が生成した視聴状況情報５２は、視聴情報収集サーバ４０に送信される。
　視聴情報収集サーバ４０は、収集した視聴状況情報を、ネットワーク３５を介して接続された視聴情報記録データベース４１に格納する。

　コンテンツ配信サーバ３０は、この視聴情報記録データベース４１に格納された視聴状況情報に基づいて、前述した頭部位置（視点位置）ヒートマップや注視点位置ヒートマップを生成することが可能となる。
　さらに、これらのヒートマップを利用することで、前述の（Ａ）～（Ｆ）の各実施例に従った処理を行うことができる。

　なお、図３５に示す構成では、視線解析装置１５２が視聴状況情報５２を生成する設定としているが、視線トラッキングデバイス１５１からの出力を、直接、視線情報収集サーバ４０に送信して、視線情報収集サーバ４０において、視聴状況情報５２を生成する構成としてもよい。

　さらに、コンサートなど観客や聴衆が記録されている自由視点映像では、そのコンテンツ内の人の視線を検出してヒートマップを算出することにより、そのコンテンツを直接視聴している視聴者の視線情報が取得できなくても上記と同様の処理を実現することが可能である。この場合、コンテンツ内部の視聴者の解析を実行して視聴状況情報を生成する。

　　［３．情報処理装置のハードウェア構成例について］
　次に、上述した実施例に従った処理を実行する各サーバ、およびクライアント側のＰＣや、視聴デバイス等を構成する情報処理装置、およびサーバのハードウェア構成の一構成例について、図３６を参照して説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。

　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　なお、データの符号化あるいは復号は、データ処理部としてのＣＰＵ３０１の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。

　　［４．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成するデータ処理部を有する情報処理装置。

　（２）　前記データ処理部は、さらに、
　前記複数ユーザのコンテンツの注視点位置情報を取得し、
　ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを生成する（１）に記載の情報処理装置。

　（３）　前記データ処理部は、
　コンテンツを視聴するユーザの視線方向と、コンテンツ内の表示オブジェクトの交点を注視点位置として算出して、前記注視点位置ヒートマップを生成する（２）に記載の情報処理装置。

　（４）　前記コンテンツは視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツであり、
　前記データ処理部は、視聴デバイスに設けられたセンサ出力に基づいて前記視点位置情報を含む視点状況情報を取得する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記視点状況情報は、
　コンテンツを視聴するユーザ単位の少なくとも視点位置と視線方向を時系列データとして記録した情報である（４）に記載の情報処理装置。

　（６）　前記視点位置は、ユーザの頭部位置である（５）に記載の情報処理装置。

　（７）　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　分布率の高い視点位置、または注視点位置を含む推奨視点情報を生成する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記データ処理部は、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツとともに、前記推奨視点情報をコンテンツ視聴側のクライアントに送信する（７）に記載の情報処理装置。

　（９）　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　コンテンツのシーン転換点情報を生成する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記データ処理部は、
　前記視点位置ヒートマップ、または注視点位置ヒートマップの時系列データにおいて、変化量の大きい変換点をシーン転換点と推定して、前記シーン転換点情報を生成する（９）に記載の情報処理装置。

　（１１）　前記データ処理部は、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツとともに、前記シーン転換点情報をコンテンツ視聴側のクライアントに送信する（９）または（１０）に記載の情報処理装置。

　（１２）　前記データ処理部は、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを利用して、コンテンツ領域対応の広告料金を設定し、設定した広告料金に従った広告出力制御を実行する（１）～（１１）いずれかに記載の情報処理装置。

　（１３）　前記データ処理部は、
　前記注視点位置ヒートマップに基づいて、注視点分布率の高いコンテンツ領域の広告料金を高くした広告ランク規定情報を生成し、
　生成した広告ランク規定情報を利用して、広告出力制御を実行する（１２）に記載の情報処理装置。

　（１４）　前記データ処理部は、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを利用して、コンテンツ領域対応のエンコード制御を実行して生成したエンコード制御コンテンツを、コンテンツ視聴側のクライアントに送信する（１）～（１３）いずれかに記載の情報処理装置。

　（１５）　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　コンテンツ領域単位の課金処理を実行する（１）～（１４）いずれかに記載の情報処理装置。

　（１６）　サーバとクライアントを有する情報処理システムであり、
　前記サーバは、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツを前記クライアントに送信し、
　前記クライアントは、
　コンテンツを視聴するユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信し、
　サーバは、複数のクライアントから視聴状況情報を受信し、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを生成する情報処理システム。

　（１７）　前記サーバは、
　コンテンツを視聴するユーザの視線方向と、コンテンツ内の表示オブジェクトの交点を注視点位置として算出して、前記注視点位置ヒートマップを生成する（１６）に記載の情報処理システム。

　（１８）　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツをサーバから受信して表示する処理を実行し、さらに、
　前記自由視点映像コンテンツを視聴するユーザの視点位置と視線方向の時系列データを含む視聴状況情報を生成してサーバに送信する情報処理装置。

　（１９）　情報処理装置において、情報処理を実行する情報処理方法であり、
　前記情報処理装置のデータ処理部が、
　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する情報処理方法。

　（２０）　情報処理装置において、情報処理を実行させるプログラムであり、
　前記情報処理装置のデータ処理部に、
　コンテンツを視聴する複数ユーザの視点位置情報を取得する処理と、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成し、ヒートマップを利用したコンテンツや広告の配信制御を可能とする構成が実現される。
　具体的には、例えば、サーバは、視点位置や視線方向に応じた映像を観察可能とした自由視点映像コンテンツをクライアントに送信する。クライアントはコンテンツ視聴ユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信する。サーバは、複数クライアントから視聴状況情報を受信し、視聴ユーザの視点位置分布状況を示す視点位置ヒートマップと、視聴ユーザの注視点位置分布状況を示す注視点位置ヒートマップを生成する。さらに、ヒートマップに応じたコンテンツの配信制御、広告の配信制御等を実行する。
　本構成により、コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成し、ヒートマップを利用したコンテンツや広告の配信制御を可能とする構成が実現される。

　　１０　ユーザ（視聴者）
　　２０　視聴デバイス
　　２１　ＰＣ
　　３０　自由視点映像配信サーバ
　　３１　自由視点映像コンテンツデータベース
　　４０　視聴情報収集サーバ
　　４１　視聴情報記録データベース
　　５１　コンテンツ（自由視点映像コンテンツ）
　　５２　視聴状況情報
　　５６　表示オブジェクト
　　５７　視聴者視線方向
　　５８　注視点
　　６１　推奨視点情報
　　７０　視聴デバイス
　　７１　ＰＣ
　　７２　ＨＭＤ
　　７３　ＰＣ
　　７４　携帯端末（スマホ）
　　８１　シーン転換点情報
　１０１　広告データベース
　１０２　広告埋め込みコンテンツ
　１２１　トランスコードサーバ
　１２２　トランスコード済みコンテンツデータベース
　１３１　エンコード制御コンテンツ
　１４１　課金情報データベース
　１５１　視線トラッキングデバイス
　１５２　視線解析装置
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims

　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成するデータ処理部を有する情報処理装置。
　前記データ処理部は、さらに、
　前記複数ユーザのコンテンツの注視点位置情報を取得し、
　ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを生成する請求項１に記載の情報処理装置。
　前記データ処理部は、
　コンテンツを視聴するユーザの視線方向と、コンテンツ内の表示オブジェクトの交点を注視点位置として算出して、前記注視点位置ヒートマップを生成する請求項２に記載の情報処理装置。
　前記コンテンツは視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツであり、
　前記データ処理部は、視聴デバイスに設けられたセンサ出力に基づいて前記視点位置情報を含む視点状況情報を取得する請求項１に記載の情報処理装置。
　前記視点状況情報は、
　コンテンツを視聴するユーザ単位の少なくとも視点位置と視線方向を時系列データとして記録した情報である請求項４に記載の情報処理装置。
　前記視点位置は、ユーザの頭部位置である請求項５に記載の情報処理装置。
　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　分布率の高い視点位置、または注視点位置を含む推奨視点情報を生成する請求項１に記載の情報処理装置。
　前記データ処理部は、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツとともに、前記推奨視点情報をコンテンツ視聴側のクライアントに送信する請求項７に記載の情報処理装置。
　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　コンテンツのシーン転換点情報を生成する請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記視点位置ヒートマップ、または注視点位置ヒートマップの時系列データにおいて、変化量の大きい変換点をシーン転換点と推定して、前記シーン転換点情報を生成する請求項９に記載の情報処理装置。
　前記データ処理部は、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツとともに、前記シーン転換点情報をコンテンツ視聴側のクライアントに送信する請求項９に記載の情報処理装置。
　前記データ処理部は、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを利用して、コンテンツ領域対応の広告料金を設定し、設定した広告料金に従った広告出力制御を実行する請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記注視点位置ヒートマップに基づいて、注視点分布率の高いコンテンツ領域の広告料金を高くした広告ランク規定情報を生成し、
　生成した広告ランク規定情報を利用して、広告出力制御を実行する請求項１２に記載の情報処理装置。
　前記データ処理部は、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップを利用して、コンテンツ領域対応のエンコード制御を実行して生成したエンコード制御コンテンツを、コンテンツ視聴側のクライアントに送信する請求項１に記載の情報処理装置。
　前記データ処理部は、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを利用して、
　コンテンツ領域単位の課金処理を実行する請求項１に記載の情報処理装置。
　サーバとクライアントを有する情報処理システムであり、
　前記サーバは、
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツを前記クライアントに送信し、
　前記クライアントは、
　コンテンツを視聴するユーザの視点位置と視線方向の時系列データを有する視聴状況情報を生成してサーバに送信し、
　サーバは、複数のクライアントから視聴状況情報を受信し、
　コンテンツ視聴ユーザの視点位置の分布状況を示す視点位置ヒートマップ、または、
　コンテンツ視聴ユーザの注視点位置の分布状況を示す注視点位置ヒートマップ、
　の少なくともいずれかのヒートマップを生成する情報処理システム。
　前記サーバは、
　コンテンツを視聴するユーザの視線方向と、コンテンツ内の表示オブジェクトの交点を注視点位置として算出して、前記注視点位置ヒートマップを生成する請求項１６に記載の情報処理システム。
　視点位置、または視線方向の少なくともいずれかに応じた映像を観察可能とした自由視点映像コンテンツをサーバから受信して表示する処理を実行し、さらに、
　前記自由視点映像コンテンツを視聴するユーザの視点位置と視線方向の時系列データを含む視聴状況情報を生成してサーバに送信する情報処理装置。
　情報処理装置において、情報処理を実行する情報処理方法であり、
　前記情報処理装置のデータ処理部が、
　コンテンツを視聴する複数ユーザの視点位置情報を取得し、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する情報処理方法。
　情報処理装置において、情報処理を実行させるプログラムであり、
　前記情報処理装置のデータ処理部に、
　コンテンツを視聴する複数ユーザの視点位置情報を取得する処理と、
　ユーザの視点位置の分布状況を示す視点位置ヒートマップを生成する処理を実行させるプログラム。