JP5923021B2 - 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム - Google Patents

Description

本発明は、映像を視聴した履歴情報を解析する映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラムに関する。

昨今、配信技術やネットワーク技術の高度化により、一般家庭や公衆の場において大容量かつ、双方向の通信サービスが可能となり、インタラクティブな映像サービスが注目されている。中でも、コンテンツ提供者が予め高精細なカメラ（４Ｋ２Ｋカメラ等）や複数のカメラを用い、広視野・広画角、かつ通常のＨＤ画質以上の映像情報をもった高精細・高品質な映像（パノラマ映像）を撮影し、視聴者であるユーザは通常の視聴端末でパノラマ映像の所望の場所を選択して（所望の視聴位置・画角・フレーム位置を選択して）高画質に視聴するような技術が考案されている（例えば、非特許文献１参照）。

このような技術を用いると、一つのコンテンツソースに対し、ユーザ毎に異なった見方をすることができるようになる上、ユーザの視聴した映像上の２次元位置や画角、その時の再生時刻または映像フレーム情報（視聴記録と呼ぶ）をテキストログとして少なくとも記録しておき、元のコンテンツソースをその視聴記録を元に再現することで、そのユーザの視聴体験を再現することができる。また、複数ユーザの同様の視聴記録を集合知として解析・利用し、より多くのユーザに視聴された位置・画角の見方を生成するような方法も提案されている（例えば、非特許文献２参照）。

H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, "Interactive Panorama Video Distribution System," Proceedings of Telecom World 2011 Technical Symposium at ITU, pp.45-50, 2011. Axel Carlier, Vincent Charvillat, Wei Tsang Ooi, Romulus Grigoras, and Geraldine Morin, "Crowdsourced Automatic Zoom and Scroll for Video Retargeting," ACM Multimedia 2010, pp. 201-210, 2010.

しかしながら、パノラマ映像等の一部分をユーザが任意に選んで視聴する視聴形態において、非特許文献１、２に記載の技術では、他ユーザの興味をより引いた映像（より一般的な視聴領域）が、現在ユーザが視聴している２次元位置から離れた位置にあり、ユーザがその部分を視聴したいと思った場合、ユーザが視聴位置の移動操作を、時間をかけて行っている間に他ユーザが興味を引いた映像内容を見逃してしまうという問題がある。また、非特許文献１に記載の技術では、初めてコンテンツを視聴するユーザ（コンテンツに表示される映像内容について事前知識のないユーザ）が、視聴位置を一意に選択できないという問題もある。

本発明は、このような事情に鑑みてなされたもので、複数他者の視聴履歴から解析された視聴頻度の高い視聴領域を素早く、少ない操作で選択して映像を視聴することができる映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラムを提供することを目的とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出手段と、前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出手段によって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示手段とを備えることを特徴とする。

本発明は、前記提示手段は、前記画面の移動方向を検知し、検知した方向において前記視聴頻度の高い画面位置情報と画面画角情報とを提示することを特徴とする。

本発明は、前記提示手段は、前記映像を視聴している際に行われた画面操作を検知し、検知した画面操作と、前記視聴履歴情報記憶手段に記憶されている過去に行われた画面操作とが似ている画面操作の結果として視聴された画面位置情報と画面画角情報とを提示することを特徴とする。

本発明は、前記提示手段は、前記視聴履歴情報記憶手段に記憶されている過去に視聴された画面を特定する情報を重みづけ平均して得られた画面を特定する情報を提示することを特徴とする。

本発明は、前記視聴頻度算出手段は、前記視聴履歴情報記憶手段に記憶されている複数の前記視聴履歴情報のうち、所定の属性を有する前記視聴履歴情報のみを入力し、前記視聴頻度を算出することを特徴とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出ステップと、前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出ステップによって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示ステップとを有することを特徴とする。

本発明は、コンピュータを、前記映像視聴履歴解析装置として機能させるための映像視聴履歴解析プログラムである。

本発明によれば、複数他者の視聴履歴から解析された視聴頻度の高い視聴領域を素早く、少ない操作で選択して映像を視聴することができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 視聴記録のフォーマットを示す図である。 視聴記録の各情報の意味を示す模式図である。 図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。 図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を示す説明図である。 図１に示す視聴記録解析部３１が、複数視聴記録から視聴頻度の解析を行う処理を示す説明図である。 ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。 解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。 視聴領域がどの方向に動いたかを示す情報を示す説明図である。 他ユーザの視聴頻度の高い領域の中心座標の探索範囲を示す説明図である。 図１に示す視聴記録解析部３１が行う処理動作を示す説明図である。 視聴記録解析記憶部３２に保存した中心座標と方向の情報を示す説明図である。 視聴領域移動操作を示す説明図である。 解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする例を示す説明図である。 解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる例を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像視聴履歴解析システムを説明する。以下の説明においては、使用するコンテンツソースはより広視野、広画角な映像情報を持ったパノラマ映像ストリームであるものとする。ただし、扱うコンテンツソースは必ずしもパノラマ映像ストリームである必要はなく、通常のビデオカメラで撮影された、一般的なテレビと同等の画角（例えば１６：９や４：３の画角）を持ったコンテンツソースや、魚眼レンズ等を搭載した全周囲ビデオカメラで撮影された全周囲映像ソース、複数台のカメラで撮影された映像を並べてつなぎ合わせた映像ソース、カメラで連続撮影された画像を映像化したもの等、動画の種類は問わない。

図１は同実施形態の構成を示すブロック図である。この映像視聴履歴解析システムは、ユーザが要求するパノラマ映像ストリームの一部分の領域を視聴でき、さらに視聴した領域の情報を保存することができる。図１に示す映像視聴履歴解析システムは、配信サーバ１０、入力視聴クライアント２０、解析サーバ３０が互いに情報通信可能に構成されている。図１において、符号１１は、パノラマ映像ストリームが保存されたコンテンツ保存部である。符号１２は、コンテンツの配信を行うコンテンツ配信部である。符号１３は、ユーザの視聴記録（視聴履歴情報）を保存する視聴記録保存部である。符号１４は、ユーザの視聴記録に予め決められた補正を行う視聴記録補正部である。符号１５は、視聴記録を管理する視聴記録管理データベース（ＤＢ）である。

符号２１は、コンテンツ出力部であり、表示装置から構成する。符号２２は、コンテンツ出力部２１から出力する出力画面を描画する出力画面描画部である。符号２３は、実際にユーザの要求する視聴領域をデコードして出力画面描画部２２へ出力するコンテンツデコード部である。符号２４は、要求する視聴領域に関するユーザ入力情報を受け付ける入力受信部である。符号２５は、入力受信部２４が受け取ったユーザ入力情報に応じて、配信サーバ１０からのパノラマ映像ストリームの中のデコード領域を決めるデコード領域決定部である。符号２６は、入力受信部２４が受け取ったユーザ入力情報を保存するか否かを決定する視聴記録保存決定部である。

符号２７は、ユーザ１０が入力操作を理解するために必要な描画（たとえばボタンの押下やメニュー画面表示操作など）を決定するユーザインタフェース決定部である。符号２８は、視聴記録保存決定部２６によって保存しておくことが決定した場合に、入力受信部２４が受け取ったユーザ入力情報を一時的にキャッシュ保存しておく視聴記録一時記憶部である。符号２９は、ユーザが入力操作を行う入力デバイスである。ユーザ入力情報とは、視聴したいパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報のことである。このユーザ入力情報に基づき、視聴したパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報を一定時間記録したものを視聴記録と呼ぶ。

符号３１は、複数視聴記録からの視聴頻度の解析する視聴記録解析部である。符号３２は、視聴記録を解析するために、読み出した視聴記録を記憶する視聴記録解析記憶部である。視聴記録保存部１３に保存された視聴記録に必要な解析を施すことが可能な解析サーバ３０により解析された結果を用いて、視聴記録管理ＤＢ１５や視聴記録保存部１３に保存された視聴記録そのものに情報追加や修正を行うことが可能となる。なお、解析のタイミングはサーバのプログラム定期実行や視聴記録が保存された際に解析プログラムが実行されるように設定するなど、そのタイミングは問わない。以下に説明する複数の視聴記録からの視聴頻度の解析、複数の視聴記録からの一つの共同作品の制作は視聴記録解析部３１で解析され、新たな視聴記録として視聴記録保存部１３に保存され、視聴記録管理ＤＢ１５０によって管理されるものである。

なお、コンテンツ保存部１１に保存されたパノラマ映像ストリームは、例えば複数のカメラを用いて撮影された広画角・広視野な映像や、４Ｋ２Ｋカメラを用いて高精細に記録された映像、魚眼レンズ・魚眼カメラを用いてカメラの周囲を撮影したもの等が適用できる。また、その保存方法および配信方法は、例えば、Ｈ．２６４やＭＰＥＧ−２などの符号化技術で圧縮されたもののＶＯＤ視聴による配信等が適用できる。

図１に示すシステム構成では、便宜的に配信サーバ１０と入力視聴クライアント２０、解析サーバ３０を同じ図面上に記載したが、それぞれが設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていても構わないし、配信サーバ１０が複数あり、入力視聴クライアント２０を視聴するユーザが接続する配信サーバを選択してもかまわない。また、解析サーバ３０と配信サーバ１０は一体となっていてもかまわない。さらに解析サーバ３０が複数存在し、分散処理等を行ってもかまわない。また、入力視聴クライアント２０とそれを視聴するユーザの組は複数あってもかまわない。また、配信サーバ１０内にコンテンツ保存部１１、コンテンツ配信部１２、視聴記録保存部１３、視聴記録補正部１４は便宜的に一つの配信サーバ１０内に収めたが、コンテンツ配信部１２およびコンテンツ保存部１１と視聴記録補正部１４および、視聴記録保存部１３が別のサーバ筐体、ＰＣ筐体内にあってもよい。また、コンテンツ配信部１２、コンテンツ保存部１１、視聴記録補正部１４、視聴記録保存部１３それぞれが別々の筐体、ＰＣ内、およびＮＡＳ（Network Attached Storage）などを利用し、コンテンツ保存部１１や視聴記録保存部１３が有線・無線に関わらずネットワークに接続され、各機能・保存部間でネットワークを介したデータのやり取りが行われていてもよく、コンテンツ配信部１２、視聴記録補正部１４の各機能部、コンテンツ保存部１１、視聴記録保存部１３の保存領域の実装形態は問わない。

本実施形態では、特に断りのない限り、入力デバイス２９とコンテンツ出力部２１が一体となっている入力視聴クライアント２０であって、さらにデコード領域決定部２５やコンテンツデコード部２３、出力画面描画部２２のような演算を必要とする処理が行える端末として、例えばタッチパネル付のスマートフォンやタブレット端末を用いるが、一般的なＰＣに前記演算処理をさせ、入力装置として、一般的なコントローラやゲームパッド、キーボード等を入力デバイス２９として用い、かつ、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置をコンテンツ出力部２１として用いるようにしてもよい。

ここで、記録される視聴記録について説明する。図２は、視聴記録のフォーマットを示す図である。視聴記録は、コンテンツソースのＵＲＬ２００と、ユーザがユーザインタフェース上で視聴記録を選択する際に表示される視聴記録の名称である視聴記録名２１０と、視聴記録の長さ２２０と、コンテンツソースのピクセルサイズ（横×縦）２３０と、ユーザが視聴した視聴位置２５０とからなる。視聴位置２５０は、それぞれフレーム番号、視聴位置の左上の点のｘ座標、視聴位置の左上の点のｙ座標、視聴画角の比率からなる。
視聴画角の比率とは、視聴した端末の表示領域（１２８０×７２０）の対角線の長さを１０００００としたときの視聴領域の対角線の長さを数値で表したものである。図３に視聴記録の各情報の意味を示す模式図を示す。なお、視聴記録は本実施形態が実施可能な情報が含まれていれば、今回示したものには限らない。

次に、図４を参照して、図１に示す映像視聴履歴解析システムを用い、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を説明する。図４は、図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。

まず、入力デバイス２９により、ユーザの視聴領域決定・入力する（ステップＳ２１）。これを受けて、入力受信部は、入力デバイス２９から入力された視聴領域決定情報を受信する（ステップＳ２２）。そして、視聴記録を保存する処理が行われているか否かを判定し（ステップＳ２３）、行われていなければ、デコード領域決定部２５は、ユーザが入力した情報に基づきデコード領域を決定し、配信サーバ１０へ視聴領域として要求する（ステップＳ２４）。

次に、コンテンツ配信部１２は、要求された視聴領域をコンテンツ保存部１１から読み出して配信する（ステップＳ２５）。これを受けて、コンテンツデコード部２３は、配信された視聴領域をデコードする（ステップＳ２６）。また、その他必要なユーザインタフェース（ＵＩ）パーツの描画内容を決定する（ステップＳ２７）。

次に、コンテンツデコード部２３は、デコードされた視聴領域とその他必要なユーザインタフェース（ＵＩ）パーツを出力画面描画部２２へ引き渡し、これを受けて、出力画面描画部２２は、描画処理を行い、コンテンツ出力部２１に映像を表示する（ステップＳ２８）。ユーザは、コンテンツ出力部２１に表示された視聴領域を視聴し（ステップＳ２９）、ステップＳ２１に戻って処理を繰り返す。

次に、視聴記録を保存する処理が行われている場合、視聴記録保存決定部２６は、入力受信部２４で受信した情報を視聴記録一時記憶部２８に保存する（ステップＳ３０）。そして、視聴終了処理が行われたか否かを判定し（ステップＳ３１）、終了処理が行われていなければ、ステップＳ２４へ移行し処理を繰り返す。

一方、視聴終了処理が行われた場合、視聴記録一時記憶部２８に保存された視聴記録を視聴記録保存部１３に保存する（ステップＳ３２）。そして、視聴記録管理ＤＢ１５に視聴記録管理情報を記録する（ステップＳ３３）。

このように、図１に示したシステムを用い、要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存することができる。なお、視聴記録を保存するか否かの判定（ステップＳ２３）によって条件分岐する際の設定はユーザまたはシステム管理者が予めシステム内（たとえば入力視聴クライアント２０内）に用意された設定ファイルの変更等で行っておくものとする。

なお、前述した処理動作によって視聴記録を作成し、視聴記録保存部１３に保存された視聴記録群から、ユーザが所望の視聴記録を選択した後に、選択された視聴記録が視聴記録一時記憶部２８を介して入力部受信部２４に入力され、あたかもユーザが入力した情報のように入力するようにしてもよい。これにより、ユーザは自身が過去にコンテンツ保存部１１に保存されたパノラマ映像ストリームを視聴した際に記録し、視聴記録保存部１３に保存した視聴記録（または同様のシステムを持つ他のユーザが記録した視聴記録もしくは、人物自動トラッキング装置のようなシステムが自動的に記録した記録）に基づき、コンテンツ保存部１１に保存されているパノラマ映像ストリームを視聴することができる。

なお、入力受信部２４に視聴記録を入力する前に、視聴記録補正部１４の機能を用い、視聴記録保存部１３に保存された視聴記録に予め決められた補正をかけておくことが可能である。また、ユーザは入力受信部２４に入力された視聴記録情報を自身の入力で上書きし、入力受信部２４に入力された視聴記録保存部１３に保存された視聴記録情報とは異なる、ユーザが所望する視聴領域を予め決められた操作を行っている間だけ（例えばユーザが入力操作を行っている間だけ）視聴するようにしてもよい。

次に、図５を参照して、本システムを実現する最良の形態として、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を説明する。図５は、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を示す説明図である。タブレット型端末５００は、無線ネットワーク５９０に接続され、同じく、無線ネットワーク５９０に接続された機器とネットワーク的なデータのやり取りができる配信サーバ１０に保存されたパノラマ映像ストリーム５５０（ここでは例としてフレームｎ番目の画像のみを図示）の、ユーザから要求される任意の視聴領域５６０を、タブレット型端末５００が持つ表示領域５８０上に表示可能となっている。

また、このタブレット型端末５００の表示領域５８０を視聴するユーザは自身の指（タッチ位置）５１でタブレット型端末５００の画面をタッチ＆ドラッグ操作することにより視聴領域５６０の２次元座標（ｘ，ｙ）５６１を変更することができる。さらに、タブレット型端末５００の画面を２本の指でピンチイン・ピンチアウト操作を行うことで、視聴領域の対角線の長さ（画角）５６２を視聴領域の縦横比を保ったままで変更することができる。ユーザによる２次元的位置や画角の変更に応じて、表示領域５８０に表示されるパノラマ映像ストリーム５５０の映像の一部（視聴領域５６０）は変更されることになる。

ここでは、タブレット型端末５００と配信サーバ１０間の通信は無線ネットワークを利用したが、例えば有線ネットワーク、公衆無線ＬＡＮやＷｉＦｉ、第三世代移動通信システムや第四世代移動通信システム等を利用してもよい。タブレット型端末５００上におけるユーザのパノラマ映像ストリーム視聴操作はタブレット端末上のキャッシュに視聴記録５１５としていったん保存され、ユーザが視聴操作を完了した際（例えば視聴アプリケーションユーザインタフェース上から視聴停止ボタンを押した際等）に、視聴記録５１５が配信サーバ１０へアップロードされる。配信サーバ１０上にはユーザが作成した視聴記録以外にもさらなる第三者が保存し、本システムを利用するユーザに公開している視聴記録５９５も複数存在することになる。

次に、図６を参照して、図１に示す視聴記録解析部３１が、複数視聴記録から視聴頻度の解析を行う処理について説明する。図６は、図１に示す視聴記録解析部３１が、複数視聴記録から視聴頻度の解析を行う処理を示す説明図である。視聴頻度解析の入力は、複数の視聴記録（例えば、図５に示す前記第三者が保存した視聴記録５９５）である。視聴記録はフレーム毎に記録されているため、パノラマ映像ストリームの各フレームにおいて、各フレームに含まれるピクセルがどの程度の割合で視聴されたかを算出し出力することができる。視聴頻度の解析処理については、例えば、単純にパノラマ映像ストリームの各フレームに含まれる各ピクセルが何回視聴されたかを計測してもかまわないし、各視聴領域の中心座標を高さ１の３次元ガウス分布の頂点、視聴領域の枠部分をガウス分布の高さ０の裾として該当フレームに含まれるピクセルのガウス分布の高さを算出し、フレーム毎に該当フレームに含まれるピクセルの３次元ガウス分布の高さを合算した値を用いてもかまわず、各フレームに含まれるピクセルの視聴頻度が得られればその手法は問わない。図６では、視聴頻度の可視化のため、各フレームの各ピクセルをｈｅａｔ ｃｏｌｏｒで彩色（青→水色→黄緑→黄色→赤の順で視聴頻度が高くなることを表す）した。

ここで図７を参照して、ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を説明する。図７は、ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。ユーザはパノラマ映像ストリームのフレームｎにおいて、図７の上段左の枠部分を視聴しているものとする（その時のユーザ視聴端末での状態は図７下段左）。ユーザが他者の視聴頻度が高い視聴領域に切り替えたいと思った時点で、同じく図７下段左に示すようなユーザ視聴端末のＧＵＩで描画された視聴領域切り替えボタン（常に表示されている、ユーザが近傍をタッチすることで出現するようになっている、端末に実装された別の物理ボタンに機能を割り振る等、視聴領域切り替えのきっかけがユーザによって行われれば形態は問わない）を押下すると、ユーザの表示端末に表示される映像が、フレームｎ番の視聴頻度の高い視聴領域に瞬時に移動する（図７下段右）。

ただし、フレームｎ番での他ユーザの視聴頻度の高い領域の中心の２次元座標と画角の値の決定については、例えば前者は、予め指定しておいた視聴頻度以上の値を持つピクセルの重心座標、後者はユーザが元々視聴していた視聴領域と同じ画角や、予め指定しておいた視聴頻度以上の値を持つピクセルをすべて含む領域の値を使うなど、前述の解析方法で算出した視聴頻度を利用して算出された２次元座標と画角であればよい。

これにより、ユーザは他ユーザの興味をより引いた映像（より一般的な視聴領域）が、ユーザが現在視聴している２次元位置から離れた位置にあっても、ユーザはその位置に少ない操作で短時間に視聴位置を移動することができる。またコンテンツを初めて視聴するユーザであったとしても、他者の同コンテンツの視聴履歴を解析して利用することで、他ユーザの興味をより引いた映像（より一般的な視聴領域）の視聴が可能となり、視聴すべき位置の選択に迷うことがなくなる。

＜第２実施形態＞
次に、本発明の第２実施形態による映像視聴履歴解析システムを説明する。ここでは、図８を参照して、第１実施形態で解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を説明する。図８は、解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。ユーザはｆ−ｋ番目のフレームからｆ番目のフレームにかけて視聴領域の移動を行ったとする。ここでｋは、予め決められたフレーム数（例えば３フレーム）でｆ＞ｋである。フレームｆ−ｋ番目の視聴領域の中心座標を、入力受信部２４の指示により入力視聴クライアント２０内のメモリ上等に記憶しておき、フレームｆ番目の視聴領域の中心座標と比較し、フレームｆ番の視聴領域の中心座標がフレームｆ−ｋ番の時と比べてどの方向に動いたかを算出できるようにしておく。どの方向に動いたかを示す情報は、図９に示すように、移動前の視聴領域の中心座標（ｘ^ｆ−ｋ，ｙ^ｆ−ｋ）と、移動後の視聴領域の中心座標（ｘ^ｆ，ｙ^ｆ）と、移動方向を示す角度θ^ｆなどを用いる。図９は、視聴領域がどの方向に動いたかを示す情報を示す説明図である。

ユーザは算出された方向を元に、その方向の直線上にある視聴頻度の高い視聴領域へ瞬時に移動することができるようになる。具体的には、例えば、ユーザはフレームｆ−ｋ番でタッチを開始し、フレームｆ番でタッチを離すような、フレーム数ｋという短い間のタッチかつ視聴領域移動操作が起きた場合のみ、両視聴領域の中心座標の直線上にあり、ユーザの視聴領域移動の方向にある、予め決められた視聴頻度以上の（または最も視聴頻度の高い）値を持つピクセルを中心とした視聴領域への変更が行われるようにする。すなわち、フレームｆ番タッチが続く場合は視聴頻度の高い視聴領域への変更は行われない。このようにすることで、通常の視聴領域移動操作との区別が可能となる。また、探索する直線上に該当のピクセルが存在しなかった場合は、自動の視聴領域移動は行われず、ユーザが引き続き視聴領域の選択視聴を続けられるようにしてもかまわない。

ただし、フレームｆ番での探索対象となる直線上にある他ユーザの視聴頻度の高い領域の画角の値の決定については、例えばユーザがフレームｆ番で視聴していた視聴領域と同じ画角や、予め指定しておいた視聴頻度以上の値を持つピクセルをすべて含む領域の値を使うなど、第１実施形態の解析方法で算出した視聴頻度を利用して算出された２次元座標と画角であればよい。

また、他ユーザの視聴頻度の高い領域の中心座標の探索範囲は直線だけでなく、図１０に示すように予め決められた幅の内側を対象としても良い。図１０は、他ユーザの視聴頻度の高い領域の中心座標の探索範囲を示す説明図である。例えば、フレームｆ−ｋ番の視聴領域の中心座標を中心にφ度の範囲内（図１０（ａ）参照）、探索対象の直線と平行な上下ｔピクセルの範囲内（図１０（ｂ）参照）、フレームｆ番の視聴領域の中心座標を中心にφ度の範囲内（図１０（ｃ）参照）などが適用できる。

これにより、第１実施例の効果に加え、ユーザは自身の見たい方向にあるユーザの興味をより引いた映像（より一般的な視聴領域）を視聴できるようになるため、視聴領域移動の方向に関してはユーザの意図が反映できるようになり、ユーザが全く見当もしない場所に視聴領域が移動することがなくなる。

＜第３実施形態＞
次に、本発明の第３実施形態による映像視聴履歴解析システムを説明する。ここでは、図１１、図１２、図１３を参照して、図１に示す視聴記録解析部３１が、ユーザが視聴中に行った操作と、別のユーザが同じタイミングで行った操作で、先の操作と最も似た操作を行った過去の視聴記録を選出し、以後、新たなユーザの入力があるまで、その過去の視聴記録に従ってユーザが視聴可能とする方法について説明する。図１１は、図１に示す視聴記録解析部３１が行う処理動作を示す図である。

まず、ユーザが行う全ての操作（または記録されたすべての視聴記録）に対し、パノラマ映像ストリームの全てのフレームにおいて、第２実施形態と同様の方法で、フレームｆ−ｋ番とフレームｆ番の視聴領域の中心座標の比較から、視聴領域の移動方向を記録し、視聴記録解析記憶部３２に、フレームｆ番の視聴領域の中心座標、また、フレームが変わったとしても一連のユーザ操作を区別することが可能な情報と共に保存し、データベース化しておく。図１２は、視聴記録解析記憶部３２に保存した中心座標と方向の情報を示す図である。図１２に示すように、視聴記録解析記憶部３２には、フレーム番号毎に、視聴軌跡種別と、中心座標と、方向の情報が関係付けされてデータベース化されて記憶される。

例えば、図１３に示すように、あるユーザがフレームｆ−ｋ番でタッチを開始し、フレームｆ番でタッチを離すような、フレーム数ｋという短い間のタッチかつ視聴領域移動操作を起こしたとする。図１３は、視聴領域移動操作を示す図である。このとき、第２実施形態に記載の方法と同様の方法で、そのユーザが視聴領域を移動している方向とフレームｆ番における視聴領域の中心座標を得る。その後、視聴記録解析記憶部３２に保存されたｆ番目のフレームにおける他者の視聴領域変更操作のうち、最も視聴領域の中心座標が近く、視聴領域の移動方向が似ている視聴操作を、フレームｆ番以降は、次にユーザによる視聴領域移動操作が行われるまで、再現してユーザに提示する。

ここで、似ている視聴領域の中心座標と移動方向の選択方法は、視聴記録解析記憶部３２に記録されたデータのうち、最も近いものを選択する方法やどちらか一方だけより近い方を選択する、両者に閾値を設け、似ていても閾値を超える場合は選択せずに、他ユーザの視聴操作の再現が起こらないようにしてもよい。また、前述した説明においては視聴領域の画角について説明しなかったが、画角についても視聴記録解析記憶部３２に記録しておき、画角の類似度も選択する他ユーザの視聴操作の決定指標にするようにしてもよい。

これにより、ユーザは簡易な視聴操作で、自身と視聴傾向が似た他ユーザの視聴軌跡で視聴が可能となるうえ、その視聴軌跡が自分の意図したものではなかった場合も、再度の簡易な視聴操作により、ユーザのその操作時の嗜好と似た他ユーザの視聴軌跡に切り替えることができるため、ユーザはパノラマ映像ストリームの全フレームで視聴操作を行わずとも、最低限の操作でユーザが満足できるコンテンツ視聴が可能となり、ユーザの操作負担を大幅に軽減することができる。

＜第４実施形態＞
次に、本発明の第４実施形態による映像視聴履歴解析システムを説明する。第３実施形態では、あるフレームでユーザが行った視聴操作に最も似た視聴操作を行った他ユーザの視聴操作をユーザに提示する方法を示した。ここでは、他ユーザの視聴操作選択時に、視聴記録解析記憶部３２に記録された他ユーザの視聴操作それぞれに重みづけを行い、それらの平均を取った値をユーザに提示する方法を説明する。

フレームｆにおけるユーザ入力の２次元位置を示す中心座標（ｘ，ｙ）と方向θ［°］（０≦θ≦３６０）を（１）式で表す。
ただし、方向は、図９に示すように、予め決められたｋフレーム前のフレームｆ−ｋにおける２次元位置を示す中心座標と、フレームｆにおける２次元位置を示す中心座標の比較により求める。

フレームｆにおけるｎ人の他者ユーザの入力の２次元位置を示す中心座標と方向を（２）式で表わされる。
ただし、ｉ＝１．．．ｎである。

ここで、フレームｆにおいてユーザに提示する２次元位置を示す中心座標と方向であるａ^ｆ _ｓは、他の全ユーザの重み付け平均を求めた（３）式、（４）式で表わされる。

ただし、ｔ^ｆ _ｉはフレームｆにおけるｉ番目のユーザは行った入力の２次元位置を示す中心座標と方向に対しての重み付け行列であり、（５）式〜（８）式で表わされる。

ここで、ｔ^ｆ _ｉは、その性質上、
となる。

ここでは、ある任意のフレームにおける他ユーザの視聴操作における視聴領域の中心座標・移動方向が、ユーザが選択した視聴領域のそれぞれに近ければ近いほど重みを付け、それらの重み付け平均値をユーザに提示する視聴領域としている。

例えば、ユーザが第１実施形態のような視聴領域切り替えボタンを押している間のみ重みづけ平均された視聴領域での視聴が可能となる方法や、第２実施形態のような視聴領域変更操作を行った場合、その瞬間の重みづけ平均された視聴領域へ移動する方法などが適用できる（この場合は方向の重み付け平均値は利用しない）。

なお、ここでは視聴領域の画角については説明しなかったが、画角についても視聴記録解析記憶部３２に記録しておき、同様に重み付けすることで、画角についても対象に加えるようにしてもよい。

このようにすることで、他ユーザ全員の嗜好が重み付けという形でユーザに提示される視聴領域に反映されるため、他のユーザの嗜好をすべて反映したより一般的な視聴領域の確実な視聴が可能となる。

＜第５実施形態＞
次に、本発明の第５実施形態による映像視聴履歴解析システムを説明する。第１〜第４実施形態では、視聴頻度や重みづけ平均の対象を、各フレームを視聴した全ての他ユーザの視聴記録としたが、ここではそれを予め決められた個人やグループとした場合について説明する。

視聴者個人の趣味嗜好は千差万別であるため、各フレームを視聴した全ての他ユーザの視聴記録を解析に利用し、より一般的な視聴領域が提示されたとしても、個人の趣味嗜好が必ずしもはっきりと反映されているとは言い難く、それらが薄れた形の結果が提示される可能性がある。そこで、視聴頻度や重みづけ平均の解析を行うのに使用する視聴記録を予め与えておいたユーザ属性でグループ化しておき、特定のグループのみ解析に使用することで、ユーザの趣味嗜好を確実に反映する。例えば、予めユーザにコンテンツに映った被写体の好み（例えば人気アイドルグループの好みの被写体名等）を入力させておき、視聴しているユーザと同じ好みを持った他ユーザの視聴記録のみを解析対象にすることや、予めユーザの年齢を入力させておき、同年代の視聴記録のみを解析対象にすること、自身が過去に視聴した視聴記録のみを解析対象にする。なお、解析対象とする視聴記録はシステム管理者やユーザ自身が設定すればよい。

このようにすることで、視聴記録解析の結果ユーザに提示される視聴領域が、ユーザ自身の趣味嗜好をより反映できるようになり、ユーザが見たい視聴領域が提示される確率が高くなり、ユーザの満足度を向上させることができる。

＜第６実施形態＞
次に、本発明の第６実施形態による映像視聴履歴解析システムを説明する。第１〜第５実施形態では、解析の結果ユーザに提示する視聴領域は一つに限定していたが、ここでは第３実施形態を例にとり、解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする。図１４は、解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする例を示す図である。

第３実施形態と異なり、フレームｆ番における似ている視聴操作を最も似ているものだけでなく、次点、次々点の候補も算出しておく。ユーザが視聴領域変更操作を行った際、それらの候補（ここでは実際の視聴領域の映像）をユーザのタブレット型端末のＧＵＩ上に表示し、ユーザはいずれかをタッチすることでその視聴領域へ移動することができる。

このようにすることで、ユーザは自身の見たい視聴領域を選択できるようになり、よりユーザの見たい視聴領域を選択できる確率が上がるため、ユーザの満足度が向上する。

＜第７実施形態＞
次に、本発明の第７実施形態による映像視聴履歴解析システムを説明する。第１〜第５実施形態では、ユーザは視聴端末・操作端末共に同一のタブレット型端末を利用していたが、ここではタブレット型端末をセカンドスクリーンとして使用し、第６実施形態で説明した解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる。図１５は、解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる例を示す図である。

図１５では、ユーザはパノラマ映像ストリームをタブレット型端末ではなく、モニタ（液晶テレビ）を用いて視聴しているものとする。このとき、タブレット型端末は単なるリモコンであり、ユーザはタブレット型端末の入力面をタッチして指を移動させることでモニタに映る視聴領域を移動、ピンチイン・アウトさせることで視聴領域の画角変更を行うものとする。ユーザがタブレット型端末の入力において、視聴領域変更操作を行うと、第６実施形態と同様の解析処理が行われ、解析により得られた候補を表示する。ユーザは表示された候補から視聴したい候補を選択し、視聴をしてもかまわないし、候補映像を消し、ユーザ自身の操作を続けてもかまわない。

このようにすることで、ユーザが解析結果を選択する際、ユーザがモニタで視聴しているコンテンツが候補映像で隠れることがないため、ユーザは候補映像に邪魔されることなくコンテンツの視聴を続けることができる。また、候補映像をタブレット型端末の表示面全体を使って表示できるため、より多くの候補をユーザに提示することが可能となる。

以上説明したように、サーバから配信される映像ストリーム、特に広視野・広画角で撮影され、サーバから配信されるパノラマ映像ストリームのような映像からユーザが好みの被写体・場面を選んで視聴できるような映像視聴において、複数ユーザの視聴記録を用いてパノラマ映像ストリームの各フレームにおける視聴頻度の高い領域を算出しておき、ユーザの視聴操作時に視聴頻度の高い領域を提示するようにした。

これにより、映像の一部分を選択視聴するユーザは、他ユーザの興味をより引いた映像（より一般的な視聴領域）が、ユーザが現在視聴している２次元位置から離れた位置にあっても、ユーザはその位置に少ない操作で短時間に視聴位置を移動することができるため、他ユーザの興味を引いた映像を見逃すことがなくなる。また、コンテンツを初めて視聴するユーザであったとしても、他者の同コンテンツの視聴履歴を解析して利用することで、他ユーザの興味をより引いた映像（より一般的な視聴領域）の視聴が可能となる。さらに、特定の属性を持った視聴履歴（視聴ユーザと同じ嗜好を持ったユーザの視聴履歴や視聴ユーザと同年代のユーザの視聴履歴等）のみを解析対象とすることで、目的の属性を持ったユーザがより興味を引いた映像の視聴が可能となるだけでなく、視聴ユーザ自身の趣味嗜好等をより反映できるようになり、ユーザが見たい視聴領域が提示される確率が高くなり、ユーザの満足度を向上させることができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像視聴履歴解析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

複数他者の視聴履歴から分析された興味をより引いた視聴領域を素早く、少ない操作で選択して視聴することが不可欠な用途に適用できる。

１０・・・配信サーバ、１１・・・コンテンツ保存部、１２・・・コンテンツ配信部、１３・・・視聴記録保存部、１４・・・視聴記録補正部、１５・・・視聴記録管理ＤＢ、２０・・・入力視聴クライアント、２１・・・コンテンツ出力部、２２・・・出力画面描画部、２３・・・コンテンツデコード部、２４・・・入力受信部、２５・・・デコード領域決定部、２６・・・視聴領域保存決定部、２７・・・ユーザインタフェース決定部、２８・・・視聴記録一時記憶部、２９・・・入力デバイス、３０・・・解析サーバ、３１・・・視聴記録解析部、３２・・・視聴記録解析記憶部

Claims (7)

1. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出手段と、
   前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出手段によって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示手段と
   を備えることを特徴とする映像視聴履歴解析装置。
2. 前記提示手段は、前記画面の移動方向を検知し、検知した方向において前記視聴頻度の高い画面位置情報と画面画角情報とを提示することを特徴とする請求項１に記載の映像視聴履歴解析装置。
3. 前記提示手段は、前記映像を視聴している際に行われた画面操作を検知し、検知した画面操作と、前記視聴履歴情報記憶手段に記憶されている過去に行われた画面操作とが似ている画面操作の結果として視聴された画面位置情報と画面画角情報とを提示することを特徴とする請求項１に記載の映像視聴履歴解析装置。
4. 前記提示手段は、前記視聴履歴情報記憶手段に記憶されている過去に視聴された画面を特定する情報を重みづけ平均して得られた画面を特定する情報を提示することを特徴とする請求項１に記載の映像視聴履歴解析装置。
5. 前記視聴頻度算出手段は、前記視聴履歴情報記憶手段に記憶されている複数の前記視聴履歴情報のうち、所定の属性を有する前記視聴履歴情報のみを入力し、前記視聴頻度を算出することを特徴とする請求項１から４のいずれか１項に記載の映像視聴履歴解析装置。
6. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出ステップと、
   前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出ステップによって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示ステップと
   を有することを特徴とする映像視聴履歴解析方法。
7. コンピュータを、請求項１から５のいずれか１項に記載の映像視聴履歴解析装置として機能させるための映像視聴履歴解析プログラム。