JP5818326B2 - 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム - Google Patents

Description

本発明は、映像を視聴した履歴情報を解析する映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラムに関する。

昨今、配信技術やネットワーク技術の高度化により、一般家庭や公衆の場において大容量かつ、双方向の通信サービスが可能となり、インタラクティブな映像サービスが注目されている。中でも、コンテンツ提供者が予め高精細なカメラ（４Ｋ２Ｋカメラ等）や複数のカメラを用い、広視野・広画角、かつ通常のＨＤ画質以上の映像情報をもった高精細・高品質な映像（パノラマ映像）を撮影し、視聴者であるユーザは通常の視聴端末でパノラマ映像の所望の場所を選択して（所望の視聴位置・画角・フレーム位置を選択して）高画質に視聴するような技術が考案されている（例えば、非特許文献１、２参照）。

このような技術を用いると、一つのコンテンツソースに対し、ユーザ毎に異なった見方をすることができるようになる上、ユーザの視聴した２次元位置や画角、その時の再生時刻または映像フレーム情報（視聴記録と呼ぶ）をテキストログとして少なくとも記録しておき、その記録を元にユーザの視聴体験を容易に再現することができる。

一方でインターネット上の動画共有サービスに見られるように、ユーザの視聴体験をサーバにアップロードし、他人に公開することや、自身と嗜好が似たユーザが作成した動画をリスト化して楽しんだり、他者が作成した動画にコメントを付加して議論し、嗜好が似た仲間を増やしたりすることが活発に行われている。先の技術で記録したユーザの視聴体験も、将来、昨今の動画共有サービスのように、その視聴記録をサーバ上に配置することで、視聴体験の他者共有が可能となる。

特開２００３−００００００号公報 特許第３４６９３８８号公報

H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, ``Interactive Panorama Video Distribution System,’’ Proceedings of Telecom World 2011 Technical Symposium at ITU, pp.45-50, 2011. AdityaMavlankar, PiyushAgrawal, Derek Pang, SherifHalawa, Ngai-Man Cheung and, Bernd Girod, ``An Interactive Region-of-Interest Video Streaming System For Online Lecture Viewing,’’Proceedings of 2010 IEEE 18th International Packet Video Workshop, pp.64-71, 2010.

昨今の動画共有サービスは、自身と嗜好が似たユーザを探し、映像作品を通したコミュニケーションを行うことを主な目的としている。コミュニケーションには単独の誰かが編集・制作した映像作品を使用することが多く、どうしても話題が制作者の映像作品に込めた意図に偏ってしまう。映像作品を通したコミュニケーションの幅をより広げるため、映像を複数人で制作することも考えられるが、これまで複数人が共同で映像作品の制作を行う場合は、複数人が同時に編集・制作作業を行うか、誰かが作成した作品に対して再編集を行うかしか術がなかった。前者の場合は、参加者全員の意図を作品に反映させるためには、全員が同時に映像制作に取り掛かる必要があり、後者の場合は、元の制作者が作品に込めた意図が作り変えられてしまうという問題がある。また、一旦作品を作ってしまうと、後で同じ映像やそれに映った被写体に興味を持つ別の第三者が現れた際、その人の意図をその作品に反映することは困難である。

本発明は、このような事情に鑑みてなされたもので、複数人の視聴履歴情報を解析することにより、複数人の映像制作意図を反映した映像作品を制作することができる映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラムを提供することを目的とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力ステップと、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記画面領域を含む複数の前記画面の画角情報の平均値を算出して出力する画角情報出力ステップと、算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成ステップとを有することを特徴とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力ステップと、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記重心座標を領域の中心とし、予め定められた領域の縦横比を保った前記画面領域を全て含む最小領域の画角情報を算出して出力する画角情報出力ステップと、算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成ステップとを有することを特徴とする。

本発明は、前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定ステップをさらに有し、前記重心座標出力ステップでは、前記画面領域が閉領域として複数存在した場合、前記閉領域のいずれか１つをランダムに選択し、選択した前記閉領域の重心座標情報を算出することを特徴とする。

本発明は、前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定ステップをさらに有し、前記重心座標出力ステップでは、前記画面領域が閉領域として複数存在した場合、視聴頻度の高いピクセルを持つ前記閉領域を選択し、選択した前記閉領域の重心座標情報を求めることを特徴とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力手段と、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記画面領域を含む複数の前記画面の画角情報の平均値を算出して出力する画角情報出力手段と、算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成手段とを備えることを特徴とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力手段と、前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記重心座標を領域の中心とし、予め定められた領域の縦横比を保った前記画面領域を全て含む最小領域の画角情報を算出して出力する画角情報出力手段と、算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成手段とを備えることを特徴とする。

本発明は、前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定手段をさらに備え、前記重心座標出力手段は、前記画面領域が閉領域として複数存在した場合、前記閉領域のいずれか１つをランダムに選択し、選択した前記閉領域の重心座標情報を算出することを特徴とする。

本発明は、前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定手段をさらに備え、前記重心座標出力手段は、前記画面領域が閉領域として複数存在した場合、視聴頻度の高いピクセルを持つ前記閉領域を選択し、選択した前記閉領域の重心座標情報を求めることを特徴とする。

本発明は、コンピュータに、前記映像視聴履歴解析方法を実行させるための映像視聴履歴解析プログラムである。

本発明によれば、複数人の視聴履歴情報を解析することにより、複数人の映像制作意図を反映した映像作品を制作することができるという効果が得られる。

本発明の第１実施形態による映像視聴履歴解析システムの構成を示すブロック図である。 視聴記録のフォーマットを示す図である。 視聴記録の各情報の意味を示す模式図である。 図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。 図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を示す説明図である。 ユーザが自身と嗜好が似た別のユーザが作った複数の視聴記録から一つの共同作品を制作する処理動作を示す説明図である。 新たな視聴記録６４０を制作する処理動作を示すフローチャートである。 視聴頻度の領域を示す説明図である。 重心座標と平均画角を示す説明図である。 図７に示す新たな視聴記録６４０を制作する処理動作の変形例を示すフローチャートである。 重心座標と平均画角を示す説明図である。 予め決められた視聴頻度以上の値を持つピクセルがそれぞれフレームｎの画像内の離れた位置にある例を示す説明図である。 重心座標と平均画角の算出動作を示す説明図である。 重心座標と平均画角の算出動作を示す説明図である。 新たな視聴記録６４０を制作する処理動作を示すフローチャートである。 閉領域が複数ある場合にいずれか１つを選択する動作を示す説明図である。 重心座標と平均画角を示す説明図である。 新たな視聴記録６４０を制作する処理動作を示すフローチャートである。 重心座標と平均画角を示す説明図である。 新たな視聴記録６４０を制作する処理動作を示すフローチャートである。 新たな視聴記録６４０を制作する処理動作を示すフローチャートである。 視聴記録に対してＬＰＦ（ローパスフィルタ）を適用する動作を示す説明図である。 視聴記録に対してＬＰＦ（ローパスフィルタ）を適用する動作を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像視聴履歴解析システムを説明する。以下の説明においては、使用するコンテンツソースはより広視野、広画角な映像情報を持ったパノラマ映像ストリームであるものとする。ただし、扱うコンテンツソースは必ずしもパノラマ映像ストリームである必要はなく、通常のビデオカメラで撮影された、一般的なテレビと同等の画角（例えば１６：９や４：３の画角）を持ったコンテンツソースや、魚眼レンズ等を搭載した全周囲ビデオカメラで撮影された全周囲映像ソース、複数台のカメラで撮影された映像を並べてつなぎ合わせた映像ソース、カメラで連続撮影された画像を映像化したもの等、動画の種類は問わない。

図１は同実施形態の構成を示すブロック図である。この映像視聴履歴解析システムは、ユーザが要求するパノラマ映像ストリームの一部分の領域を視聴でき、さらに視聴した領域の情報を保存することができる。図１に示す映像視聴履歴解析システムは、配信サーバ１０、入力視聴クライアント２０、解析サーバ３０が互いに情報通信可能に構成されている。図１において、符号１１は、パノラマ映像ストリームが保存されたコンテンツ保存部である。符号１２は、コンテンツの配信を行うコンテンツ配信部である。符号１３は、ユーザの視聴記録（視聴履歴情報）を保存する視聴記録保存部である。符号１４は、ユーザの視聴記録に予め決められた補正を行う視聴記録補正部である。符号１５は、視聴記録を管理する視聴記録管理データベース（ＤＢ）である。

符号２１は、コンテンツ出力部であり、表示装置から構成する。符号２２は、コンテンツ出力部２１から出力する出力画面を描画する出力画面描画部である。符号２３は、実際にユーザの要求する視聴領域をデコードして出力画面描画部２２へ出力するコンテンツデコード部である。符号２４は、要求する視聴領域に関するユーザ入力情報を受け付ける入力受信部である。符号２５は、入力受信部２４が受け取ったユーザ入力情報に応じて、配信サーバ１０からのパノラマ映像ストリームの中のデコード領域を決めるデコード領域決定部である。符号２６は、入力受信部２４が受け取ったユーザ入力情報を保存するか否かを決定する視聴記録保存決定部である。

符号２７は、ユーザ１０が入力操作を理解するために必要な描画（たとえばボタンの押下やメニュー画面表示操作など）を決定するユーザインタフェース決定部である。符号２８は、視聴記録保存決定部２６によって保存しておくことが決定した場合に、入力受信部２４が受け取ったユーザ入力情報を一時的にキャッシュ保存しておく視聴記録一時記憶部である。符号２９は、ユーザが入力操作を行う入力デバイスである。ユーザ入力情報とは、視聴したいパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報のことである。このユーザ入力情報に基づき、視聴したパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報を一定時間記録したものを視聴記録と呼ぶ。

符号３１は、視聴記録を解析する視聴記録解析部である。符号３２は、視聴記録を解析するために、読み出した視聴記録を記憶する視聴記録解析記憶部である。視聴記録保存部１３に保存された視聴記録に必要な解析を施すことが可能な解析サーバ３０により解析された結果を用いて、視聴記録管理ＤＢ１５や視聴記録保存部１３に保存された視聴記録そのものに情報追加や修正を行うことが可能となる。なお、解析のタイミングはサーバのプログラム定期実行や視聴記録が保存された際に解析プログラムが実行されるように設定するなど、そのタイミングは問わない。以下に説明する複数の視聴記録からの視聴頻度の解析、複数の視聴記録からの一つの共同作品の制作は視聴記録解析部３１で解析され、新たな視聴記録として視聴記録保存部１３に保存され、視聴記録管理ＤＢ１５０によって管理されるものである。

なお、コンテンツ保存部１１に保存されたパノラマ映像ストリームは、例えば複数のカメラを用いて撮影された広画角・広視野な映像や、４Ｋ２Ｋカメラを用いて高精細に記録された映像、魚眼レンズ・魚眼カメラを用いてカメラの周囲を撮影したもの等が適用できる。また、その保存方法および配信方法は、例えば、Ｈ．２６４やＭＰＥＧ−２などの符号化技術で圧縮されたもののＶＯＤ視聴による配信等が適用できる。

図１に示すシステム構成では、便宜的に配信サーバ１０と入力視聴クライアント２０、解析サーバ３０を同じ図面上に記載したが、それぞれが設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていても構わないし、配信サーバ１０が複数あり、入力視聴クライアント２０を視聴するユーザが接続する配信サーバを選択してもかまわない。また、解析サーバ３０と配信サーバ１０は一体となっていてもかまわない。さらに解析サーバ３０が複数存在し、分散処理等を行ってもかまわない。また、入力視聴クライアント２０とそれを視聴するユーザの組は複数あってもかまわない。また、配信サーバ１０内にコンテンツ保存部１１、コンテンツ配信部１２、視聴記録保存部１３、視聴記録補正部１４は便宜的に一つの配信サーバ１０内に収めたが、コンテンツ配信部１２およびコンテンツ保存部１１と視聴記録補正部１４および、視聴記録保存部１３が別のサーバ筐体、ＰＣ筐体内にあってもよい。また、コンテンツ配信部１２、コンテンツ保存部１１、視聴記録補正部１４、視聴記録保存部１３それぞれが別々の筐体、ＰＣ内、およびＮＡＳ（Network Attached Storage）などを利用し、コンテンツ保存部１１や視聴記録保存部１３が有線・無線に関わらずネットワークに接続され、各機能・保存部間でネットワークを介したデータのやり取りが行われていてもよく、コンテンツ配信部１２、視聴記録補正部１４の各機能部、コンテンツ保存部１１、視聴記録保存部１３の保存領域の実装形態は問わない。

本実施形態では、特に断りのない限り、ユーザ入力デバイス２９とコンテンツ出力部２１が一体となっている入力視聴クライアント２０であって、さらにデコード領域決定部２５やコンテンツデコード部２３、コンテンツ描画部２２のような演算を必要とする処理が行える端末として、例えばタッチパネル付のスマートフォンやタブレット端末を用いるが、一般的なＰＣに前記演算処理をさせ、入力装置として、一般的なコントローラやゲームパッド、キーボード等をユーザ入力デバイス２９として用い、かつ、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置をコンテンツ出力部２１として用いるようにしてもよい。

ここで、記録される視聴記録について説明する。図２は、視聴記録のフォーマットを示す図である。視聴記録は、コンテンツソースのＵＲＬ２００と、ユーザがユーザインタフェース上で視聴記録を選択する際に表示される視聴記録の名称である視聴記録名２１０と、視聴記録の長さ２２０と、コンテンツソースのピクセルサイズ（横×縦）２３０と、ユーザが視聴した視聴位置２５０とからなる。視聴位置２５０は、それぞれフレーム番号、視聴位置の左上の点のｘ座標、視聴位置の左上の点のｙ座標、視聴画角の比率からなる。
視聴画角の比率とは、視聴した端末の表示領域（１２８０×７２０）の対角線の長さを１０００００としたときの視聴領域の対角線の長さを数値で表したものである。図３に視聴記録の各情報の意味を示す模式図を示す。なお、視聴記録は本実施形態が実施可能な情報が含まれていれば、今回示したものには限らない。

次に、図４を参照して、図１に示す映像視聴履歴解析システムを用い、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を説明する。図４は、図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。

まず、入力デバイス２９により、ユーザの視聴領域決定・入力する（ステップＳ２１）。これを受けて、入力受信部は、入力デバイス２９から入力された視聴領域決定情報を受信する（ステップＳ２２）。そして、視聴記録を保存する処理が行われているか否かを判定し（ステップＳ２３）、行われていなければ、デコード領域決定部２５は、ユーザが入力した情報に基づきデコード領域を決定し、配信サーバ１０へ視聴領域として要求する（ステップＳ２４）。

次に、コンテンツ配信部１２は、要求された視聴領域をコンテンツ保存部１１から読み出して配信する（ステップＳ２５）。これを受けて、コンテンツデコード部２３は、配信された視聴領域をデコードする（ステップＳ２６）。また、その他必要なユーザインタフェース（ＵＩ）パーツの描画内容を決定する（ステップＳ２７）。

次に、コンテンツデコード部２３は、デコードされた視聴領域とその他必要なユーザインタフェース（ＵＩ）パーツを出力画面描画部２２へ引き渡し、これを受けて、出力画面描画部２２は、描画処理を行い、コンテンツ出力部２１に映像を表示する（ステップＳ２８）。ユーザは、コンテンツ出力部２１に表示された視聴領域を視聴し（ステップＳ２９）、ステップＳ２１に戻って処理を繰り返す。

次に、視聴記録を保存する処理が行われている場合、視聴記録保存決定部２６は、入力受信部２４で受信した情報を視聴記録一時記憶部２８に保存する（ステップＳ３０）。そして、視聴終了処理が行われたか否かを判定し（ステップＳ３１）、終了処理が行われていなければ、ステップＳ２４へ移行し処理を繰り返す。

一方、視聴終了処理が行われた場合、視聴記録一時記憶部２８に保存された視聴記録を視聴記録保存部１３に保存する（ステップＳ３２）。そして、視聴記録管理ＤＢ１５に視聴記録管理情報を記録する（ステップＳ３３）。

このように、図１に示したシステムを用い、要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存することができる。なお、視聴記録を保存するか否かの判定（ステップＳ２３）によって条件分岐する際の設定はユーザまたはシステム管理者が予めシステム内（たとえば入力視聴クライアント２０内）に用意された設定ファイルの変更等で行っておくものとする。

なお、前述した処理動作によって視聴記録を作成し、視聴記録保存部１３に保存された視聴記録群から、ユーザが所望の視聴記録を選択した後に、選択された視聴記録が視聴記録一時記憶部２８を介してユーザ入力部受信部２４に入力され、あたかもユーザが入力した情報のように入力するようにしてもよい。これにより、ユーザは自身が過去にコンテンツ保存部１１に保存されたパノラマ映像ストリームを視聴した際に記録し、視聴記録保存部１３に保存した視聴記録（または同様のシステムを持つ他のユーザが記録した視聴記録もしくは、人物自動トラッキング装置のようなシステムが自動的に記録した記録）に基づき、コンテンツ保存部１１に保存されているパノラマ映像ストリームを視聴することができる。

なお、ユーザ入力受信部２４に視聴記録を入力する前に、視聴記録補正部１４の機能を用い、視聴記録保存部１３に保存された視聴記録に予め決められた補正をかけておくことが可能である。また、ユーザは入力受信部２４に入力された視聴記録情報を自身の入力で上書きし、入力受信部２４に入力された視聴記録保存部１３に保存された視聴記録情報とは異なる、ユーザが所望する視聴領域を予め決められた操作を行っている間だけ（例えばユーザが入力操作を行っている間だけ）視聴するようにしてもよい。

次に、図５を参照して、本システムを実現する最良の形態として、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を説明する。図５は、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積された配信サーバ１０処理動作を示す説明図である。タブレット型端末５００は、無線ネットワーク５９０に接続され、同じく、無線ネットワーク５９０に接続された機器とネットワーク的なデータのやり取りができる配信サーバ１０に保存されたパノラマ映像ストリーム５５０（ここでは例としてフレームｎ番目の画像のみを図示）の、ユーザから要求される任意の視聴領域５６０を、タブレット型端末５００が持つ表示領域５８０上に表示可能となっている。

また、このタブレット型端末５００の表示領域５８０を視聴するユーザは自身の指（タッチ位置）５１でタブレット型端末５００の画面をタッチ＆ドラッグ操作することにより視聴領域５６０の２次元座標（ｘ，ｙ）５６１を変更することができる。さらに、タブレット型端末５００の画面を２本の指でピンチイン・ピンチアウト操作を行うことで、視聴領域の対角線の長さ（画角）５６２を視聴領域の縦横比を保ったままで変更することができる。ユーザによる２次元的位置や画角の変更に応じて、表示領域５８０に表示されるパノラマ映像ストリーム５５０の映像の一部（視聴領域５６０）は変更されることになる。

ここでは、タブレット型端末５００と配信サーバ１０間の通信は無線ネットワークを利用したが、例えば有線ネットワーク、公衆無線ＬＡＮやＷｉＦｉ、第三世代移動通信システムや第四世代移動通信システム等を利用してもよい。タブレット型端末５００上におけるユーザのパノラマ映像ストリーム視聴操作はタブレット端末上のキャッシュに視聴記録５１５としていったん保存され、ユーザが視聴操作を完了した際（例えば視聴アプリケーションユーザインタフェース上から視聴停止ボタンを押した際等）に、視聴記録５１５が配信サーバ１０へアップロードされる。配信サーバ１０上にはユーザが作成した視聴記録以外にもさらなる第三者が保存し、本システムを利用するユーザに公開している視聴記録５９５も複数存在することになる。

次に、図６を参照して、ユーザが自身と嗜好が似た別のユーザが作った複数の視聴記録から一つの共同作品を制作する処理動作を説明する。図６は、ユーザが自身と嗜好が似た別のユーザが作った複数の視聴記録から一つの共同作品を制作する処理動作を示す説明図である。ユーザは、タブレット型端末５００上のグラフィカルユーザインタフェースによってリスト化された配信サーバ１０に保存された複数の視聴記録５９５を参照する。その中から視聴記録選択用チェックボックス６００を使い、共同作品に含めたい視聴記録を選択する。ここでは便宜上、選択された４つの視聴記録を視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄとする。選択が完了すれば共同作品制作ボタン６１０をタッチすることで、配信サーバ１０内の選択された視聴記録が解析サーバ３０に有線ネットワーク６３０を通じて送られる。そして、解析サーバ３０内において、新たな視聴記録６４０が共同作品として制作され、解析サーバ３０から再び、本システムを利用するユーザが参照できる配信サーバ１０上の領域へ共同作品として保存される。ユーザは前述した方法で、新たに制作した視聴記録６４０に基づく映像を視聴することができるようになる。

次に、図７を参照して、新たな視聴記録６４０を制作する処理動作を説明する。図７は、新たな視聴記録６４０を制作する処理動作を示すフローチャートである。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。図８は、視聴頻度の領域を示す説明図である。図８に示すように、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄそれぞれの視聴領域の重なりを求め、重なっている視聴領域の数が視聴頻度となる。図８に示す例では、３つの視聴領域（Ｂ、Ｃ、Ｄ）が重なっている領域の視聴頻度は３、２つの視聴領域が重なっている領域（ＢとＣが重なっている領域、ＣとＤが重なっている領域、ＤとＢが重なっている領域）の視聴頻度は２、視聴領域が重なっていない領域の視聴頻度は１、視聴領域外の視聴頻度は０となる。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値（ここでは２とする）以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。続いて、視聴記録解析部３１は、重心座標を算出する際に使用したピクセルをフレームｎの視聴領域内に含む視聴記録について、読み出した視聴領域情報からフレームｎにおける平均画角を算出する（ステップＳ７）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。図９は、重心座標と平均画角を示す説明図である。図９に示すように、視聴頻度２以上のピクセルの重心座標がフレームｎにおける共同作品の視聴領域の座標情報となる。また、視聴頻度２以上のピクセルを含む視聴記録の平均画角は、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄの平均画角である。これがフレームｎにおける共同作品の視聴領域の画角情報となる。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

次に、図１０を参照して、新たな視聴記録６４０を制作する処理動作の変形例を説明する。図１０は、図７に示す新たな視聴記録６４０を制作する処理動作の変形例を示すフローチャートである。図１０において、図７に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値（ここでは２とする）以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。続いて、視聴記録解析部３１は、算出した重心を中心とし、共同制作を実行したユーザの使ったタブレット端末の表示領域の縦横比と同じ比率で、重心座標を算出する際に使用したピクセルを全て含む最小領域の画角を算出する（ステップＳ７１）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。図１１は、重心座標と平均画角を示す説明図である。図１１に示すように、視聴頻度２以上のピクセルの重心座標がフレームｎにおける共同作品の視聴領域の座標情報となる。また、視聴頻度２以上のピクセルを全て含み、縦横比をユーザの端末の表示領域に合せた領域の画角がフレームｎにおける共同作品の視聴領域の画角情報となる。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

＜第２実施形態＞
次に、本発明の第２実施形態による映像視聴履歴解析システムを説明する。図１２は、予め決められた視聴頻度以上の値を持つピクセルがそれぞれフレームｎの画像内の離れた位置にある例を示す説明図である。図１３、図１４は、重心座標と平均画角の算出動作を示す説明図である。第１実施形態の処理動作により予め決められた視聴頻度以上のピクセルの重心を求め、予め決められた視聴頻度以上の値を持つピクセルがそれぞれフレームｎの画像内の離れた位置にあった場合（図１２参照）、各ピクセルの重心座標を算出すると、図１３、図１４に示す結果となり、得られる共同作品のフレームｎにおける視聴領域が、例えば前者であれば本来視聴頻度の高いピクセルを含まない状態になり、後者であれば、あまりに広い視聴領域となり過ぎ、視聴頻度の高い領域がどこなのかユーザに伝わりにくくなる可能性がある。第２実施形態では、図７、図１０に示す処理動作を変形した例について説明する。

次に、図１５を参照して、図７に示す処理動作の変形例を説明する。図１５は、新たな視聴記録６４０を制作する処理動作を示すフローチャートである。図１５において、図７、図１０に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値（ここでは２とする）以上が記録された全ピクセルは複数の閉領域となっているか否かを判定する（ステップＳ６１）。ここでいう閉領域とは、複数の視聴領域が重なってできる領域（複数の視聴領域の論理和の領域）のことである。この判定の結果、ｍ（ｍは自然数）個の閉領域があった場合、視聴記録解析部３１は、ｍ個の閉領域のうちの一つの閉領域をランダムに選択し、その閉領域の重心座標を算出する（ステップＳ６２）。図１６は、閉領域が複数ある場合にいずれか１つを選択する動作を示す説明図である。図１６に示すように、２つの閉領域がある場合、いずれか一方（図１６の例では右側の閉領域）を選択する。一方、閉領域が１つの場合、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。

次に、視聴記録解析部３１は、重心座標を算出する際に使用したピクセルをフレームｎの視聴領域内に含む視聴記録について、読み出した視聴領域情報からフレームｎにおける平均画角を算出する（ステップＳ７）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。図１７は、重心座標と平均画角を示す説明図である。図１７に示すように、選択された閉領域に含まれるピクセルの重心座標情報がフレームｎにおける共同作品の視聴領域の中心座標情報となる。また、選択された閉領域に含まれるピクセルを含む視聴記録の平均画角情報がフレームｎにおける共同作品の視聴領域の画角情報となる。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

次に、図１８を参照して、図１０に示す処理動作の変形例を説明する。図１８は、新たな視聴記録６４０を制作する処理動作を示すフローチャートである。図１８において、図図７、図１０、図１５に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルは複数の閉領域となっているか否かを判定する（ステップＳ６１）。ここでいう閉領域とは、複数の視聴領域が重なってできる領域（複数の視聴領域の論理和の領域）のことである。この判定の結果、ｍ（ｍは自然数）個の閉領域があった場合、視聴記録解析部３１は、ｍ個の閉領域のうちの一つの閉領域をランダムに選択し、その閉領域の重心座標を算出する（ステップＳ６２）。一方、閉領域が１つの場合、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。

次に、視聴記録解析部３１は、算出した重心を中心とし、共同制作を実行したユーザの使ったタブレット端末の表示領域の縦横比と同じ比率で、重心座標を算出する際に使用したピクセルを全て含む最小領域の画角を算出する（ステップＳ７１）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。図１９は、重心座標と平均画角を示す説明図である。図１９に示すように、選択された閉領域に含まれるピクセルの重心座標がフレームｎにおける共同作品の視聴領域の中心座標となる。また、選択された閉領域に含まれるピクセルを全て含み、縦横比をユーザの端末に合わせた領域の画角情報がフレームｎにおける共同作品の視聴領域の画角情報となる。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

このように、得られた複数の閉領域のいずれか一つを選択し、選択された閉領域に対して共同作品のフレームｎにおける視聴領域の重心と画角を決定するようにしたことで、ユーザが共同作品を作るために選択した視聴記録における視聴頻度の高い複数の視聴領域のうち、どれか一つは必ず共同作品の視聴記録に反映できるようになる。

＜第３実施形態＞
次に、本発明の第３実施形態による映像視聴履歴解析システムを説明する。第２実施形態では、複数存在する視聴頻度の高い閉領域のどれか一つをランダムに選択するため、より視聴頻度が高いピクセルを含む閉領域が選択されない可能性がある。例えば、図１２に示す例では、本来ならば右側の閉領域に視聴頻度３の領域があるにもかかわらず、左側の閉領域が共同作品の視聴記録として出力されてしまうことがある。第３実施形態では、図１５、図１８に示す処理動作を変形した例について説明する。

次に、図２０を参照して、図１５に示す処理動作の変形例を説明する。図２０は、新たな視聴記録６４０を制作する処理動作を示すフローチャートである。図２０において、図７、図１０、図１５、図１８に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値（ここでは２とする）以上が記録された全ピクセルは複数の閉領域となっているか否かを判定する（ステップＳ６１）。この判定の結果、ｍ（ｍは自然数）個の閉領域があった場合、視聴記録解析部３１は、より高い視聴頻度のピクセルを持つ閉領域の重心座標を算出する（ステップＳ６３）。一方、閉領域が１つの場合、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。

次に、視聴記録解析部３１は、重心座標を算出する際に使用したピクセルをフレームｎの視聴領域内に含む視聴記録について、読み出した視聴領域情報からフレームｎにおける平均画角を算出する（ステップＳ７）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

次に、図２１を参照して、図１８に示す処理動作の変形例を説明する。図２１は、新たな視聴記録６４０を制作する処理動作を示すフローチャートである。図２１において、図図７、図１０、図１５、図１８、図２０に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、ユーザは、共同制作したい視聴記録を決め、その視聴記録をリスト上から選択する（ステップＳ１）。視聴記録解析部３１は、パノラマ映像ストリームに含まれるフレームｎのうち、一番最初のフレームに当たるｎ＝１を初期値として設定する（ステップＳ２）。そして、視聴記録解析部３１は、対象とした視聴記録の中の一つ以上の視聴記録にフレームｎが含まれるか否かを判定する（ステップＳ３）。この判定の結果、視聴記録にフレームｎが含まれていなければ処理を終了する。

次に、視聴記録解析部３１は、対象とする視聴記録からフレームｎに該当する視聴領域情報（視聴領域中心の２次元座標情報と画角情報）をそれぞれ読み出す（ステップＳ４）。そして、視聴記録解析部３１は、パノラマ映像ストリームのフレームｎにおける画像に含まれる全ピクセルに対し、読み出したそれぞれの視聴領域情報に対象となるピクセルが含まれていた回数を算出するとともに、全てのピクセルに対して回数を視聴頻度として視聴記録解析記憶部３２上にそれぞれ記録しておく（ステップＳ５）。

次に、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルは複数の閉領域となっているか否かを判定する（ステップＳ６１）。この判定の結果、ｍ（ｍは自然数）個の閉領域があった場合、視聴記録解析部３１は、より高い視聴頻度のピクセルを持つ閉領域の重心座標を算出する（ステップＳ６３）。一方、閉領域が１つの場合、視聴記録解析部３１は、視聴記録解析記憶部３２に記録された視聴頻度に対し、予め決められた値以上が記録された全ピクセルの重心座標を算出する（ステップＳ６）。

次に、視聴記録解析部３１は、算出した重心を中心とし、共同制作を実行したユーザの使ったタブレット端末の表示領域の縦横比と同じ比率で、重心座標を算出する際に使用したピクセルを全て含む最小領域の画角を算出する（ステップＳ７１）。そして、視聴記録解析部３１は、算出した重心座標と平均画角を共同作品のフレームｎの視聴領域情報として記録する（ステップＳ８）。

次に、視聴記録解析部３１は、ストリーム終端であるか否かを判定し（ステップＳ９）、ストリーム終端でなければ、ｎをインクリメント（ｎ←ｎ＋１）してステップＳ３に戻りストリーム終端まで処理を繰り返す（ステップＳ１０）。そして、最後に、視聴記録解析部３１は、共同作品として記録した視聴領域情報を視聴記録の形式で出力する（ステップＳ１１）。これにより、視聴記録Ａ、視聴記録Ｂ、視聴記録Ｃ、視聴記録Ｄから新たな視聴記録６４０が共同作品として制作されたことになる。

このように、より高い視聴頻度のピクセルを持つ閉領域の重心座標を求めることで、ユーザが共同作品を作るために選択した視聴記録における視聴頻度の高い複数の視聴領域のうち、より視聴されている領域を必ず共同作品の視聴記録に反映できるようになる。ただし、もし複数の閉領域が同じ視聴頻度のピクセルしか含まない場合は、どちらかをランダムに選ぶ、閉領域内の各ピクセルの視聴頻度の和を比較して値の大きい方の閉領域を選ぶようにしてもよい。

＜第４実施形態＞
次に、本発明の第４実施形態による映像視聴履歴解析システムを説明する。図２２は、視聴記録に対してＬＰＦ（ローパスフィルタ）を適用する動作を示す説明図である。第１〜第３実施形態で得られた共同作品の視聴記録６４０に含まれる各フレームの視聴領域の重心座標（ｘ座標、ｙ座標）情報と画角情報は、図２２に示すように必ずしも連続の値となっているとは限らない。値が連続でない場合、視聴記録６４０に沿ったパノラマ映像ストリームの再生を行った場合、フレーム間で映像が急に変化する（２次元位置が急に変わる、画角が急に変わる）ことになり、視聴しづらい場合がある。そこで、このような場合、隣接するフレームにおいて、予め決められた閾値（例えばｘ、ｙ座標はそれぞれ５ピクセル、画角は１００）以上の変動があった場合は、それ以前の全フレームの重心座標（ｘ座標、ｙ座標）、画角それぞれにＬＰＦ（ロー・パス・フィルタ）を適用し、値を平滑化することで、視聴記録６４０に沿ったパノラマ映像ストリームの再生を行った際のフレーム間での急激な映像変化を軽減する。ここで閾値を設けた理由としては、第２〜第３実施形態に示すような複数の視聴領域対象となり得る閉領域が存在した場合、意図した離れた閉領域への切り替え（重心、画角の急激な変化）がＬＰＦによって平滑化されるのを防ぐためである。

＜第５実施形態＞
次に、本発明の第５実施形態による映像視聴履歴解析システムを説明する。図２３は、視聴記録に対してＬＰＦ（ローパスフィルタ）を適用する動作を示す説明図である。第２〜第３実施形態における複数の閉領域の選択においては、図２３に示すように場合によっては頻繁に閉領域の変更が起きてしまう可能性がある。この場合、視聴記録６４０に沿ったパノラマ映像ストリームの再生を行った場合、フレーム間で映像が急に変化する（２次元位置が急に変わる、画角が急に変わる）ことになり、視聴しづらい場合がある。そこで、予め決められたフレーム数（例えば１０フレーム）以下の期間に、予め決められた閾値（例えばｘ、ｙ座標はそれぞれ５ピクセル、画角は１００）以上の値の変化（期間内に一旦閾値以上に値が変動し、再度期間内に、期間内の変動したフレームの直前のフレームにおける値と比較して、値が閾値以下の値に戻ること）があった場合は、変動の大きい値を間引いてＬＰＦを適用することにより、値の変化が平滑化され、視聴記録６４０に沿ったパノラマ映像ストリームの再生を行った際のフレーム間での急激な映像変化を軽減する。

以上説明したように、サーバから配信される映像ストリーム、特に広視野・広画角で撮影され、サーバから配信されるパノラマ映像ストリームのような映像からユーザが好みの被写体・場面を選んで視聴できるような映像視聴において、複数ユーザの視聴記録から一つのダイジェスト映像を生成することができる。

これにより、自身で所望の位置・画角を選んで視聴することのできる映像コンテンツを用い、それに映った被写体に興味のある複数人それぞれが行った視聴操作（いわばその人の意図が反映された視聴方法かつ映像作品）を視聴記録としてそれぞれ記録し、映像の共同制作を行いたい複数の視聴記録からコンテンツの各フレームにおける画像の各ピクセルの視聴頻度を計算し、その視聴頻度を元に該当フレームに対して表示すべき２次元位置と画角を一つずつ決定していくことで、最終的に一つの共同作品を仕上げることができるようになる。出来上がった作品には、映像コンテンツの各フレームにおいて、より視聴されている箇所が含まれているため、コンテンツ制作に関与した全ての人の意図が少なからず反映されているということになる。また、各人の視聴記録は同時に作成する必要がないため、複数人の意図を同時に反映した映像制作を行う必要がない。また、コンテンツ制作者が増減した場合も、再度視聴頻度を計算し直して作品を作り直せばいいため、柔軟に対応できる。さらに、制作者各人の視聴記録が作り変えられることはないため、制作者が作品に込めた意図が失われることはない。新たに生成された視聴記録に基づいて再生された映像は、このパノラマ映像ストリームのダイジェスト映像に相当するため、ダイジェスト映像を自動的に生成することもできる。

なお、図１に示す配信サーバ１０、入力視聴クライアント２０、解析サーバ３０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像視聴履歴解析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

映像を視聴した履歴情報を解析した結果を利用して映像の視聴を行うことが不可欠な用途に適用できる。

１０・・・配信サーバ、１１・・・コンテンツ保存部、１２・・・コンテンツ配信部、１３・・・視聴記録保存部、１４・・・視聴記録補正部、１５・・・視聴記録管理ＤＢ、２０・・・入力視聴クライアント、２１・・・コンテンツ出力部、２２・・・出力画面描画部、２３・・・コンテンツデコード部、２４・・・入力受信部、２５・・・デコード領域決定部、２６・・・視聴領域保存決定部、２７・・・ユーザインタフェース決定部、２８・・・視聴記録一時記憶部、２９・・・入力デバイス、３０・・・解析サーバ、３１・・・視聴記録解析部、３２・・・視聴記録解析記憶部

Claims (9)

1. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力ステップと、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記画面領域を含む複数の前記画面の画角情報の平均値を算出して出力する画角情報出力ステップと、
   算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成ステップと
   を有することを特徴とする映像視聴履歴解析方法。
2. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力ステップと、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記重心座標を領域の中心とし、予め定められた領域の縦横比を保った前記画面領域を全て含む最小領域の画角情報を算出して出力する画角情報出力ステップと、
   算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成ステップと
   を有することを特徴とする映像視聴履歴解析方法。
3. 前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定ステップをさらに有し、
   前記重心座標出力ステップでは、前記画面領域が閉領域として複数存在した場合、前記閉領域のいずれか１つをランダムに選択し、選択した前記閉領域の重心座標情報を算出することを特徴とする請求項１または２に記載の映像視聴履歴解析方法。
4. 前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定ステップをさらに有し、
   前記重心座標出力ステップでは、前記画面領域が閉領域として複数存在した場合、視聴頻度の高いピクセルを持つ前記閉領域を選択し、選択した前記閉領域の重心座標情報を求めることを特徴とする請求項１または２に記載の映像視聴履歴解析方法。
5. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力手段と、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記画面領域を含む複数の前記画面の画角情報の平均値を算出して出力する画角情報出力手段と、
   算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成手段と
   を備えることを特徴とする映像視聴履歴解析装置。
6. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記複数の視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、それぞれ選択された複数の場面の画面のうち、予め定められた数以上共通する画面領域を求め、該共通する画面領域の重心座標情報を算出して出力する重心座標出力手段と、
   前記視聴履歴情報記憶手段から複数の前記視聴履歴情報を読み出し、前記重心座標を領域の中心とし、予め定められた領域の縦横比を保った前記画面領域を全て含む最小領域の画角情報を算出して出力する画角情報出力手段と、
   算出した前記重心座標情報と前記画角情報とを視聴記録情報として前記視聴履歴情報記憶手段に記憶する視聴記録情報生成手段と
   を備えることを特徴とする映像視聴履歴解析装置。
7. 前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定手段をさらに備え、
   前記重心座標出力手段は、前記画面領域が閉領域として複数存在した場合、前記閉領域のいずれか１つをランダムに選択し、選択した前記閉領域の重心座標情報を算出することを特徴とする請求項５または６に記載の映像視聴履歴解析装置。
8. 前記重心座標情報を算出する前に、前記画面領域が閉領域として複数存在するか否かを判定する判定手段をさらに備え、
   前記重心座標出力手段は、前記画面領域が閉領域として複数存在した場合、視聴頻度の高いピクセルを持つ前記閉領域を選択し、選択した前記閉領域の重心座標情報を求めることを特徴とする請求項５または６に記載の映像視聴履歴解析装置。
9. コンピュータに、請求項１から４のいずれか１項に記載の映像視聴履歴解析方法を実行させるための映像視聴履歴解析プログラム。

Images