JP5818323B2 - 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム - Google Patents

Description

本発明は、映像を視聴した履歴情報を解析する映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラムに関する。

昨今、配信技術やネットワーク技術の高度化により、一般家庭や公衆の場において大容量かつ、双方向の通信サービスが可能となり、インタラクティブな映像サービスが注目されている。中でも、コンテンツ提供者が予め高精細なカメラ（４Ｋ２Ｋカメラ等）や複数のカメラを用い、広視野・広画角、かつ通常のＨＤ画質以上の映像情報をもった高精細・高品質な映像（パノラマ映像）を撮影し、視聴者であるユーザは通常の視聴端末でパノラマ映像の所望の場所を選択して（所望の視聴位置・画角・フレーム位置を選択して）高画質に視聴するような技術が考案されている（例えば、非特許文献１、２参照）。

このような技術を用いると、一つのコンテンツソースに対し、ユーザ毎に異なった見方をすることができるようになる上、ユーザの視聴した２次元位置や画角、その時の再生時刻または映像フレーム情報（視聴記録と呼ぶ）をテキストログとして少なくとも記録しておき、その記録を元にユーザの視聴体験を容易に再現することができる。

一方でインターネット上の動画共有サービスに見られるように、ユーザの視聴体験をサーバにアップロードし、他人に公開することや、自身と嗜好が似たユーザが作成した動画をリスト化して楽しんだり、他者が作成した動画にコメントを付加して議論し、嗜好が似た仲間を増やしたりすることが活発に行われている。先の技術で記録したユーザの視聴体験も、将来、昨今の動画共有サービスのように、その視聴記録をサーバ上に配置することで、視聴体験の他者共有が可能となる。

H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, ``Interactive Panorama Video Distribution System,'' Proceedings of Telecom World 2011 Technical Symposium at ITU, pp.45-50, 2011. AdityaMavlankar, PiyushAgrawal, Derek Pang, SherifHalawa, Ngai-Man Cheung and, Bernd Girod, ``An Interactive Region-of-Interest Video Streaming System For Online Lecture Viewing,''Proceedings of 2010 IEEE 18th International Packet Video Workshop, pp.64-71, 2010.

昨今の動画共有サービスは、さまざまな動画の検索やレコメンド等によりしばしば、自身と似た趣味・嗜好を持つ仲間（動画制作者）を探し、ソーシャルな関連を持つきっかけとして利用される。これまではそのような仲間を探し出すために、ユーザは自身の興味のあるキーワードを検索キーとして、動画のタイトル（作品名）や製作者の付けたメタデータ・他者コメント等の文字情報を元に検索し、さらに視聴回数やコメント数、他のユーザによるレーティング等の指標を手掛かりに仲間を探していた。

しかしながら、この探索方法による動画の探索結果は、あくまで作者や第三者が付加した主観的な情報を元に探索したものであり、探索者の嗜好と合致した客観的な指標に基づく探索結果となっていないという問題がある。

本発明は、このような事情に鑑みてなされたもので、映像の視聴履歴情報を解析することにより、ユーザの嗜好に合致した映像探索に用いることができる客観的な指標を得ることができる映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラムを提供することを目的とする。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、前記視聴履歴情報記憶手段から２つの前記視聴履歴情報を読み出し、前記２つの視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、視聴された共通するフレームの画面のうち、視聴位置が重なっている画面領域の面積が一方の前記視聴履歴情報に比べてどの程度の割合で存在するかの数値を共通するフレーム分合算し、合算したフレーム数で割った値を、一方の前記視聴履歴情報に関して他方の前記視聴履歴情報がどの程度類似するものであるかを表す値である類似度として出力する類似度出力ステップを有することを特徴とする映像視聴履歴解析方法である。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、前記視聴履歴情報記憶手段から、第１の視聴履歴情報および１つ以上の第２の視聴履歴情報を読み出し、読み出した前記視聴履歴情報の前記画面の空間的な位置情報と前記画面の画角情報とから、フレーム毎に、前記第１の視聴履歴情報の視聴領域を対象に前記第２の視聴履歴情報による当該視聴領域の視聴回数を画素毎に求め、各画素の前記視聴回数の当該視聴領域における合計視聴回数を、当該視聴領域の画素数、および当該フレームを履歴にもつ第２の視聴履歴情報数により正規化した値をフレーム注目度として求め、当該フレーム注目度の平均値を前記第１の視聴履歴情報の注目度として出力する注目度出力ステップを有することを特徴とする映像視聴履歴解析方法である。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、前記視聴履歴情報記憶手段から２つの前記視聴履歴情報を読み出し、前記２つの視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、視聴された場面の画面のうち、視聴位置が重なっている画面領域の面積が一方の前記視聴履歴情報に比べてどの程度の割合で存在するかの数値を共通するフレーム分合算し、合算したフレーム数で割った値を、一方の前記視聴履歴情報に関して他方の前記視聴履歴情報がどの程度類似するものであるかを表す値である類似度として出力する類似度出力手段とを備えることを特徴とする映像視聴履歴解析装置である。

本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、前記視聴履歴情報記憶手段から、第１の視聴履歴情報および１つ以上の第２の視聴履歴情報を読み出し、読み出した前記視聴履歴情報の前記画面の空間的な位置情報と前記画面の画角情報とから、フレーム毎に、前記第１の視聴履歴情報の視聴領域を対象に前記第２の視聴履歴情報による当該視聴領域の視聴回数を画素毎に求め、各画素の前記視聴回数の当該視聴領域における合計視聴回数を、当該視聴領域の画素数、および当該フレームを履歴にもつ第２の視聴履歴情報数により正規化した値をフレーム注目度として求め、当該フレーム注目度の平均値を前記第１の視聴履歴情報の注目度として出力する注目度出力手段とを備えることを特徴とする映像視聴履歴解析装置である。

本発明は、コンピュータに、前記映像視聴履歴解析方法を実行させるための映像視聴履歴解析プログラムである。

本発明によれば、映像を視聴した視聴履歴情報を解析することにより、ユーザの嗜好に合致した映像探索に用いることができる客観的な指標を得ることができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 視聴記録のフォーマットを示す図である。 視聴記録の各情報の意味を示す模式図である。 図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。 映像視聴履歴解析システムを実現する最良の形態として、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００、５１３と、配信サーバ１００の処理動作を示す説明図である。 タブレット型端末５００のユーザが視聴した視聴領域５６０と、タブレット型端末５１３のユーザが視聴した視聴領域５６３を示す図である。 類似度の計算処理動作を示すフローチャートである。 蓄積されたすべての視聴記録から、対象となるコンテンツソースに含まれるフレーム順に記録されたデータを抽出する動作を示す図である。 他者の注目度を算出する動作を示すフローチャートである。 第１実施形態で説明した類似度Ａの利用例を示す図である。 第１実施形態、第２実施形態で説明した類似度の別の利用例を示す図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像視聴履歴解析システムを説明する。以下の説明においては、使用するコンテンツソースはより広視野、広画角な映像情報を持ったパノラマ映像ストリームであるものとする。ただし、扱うコンテンツソースは必ずしもパノラマ映像ストリームである必要はなく、通常のビデオカメラで撮影された、一般的なテレビと同等の画角（例えば１６：９や４：３の画角）を持ったコンテンツソースや、魚眼レンズ等を搭載した全周囲ビデオカメラで撮影された全周囲映像ソース、複数台のカメラで撮影された映像を並べてつなぎ合わせた映像ソース、カメラで連続撮影された画像を映像化したもの等、動画の種類は問わない。

図１は同実施形態の構成を示すブロック図である。この映像視聴履歴解析システムは、ユーザが要求するパノラマ映像ストリームの一部分の領域を視聴でき、さらに視聴した領域の情報を保存することができる。図１に示す映像視聴履歴解析システムは、配信サーバ１０、入力視聴クライアント２０、解析サーバ３０が互いに情報通信可能に構成されている。図１において、符号１１は、パノラマ映像ストリームが保存されたコンテンツ保存部である。符号１２は、コンテンツの配信を行うコンテンツ配信部である。符号１３は、ユーザの視聴記録（視聴履歴情報）を保存する視聴記録保存部である。符号１４は、ユーザの視聴記録に予め決められた補正を行う視聴記録補正部である。符号１５は、視聴記録を管理する視聴記録管理データベース（ＤＢ）である。

符号２１は、コンテンツ出力部であり、表示装置から構成する。符号２２は、コンテンツ出力部２１から出力する出力画面を描画する出力画面描画部である。符号２３は、実際にユーザの要求する視聴領域をデコードして出力画面描画部２２へ出力するコンテンツデコード部である。符号２４は、要求する視聴領域に関するユーザ入力情報を受け付ける入力受信部である。符号２５は、入力受信部２４が受け取ったユーザ入力情報に応じて、配信サーバ１０からのパノラマ映像ストリームの中のデコード領域を決めるデコード領域決定部である。符号２６は、入力受信部２４が受け取ったユーザ入力情報を保存するか否かを決定する視聴記録保存決定部である。

符号２７は、ユーザ１０が入力操作を理解するために必要な描画（たとえばボタンの押下やメニュー画面表示操作など）を決定するユーザインタフェース決定部である。符号２８は、視聴記録保存決定部２６によって保存しておくことが決定した場合に、入力受信部２４が受け取ったユーザ入力情報を一時的にキャッシュ保存しておく視聴記録一時記憶部である。符号２９は、ユーザが入力操作を行う入力デバイスである。ユーザ入力情報とは、視聴したいパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報のことである。このユーザ入力情報に基づき、視聴したパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、２次元的な位置情報、画角情報を一定時間記録したものを視聴記録と呼ぶ。

符号３１は、視聴記録を解析する視聴記録解析部である。符号３２は、視聴記録を解析するために、読み出した視聴記録を記憶する視聴記録解析記憶部である。視聴記録保存部１３に保存された視聴記録に必要な解析を施すことが可能な解析サーバ３０により解析された結果を用いて、視聴記録管理ＤＢ１５や視聴記録保存部１３に保存された視聴記録そのものに情報追加や修正を行うことが可能となる。なお、解析のタイミングはサーバのプログラム定期実行や視聴記録が保存された際に解析プログラムが実行されるように設定するなど、そのタイミングは問わない。以下の説明における類似度、他者注目度は視聴記録解析部３１において解析することによって得られるものである。

なお、コンテンツ保存部１１に保存されたパノラマ映像ストリームは、例えば複数のカメラを用いて撮影された広画角・広視野な映像や、４Ｋ２Ｋカメラを用いて高精細に記録された映像、魚眼レンズ・魚眼カメラを用いてカメラの周囲を撮影したもの等が適用できる。また、その保存方法および配信方法は、例えば、Ｈ．２６４やＭＰＥＧ−２などの符号化技術で圧縮されたもののＶＯＤ視聴による配信等が適用できる。

図１に示すシステム構成では、便宜的に配信サーバ１０と入力視聴クライアント２０、解析サーバ３０を同じ図面上に記載したが、それぞれが設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていても構わないし、配信サーバ１０が複数あり、入力視聴クライアント２０を視聴するユーザが接続する配信サーバを選択してもかまわない。また、解析サーバ３０と配信サーバ１０は一体となっていてもかまわない。さらに解析サーバ３０が複数存在し、分散処理等を行ってもかまわない。また、入力視聴クライアント２０とそれを視聴するユーザの組は複数あってもかまわない。また、配信サーバ１０内にコンテンツ保存部１１、コンテンツ配信部１２、視聴記録保存部１３、視聴記録補正部１４は便宜的に一つの配信サーバ１０内に収めたが、コンテンツ配信部１２およびコンテンツ保存部１１と視聴記録補正部１４および、視聴記録保存部１３が別のサーバ筐体、ＰＣ筐体内にあってもよい。また、コンテンツ配信部１２、コンテンツ保存部１１、視聴記録補正部１４、視聴記録保存部１３それぞれが別々の筐体、ＰＣ内、およびＮＡＳ（Network Attached Storage）などを利用し、コンテンツ保存部１１や視聴記録保存部１３が有線・無線に関わらずネットワークに接続され、各機能・保存領域間でネットワークを介したデータのやり取りが行われていてもよく、コンテンツ配信部１２、視聴記録補正部１４の各機能部、コンテンツ保存部１１、視聴記録保存部１３の保存領域の実装形態は問わない。

本実施形態では、特に断りのない限り、ユーザ入力デバイス２９とコンテンツ出力部２１が一体となっている入力視聴クライアント２０であって、さらにデコード領域決定部２５やコンテンツデコード部２３、コンテンツ描画部２２のような演算を必要とする処理が行える端末として、例えばタッチパネル付のスマートフォンやタブレット端末を用いるが、一般的なＰＣに前記演算処理をさせ、入力装置として、一般的なコントローラやゲームパッド、キーボード等をユーザ入力デバイス２９として用い、かつ、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置をコンテンツ出力部２１として用いるようにしてもよい。

ここで、記録される視聴記録について説明する。図２は、視聴記録のフォーマットを示す図である。視聴記録は、コンテンツソースのＵＲＬ２００と、ユーザがユーザインタフェース上で視聴記録を選択する際に表示される視聴記録の名称である視聴記録名２１０と、視聴記録の長さ２２０と、コンテンツソースのピクセルサイズ（横×縦）２３０と、ユーザが視聴した視聴位置２５０とからなる。視聴位置２５０は、それぞれフレーム番号、視聴位置の左上の点のｘ座標、視聴位置の左上の点のｙ座標、視聴画角の比率からなる。視聴画角の比率とは、視聴した端末の表示領域（１２８０×７２０）の対角線の長さを１０００００としたときの視聴領域の対角線の長さを数値で表したものである。図３に視聴記録の各情報の意味を示す模式図を示す。なお、視聴記録は本実施形態が実施可能な情報が含まれていれば、今回示したものには限らない。

次に、図４を参照して、図１に示す映像視聴履歴解析システムを用い、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を説明する。図４は、図１に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。

まず、入力デバイス２９により、ユーザの視聴領域決定・入力する（ステップＳ１）。これを受けて、入力受信部は、入力デバイス２９から入力された視聴領域決定情報を受信する（ステップＳ２）。そして、視聴記録を保存する処理が行われているか否かを判定し（ステップＳ３）、行われていなければ、デコード領域決定部２５は、ユーザが入力した情報に基づきデコード領域を決定し、配信サーバ１０へ視聴領域として要求する（ステップＳ４）。

次に、コンテンツ配信部１２は、要求された視聴領域をコンテンツ保存部１１から読み出して配信する（ステップＳ５）。これを受けて、コンテンツデコード部２３は、配信された視聴領域をデコードする（ステップＳ６）。また、その他必要なユーザインタフェース（ＵＩ）パーツの描画内容を決定する（ステップＳ７）。

次に、コンテンツデコード部２３は、デコードされた視聴領域とその他必要なユーザインタフェース（ＵＩ）パーツを出力画面描画部２２へ引き渡し、これを受けて、出力画面描画部２２は、描画処理を行い、コンテンツ出力部２１に映像を表示する（ステップＳ８）。ユーザは、コンテンツ出力部２１に表示された視聴領域を視聴し（ステップＳ９）、ステップＳ１に戻って処理を繰り返す。

次に、視聴記録を保存する処理が行われている場合、視聴記録保存決定部２６は、入力受信部２４で受信した情報を視聴記録一時記憶部２８に保存する（ステップＳ１０）。そして、視聴終了処理が行われたか否かを判定し（ステップＳ１１）、終了処理が行われていなければ、ステップＳ４へ移行し処理を繰り返す。

一方、視聴終了処理が行われた場合、視聴記録一時記憶部２８に保存された視聴記録を視聴記録保存部１３に保存する（ステップＳ１２）。そして、視聴記録管理ＤＢ１５に視聴記録管理情報を記録する（ステップＳ１３）。

このように、図１に示したシステムを用い、要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存することができる。なお、視聴記録を保存するか否かの判定（ステップＳ３）によって条件分岐する際の設定はユーザまたはシステム管理者が予めシステム内（たとえば入力視聴クライアント２０内）に用意された設定ファイルの変更等で行っておくものとする。

なお、前述した処理動作によって視聴記録を作成し、視聴記録保存部１３に保存された視聴記録群から、ユーザが所望の視聴記録を選択した後に、選択された視聴記録が視聴記録一時記憶部２８を介してユーザ入力部受信部２４に入力され、あたかもユーザが入力した情報のように入力するようにしてもよい。これにより、ユーザは自身が過去にコンテンツ保存領域１１に保存されたパノラマ映像ストリームを視聴した際に記録し、視聴記録保存部１３に保存した視聴記録（または同様のシステムを持つ他のユーザが記録した視聴記録もしくは、人物自動トラッキング装置のようなシステムが自動的に記録した記録）に基づき、コンテンツ保存領域１１に保存されているパノラマ映像ストリームを視聴することができる。

なお、ユーザ入力受信部２４に視聴記録を入力する前に、視聴記録補正部１４の機能を用い、視聴記録保存領域１３に保存された視聴記録に予め決められた補正をかけておくことが可能である。また、ユーザは入力受信部２４に入力された視聴記録情報を自身の入力で上書きし、入力受信部２４に入力された視聴記録保存部１３に保存された視聴記録情報とは異なる、ユーザが所望する視聴領域を予め決められた操作を行っている間だけ（例えばユーザが入力操作を行っている間だけ）視聴するようにしてもよい。

次に、図５を参照して、本システムを実現する最良の形態として、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００、５１３と、パノラマ映像ストリーム５５０が蓄積される配信サーバ１００の処理動作を説明する。図５は、映像視聴履歴解析システムを実現する最良の形態として、図１に示す入力視聴クライアント２０が具備する機能をすべて備えた端末であるタブレット型端末５００、５１３と、配信サーバ１００の処理動作を示す説明図である。タブレット型端末５００は、無線ネットワーク５９０により配信サーバ１０と接続される。配信サーバ１０に保存されたパノラマ映像ストリーム５５０上のユーザによって要求された任意の視聴領域５６０を、タブレット型端末５００が持つ表示領域５８０上に表示する。また、このタブレット型端末５００の表示領域５８０を視聴するユーザは自身の指を使用してタッチ位置５１でタブレット型端末５００の画面をタッチ＆ドラッグ操作することにより視聴領域５６０の２次元座標（ｘ，ｙ）５６１を変更することができる。さらに、タブレット型端末５００の画面を２本の指でピンチイン・ピンチアウト操作を行うことで、視聴領域の対角線の長さ（画角）５６２を視聴領域の縦横比を保ったままで変更することができる。ユーザによる２次元的位置や画角の変更に応じて、表示領域５８０に表示されるパノラマ映像ストリーム５５０の映像の一部（視聴領域５６０）は変更されることになる。タブレット型端末５００上におけるパノラマ映像ストリーム視聴操作はタブレット端末上のキャッシュに視聴記録５１５としていったん保存され、ユーザが視聴操作を完了した際（例えば視聴アプリケーションユーザインタフェース上から視聴停止ボタンを押した際等）に、視聴記録５１５が配信サーバ１０へアップロードされることになる。

また、タブレット型端末５１３は、無線ネットワーク５１２により配信サーバ１０と接続される。配信サーバ１０に保存されたパノラマ映像ストリーム５５０上のユーザによって要求された任意の視聴領域５６３を、タブレット型端末５１２が持つ表示領域上に表示する。また、このタブレット型端末５１３の表示領域を視聴するユーザは自身の指を使用してタッチ位置５５でタブレット型端末５１３の画面をタッチ＆ドラッグ操作することにより視聴領域５６３の２次元座標（ｘ，ｙ）を変更することができる。さらに、タブレット型端末５１３の画面を２本の指でピンチイン・ピンチアウト操作を行うことで、視聴領域の対角線の長さ（画角）を視聴領域の縦横比を保ったままで変更することができる。ユーザによる２次元的位置や画角の変更に応じて、タブレット型端末５１３の表示領域に表示されるパノラマ映像ストリーム５５０の映像の一部（視聴領域５６３）は変更されることになる。タブレット型端末５１３上におけるパノラマ映像ストリーム視聴操作はタブレット端末上のキャッシュに視聴記録５１６としていったん保存され、ユーザが視聴操作を完了した際（例えば視聴アプリケーションユーザインタフェース上から視聴停止ボタンを押した際等）に、視聴記録５１６が配信サーバ１０へアップロードされることになる。

図５においては、タブレット型端末５００と配信サーバ１０間、タブレット型端末５１３と配信サーバ１０間の通信は、それぞれ無線ネットワーク５９０、５１２を利用したが、例えば有線ネットワーク、公衆無線ＬＡＮやＷｉＦｉ、第三世代移動通信システムや第四世代移動通信システム等を利用してもよい。

次に、アップロードした視聴記録を解析する動作を説明する。タブレット端末５１３のユーザは、タブレット端末５００のユーザと同様の手法で視聴記録５１６を作成し、サーバ５１０にアップロードすることにより、配信サーバ１０上には複数のユーザが作成し保存した視聴記録が存在することになる。ここでタブレット型端末５１３のユーザは、自身と嗜好が似ているユーザを探し、親しくなろうとしているとする。自身と嗜好が似ているユーザは、パノラマ映像ストリーム視聴において注目する箇所や領域（見方）が似ているとすると、タブレット型端末５１３のユーザが作成した視聴記録と似た視聴記録を探し出すことができれば、それを作成したユーザと嗜好が似ていると考えられる。

そこで、解析サーバ３０は、ある視聴記録と別の視聴記録がどの程度似ているかを数値でした類似度を、配信サーバ１０に保存された視聴記録すべてに対して計算する。類似度の計算方法について図６に示す模式図と図７に示すフロチャートを参照して説明する。まず類似度を比較したい視聴記録（視聴記録５１６）と比較対象となる視聴記録（配信サーバ１０に保存された視聴記録５１６以外の視聴記録）を視聴記録解析記憶部３２に記憶する。比較対象の視聴記録を視聴記録５１５であるものとする。図６は、タブレット型端末５００のユーザが視聴した視聴領域５６０と、タブレット型端末５１３のユーザが視聴した視聴領域５６３を示す図である。視聴領域５６０の縦方向の長さ（ピクセル数）をｈ_ｎ２、横方向の長さｗ_ｎ２とし、視聴領域５６３の縦方向の長さをｈ_ｎ１、横方向の長さｗ_ｎ１とする。そして、２つの視聴領域５６０、５６３の重なりあっている領域６００の縦方向の長さをｈ_ｎＬ、横方向の長さｗ_ｎＬとする。

次に、図７を参照して、類似度の計算処理動作について説明する。図７は、類似度の計算処理動作を示すフローチャートである。まず、視聴記録解析部３１は、比較する視聴記録と比較される視聴記録のデータから両者に共通なフレームのデータだけを抜き出す（ステップＳ２１）。共通データの個数をＮとする。これは、２つの視聴記録内に同じフレーム番号（図２参照）あった場合にそのフレームのデータを抜き出すことを意味する。

次に、視聴記録解析部３１は、Ｎ＞０を満たすか否かを判定する（ステップＳ２２）。これを満たした場合、視聴記録解析部３１は、類似度Ｓを計算する（ステップＳ２３）。類似度Ｓは、両視聴記録に共通する各フレームにおいて、両視聴位置が重なっているピクセル数が比較する視聴記録に比べてどの程度の割合で存在するかの数値を全フレーム分合算し、全フレーム数で割った値（平均を取った値）を類似度Ｓ（図７に示す（１）式）とすることによって求める。一方、ステップＳ２２において、Ｎ＞０を満たさない場合、すなわち両視聴記録に共通するフレームがない場合、視聴記録解析部３１は、類似度Ｓを０とする（ステップＳ２４）。

類似度Ｓとは比較対象となる視聴記録が比較したい視聴記録の視聴領域をどの程度含んでいるかを表す値であるため、類似度Ｓの値が大きいほど両者は似た視聴の仕方を行ったことを意味する。すなわち、それらを視聴記録を記録したユーザ同士は似た嗜好を持っていると言える。一方、類似度Ｓの値が小さいほど両者は似ていない、すなわち、ユーザ同士は嗜好が異なると言える。

配信サーバ１０に保存されたその他の視聴記録についても類似度Ｓが計算できれば、その類似度で視聴記録をソートし、タブレット型端末５１３のユーザは、タブレット端末５１３にインストールされたパノラマストリーム視聴用アプリケーション上で配信サーバ１０上に複数ある視聴記録から類似度Ｓの高い順に視聴記録を選び、前述した方法で自身と嗜好が似たユーザの視聴記録を元にしたパノラマ映像ストリームを視聴することや、さらにはそのユーザに連絡を取り、嗜好の似た者同士で仲間を増やしていくことが可能となる。ユーザ間の連絡は、昨今の動画共有サービスに見られるように、自身のコンテンツをアップロードする時は自身の名前やハンドルネーム、メールアドレス等を入力することが多いため、そのような情報を利用することで、視聴記録を作成したユーザと連絡を取ることが可能である。

＜第２実施形態＞
次に、本発明の第２実施形態による映像視聴履歴解析システムを説明する。コンテンツソースを一度も視聴したことがない、また、コンテンツソースに映る被写体のことを知らない第三者がコンテンツソースを視聴する場合、配信サーバ１０内には既に多くの視聴記録が保存されているため、前記第三者はその中からより一般的な視聴をしている視聴記録を選択して視聴したいとする。図８は、蓄積されたすべての視聴記録から、対象となるコンテンツソースに含まれるフレーム順に記録されたデータを抽出する動作を示す図である。まず、視聴記録解析部３１は、図８に示す方法で、蓄積されたすべての視聴記録から、対象となるコンテンツソースに含まれるフレーム順に記録されたデータを抽出する。各フレーム毎にそれぞれのシナリオからＮｔ個のデータが抽出される。ただしｔは１〜ｎでコンテンツソースの開始フレーム〜終了フレームを表す。ここで、視聴記録によっては対象となるフレームを含まない視聴記録も存在する（対象となるフレームを視聴していない視聴記録も存在する）ため、Ｎｔはそれぞれに異なった値にもなり得る。データ抽出が終了すると、視聴記録解析部３１は、配信サーバ１０に保存された同一コンテンツソースに対する視聴記録それぞれについて、他者の注目度Ａを算出する。

図９は、他者の注目度Ａを算出する動作を示すフローチャートである。まず、視聴記録解析部３１は、フレーム毎に視聴記録中に存在するデータを抽出する（ステップＳ３１：図８参照）。そして、視聴記録解析部３１は、視聴記録の中から他者注目度を算出したい視聴記録を選び、図９に示す（２）式により、フレーム毎の他者注目度Ａｉを計算する（ステップＳ３２）。（２）式において、ｗｉは、視聴領域の横方向の長さ（ピクセル数）、ｈｉは、視聴領域の縦方向の長さ（ピクセル数）、Ｎｉは抽出されたフレームの個数である。また、（２）式の分母は他者注目度を算出したい視聴記録中の視聴領域に含まれる全てのピクセルが最も視聴された場合を意味している。ゆえに０≦Ａｉ≦１である。また、ａｉ（ｘ，ｙ）は、各ピクセルの視聴された回数であり、図９に示す（３）式で表される。

次に、視聴記録解析部３１は、フレーム毎の他者注目度Ａｉを合算し、Ｎｉ＝０でなかったフレーム数ｎ’で割って、目的としていた視聴記録の他者注目度Ａ（図９に示す（４）式）を算出する（ステップＳ３３）。なお、他者の注目度Ａは、求めた他者の注目度Ａの平均値を用いるようにしてもよい。他者注目度Ａは０〜１の比率で表され、他者注目度Ａの高い視聴記録はより他者が視聴している領域を多く含むことを意味しており、すなわち、より一般的な（人気の）位置を示していることになる。一方、他者注目度Ａの低い視聴記録はより他者が視聴している領域を含まないことを意味しており、すなわち、より特殊な（人気のない）位置を示していることになる。この他者注目度Ａを用いると、コンテンツソースを一度も視聴したことがない、また、コンテンツソースに映る被写体のことを知らない第三者でも一般的な視聴ができるため、何から見て良いかわからないといった不安から解放される。

＜第３実施形態＞
次に、本発明の第３実施形態による映像視聴履歴解析システムを説明する。図１０は、第１実施形態で説明した類似度Ａの利用例を示す図である。ユーザは図１のシステムを用いて視聴記録９００を作成し、配信サーバ１０に視聴記録９００として保存したものとする。配信サーバ１０には解析サーバ３０も含まれているとし、第１実施形態の方法でユーザが作成した視聴記録９００に対する他の視聴記録との類似度が既に計算され、視聴記録管理ＤＢ１５等に数値が保存されているものとする。ユーザは自身のタブレット端末５００上で、類似度順にソートした結果が表示可能なアプリケーションを使い、結果を見ている。ユーザは、この画面から、自身が作成した視聴記録（図１０においてはシナリオと示している）の［視聴］を選択することで、コンテンツソースに沿って視聴することができる。また、例えば、他者の作成した視聴記録で類似度の高い視聴記録の［視聴］を選択し、コンテンツソースに沿って視聴することもできる。

またさらに、その視聴記録が気に入った場合、作者名を選択することで、予め作者が本システムを使用開始する際に登録したメールアドレスを見て連絡することや、同じく登録した電話番号に電話をかけることができる。なお、予め作者が使用開始時にメールアドレスや電話番号など、個人に紐づく情報を視聴記録管理ＤＢ１５に保存しておくことで、上記のようにアプリケーションから利用することが可能となる。

これにより、ユーザは自身と嗜好が似た（コンテンツの見方が似た）別のユーザにコンタクトを取ることができるようになる。また、同時に、自身と嗜好が似ていない視聴記録を類似度でフィルタリングすることもできるため、無駄な探索時間がかからないという利点もある。

＜第４実施形態＞
次に、本発明の第４実施形態による映像視聴履歴解析システムを説明する。図１１は、第１実施形態、第２実施形態で説明した類似度の別の利用例を示す図である。第１実施形態、第２実施形態では、視聴するコンテンツソースはパノラマ映像ストリームを利用した例を説明したが、ここでは、複数台のカメラ（カメラ１０１０、１０２０、１０３０）から被写体１０００を撮影した多視点映像（それぞれのカメラからの映像１０１５、１０２５、１０３５）を用い、ユーザ１０４０が、ユーザ１０４０が持つ視聴端末１０５０で好みのカメラを選択して視聴する際への応用方法を説明する。なお図１１には、それぞれのカメラの撮影範囲を１０１３、１０２３、１０３３で表している。また、図１１には、ユーザ１０４０はカメラ１０１０で撮影された映像１０１５を選択して見ているものとする。

ここで、複数のカメラ１０１０、１０２０、１０３０から撮影された映像を、時間同期をとり、横に並べてひとつの映像ソース１０６０とする。ここで、原点を映像ソース１０６０の左上に取ると、第４実施形態は第１実施形態、第２実施形態で利用したパノラマ映像ストリームをコンテンツソースとした場合と同等とできる。また、ユーザ１０４０の選択する視聴領域は、ここでは画角は変更できず、撮影したカメラの視点を選択するため、この場合、ユーザ１０４０の視聴領域は、視聴領域１０６５（図１１では映像ソース１０６０の枠と区別するため、少し小さめに枠を描いている）であると考えられる。すなわち、ユーザの好みの視点（好みのカメラ画像）の選択の際、視聴した瞬間瞬間のフレーム番号、視聴位置の左上の点のｘ座標（ここでは映像ソース１０６０内の各カメラの映像の左上のｘ座標）、視聴位置の左上の点のｙ座標（ここでは映像ソース１０６０内の各カメラの映像の左上のｙ座標）、視聴画角の比率（ここでは各カメラの撮影画像と同じで一定）を視聴記録として記録しておけば、第１実施形態、第２実施形態と同様の方法により、類似度Ｓ、他者注目度Ａを算出することが可能となる。

なお、ここでは、複数のカメラは同一被写体を同一時刻に撮影したが、必ずしも同じ形態で撮影する必要はなく、別の被写体を別の時間に撮影し、事後で複数のカメラの任意の時刻を同期させて再生するようなコンテンツでも構わない。

以上説明したように、配信サーバ１０から配信される映像ストリーム、特に広視野・広画角で撮影されたパノラマ映像ストリームのような映像からユーザが好みの被写体・場面を選んで視聴できるような映像視聴において、ユーザが視聴した視聴記録を解析し、視聴傾向を数値化（類似度Ｓ、他者注目度Ａ）するようにした。

これにより、複数蓄積された視聴記録それぞれと自身の視聴の仕方との類似度を数値で表すことにより、似た視聴をした他者の視聴記録を類似度でソートし、目的の視聴記録探索の補助として使用することができる。このため、これまでの主観的な情報による検索結果よりも高精度かつ迅速にコンテンツソースに対して自身と似た嗜好を持った視聴記録を見つけることができるようになる。また、複数蓄積された視聴記録から視聴頻度の高さを任意のフレーム間隔で算出し、複数蓄積された視聴記録それぞれが対応するフレームにどの程度その視聴頻度を含んでいるかを算出することにより、より一般的な見方をしている視聴記録をソートすることができるようになる。このため、初めてコンテンツソースを見るユーザもより一般的で視聴頻度の高い（人気の）被写体を見ている視聴記録を選択することが可能となる。

なお、図１に示す配信サーバ１０、入力視聴クライアント２０、解析サーバ３０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像視聴履歴解析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

映像を視聴した履歴情報を解析した結果を利用して映像の視聴を行うことが不可欠な用途にも適用できる。

１０・・・配信サーバ、１１・・・コンテンツ保存部、１２・・・コンテンツ配信部、１３・・・視聴記録保存部、１４・・・視聴記録補正部、１５・・・視聴記録管理ＤＢ、２０・・・入力視聴クライアント、２１・・・コンテンツ出力部、２２・・・出力画面描画部、２３・・・コンテンツデコード部、２４・・・入力受信部、２５・・・デコード領域決定部、２６・・・視聴領域保存決定部、２７・・・ユーザインタフェース決定部、２８・・・視聴記録一時記憶部、２９・・・入力デバイス、３０・・・解析サーバ、３１・・・視聴記録解析部、３２・・・視聴記録解析記憶部

Claims (5)

1. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、
   前記視聴履歴情報記憶手段から２つの前記視聴履歴情報を読み出し、前記２つの視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、視聴された共通するフレームの画面のうち、視聴位置が重なっている画面領域の面積が一方の前記視聴履歴情報に比べてどの程度の割合で存在するかの数値を共通するフレーム分合算し、合算したフレーム数で割った値を、一方の前記視聴履歴情報に関して他方の前記視聴履歴情報がどの程度類似するものであるかを表す値である類似度として出力する類似度出力ステップを有することを特徴とする映像視聴履歴解析方法。
2. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段を備える映像視聴履歴解析装置が行う映像視聴履歴解析方法であって、
   前記視聴履歴情報記憶手段から、第１の視聴履歴情報および１つ以上の第２の視聴履歴情報を読み出し、読み出した前記視聴履歴情報の前記画面の空間的な位置情報と前記画面の画角情報とから、フレーム毎に、前記第１の視聴履歴情報の視聴領域を対象に前記第２の視聴履歴情報による当該視聴領域の視聴回数を画素毎に求め、各画素の前記視聴回数の当該視聴領域における合計視聴回数を、当該視聴領域の画素数、および当該フレームを履歴にもつ第２の視聴履歴情報数により正規化した値をフレーム注目度として求め、当該フレーム注目度の平均値を前記第１の視聴履歴情報の注目度として出力する注目度出力ステップを有することを特徴とする映像視聴履歴解析方法。
3. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、
   前記視聴履歴情報記憶手段から２つの前記視聴履歴情報を読み出し、前記２つの視聴履歴情報の前記画面の空間的な位置情報と、前記画面の画角情報とから、視聴された場面の画面のうち、視聴位置が重なっている画面領域の面積が一方の前記視聴履歴情報に比べてどの程度の割合で存在するかの数値を共通するフレーム分合算し、合算したフレーム数で割った値を、一方の前記視聴履歴情報に関して他方の前記視聴履歴情報がどの程度類似するものであるかを表す値である類似度として出力する類似度出力手段と
   を備えることを特徴とする映像視聴履歴解析装置。
4. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段と、
   前記視聴履歴情報記憶手段から、第１の視聴履歴情報および１つ以上の第２の視聴履歴情報を読み出し、読み出した前記視聴履歴情報の前記画面の空間的な位置情報と前記画面の画角情報とから、フレーム毎に、前記第１の視聴履歴情報の視聴領域を対象に前記第２の視聴履歴情報による当該視聴領域の視聴回数を画素毎に求め、各画素の前記視聴回数の当該視聴領域における合計視聴回数を、当該視聴領域の画素数、および当該フレームを履歴にもつ第２の視聴履歴情報数により正規化した値をフレーム注目度として求め、当該フレーム注目度の平均値を前記第１の視聴履歴情報の注目度として出力する注目度出力手段と
   を備えることを特徴とする映像視聴履歴解析装置。
5. コンピュータに、請求項１または２に記載の映像視聴履歴解析方法を実行させるための映像視聴履歴解析プログラム。

Images