JP5923021B2 - 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム - Google Patents

映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム Download PDF

Info

Publication number
JP5923021B2
JP5923021B2 JP2012223221A JP2012223221A JP5923021B2 JP 5923021 B2 JP5923021 B2 JP 5923021B2 JP 2012223221 A JP2012223221 A JP 2012223221A JP 2012223221 A JP2012223221 A JP 2012223221A JP 5923021 B2 JP5923021 B2 JP 5923021B2
Authority
JP
Japan
Prior art keywords
viewing
screen
video
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012223221A
Other languages
English (en)
Other versions
JP2014075743A (ja
Inventor
越智 大介
大介 越智
弾 三上
弾 三上
木全 英明
英明 木全
草地 良規
良規 草地
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012223221A priority Critical patent/JP5923021B2/ja
Publication of JP2014075743A publication Critical patent/JP2014075743A/ja
Application granted granted Critical
Publication of JP5923021B2 publication Critical patent/JP5923021B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像を視聴した履歴情報を解析する映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラムに関する。
昨今、配信技術やネットワーク技術の高度化により、一般家庭や公衆の場において大容量かつ、双方向の通信サービスが可能となり、インタラクティブな映像サービスが注目されている。中でも、コンテンツ提供者が予め高精細なカメラ(4K2Kカメラ等)や複数のカメラを用い、広視野・広画角、かつ通常のHD画質以上の映像情報をもった高精細・高品質な映像(パノラマ映像)を撮影し、視聴者であるユーザは通常の視聴端末でパノラマ映像の所望の場所を選択して(所望の視聴位置・画角・フレーム位置を選択して)高画質に視聴するような技術が考案されている(例えば、非特許文献1参照)。
このような技術を用いると、一つのコンテンツソースに対し、ユーザ毎に異なった見方をすることができるようになる上、ユーザの視聴した映像上の2次元位置や画角、その時の再生時刻または映像フレーム情報(視聴記録と呼ぶ)をテキストログとして少なくとも記録しておき、元のコンテンツソースをその視聴記録を元に再現することで、そのユーザの視聴体験を再現することができる。また、複数ユーザの同様の視聴記録を集合知として解析・利用し、より多くのユーザに視聴された位置・画角の見方を生成するような方法も提案されている(例えば、非特許文献2参照)。
H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, "Interactive Panorama Video Distribution System," Proceedings of Telecom World 2011 Technical Symposium at ITU, pp.45-50, 2011. Axel Carlier, Vincent Charvillat, Wei Tsang Ooi, Romulus Grigoras, and Geraldine Morin, "Crowdsourced Automatic Zoom and Scroll for Video Retargeting," ACM Multimedia 2010, pp. 201-210, 2010.
しかしながら、パノラマ映像等の一部分をユーザが任意に選んで視聴する視聴形態において、非特許文献1、2に記載の技術では、他ユーザの興味をより引いた映像(より一般的な視聴領域)が、現在ユーザが視聴している2次元位置から離れた位置にあり、ユーザがその部分を視聴したいと思った場合、ユーザが視聴位置の移動操作を、時間をかけて行っている間に他ユーザが興味を引いた映像内容を見逃してしまうという問題がある。また、非特許文献1に記載の技術では、初めてコンテンツを視聴するユーザ(コンテンツに表示される映像内容について事前知識のないユーザ)が、視聴位置を一意に選択できないという問題もある。
本発明は、このような事情に鑑みてなされたもので、複数他者の視聴履歴から解析された視聴頻度の高い視聴領域を素早く、少ない操作で選択して映像を視聴することができる映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラムを提供することを目的とする。
本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出手段と、前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出手段によって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示手段とを備えることを特徴とする。
本発明は、前記提示手段は、前記画面の移動方向を検知し、検知した方向において前記視聴頻度の高い画面位置情報と画面画角情報とを提示することを特徴とする。
本発明は、前記提示手段は、前記映像を視聴している際に行われた画面操作を検知し、検知した画面操作と、前記視聴履歴情報記憶手段に記憶されている過去に行われた画面操作とが似ている画面操作の結果として視聴された画面位置情報と画面画角情報とを提示することを特徴とする。
本発明は、前記提示手段は、前記視聴履歴情報記憶手段に記憶されている過去に視聴された画面を特定する情報を重みづけ平均して得られた画面を特定する情報を提示することを特徴とする。
本発明は、前記視聴頻度算出手段は、前記視聴履歴情報記憶手段に記憶されている複数の前記視聴履歴情報のうち、所定の属性を有する前記視聴履歴情報のみを入力し、前記視聴頻度を算出することを特徴とする。
本発明は、表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出ステップと、前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出ステップによって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示ステップとを有することを特徴とする。
本発明は、コンピュータを、前記映像視聴履歴解析装置として機能させるための映像視聴履歴解析プログラムである。
本発明によれば、複数他者の視聴履歴から解析された視聴頻度の高い視聴領域を素早く、少ない操作で選択して映像を視聴することができるという効果が得られる。
本発明の第1実施形態の構成を示すブロック図である。 視聴記録のフォーマットを示す図である。 視聴記録の各情報の意味を示す模式図である。 図1に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報(視聴記録)を記録・保存する動作を示すフローチャートである。 図1に示す入力視聴クライアント20が具備する機能をすべて備えた端末であるタブレット型端末500と、パノラマ映像ストリーム550が蓄積された配信サーバ10処理動作を示す説明図である。 図1に示す視聴記録解析部31が、複数視聴記録から視聴頻度の解析を行う処理を示す説明図である。 ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。 解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。 視聴領域がどの方向に動いたかを示す情報を示す説明図である。 他ユーザの視聴頻度の高い領域の中心座標の探索範囲を示す説明図である。 図1に示す視聴記録解析部31が行う処理動作を示す説明図である。 視聴記録解析記憶部32に保存した中心座標と方向の情報を示す説明図である。 視聴領域移動操作を示す説明図である。 解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする例を示す説明図である。 解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる例を示す説明図である。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像視聴履歴解析システムを説明する。以下の説明においては、使用するコンテンツソースはより広視野、広画角な映像情報を持ったパノラマ映像ストリームであるものとする。ただし、扱うコンテンツソースは必ずしもパノラマ映像ストリームである必要はなく、通常のビデオカメラで撮影された、一般的なテレビと同等の画角(例えば16:9や4:3の画角)を持ったコンテンツソースや、魚眼レンズ等を搭載した全周囲ビデオカメラで撮影された全周囲映像ソース、複数台のカメラで撮影された映像を並べてつなぎ合わせた映像ソース、カメラで連続撮影された画像を映像化したもの等、動画の種類は問わない。
図1は同実施形態の構成を示すブロック図である。この映像視聴履歴解析システムは、ユーザが要求するパノラマ映像ストリームの一部分の領域を視聴でき、さらに視聴した領域の情報を保存することができる。図1に示す映像視聴履歴解析システムは、配信サーバ10、入力視聴クライアント20、解析サーバ30が互いに情報通信可能に構成されている。図1において、符号11は、パノラマ映像ストリームが保存されたコンテンツ保存部である。符号12は、コンテンツの配信を行うコンテンツ配信部である。符号13は、ユーザの視聴記録(視聴履歴情報)を保存する視聴記録保存部である。符号14は、ユーザの視聴記録に予め決められた補正を行う視聴記録補正部である。符号15は、視聴記録を管理する視聴記録管理データベース(DB)である。
符号21は、コンテンツ出力部であり、表示装置から構成する。符号22は、コンテンツ出力部21から出力する出力画面を描画する出力画面描画部である。符号23は、実際にユーザの要求する視聴領域をデコードして出力画面描画部22へ出力するコンテンツデコード部である。符号24は、要求する視聴領域に関するユーザ入力情報を受け付ける入力受信部である。符号25は、入力受信部24が受け取ったユーザ入力情報に応じて、配信サーバ10からのパノラマ映像ストリームの中のデコード領域を決めるデコード領域決定部である。符号26は、入力受信部24が受け取ったユーザ入力情報を保存するか否かを決定する視聴記録保存決定部である。
符号27は、ユーザ10が入力操作を理解するために必要な描画(たとえばボタンの押下やメニュー画面表示操作など)を決定するユーザインタフェース決定部である。符号28は、視聴記録保存決定部26によって保存しておくことが決定した場合に、入力受信部24が受け取ったユーザ入力情報を一時的にキャッシュ保存しておく視聴記録一時記憶部である。符号29は、ユーザが入力操作を行う入力デバイスである。ユーザ入力情報とは、視聴したいパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、2次元的な位置情報、画角情報のことである。このユーザ入力情報に基づき、視聴したパノラマ映像ストリーム上の時刻とその時刻に対応するフレーム位置情報、2次元的な位置情報、画角情報を一定時間記録したものを視聴記録と呼ぶ。
符号31は、複数視聴記録からの視聴頻度の解析する視聴記録解析部である。符号32は、視聴記録を解析するために、読み出した視聴記録を記憶する視聴記録解析記憶部である。視聴記録保存部13に保存された視聴記録に必要な解析を施すことが可能な解析サーバ30により解析された結果を用いて、視聴記録管理DB15や視聴記録保存部13に保存された視聴記録そのものに情報追加や修正を行うことが可能となる。なお、解析のタイミングはサーバのプログラム定期実行や視聴記録が保存された際に解析プログラムが実行されるように設定するなど、そのタイミングは問わない。以下に説明する複数の視聴記録からの視聴頻度の解析、複数の視聴記録からの一つの共同作品の制作は視聴記録解析部31で解析され、新たな視聴記録として視聴記録保存部13に保存され、視聴記録管理DB150によって管理されるものである。
なお、コンテンツ保存部11に保存されたパノラマ映像ストリームは、例えば複数のカメラを用いて撮影された広画角・広視野な映像や、4K2Kカメラを用いて高精細に記録された映像、魚眼レンズ・魚眼カメラを用いてカメラの周囲を撮影したもの等が適用できる。また、その保存方法および配信方法は、例えば、H.264やMPEG−2などの符号化技術で圧縮されたもののVOD視聴による配信等が適用できる。
図1に示すシステム構成では、便宜的に配信サーバ10と入力視聴クライアント20、解析サーバ30を同じ図面上に記載したが、それぞれが設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていても構わないし、配信サーバ10が複数あり、入力視聴クライアント20を視聴するユーザが接続する配信サーバを選択してもかまわない。また、解析サーバ30と配信サーバ10は一体となっていてもかまわない。さらに解析サーバ30が複数存在し、分散処理等を行ってもかまわない。また、入力視聴クライアント20とそれを視聴するユーザの組は複数あってもかまわない。また、配信サーバ10内にコンテンツ保存部11、コンテンツ配信部12、視聴記録保存部13、視聴記録補正部14は便宜的に一つの配信サーバ10内に収めたが、コンテンツ配信部12およびコンテンツ保存部11と視聴記録補正部14および、視聴記録保存部13が別のサーバ筐体、PC筐体内にあってもよい。また、コンテンツ配信部12、コンテンツ保存部11、視聴記録補正部14、視聴記録保存部13それぞれが別々の筐体、PC内、およびNAS(Network Attached Storage)などを利用し、コンテンツ保存部11や視聴記録保存部13が有線・無線に関わらずネットワークに接続され、各機能・保存部間でネットワークを介したデータのやり取りが行われていてもよく、コンテンツ配信部12、視聴記録補正部14の各機能部、コンテンツ保存部11、視聴記録保存部13の保存領域の実装形態は問わない。
本実施形態では、特に断りのない限り、入力デバイス29とコンテンツ出力部21が一体となっている入力視聴クライアント20であって、さらにデコード領域決定部25やコンテンツデコード部23、出力画面描画部22のような演算を必要とする処理が行える端末として、例えばタッチパネル付のスマートフォンやタブレット端末を用いるが、一般的なPCに前記演算処理をさせ、入力装置として、一般的なコントローラやゲームパッド、キーボード等を入力デバイス29として用い、かつ、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置をコンテンツ出力部21として用いるようにしてもよい。
ここで、記録される視聴記録について説明する。図2は、視聴記録のフォーマットを示す図である。視聴記録は、コンテンツソースのURL200と、ユーザがユーザインタフェース上で視聴記録を選択する際に表示される視聴記録の名称である視聴記録名210と、視聴記録の長さ220と、コンテンツソースのピクセルサイズ(横×縦)230と、ユーザが視聴した視聴位置250とからなる。視聴位置250は、それぞれフレーム番号、視聴位置の左上の点のx座標、視聴位置の左上の点のy座標、視聴画角の比率からなる。
視聴画角の比率とは、視聴した端末の表示領域(1280×720)の対角線の長さを100000としたときの視聴領域の対角線の長さを数値で表したものである。図3に視聴記録の各情報の意味を示す模式図を示す。なお、視聴記録は本実施形態が実施可能な情報が含まれていれば、今回示したものには限らない。
次に、図4を参照して、図1に示す映像視聴履歴解析システムを用い、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報(視聴記録)を記録・保存する動作を説明する。図4は、図1に示す映像視聴履歴解析システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報(視聴記録)を記録・保存する動作を示すフローチャートである。
まず、入力デバイス29により、ユーザの視聴領域決定・入力する(ステップS21)。これを受けて、入力受信部は、入力デバイス29から入力された視聴領域決定情報を受信する(ステップS22)。そして、視聴記録を保存する処理が行われているか否かを判定し(ステップS23)、行われていなければ、デコード領域決定部25は、ユーザが入力した情報に基づきデコード領域を決定し、配信サーバ10へ視聴領域として要求する(ステップS24)。
次に、コンテンツ配信部12は、要求された視聴領域をコンテンツ保存部11から読み出して配信する(ステップS25)。これを受けて、コンテンツデコード部23は、配信された視聴領域をデコードする(ステップS26)。また、その他必要なユーザインタフェース(UI)パーツの描画内容を決定する(ステップS27)。
次に、コンテンツデコード部23は、デコードされた視聴領域とその他必要なユーザインタフェース(UI)パーツを出力画面描画部22へ引き渡し、これを受けて、出力画面描画部22は、描画処理を行い、コンテンツ出力部21に映像を表示する(ステップS28)。ユーザは、コンテンツ出力部21に表示された視聴領域を視聴し(ステップS29)、ステップS21に戻って処理を繰り返す。
次に、視聴記録を保存する処理が行われている場合、視聴記録保存決定部26は、入力受信部24で受信した情報を視聴記録一時記憶部28に保存する(ステップS30)。そして、視聴終了処理が行われたか否かを判定し(ステップS31)、終了処理が行われていなければ、ステップS24へ移行し処理を繰り返す。
一方、視聴終了処理が行われた場合、視聴記録一時記憶部28に保存された視聴記録を視聴記録保存部13に保存する(ステップS32)。そして、視聴記録管理DB15に視聴記録管理情報を記録する(ステップS33)。
このように、図1に示したシステムを用い、要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報(視聴記録)を記録・保存することができる。なお、視聴記録を保存するか否かの判定(ステップS23)によって条件分岐する際の設定はユーザまたはシステム管理者が予めシステム内(たとえば入力視聴クライアント20内)に用意された設定ファイルの変更等で行っておくものとする。
なお、前述した処理動作によって視聴記録を作成し、視聴記録保存部13に保存された視聴記録群から、ユーザが所望の視聴記録を選択した後に、選択された視聴記録が視聴記録一時記憶部28を介して入力部受信部24に入力され、あたかもユーザが入力した情報のように入力するようにしてもよい。これにより、ユーザは自身が過去にコンテンツ保存部11に保存されたパノラマ映像ストリームを視聴した際に記録し、視聴記録保存部13に保存した視聴記録(または同様のシステムを持つ他のユーザが記録した視聴記録もしくは、人物自動トラッキング装置のようなシステムが自動的に記録した記録)に基づき、コンテンツ保存部11に保存されているパノラマ映像ストリームを視聴することができる。
なお、入力受信部24に視聴記録を入力する前に、視聴記録補正部14の機能を用い、視聴記録保存部13に保存された視聴記録に予め決められた補正をかけておくことが可能である。また、ユーザは入力受信部24に入力された視聴記録情報を自身の入力で上書きし、入力受信部24に入力された視聴記録保存部13に保存された視聴記録情報とは異なる、ユーザが所望する視聴領域を予め決められた操作を行っている間だけ(例えばユーザが入力操作を行っている間だけ)視聴するようにしてもよい。
次に、図5を参照して、本システムを実現する最良の形態として、図1に示す入力視聴クライアント20が具備する機能をすべて備えた端末であるタブレット型端末500と、パノラマ映像ストリーム550が蓄積された配信サーバ10処理動作を説明する。図5は、図1に示す入力視聴クライアント20が具備する機能をすべて備えた端末であるタブレット型端末500と、パノラマ映像ストリーム550が蓄積された配信サーバ10処理動作を示す説明図である。タブレット型端末500は、無線ネットワーク590に接続され、同じく、無線ネットワーク590に接続された機器とネットワーク的なデータのやり取りができる配信サーバ10に保存されたパノラマ映像ストリーム550(ここでは例としてフレームn番目の画像のみを図示)の、ユーザから要求される任意の視聴領域560を、タブレット型端末500が持つ表示領域580上に表示可能となっている。
また、このタブレット型端末500の表示領域580を視聴するユーザは自身の指(タッチ位置)51でタブレット型端末500の画面をタッチ&ドラッグ操作することにより視聴領域560の2次元座標(x,y)561を変更することができる。さらに、タブレット型端末500の画面を2本の指でピンチイン・ピンチアウト操作を行うことで、視聴領域の対角線の長さ(画角)562を視聴領域の縦横比を保ったままで変更することができる。ユーザによる2次元的位置や画角の変更に応じて、表示領域580に表示されるパノラマ映像ストリーム550の映像の一部(視聴領域560)は変更されることになる。
ここでは、タブレット型端末500と配信サーバ10間の通信は無線ネットワークを利用したが、例えば有線ネットワーク、公衆無線LANやWiFi、第三世代移動通信システムや第四世代移動通信システム等を利用してもよい。タブレット型端末500上におけるユーザのパノラマ映像ストリーム視聴操作はタブレット端末上のキャッシュに視聴記録515としていったん保存され、ユーザが視聴操作を完了した際(例えば視聴アプリケーションユーザインタフェース上から視聴停止ボタンを押した際等)に、視聴記録515が配信サーバ10へアップロードされる。配信サーバ10上にはユーザが作成した視聴記録以外にもさらなる第三者が保存し、本システムを利用するユーザに公開している視聴記録595も複数存在することになる。
次に、図6を参照して、図1に示す視聴記録解析部31が、複数視聴記録から視聴頻度の解析を行う処理について説明する。図6は、図1に示す視聴記録解析部31が、複数視聴記録から視聴頻度の解析を行う処理を示す説明図である。視聴頻度解析の入力は、複数の視聴記録(例えば、図5に示す前記第三者が保存した視聴記録595)である。視聴記録はフレーム毎に記録されているため、パノラマ映像ストリームの各フレームにおいて、各フレームに含まれるピクセルがどの程度の割合で視聴されたかを算出し出力することができる。視聴頻度の解析処理については、例えば、単純にパノラマ映像ストリームの各フレームに含まれる各ピクセルが何回視聴されたかを計測してもかまわないし、各視聴領域の中心座標を高さ1の3次元ガウス分布の頂点、視聴領域の枠部分をガウス分布の高さ0の裾として該当フレームに含まれるピクセルのガウス分布の高さを算出し、フレーム毎に該当フレームに含まれるピクセルの3次元ガウス分布の高さを合算した値を用いてもかまわず、各フレームに含まれるピクセルの視聴頻度が得られればその手法は問わない。図6では、視聴頻度の可視化のため、各フレームの各ピクセルをheat colorで彩色(青→水色→黄緑→黄色→赤の順で視聴頻度が高くなることを表す)した。
ここで図7を参照して、ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を説明する。図7は、ユーザが自身の選択した視聴領域から、先に算出した視聴頻度解析結果を用い、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。ユーザはパノラマ映像ストリームのフレームnにおいて、図7の上段左の枠部分を視聴しているものとする(その時のユーザ視聴端末での状態は図7下段左)。ユーザが他者の視聴頻度が高い視聴領域に切り替えたいと思った時点で、同じく図7下段左に示すようなユーザ視聴端末のGUIで描画された視聴領域切り替えボタン(常に表示されている、ユーザが近傍をタッチすることで出現するようになっている、端末に実装された別の物理ボタンに機能を割り振る等、視聴領域切り替えのきっかけがユーザによって行われれば形態は問わない)を押下すると、ユーザの表示端末に表示される映像が、フレームn番の視聴頻度の高い視聴領域に瞬時に移動する(図7下段右)。
ただし、フレームn番での他ユーザの視聴頻度の高い領域の中心の2次元座標と画角の値の決定については、例えば前者は、予め指定しておいた視聴頻度以上の値を持つピクセルの重心座標、後者はユーザが元々視聴していた視聴領域と同じ画角や、予め指定しておいた視聴頻度以上の値を持つピクセルをすべて含む領域の値を使うなど、前述の解析方法で算出した視聴頻度を利用して算出された2次元座標と画角であればよい。
これにより、ユーザは他ユーザの興味をより引いた映像(より一般的な視聴領域)が、ユーザが現在視聴している2次元位置から離れた位置にあっても、ユーザはその位置に少ない操作で短時間に視聴位置を移動することができる。またコンテンツを初めて視聴するユーザであったとしても、他者の同コンテンツの視聴履歴を解析して利用することで、他ユーザの興味をより引いた映像(より一般的な視聴領域)の視聴が可能となり、視聴すべき位置の選択に迷うことがなくなる。
<第2実施形態>
次に、本発明の第2実施形態による映像視聴履歴解析システムを説明する。ここでは、図8を参照して、第1実施形態で解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を説明する。図8は、解析した視聴頻度の結果を用い、ユーザが視聴領域変更操作を行った際の方向にある、最も他のユーザの視聴頻度の高い視聴領域へ瞬時に移動する方法を示す説明図である。ユーザはf−k番目のフレームからf番目のフレームにかけて視聴領域の移動を行ったとする。ここでkは、予め決められたフレーム数(例えば3フレーム)でf>kである。フレームf−k番目の視聴領域の中心座標を、入力受信部24の指示により入力視聴クライアント20内のメモリ上等に記憶しておき、フレームf番目の視聴領域の中心座標と比較し、フレームf番の視聴領域の中心座標がフレームf−k番の時と比べてどの方向に動いたかを算出できるようにしておく。どの方向に動いたかを示す情報は、図9に示すように、移動前の視聴領域の中心座標(xf−k,yf−k)と、移動後の視聴領域の中心座標(x,y)と、移動方向を示す角度θなどを用いる。図9は、視聴領域がどの方向に動いたかを示す情報を示す説明図である。
ユーザは算出された方向を元に、その方向の直線上にある視聴頻度の高い視聴領域へ瞬時に移動することができるようになる。具体的には、例えば、ユーザはフレームf−k番でタッチを開始し、フレームf番でタッチを離すような、フレーム数kという短い間のタッチかつ視聴領域移動操作が起きた場合のみ、両視聴領域の中心座標の直線上にあり、ユーザの視聴領域移動の方向にある、予め決められた視聴頻度以上の(または最も視聴頻度の高い)値を持つピクセルを中心とした視聴領域への変更が行われるようにする。すなわち、フレームf番タッチが続く場合は視聴頻度の高い視聴領域への変更は行われない。このようにすることで、通常の視聴領域移動操作との区別が可能となる。また、探索する直線上に該当のピクセルが存在しなかった場合は、自動の視聴領域移動は行われず、ユーザが引き続き視聴領域の選択視聴を続けられるようにしてもかまわない。
ただし、フレームf番での探索対象となる直線上にある他ユーザの視聴頻度の高い領域の画角の値の決定については、例えばユーザがフレームf番で視聴していた視聴領域と同じ画角や、予め指定しておいた視聴頻度以上の値を持つピクセルをすべて含む領域の値を使うなど、第1実施形態の解析方法で算出した視聴頻度を利用して算出された2次元座標と画角であればよい。
また、他ユーザの視聴頻度の高い領域の中心座標の探索範囲は直線だけでなく、図10に示すように予め決められた幅の内側を対象としても良い。図10は、他ユーザの視聴頻度の高い領域の中心座標の探索範囲を示す説明図である。例えば、フレームf−k番の視聴領域の中心座標を中心にφ度の範囲内(図10(a)参照)、探索対象の直線と平行な上下tピクセルの範囲内(図10(b)参照)、フレームf番の視聴領域の中心座標を中心にφ度の範囲内(図10(c)参照)などが適用できる。
これにより、第1実施例の効果に加え、ユーザは自身の見たい方向にあるユーザの興味をより引いた映像(より一般的な視聴領域)を視聴できるようになるため、視聴領域移動の方向に関してはユーザの意図が反映できるようになり、ユーザが全く見当もしない場所に視聴領域が移動することがなくなる。
<第3実施形態>
次に、本発明の第3実施形態による映像視聴履歴解析システムを説明する。ここでは、図11、図12、図13を参照して、図1に示す視聴記録解析部31が、ユーザが視聴中に行った操作と、別のユーザが同じタイミングで行った操作で、先の操作と最も似た操作を行った過去の視聴記録を選出し、以後、新たなユーザの入力があるまで、その過去の視聴記録に従ってユーザが視聴可能とする方法について説明する。図11は、図1に示す視聴記録解析部31が行う処理動作を示す図である。
まず、ユーザが行う全ての操作(または記録されたすべての視聴記録)に対し、パノラマ映像ストリームの全てのフレームにおいて、第2実施形態と同様の方法で、フレームf−k番とフレームf番の視聴領域の中心座標の比較から、視聴領域の移動方向を記録し、視聴記録解析記憶部32に、フレームf番の視聴領域の中心座標、また、フレームが変わったとしても一連のユーザ操作を区別することが可能な情報と共に保存し、データベース化しておく。図12は、視聴記録解析記憶部32に保存した中心座標と方向の情報を示す図である。図12に示すように、視聴記録解析記憶部32には、フレーム番号毎に、視聴軌跡種別と、中心座標と、方向の情報が関係付けされてデータベース化されて記憶される。
例えば、図13に示すように、あるユーザがフレームf−k番でタッチを開始し、フレームf番でタッチを離すような、フレーム数kという短い間のタッチかつ視聴領域移動操作を起こしたとする。図13は、視聴領域移動操作を示す図である。このとき、第2実施形態に記載の方法と同様の方法で、そのユーザが視聴領域を移動している方向とフレームf番における視聴領域の中心座標を得る。その後、視聴記録解析記憶部32に保存されたf番目のフレームにおける他者の視聴領域変更操作のうち、最も視聴領域の中心座標が近く、視聴領域の移動方向が似ている視聴操作を、フレームf番以降は、次にユーザによる視聴領域移動操作が行われるまで、再現してユーザに提示する。
ここで、似ている視聴領域の中心座標と移動方向の選択方法は、視聴記録解析記憶部32に記録されたデータのうち、最も近いものを選択する方法やどちらか一方だけより近い方を選択する、両者に閾値を設け、似ていても閾値を超える場合は選択せずに、他ユーザの視聴操作の再現が起こらないようにしてもよい。また、前述した説明においては視聴領域の画角について説明しなかったが、画角についても視聴記録解析記憶部32に記録しておき、画角の類似度も選択する他ユーザの視聴操作の決定指標にするようにしてもよい。
これにより、ユーザは簡易な視聴操作で、自身と視聴傾向が似た他ユーザの視聴軌跡で視聴が可能となるうえ、その視聴軌跡が自分の意図したものではなかった場合も、再度の簡易な視聴操作により、ユーザのその操作時の嗜好と似た他ユーザの視聴軌跡に切り替えることができるため、ユーザはパノラマ映像ストリームの全フレームで視聴操作を行わずとも、最低限の操作でユーザが満足できるコンテンツ視聴が可能となり、ユーザの操作負担を大幅に軽減することができる。
<第4実施形態>
次に、本発明の第4実施形態による映像視聴履歴解析システムを説明する。第3実施形態では、あるフレームでユーザが行った視聴操作に最も似た視聴操作を行った他ユーザの視聴操作をユーザに提示する方法を示した。ここでは、他ユーザの視聴操作選択時に、視聴記録解析記憶部32に記録された他ユーザの視聴操作それぞれに重みづけを行い、それらの平均を取った値をユーザに提示する方法を説明する。
フレームfにおけるユーザ入力の2次元位置を示す中心座標(x,y)と方向θ[°](0≦θ≦360)を(1)式で表す。
ただし、方向は、図9に示すように、予め決められたkフレーム前のフレームf−kにおける2次元位置を示す中心座標と、フレームfにおける2次元位置を示す中心座標の比較により求める。
フレームfにおけるn人の他者ユーザの入力の2次元位置を示す中心座標と方向を(2)式で表わされる。
ただし、i=1...nである。
ここで、フレームfにおいてユーザに提示する2次元位置を示す中心座標と方向であるa は、他の全ユーザの重み付け平均を求めた(3)式、(4)式で表わされる。
ただし、t はフレームfにおけるi番目のユーザは行った入力の2次元位置を示す中心座標と方向に対しての重み付け行列であり、(5)式〜(8)式で表わされる。
ここで、t は、その性質上、
となる。
ここでは、ある任意のフレームにおける他ユーザの視聴操作における視聴領域の中心座標・移動方向が、ユーザが選択した視聴領域のそれぞれに近ければ近いほど重みを付け、それらの重み付け平均値をユーザに提示する視聴領域としている。
例えば、ユーザが第1実施形態のような視聴領域切り替えボタンを押している間のみ重みづけ平均された視聴領域での視聴が可能となる方法や、第2実施形態のような視聴領域変更操作を行った場合、その瞬間の重みづけ平均された視聴領域へ移動する方法などが適用できる(この場合は方向の重み付け平均値は利用しない)。
なお、ここでは視聴領域の画角については説明しなかったが、画角についても視聴記録解析記憶部32に記録しておき、同様に重み付けすることで、画角についても対象に加えるようにしてもよい。
このようにすることで、他ユーザ全員の嗜好が重み付けという形でユーザに提示される視聴領域に反映されるため、他のユーザの嗜好をすべて反映したより一般的な視聴領域の確実な視聴が可能となる。
<第5実施形態>
次に、本発明の第5実施形態による映像視聴履歴解析システムを説明する。第1〜第4実施形態では、視聴頻度や重みづけ平均の対象を、各フレームを視聴した全ての他ユーザの視聴記録としたが、ここではそれを予め決められた個人やグループとした場合について説明する。
視聴者個人の趣味嗜好は千差万別であるため、各フレームを視聴した全ての他ユーザの視聴記録を解析に利用し、より一般的な視聴領域が提示されたとしても、個人の趣味嗜好が必ずしもはっきりと反映されているとは言い難く、それらが薄れた形の結果が提示される可能性がある。そこで、視聴頻度や重みづけ平均の解析を行うのに使用する視聴記録を予め与えておいたユーザ属性でグループ化しておき、特定のグループのみ解析に使用することで、ユーザの趣味嗜好を確実に反映する。例えば、予めユーザにコンテンツに映った被写体の好み(例えば人気アイドルグループの好みの被写体名等)を入力させておき、視聴しているユーザと同じ好みを持った他ユーザの視聴記録のみを解析対象にすることや、予めユーザの年齢を入力させておき、同年代の視聴記録のみを解析対象にすること、自身が過去に視聴した視聴記録のみを解析対象にする。なお、解析対象とする視聴記録はシステム管理者やユーザ自身が設定すればよい。
このようにすることで、視聴記録解析の結果ユーザに提示される視聴領域が、ユーザ自身の趣味嗜好をより反映できるようになり、ユーザが見たい視聴領域が提示される確率が高くなり、ユーザの満足度を向上させることができる。
<第6実施形態>
次に、本発明の第6実施形態による映像視聴履歴解析システムを説明する。第1〜第5実施形態では、解析の結果ユーザに提示する視聴領域は一つに限定していたが、ここでは第3実施形態を例にとり、解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする。図14は、解析結果の候補を複数提示し、見たい視聴領域をユーザ自身が選択できるようにする例を示す図である。
第3実施形態と異なり、フレームf番における似ている視聴操作を最も似ているものだけでなく、次点、次々点の候補も算出しておく。ユーザが視聴領域変更操作を行った際、それらの候補(ここでは実際の視聴領域の映像)をユーザのタブレット型端末のGUI上に表示し、ユーザはいずれかをタッチすることでその視聴領域へ移動することができる。
このようにすることで、ユーザは自身の見たい視聴領域を選択できるようになり、よりユーザの見たい視聴領域を選択できる確率が上がるため、ユーザの満足度が向上する。
<第7実施形態>
次に、本発明の第7実施形態による映像視聴履歴解析システムを説明する。第1〜第5実施形態では、ユーザは視聴端末・操作端末共に同一のタブレット型端末を利用していたが、ここではタブレット型端末をセカンドスクリーンとして使用し、第6実施形態で説明した解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる。図15は、解析結果の候補をセカンドスクリーンであるタブレット型端末に表示させる例を示す図である。
図15では、ユーザはパノラマ映像ストリームをタブレット型端末ではなく、モニタ(液晶テレビ)を用いて視聴しているものとする。このとき、タブレット型端末は単なるリモコンであり、ユーザはタブレット型端末の入力面をタッチして指を移動させることでモニタに映る視聴領域を移動、ピンチイン・アウトさせることで視聴領域の画角変更を行うものとする。ユーザがタブレット型端末の入力において、視聴領域変更操作を行うと、第6実施形態と同様の解析処理が行われ、解析により得られた候補を表示する。ユーザは表示された候補から視聴したい候補を選択し、視聴をしてもかまわないし、候補映像を消し、ユーザ自身の操作を続けてもかまわない。
このようにすることで、ユーザが解析結果を選択する際、ユーザがモニタで視聴しているコンテンツが候補映像で隠れることがないため、ユーザは候補映像に邪魔されることなくコンテンツの視聴を続けることができる。また、候補映像をタブレット型端末の表示面全体を使って表示できるため、より多くの候補をユーザに提示することが可能となる。
以上説明したように、サーバから配信される映像ストリーム、特に広視野・広画角で撮影され、サーバから配信されるパノラマ映像ストリームのような映像からユーザが好みの被写体・場面を選んで視聴できるような映像視聴において、複数ユーザの視聴記録を用いてパノラマ映像ストリームの各フレームにおける視聴頻度の高い領域を算出しておき、ユーザの視聴操作時に視聴頻度の高い領域を提示するようにした。
これにより、映像の一部分を選択視聴するユーザは、他ユーザの興味をより引いた映像(より一般的な視聴領域)が、ユーザが現在視聴している2次元位置から離れた位置にあっても、ユーザはその位置に少ない操作で短時間に視聴位置を移動することができるため、他ユーザの興味を引いた映像を見逃すことがなくなる。また、コンテンツを初めて視聴するユーザであったとしても、他者の同コンテンツの視聴履歴を解析して利用することで、他ユーザの興味をより引いた映像(より一般的な視聴領域)の視聴が可能となる。さらに、特定の属性を持った視聴履歴(視聴ユーザと同じ嗜好を持ったユーザの視聴履歴や視聴ユーザと同年代のユーザの視聴履歴等)のみを解析対象とすることで、目的の属性を持ったユーザがより興味を引いた映像の視聴が可能となるだけでなく、視聴ユーザ自身の趣味嗜好等をより反映できるようになり、ユーザが見たい視聴領域が提示される確率が高くなり、ユーザの満足度を向上させることができる。
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像視聴履歴解析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
複数他者の視聴履歴から分析された興味をより引いた視聴領域を素早く、少ない操作で選択して視聴することが不可欠な用途に適用できる。
10・・・配信サーバ、11・・・コンテンツ保存部、12・・・コンテンツ配信部、13・・・視聴記録保存部、14・・・視聴記録補正部、15・・・視聴記録管理DB、20・・・入力視聴クライアント、21・・・コンテンツ出力部、22・・・出力画面描画部、23・・・コンテンツデコード部、24・・・入力受信部、25・・・デコード領域決定部、26・・・視聴領域保存決定部、27・・・ユーザインタフェース決定部、28・・・視聴記録一時記憶部、29・・・入力デバイス、30・・・解析サーバ、31・・・視聴記録解析部、32・・・視聴記録解析記憶部

Claims (7)

  1. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出手段と、
    前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出手段によって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示手段と
    を備えることを特徴とする映像視聴履歴解析装置。
  2. 前記提示手段は、前記画面の移動方向を検知し、検知した方向において前記視聴頻度の高い画面位置情報と画面画角情報とを提示することを特徴とする請求項1に記載の映像視聴履歴解析装置。
  3. 前記提示手段は、前記映像を視聴している際に行われた画面操作を検知し、検知した画面操作と、前記視聴履歴情報記憶手段に記憶されている過去に行われた画面操作とが似ている画面操作の結果として視聴された画面位置情報と画面画角情報とを提示することを特徴とする請求項1に記載の映像視聴履歴解析装置。
  4. 前記提示手段は、前記視聴履歴情報記憶手段に記憶されている過去に視聴された画面を特定する情報を重みづけ平均して得られた画面を特定する情報を提示することを特徴とする請求項1に記載の映像視聴履歴解析装置。
  5. 前記視聴頻度算出手段は、前記視聴履歴情報記憶手段に記憶されている複数の前記視聴履歴情報のうち、所定の属性を有する前記視聴履歴情報のみを入力し、前記視聴頻度を算出することを特徴とする請求項1から4のいずれか1項に記載の映像視聴履歴解析装置。
  6. 表示画面のサイズより大きいサイズの映像から所望する場面を選択して視聴した際の前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とからなる視聴履歴情報が複数記憶された視聴履歴情報記憶手段から複数の前記視聴履歴情報を入力し、それぞれの前記視聴履歴情報により特定される前記映像上の前記場面を表示する画面の空間的な位置情報と、該画面の画角情報とに基づき、前記映像上の各ピクセルの視聴頻度を算出する視聴頻度算出ステップと、
    前記映像を視聴している際に、視聴する画面の移動または視聴する画面の画角変更を検知した時点の画面において、前記視聴頻度算出ステップによって算出した前記視聴頻度の高い画面位置情報と画面画角情報とを提示する提示ステップと
    を有することを特徴とする映像視聴履歴解析方法。
  7. コンピュータを、請求項1から5のいずれか1項に記載の映像視聴履歴解析装置として機能させるための映像視聴履歴解析プログラム。
JP2012223221A 2012-10-05 2012-10-05 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム Expired - Fee Related JP5923021B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012223221A JP5923021B2 (ja) 2012-10-05 2012-10-05 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012223221A JP5923021B2 (ja) 2012-10-05 2012-10-05 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム

Publications (2)

Publication Number Publication Date
JP2014075743A JP2014075743A (ja) 2014-04-24
JP5923021B2 true JP5923021B2 (ja) 2016-05-24

Family

ID=50749604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012223221A Expired - Fee Related JP5923021B2 (ja) 2012-10-05 2012-10-05 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム

Country Status (1)

Country Link
JP (1) JP5923021B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20170142486A1 (en) * 2014-07-18 2017-05-18 Sony Corporation Information processing device, display device, information processing method, program, and information processing system
JP6051190B2 (ja) * 2014-10-20 2016-12-27 日立マクセル株式会社 テレビジョン受像機の操作を行うための端末装置、制御装置、システム、及びテレビ操作方法
JP6566698B2 (ja) * 2015-04-13 2019-08-28 キヤノン株式会社 表示制御装置および表示制御方法
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
JP7069970B2 (ja) * 2017-07-18 2022-05-18 株式会社リコー 閲覧システム、画像配信装置、画像配信方法、プログラム
CN111309147B (zh) * 2020-02-12 2024-05-31 咪咕视讯科技有限公司 全景视频播放方法、装置及存储介质
CN111726649B (zh) * 2020-06-28 2021-12-28 百度在线网络技术(北京)有限公司 视频流处理方法、装置、计算机设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169644A (ja) * 2008-01-16 2009-07-30 Tokyo Institute Of Technology 画像生成装置、情報端末、画像生成方法及びプログラム
CN103190156A (zh) * 2010-09-24 2013-07-03 株式会社Gnzo 视频比特流的传输系统

Also Published As

Publication number Publication date
JP2014075743A (ja) 2014-04-24

Similar Documents

Publication Publication Date Title
JP5923021B2 (ja) 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US11601699B2 (en) Predictive content delivery for video streaming services
CN109416931B (zh) 用于视线跟踪的装置和方法
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
US10687119B2 (en) System for providing multiple virtual reality views
US9781356B1 (en) Panoramic video viewer
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
EP3065049B1 (en) Interactive video display method, device, and system
CA2942377C (en) Object tracking in zoomed video
US8918737B2 (en) Zoom display navigation
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
EP2850592B1 (en) Processing panoramic pictures
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
Seo et al. Real-time panoramic video streaming system with overlaid interface concept for social media
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP5861684B2 (ja) 情報処理装置、及びプログラム
JP5818323B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP6597041B2 (ja) サーバー装置及び情報処理システム
CN114745597B (zh) 视频处理方法和装置、电子设备和计算机可读存储介质
WO2023031890A1 (en) Context based adaptable video cropping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160415

R150 Certificate of patent or registration of utility model

Ref document number: 5923021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees