JP6178705B2 - Video distribution system, video distribution apparatus, and video distribution program - Google Patents
Video distribution system, video distribution apparatus, and video distribution program Download PDFInfo
- Publication number
- JP6178705B2 JP6178705B2 JP2013237015A JP2013237015A JP6178705B2 JP 6178705 B2 JP6178705 B2 JP 6178705B2 JP 2013237015 A JP2013237015 A JP 2013237015A JP 2013237015 A JP2013237015 A JP 2013237015A JP 6178705 B2 JP6178705 B2 JP 6178705B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- divided
- user
- tendency
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像配信システム、映像配信装置及び映像配信プログラムに関する。 The present invention relates to a video distribution system, a video distribution apparatus, and a video distribution program.
近年、高速ネットワークインフラの整備、表示デバイス、撮像カメラなどの高性能化等に伴い、タブレット端末やスマートフォンのような画面を直接触って直感的な入力が可能な装置を備えたデバイスを用いて、デバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴する技術が考案されている(例えば、非特許文献1参照)。非特許文献1では、そのようなユーザ端末の表示領域以上のサイズの映像・画像を予め高い解像度から低いものまで複数用意し、さらにそれらをいくつかのタイル状の領域(以下、タイルと称する)に分割して配信サーバに保存しておき、ユーザが選んだ画角サイズに応じて、ユーザの視聴端末の表示デバイスに対して最も適当な解像度の、ユーザの選んだ領域を含むタイルだけを効率的に配信することでこの視聴方法が実現されている。
In recent years, with the development of high-speed network infrastructure, high performance of display devices, imaging cameras, etc., using devices equipped with devices capable of intuitive input by directly touching the screen such as tablet terminals and smartphones, There has been devised a technique for interactively selecting and viewing a desired position and angle of view from a video or image having a size larger than the display area of the device (see, for example, Non-Patent Document 1). In
しかし、非特許文献1に記載の技術では、ユーザがインタラクティブに視聴する部分や画角を変えた際、新たに選択された部分を含むタイルの配信を受けるまでユーザは待たなければならないという問題がある。この問題を克服するため、これまでは、ユーザが選んだ領域を含むタイルの他に全体が映った解像度の低い映像・画像(解像度が低いため映像・画像の容量が小さく、ネットワーク負荷がかからない映像・画像)を同時に配信しておき、高解像度のタイルが配信されるまでの間、低解像度で映像・画像を視聴してもらう方法により、問題の解決を図っている。このため、一時的にユーザの見たい部分の解像度が下がってしまうため、ユーザの視認性が落ちてしまい、ユーザエクスペリエンスの質が高いとは言えなかった。
However, the technique described in Non-Patent
また、ユーザが視聴しているタイミングよりも先の映像だけでなく、ユーザが現在視聴している部分の周りの領域を先読みして予めユーザの視聴端末内にバッファリングしておき、ユーザが視聴領域や画角を変化させた場合にすぐさまバッファ領域から予め取得しておいた映像・画像を提示し、ユーザを待たせることなくユーザが選択した領域を含む高解像度のタイルを提示するといった従来のバッファリングの考え方に基づいた方法も利用可能である。しかし、ユーザがインタラクティブに視聴する部分や画角を選択する視聴形態においては、いつどのタイミングでユーザが操作を行い、視聴領域や画角の変更を行うかが不明であるため、考えられる周りの領域、および予め決められた時間後までのすべての映像・画像をバッファリングしなければならないため、非効率かつネットワーク帯域や端末のバッファリングメモリやダウンロードリソースを無駄に消費してしまうという問題がある。 Further, not only the video ahead of the user's viewing timing but also the area around the portion currently being viewed by the user is pre-read and buffered in advance in the user's viewing terminal so that the user can view When the area or the angle of view is changed, the video / image acquired in advance from the buffer area is presented immediately, and the high-resolution tile including the area selected by the user is presented without waiting for the user. Methods based on the idea of buffering are also available. However, in the viewing mode in which the user selects an interactive viewing portion and angle of view, it is unclear when and when the user performs an operation and changes the viewing area and angle of view. Since all video / images up to a certain area and after a predetermined time have to be buffered, there is a problem that it is inefficient and wastes network bandwidth, terminal buffering memory and download resources. .
本発明は、このような事情に鑑みてなされたもので、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことができる映像配信システム、映像配信装置及び映像配信プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and video distribution capable of efficiently performing video distribution in a system in which a user operates a video interactively and views a portion desired to be viewed at a desired angle of view. It is an object to provide a system, a video distribution device, and a video distribution program.
本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより、前記全体映像データのうち選択した分割映像の映像データを配信する映像配信装置と、配信された前記分割映像の映像データを出力するユーザ端末とを備える映像配信システムであって、前記ユーザ端末は、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備え、前記映像配信装置は、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。 According to the present invention, the entire video data is divided into a plurality of small areas, and a divided video composed of at least one small area is selected by a user's selection operation. A video distribution system comprising a video distribution device for distributing data and a user terminal for outputting video data of the distributed divided video, wherein the user terminal selects a desired divided video; A buffer that temporarily stores the video data distributed from the video distribution device; and a video output unit that reads out and outputs the video data stored in the buffer. The video distribution device is selected by the selection unit. A first distribution means for distributing the divided divided video data to the buffer; and the selection means. Storage means for collecting and storing information for specifying the small areas constituting the divided video, and a tendency to select the divided video next from the information for specifying the small areas stored in the storage means. The trend information storage means for specifying and storing the trend information that is information to be displayed, and when the divided video is selected by the selection means, with reference to the trend information stored in the trend information storage means, And second distribution means for distributing the video data of the divided video, which is configured by the small area having a high tendency to be selected, to the buffer.
本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより配信された前記全体映像データのうち選択した分割映像の映像データを出力するために、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備えるユーザ端末に対して、前記映像データを配信する映像配信装置であって、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。 In the present invention, the entire video data is divided into a plurality of small areas, and the divided video selected from the whole video data distributed by selecting a divided video constituted by at least one of the small areas by a user selection operation. In order to output the video data, a selection means for selecting the desired divided video, a buffer for temporarily storing the video data distributed from the video distribution device, and reading the video data stored in the buffer A video distribution device that distributes the video data to a user terminal including a video output unit that outputs the divided video data selected by the selection unit to the buffer; 1 distribution means and information for specifying the small area constituting the divided video selected by the selection means is collected. Storage means for storing; trend information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means; When the divided video is selected by the selection unit, the video of the divided video configured by the small region having a high tendency to be selected next with reference to the trend information stored in the trend information storage unit And second distribution means for distributing data to the buffer.
本発明は、前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする。 The present invention is characterized in that the trend information storage means changes and stores trend information which is information indicating a tendency to select the divided video next in accordance with the attribute of the user.
本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。 The present invention is a video distribution program for causing a computer to function as the video distribution apparatus.
本発明によれば、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが可能になるという効果が得られる。 According to the present invention, it is possible to efficiently distribute video in a system in which a user interacts with video interactively and views a desired portion of the video at a desired angle of view.
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像配信システムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、映像を配信する配信サーバである。符号20は、配信サーバ10から配信された映像を視聴するユーザ視聴端末である。配信サーバ10とユーザ視聴端末20とは情報通信可能に接続されている。符号11は、配信すべき映像であるコンテンツを保存するコンテンツ保存部であり、記憶装置によって構成する。符号12は、配信すべき映像を決定する配信映像決定部である。符号13は、ユーザ視聴端末20において視聴された映像に関する視聴ログを記録、出力する視聴ログ記録・出力部である。符号14は、視聴ログと視聴傾向結果の情報を保存するログ・視聴傾向結果保存部であり、記憶装置によって構成する。符号15は、視聴ログに基づいて視聴傾向を算出する視聴傾向算出部である。符号16は、予測映像を配信する予測映像配信部である。符号17は、低解像度の映像を配信する低解像度配信部である。符号18は、視聴されている部分の映像を配信する視聴部分配信部である。
<First Embodiment>
Hereinafter, a video delivery system according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
符号21は、映像を視聴するユーザが操作入力を行う入力部である。符号22は、配信された映像を表示する表示部である。符号23は、配信サーバ10から配信された映像を一時記憶するバッファである。符号24は、入力部21における操作内容に応じて、配信する映像の要求を行う映像要求部である。符号25は、配信映像の受信を行う映像受信部である。符号26は、高解像度映像をデコードする高解像度映像デコード部である。符号27は、デコードされた高解像度映像を表示部22に描画する高解像度映像描画部である。符号28は、低解像度映像をデコードする低解像度映像デコード部である。符号29は、デコードされた低解像度映像を表示部22に描画する低解像度映像描画部である。
ユーザ視聴端末20は、例えばタッチパネル入力を備えたタブレットやスマートフォンといった端末を用いることができる。また、入力部21としてマウスやペンタブレット、リモコンを兼ね備えたパソコンやSTB(Set Top Box)などでも構わない。配信サーバ10は、サーバ機、PCサーバ等、以下で説明する機能を持ったものであればその形態は問わない。
As the
なお、配信サーバ10とユーザ視聴端末20が一体になっており、ローカルに保存されたコンテンツを以下で説明する機能を使ってユーザが視聴するようにしてもよい。
The
次に、図2を参照して、図1に示す映像配信システムの動作を説明する。図2は、図1に示す映像配信システムの動作を示す図である。配信サーバ10はコンテンツ保存部11を備えている。コンテンツ保存部11に保存されるコンテンツは予め決められた複数の解像度を持つ映像データが保存されており、それぞれ、各フレーム毎にタイルと呼ばれる、所定の大きさの部分画像に分割されている。
Next, the operation of the video distribution system shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a diagram showing the operation of the video distribution system shown in FIG. The
ユーザが自身の見たい位置をユーザ視聴端末20において例えばタブレットのタッチパネル上でフリック/ピンチ操作などにより選択操作(入力部21の操作)をすると、選択された部分を含むタイル(選択された部分が面積で最大となるタイル、高解像度タイルと呼ぶ)が要求される。また、低解像度タイルはコンテンツの全域を含むタイルとなっており、ユーザがコンテンツを視聴する間、高解像度タイルと共に常に配信される。
When the user performs a selection operation (operation of the input unit 21) on the
これにより、ユーザが視聴位置や画角を変更し、システムがその部分に応じた高解像度タイルを要求し、その配信を待つ間も映像が途切れることなく(映像が抜けてしまうことなく)、シームレスに映像視聴を行うことが可能となる。本実施形態ではこの他に、以後説明する方法で予測映像のタイル(次のタイミングで見られるであろうタイル)も同時に送られる。 As a result, the user can change the viewing position and angle of view, the system requests a high-resolution tile corresponding to the part, and the video is not interrupted (the video is not lost) while waiting for the distribution. It is possible to view the video. In this embodiment, in addition to this, tiles of predicted video (tiles that will be seen at the next timing) are also sent at the same time by a method described below.
次に、図3を参照して、図1に示す映像配信システムの映像配信動作を説明する。図3は、図1に示す映像配信システムの映像配信動作を示すフローチャートである。まず、低解像度配信部17はバッファ23に低解像度タイルを配信する(ステップS1)。続いて、視聴部分配信部18は、高解像度タイルをバッファ23に配信する(ステップS2)。
Next, the video distribution operation of the video distribution system shown in FIG. 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the video distribution operation of the video distribution system shown in FIG. First, the low
次に、バッファ23は、低解像度タイルと高解像度タイルを映像受信部25へ受け渡す(ステップS3)。これを受けて、映像受信部25は、高解像度タイルを高解像度映像デコード部26へ出力する。これを受けて、高解像度映像デコード部26は、高解像度タイルをデコードして高解像度映像描画部27へ出力する。そして、高解像度映像描画部27は、デコードされた高解像度タイルを表示部22に描画することによって高解像度タイルの映像を表示する。また、映像受信部25は、低解像度タイルを低解像度映像デコード部28へ出力する。これを受けて、低解像度映像デコード部28は、低解像度タイルをデコードして低解像度映像描画部29へ出力する。そして、低解像度映像描画部29は、デコードされた低解像度タイルを表示部22に描画することによって低解像度タイルの映像を表示する。このとき、低解像度タイルと高解像度タイルは重畳されて表示部22に表示されることになる(ステップS4)。この基本動作(ステップS1〜S4)は繰り返し行われる。
Next, the
この基本動作と並行して、ユーザ視聴端末20の入力部21において、ユーザが視聴位置・画角を選択する操作を行うと、入力部21は、ユーザの入力操作(例えばユーザのタッチパネル入力操作)を読み取る(ステップS5)。入力部21は入力された値を映像要求部24に渡す。映像要求部24は、バッファ23に目的のタイルがあるか否かを判定し(ステップS6)、バッファ23に目的のタイルがあれば、前述の基本動作を続行する。
In parallel with this basic operation, when the user performs an operation of selecting a viewing position / viewing angle in the
一方、バッファ23に目的のタイルがない場合、映像要求部24は、配信映像決定部12に対して目的の高解像度タイルを要求する(ステップS7)。これを受けて、配信映像決定部12は、要求された高解像度タイルを配信する指示を視聴部分配信部18へ出力する。視聴部分配信部18は、指示された高解像度タイルをコンテンツ保存部11から読み出してバッファ23へ配信する(ステップS8)。そして、前述した処理動作と同様に、ステップS3、S4が実行されて、ユーザの操作に応じた高解像度タイルが表示部22に表示されることになる。
On the other hand, when there is no target tile in the
この処理動作と並行して、配信映像決定部12は、視聴部分配信部18に対して高解像度タイルの配信を指示するタイミングで要求された視聴部分の高解像度タイルがどこであったかを示す情報を視聴ログ記録・出力部13に通知する。これを受けて、視聴ログ記録・出力部13は、要求された視聴部分の高解像度タイルがどこであったかを示す情報をログ・視聴傾向結果保存部14に記憶する(ステップS9)。
In parallel with this processing operation, the distribution
次に、視聴傾向算出部15は、ログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて、視聴傾向を算出し、得られた視聴傾向の情報をログ・視聴傾向結果保存部14に記憶する(ステップS10)。ここでいう視聴傾向の情報とは、視聴された高解像度タイルの次、またはその次に視聴された高解像度タイルの候補を示す情報である。本映像配信システムの同時使用ユーザは一人には限らないため、複数回同じコンテンツが視聴された場合、コンテンツの任意のタイミングで視聴されるタイルの視聴頻度が視聴傾向算出部15において計算可能となる。視聴傾向算出部15は、映像配信と視聴する動作とは非同期で定期的にログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて視聴傾向を算出する処理を行って、ログ・視聴傾向結果保存部14に記憶する。
Next, the viewing
次に、配信映像決定部12が視聴ログ記録・出力部13に情報記録を出力するのと同じタイミングで視聴ログ記録・出力部に対して、ログ・視聴傾向結果保存部14に保存された現時点でユーザが視聴しているタイミング、および予め管理者、またはユーザが設定した分量の未来のタイミングにおける各タイルの視聴頻度を問い合わせる(ステップS11)。配信サーバ10には予め管理者、またはユーザが参照すべき未来のタイミングと視聴頻度の閾値が登録されているものとし、その閾値に応じ、視聴頻度の高いタイル、すなわち“次のタイミング”でユーザが視聴するであろうタイルがどれであるかという情報を配信映像決定部12に対して回答する。
Next, the current time stored in the log / viewing trend
配信映像決定部12は、回答で得た情報を予測映像配信部に出力する。これを受けて、予測映像配信部16はこの情報に基づく高解像度タイルをコンテンツ保存部11から読み出し、バッファ23へ配信する(ステップS12)。“次のタイミング”でユーザが視聴するであろうタイルは所定の閾値に応じて複数あってもかまわない。この構成によって、次のタイミングで映像要求部24が要求する高解像度タイルがバッファ23に記憶されていた場合は、視聴部分配信部18からの映像配信を待つことなく、即時に高解像度のタイルを映像受信部25に送ることができる。
The distribution
最後に、コンテンツ終端であるか否かを判定し(ステップS13)、コンテンツ終端であれば処理を終了し、コンテンツ終端でなければステップS1に戻って処理を繰り返す。 Finally, it is determined whether or not it is the end of the content (step S13). If it is the end of the content, the process ends. If it is not the end of the content, the process returns to step S1 to repeat the process.
なお、高解像度タイルと低解像度タイルの時間同期の取り方については、各ファイルに時間情報を含むヘッダを付ける方法、ファイル名に時刻を入れておくことによって実現することができる。また、コンテンツ保存部11に保存された各タイルのファイル形式の一例として、静止画で全フレーム分保存されている、MPEG形式で1GOP(Group Of Pictures)単位で保存されているものがあげられる。
Note that the time synchronization between the high resolution tile and the low resolution tile can be realized by adding a header including time information to each file and by putting the time in the file name. An example of the file format of each tile stored in the
前述した処理動作によって、映像受信部25に届けられた低解像度タイルと、ユーザが視聴したい高解像度タイルはそれぞれ低解像度映像デコード部28と高解像度映像デコード部26に送られ、映像デコード処理がなされ、デコード後の各映像は低解像度映像描画部29および高解像度映像描画部27において図4に示す形式でユーザ視聴端末20に描画されることになり、ユーザは表示部22に描画された映像を視聴することになる。図4は、コンテンツ描画において、低解像度タイル、高解像度タイルおよびユーザの視聴部分の関係を示す図である。
Through the processing operation described above, the low resolution tile delivered to the
<第2実施形態>
次に、本発明の第2実施形態による映像配信システムを説明する。第2実施形態おける映像配信システムは、予測配信するタイルが複数あることが第1実施形態による映像配信システムと異なる点である。図5は、第2実施形態おける映像配信システムの動作を示す図である。
Second Embodiment
Next, a video distribution system according to a second embodiment of the present invention will be described. The video distribution system according to the second embodiment is different from the video distribution system according to the first embodiment in that there are a plurality of tiles for predictive distribution. FIG. 5 is a diagram showing the operation of the video distribution system in the second embodiment.
各タイルの視聴頻度は予め複数ユーザによる視聴から算出されているものとし、ある時刻tで視聴される高解像度タイルの次の時刻t+1における各タイルの視聴頻度の上位3つをバッファ23へ配信できるように配信サーバ管理者、またはユーザが予め設定しているものとする。
Assuming that the viewing frequency of each tile is calculated in advance from viewing by a plurality of users, the top three viewing frequencies of each tile at time t + 1 next to a high-resolution tile viewed at a certain time t can be distributed to the
現在の視聴時刻における高解像度タイル(A)、低解像度タイル(B)が配信されると同時に、次のタイミングで見られるであろうタイル(C1〜3)を配信する。この“次のタイミングで見られるであろうタイル”は、時刻がt〜t+1間にユーザが移動できるであろう範囲の中でより視聴頻度が高い3つであり、この“ユーザが移動できるであろう範囲”は配信サーバの管理者、またはユーザが予め設定しておくものとする。例えば、1フレーム進むタイミング内でユーザは最大2次元方向に2タイル、解像度方向に1タイルしか移動できないなどである。 The high resolution tile (A) and the low resolution tile (B) at the current viewing time are distributed, and at the same time, the tiles (C1 to C3) that will be seen at the next timing are distributed. The “tiles that will be seen at the next timing” are the three most frequently viewed within the range in which the user can move between time t and t + 1. The “range” will be set in advance by the administrator or user of the distribution server. For example, the user can move only two tiles in the maximum two-dimensional direction and one tile in the resolution direction within the timing to advance one frame.
次のタイミング(時刻t+1)でユーザがC2のタイルに含まれる領域を選択した場合、高解像度タイルの配信要求を配信サーバ10にすることなく、バッファ23からすぐに映像受信部25に引き渡すことが可能となるため、ユーザは配信サーバ10からの高解像度タイルが配信されるまでの時間を感じることなく即座に高解像度の映像を視聴することが可能となる。
When the user selects an area included in the tile of C2 at the next timing (time t + 1), the distribution request for the high-resolution tile can be immediately delivered from the
また、万一次のタイミング(時刻t+1)でユーザがC1〜3のタイルに含まれる領域を選択しなかったとしても、配信サーバ10から高解像度タイルが配信されるまでの間、低解像度タイル(B)を表示しておくといった従来の方法で映像表示が可能となるため、ユーザエクスペリエンスが従来以上に低下することはない。 Even if the user does not select an area included in the tiles C1 to C3 at the primary timing (time t + 1), the low resolution tile (until the high resolution tile is distributed from the distribution server 10). Since the video can be displayed by the conventional method of displaying B), the user experience does not deteriorate more than before.
本実施形態では予測配信するタイル数は3つとし、未来のタイミング(時刻t+1)においてそれらを選んだが、配信サーバ10の管理者、またはユーザ自身がユーザ視聴端末20のバッファサイズ、ネットワークスピードを鑑みてこの閾値を変更(例えば、t+3までそれぞれ5枚のタイルをバッファリングするなど)することは可能である。
In the present embodiment, the number of tiles to be predicted distributed is three, and they are selected at a future timing (time t + 1). However, the administrator of the
<第3実施形態>
次に、本発明の第3実施形態による映像配信システムを説明する。第3実施形態おける映像配信システムは、利用者の属性に応じて予測配信するタイルを変更することが、第1、第2実施形態と異なる点である。図6は、第3実施形態おける映像配信システムの動作を示す図である。
<Third Embodiment>
Next, a video distribution system according to a third embodiment of the present invention will be described. The video distribution system according to the third embodiment is different from the first and second embodiments in that the tile to be predicted and distributed is changed according to the user's attribute. FIG. 6 is a diagram illustrating the operation of the video distribution system in the third embodiment.
第3実施形態の映像配信システムでは、予めこの配信サービスを利用するユーザが限定されており、それぞれどのような属性のユーザがどのようなタイルを視聴したかが視聴ログに記録されていた場合、視聴傾向結果をその属性に応じて変更するものである。すなわち、視聴傾向結果から、例えば男性であればある時刻tの次のタイミングt+1ではC1〜3のタイルがよく見られる一方で、女性であればC4〜C6のタイルがよく見られることが分かっている場合、そのルールに従う仕組みを配信サーバ10の管理者、またはユーザ自身が視聴ログ記録・出力部13に登録しておき、利用ユーザの性別によって予測配信するタイルを変更することが可能となる。
In the video distribution system of the third embodiment, the users who use this distribution service are limited in advance, and when the attributes of the users viewed and what tiles are recorded in the viewing log, The viewing tendency result is changed according to the attribute. That is, from the viewing tendency result, it is understood that, for example, a C1 to 3 tile is often seen at a timing t + 1 next to a certain time t for a man, whereas a C4 to C6 tile is often seen for a woman. If it is, the administrator of the
ここでは属性として性別を利用したが、年齢や特定の被写体の好み、過去の視聴コンテンツの種別等でルールが作られても構わない。これにより、個人の嗜好に合わせた予測映像の高解像度タイルの配信が可能となる。 Here, gender is used as an attribute, but rules may be created based on age, preference of a specific subject, type of past viewing content, and the like. As a result, it is possible to deliver a high-resolution tile of a predicted video tailored to individual preferences.
<第4実施形態>
次に、本発明の第4実施形態による映像配信システムを説明する。第4実施形態おける映像配信システムは、第3実施形態を発展させ、記録された視聴傾向から全体の視聴傾向を把握して処理することが、第3実施形態と異なる点である。図7は、第4実施形態おける映像配信システムの動作を示す図である。
<Fourth embodiment>
Next, a video distribution system according to a fourth embodiment of the present invention will be described. The video distribution system according to the fourth embodiment is different from the third embodiment in that the third embodiment is developed to grasp and process the entire viewing tendency from the recorded viewing tendency. FIG. 7 is a diagram illustrating the operation of the video distribution system in the fourth embodiment.
男性と女性でコンテンツ全時刻においてどのタイルが最も見られていたかが分かっており、かつ、各タイルにはどの程度被写体が映っているかが予め分かっている場合、男性にはどの被写体、女性にはどの被写体が人気がある(図7に示す例では男性は被写体A、女性は被写体B)と言ったことが容易に算出できようになり、一般ユーザの嗜好特性が容易に把握可能となる。 If you know which tiles were seen most by males and females at all times, and if you know in advance how many subjects appear in each tile, which subject for men and which for women It can be easily calculated that the subject is popular (in the example shown in FIG. 7, the subject is male A and the subject B is female), and the preference characteristics of general users can be easily grasped.
ここでは、各タイルにどの程度被写体が映っているかが予め分かることを想定したが、このタイル内の被写体が映る割合データは、例えば人が予め目で見て登録することや、一般的なツール(例えばOpenCVの顔認識結果)などを用いて自動的に登録することなどが適用できる。また、ここではコンテンツ内に被写体は2つ(AとB)としたが、より多くの被写体があってもかまわない。さらに、今回は性別の属性で嗜好の違いを説明したが、年齢や出身地、出身国などの違いから算出することも可能である。 Here, it is assumed that how much the subject is reflected in each tile is known in advance, but the ratio data in which the subject in this tile is reflected is, for example, registered in advance by a human eye or a general tool. For example, automatic registration using (for example, OpenCV face recognition result) can be applied. In this example, there are two subjects (A and B) in the content, but there may be more subjects. Furthermore, although the difference in preference was explained by the attribute of gender this time, it is also possible to calculate from the difference in age, birthplace, country of origin, and the like.
以上説明したように、ユーザがインタラクティブに映像・画像を操作し、見たい部分を見たい画角で視聴するようなシステムにおいて効率的な映像配信を行うことが可能になる。これを実現するために、ある複数ユーザが対象のコンテンツを視聴した際、それぞれのユーザがどのタイミング(フレーム)でどのタイルを視聴していたか(どのタイミングでどの二次元位置がどの画角で視聴されていたか)を記録・保存しておき、全ユーザの記録を解析することで、全ユーザの視聴傾向(あるタイミングにおける各タイルの視聴割合)を算出し、記録しておくようにした。 As described above, it is possible to perform efficient video distribution in a system in which a user interactively manipulates a video / image and views a desired portion of the image at a desired angle of view. To achieve this, when multiple users watched the target content, which tile each user was watching at which timing (frame) (at which timing, which two-dimensional position was viewed at which angle of view) Recording / storing) and analyzing the records of all users to calculate and record the viewing tendency (viewing ratio of each tile at a certain timing) of all users.
この方法では新たなユーザが同じコンテンツの視聴を行う際、任意のタイミングで選択したタイルを配信サーバから配信する際、前述の全ユーザの視聴傾向から、今回のユーザが次のタイミングで見るであろうタイル(2次元的にまわりにあるタイル、またはユーザの選択した領域を含む解像度の異なるタイル)を予め決められたフレーム数内においてユーザ視聴端末へ配信する。これにより、ユーザが次のタイミングで見るであろうタイルを予め配信しておくことができる。このため、ユーザは次に選択するタイルを選択した時点で、まず解像度の低い映像を見ることなく高画質に視聴できる確率が上がり、ユーザエクスペリエンスの向上が可能となる。また、全ユーザの視聴傾向を逐次計算するようにしておけば、ある時期から突然人気が出た被写体などに対してもタイルの事前配信が可能となるため、ユーザの視聴傾向にロバストな配信が可能となる。さらに、無駄な(あまりユーザが視聴しない)タイルを配信することがないため、ユーザが好きな部分や画角を選択して視聴する視聴形態において、ネットワーク帯域や端末のダウンロードリソースの消費を最低限に抑えることが可能となる。 In this method, when a new user views the same content, when the tile selected at an arbitrary timing is distributed from the distribution server, the current user sees at the next timing from the above-mentioned viewing tendency of all users. Wax tiles (two-dimensional surrounding tiles or tiles having different resolutions including a user-selected area) are distributed to the user viewing terminal within a predetermined number of frames. Thereby, tiles that the user will see at the next timing can be distributed in advance. For this reason, when the user selects the tile to be selected next, the probability that the user can view the image with high image quality without first viewing the low-resolution video is increased, and the user experience can be improved. In addition, if the viewing tendency of all users is calculated sequentially, tiles can be pre-distributed even for subjects that suddenly become popular from a certain period of time. It becomes possible. Furthermore, since unnecessary tiles (which are not often viewed by users) are not distributed, consumption of network bandwidth and terminal download resources is minimized in a viewing mode in which a user selects a desired part and angle of view. It becomes possible to suppress to.
また、バッファリングされていないタイルをユーザが選択した場合は、従来の方法で適切なタイルが配信されるまで低解像度の映像を見つつ待たなければならないが、視聴操作を行った前述の「新たなユーザ」の視聴領域・画角も記録・保存され、同様にさらなる次の「新たなユーザ」のために解析がなされるため、多くのユーザが視聴すればするほど、同時に配信すべきタイルの統計的な精度が向上し、待たなければならないユーザは減っていく上、ネットワーク帯域や端末のバッファリングメモリ、ダウンロードリソースの消費が改善され続けるといった効果もある。 In addition, when the user selects a tile that is not buffered, it is necessary to wait while watching a low-resolution video until an appropriate tile is delivered by the conventional method. The viewing area and angle of view of the “user” are also recorded and stored, and similarly, analysis is performed for the next “new user”. The statistical accuracy is improved, the number of users who have to wait is reduced, and the network bandwidth, the buffering memory of the terminal, and the consumption of download resources are continuously improved.
また、視聴するユーザが別の観点(例えば性別やコンテンツに映った被写体の好み、年齢等)が異なる場合、視聴傾向が異なることも考えられるが、予めユーザを特定の観点でクラスタリングできるのであれば、観点毎にユーザの視聴傾向を別集計することで、新たに視聴するユーザが所属するクラスタリング観点さえ分かれば、そのユーザに合った事前配信が可能となる。 In addition, when viewing users have different viewpoints (for example, gender, preference of the subject reflected in the content, age, etc.), the viewing tendency may be different, but if users can be clustered in advance from a specific viewpoint By separately counting the viewing tendency of the user for each viewpoint, if the clustering viewpoint to which the newly viewed user belongs is known, advance distribution suitable for the user can be performed.
さらに、ユーザが最終的に視聴した全時刻におけるタイルの視聴傾向から、特定の被写体をより多く見ているなどのユーザの嗜好を把握可能といった効果もある。 Furthermore, there is an effect that it is possible to grasp the user's preference such as watching more specific subjects from the tile viewing tendency at all times when the user finally viewed.
前述した実施形態における配信サーバ10、ユーザ視聴端末20をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
The
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.
ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが不可欠な用途に適用できる。 The present invention can be applied to an application in which it is indispensable to efficiently perform video distribution in a system in which a user interactively manipulates video and views a desired part of the video at a desired angle of view.
10・・・配信サーバ、11・・・コンテンツ保存部、12・・・配信映像決定部、13・・・視聴ログ記録・出力部、14・・・ログ・視聴傾向結果保存部、15・・・視聴傾向算出部、16・・・予測映像配信部、17・・・低解像度配信部、18・・・視聴部分配信部、20・・・ユーザ視聴端末、21・・・入力部、22・・・表示部、23・・・バッファ、24・・・映像要求部、25・・・映像受信部、26・・・高解像度映像デコード部、27・・・高解像度映像描画部、28・・・低解像度映像デコード部、29・・・低解像度映像描画部
DESCRIPTION OF
Claims (3)
前記ユーザ端末は、
所望の前記分割映像を選択する選択手段と、
前記映像配信装置から配信された前記映像データを一時記憶するバッファと、
前記バッファに記憶されている映像データを読み出して出力する映像出力手段と
を備え、
前記映像配信装置は、
前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
を備え、
前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする映像配信システム。 The whole video data is divided into a plurality of small areas, and the divided video constituted by at least one of the small areas is selected by the user's selection operation, thereby distributing the video data of the selected divided video among the whole video data. A video distribution system comprising: a video distribution device; and a user terminal that outputs video data of the distributed divided video,
The user terminal is
Selecting means for selecting the desired divided video;
A buffer for temporarily storing the video data distributed from the video distribution device;
Video output means for reading out and outputting the video data stored in the buffer, and
The video distribution device includes:
First distribution means for distributing video data of the divided video selected by the selection means to the buffer;
Storage means for collecting and storing information for specifying the small area constituting the divided video selected by the selection means;
Tendency information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means;
When the divided image is selected by the selection means, the tendency information stored in the tendency information storage means is referred to, and the divided image that is configured by the small region having the highest tendency to be selected next is selected. Second distribution means for distributing video data to the buffer ;
The trend information storage means according to the attribute of the user, then the divided image changing trend information is information indicating the tendency to select to store the video distribution system according to claim Rukoto.
前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
を備え、
前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする映像配信装置。 The whole video data is divided into a plurality of small areas, and the video data of the selected divided video among the whole video data distributed by selecting a divided video constituted by at least one of the small areas by a user selection operation is selected. to output image outputted by reading and selecting means for selecting a desired said divided image, a buffer for temporarily storing the image data delivered from the movies picture distribution device, a video data stored in the buffer A video distribution device that distributes the video data to a user terminal including an output unit,
First distribution means for distributing video data of the divided video selected by the selection means to the buffer;
Storage means for collecting and storing information for specifying the small area constituting the divided video selected by the selection means;
Tendency information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means;
When the divided image is selected by the selection means, the tendency information stored in the tendency information storage means is referred to, and the divided image that is configured by the small region having the highest tendency to be selected next is selected. Second distribution means for distributing video data to the buffer ;
The trend information storage means according to the attribute of the user, then the image distribution apparatus characterized that you store the divided image information indicating a tendency to select which alter the tendency information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013237015A JP6178705B2 (en) | 2013-11-15 | 2013-11-15 | Video distribution system, video distribution apparatus, and video distribution program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013237015A JP6178705B2 (en) | 2013-11-15 | 2013-11-15 | Video distribution system, video distribution apparatus, and video distribution program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015097343A JP2015097343A (en) | 2015-05-21 |
JP6178705B2 true JP6178705B2 (en) | 2017-08-09 |
Family
ID=53374456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013237015A Expired - Fee Related JP6178705B2 (en) | 2013-11-15 | 2013-11-15 | Video distribution system, video distribution apparatus, and video distribution program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6178705B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112016002377T5 (en) | 2015-05-27 | 2018-02-08 | Google Llc | STREAMS OF SPHERICAL VIDEO |
JP6741784B2 (en) * | 2016-04-08 | 2020-08-19 | ヴィズビット インコーポレイテッド | View-oriented 360-degree video streaming |
US11032588B2 (en) * | 2016-05-16 | 2021-06-08 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
WO2018057472A1 (en) * | 2016-09-26 | 2018-03-29 | Dolby Laboratories Licensing Corporation | Content based stream splitting of video data |
US10547704B2 (en) * | 2017-04-06 | 2020-01-28 | Sony Interactive Entertainment Inc. | Predictive bitrate selection for 360 video streaming |
WO2019155695A1 (en) * | 2018-02-06 | 2019-08-15 | 株式会社Nttドコモ | Information processing device and information processing method |
JP7259947B2 (en) * | 2019-05-22 | 2023-04-18 | 日本電信電話株式会社 | Video distribution device, video distribution method and program |
CN113891155B (en) * | 2021-09-29 | 2024-04-05 | 百果园技术(新加坡)有限公司 | Video playing gear determining method, video playing method and related devices |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1188866A (en) * | 1997-07-18 | 1999-03-30 | Pfu Ltd | High-definition image display device and program storage medium therefor |
JP2007189357A (en) * | 2006-01-11 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Device and method for distributing arbitrary-viewpoint video |
JP2010206391A (en) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | Display device, display method, display program and recording medium |
JP5089658B2 (en) * | 2009-07-16 | 2012-12-05 | 株式会社Gnzo | Transmitting apparatus and transmitting method |
JP5663979B2 (en) * | 2010-06-29 | 2015-02-04 | ソニー株式会社 | Image management server, image display device, image providing method, image acquisition method, program, and image management system |
JP5544426B2 (en) * | 2010-09-24 | 2014-07-09 | 株式会社Gnzo | Video bitstream transmission system |
-
2013
- 2013-11-15 JP JP2013237015A patent/JP6178705B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015097343A (en) | 2015-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6178705B2 (en) | Video distribution system, video distribution apparatus, and video distribution program | |
US20170171274A1 (en) | Method and electronic device for synchronously playing multiple-cameras video | |
EP3459252B1 (en) | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback | |
US20190342241A1 (en) | Systems and methods for manipulating and/or concatenating videos | |
US20160277772A1 (en) | Reduced bit rate immersive video | |
JP6568670B1 (en) | VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM | |
WO2012039404A1 (en) | Video bit stream transmission system | |
JP2014215828A (en) | Image data reproduction device, and viewpoint information generation device | |
US20150341686A1 (en) | Multi-screen media delivery systems and methods | |
KR20140118605A (en) | Server and method for transmitting augmented reality object | |
EP3534616A1 (en) | Method, device and system for playing 360 degree panoramic video | |
EP3328088A1 (en) | Cooperative provision of personalized user functions using shared and personal devices | |
KR102133207B1 (en) | Communication apparatus, communication control method, and communication system | |
CN114040230B (en) | Video code rate determining method and device, electronic equipment and storage medium thereof | |
JP2014075743A (en) | Video viewing history analysis device, video viewing history analysis method and video viewing history analysis program | |
US20160277807A1 (en) | Falling back from three-dimensional video | |
JP5887994B2 (en) | Video transmission device, terminal device, video transmission method and program | |
CN112261408B (en) | Image processing method and device for head-mounted display equipment and electronic equipment | |
Seo et al. | Real-time panoramic video streaming system with overlaid interface concept for social media | |
US20170134457A1 (en) | Broadcast-linked service based on cloud streaming, broadcast-linked service client apparatus, trigger content providing server | |
Kim et al. | Region of interest–based segmented tiled adaptive streaming using head-mounted display tracking sensing data | |
JP5818326B2 (en) | Video viewing history analysis method, video viewing history analysis apparatus, and video viewing history analysis program | |
US20220116677A1 (en) | Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment | |
KR20160131827A (en) | System for cloud streaming service, method of image cloud streaming service using alpha level of color bit and apparatus for the same | |
JP5818323B2 (en) | Video viewing history analysis method, video viewing history analysis apparatus, and video viewing history analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6178705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |