JP6178705B2 - Video distribution system, video distribution apparatus, and video distribution program - Google Patents

Video distribution system, video distribution apparatus, and video distribution program Download PDF

Info

Publication number
JP6178705B2
JP6178705B2 JP2013237015A JP2013237015A JP6178705B2 JP 6178705 B2 JP6178705 B2 JP 6178705B2 JP 2013237015 A JP2013237015 A JP 2013237015A JP 2013237015 A JP2013237015 A JP 2013237015A JP 6178705 B2 JP6178705 B2 JP 6178705B2
Authority
JP
Japan
Prior art keywords
video
divided
user
tendency
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013237015A
Other languages
Japanese (ja)
Other versions
JP2015097343A (en
Inventor
越智 大介
大介 越智
草地 良規
良規 草地
康輔 高橋
康輔 高橋
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013237015A priority Critical patent/JP6178705B2/en
Publication of JP2015097343A publication Critical patent/JP2015097343A/en
Application granted granted Critical
Publication of JP6178705B2 publication Critical patent/JP6178705B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像配信システム、映像配信装置及び映像配信プログラムに関する。   The present invention relates to a video distribution system, a video distribution apparatus, and a video distribution program.

近年、高速ネットワークインフラの整備、表示デバイス、撮像カメラなどの高性能化等に伴い、タブレット端末やスマートフォンのような画面を直接触って直感的な入力が可能な装置を備えたデバイスを用いて、デバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴する技術が考案されている(例えば、非特許文献1参照)。非特許文献1では、そのようなユーザ端末の表示領域以上のサイズの映像・画像を予め高い解像度から低いものまで複数用意し、さらにそれらをいくつかのタイル状の領域(以下、タイルと称する)に分割して配信サーバに保存しておき、ユーザが選んだ画角サイズに応じて、ユーザの視聴端末の表示デバイスに対して最も適当な解像度の、ユーザの選んだ領域を含むタイルだけを効率的に配信することでこの視聴方法が実現されている。   In recent years, with the development of high-speed network infrastructure, high performance of display devices, imaging cameras, etc., using devices equipped with devices capable of intuitive input by directly touching the screen such as tablet terminals and smartphones, There has been devised a technique for interactively selecting and viewing a desired position and angle of view from a video or image having a size larger than the display area of the device (see, for example, Non-Patent Document 1). In Non-Patent Document 1, a plurality of videos / images having a size larger than the display area of such a user terminal are prepared in advance from a high resolution to a low one, and further some tile-shaped areas (hereinafter referred to as tiles). The tiles are stored in the distribution server and stored in the distribution server, and only the tiles including the user-selected area with the most appropriate resolution for the display device of the user's viewing terminal are efficiently used according to the angle of view size selected by the user. This viewing method is realized by distributing it in an organized manner.

Mobile and Multi-device Interactive Panorama Video Distribution System, Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima, IEEE GCCE 2012 2012.10.2-5 Tokyo, JapanMobile and Multi-device Interactive Panorama Video Distribution System, Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima, IEEE GCCE 2012 2012.10.2-5 Tokyo, Japan

しかし、非特許文献1に記載の技術では、ユーザがインタラクティブに視聴する部分や画角を変えた際、新たに選択された部分を含むタイルの配信を受けるまでユーザは待たなければならないという問題がある。この問題を克服するため、これまでは、ユーザが選んだ領域を含むタイルの他に全体が映った解像度の低い映像・画像(解像度が低いため映像・画像の容量が小さく、ネットワーク負荷がかからない映像・画像)を同時に配信しておき、高解像度のタイルが配信されるまでの間、低解像度で映像・画像を視聴してもらう方法により、問題の解決を図っている。このため、一時的にユーザの見たい部分の解像度が下がってしまうため、ユーザの視認性が落ちてしまい、ユーザエクスペリエンスの質が高いとは言えなかった。   However, the technique described in Non-Patent Document 1 has a problem in that when the user changes the part to be viewed interactively or the angle of view, the user has to wait until the distribution of the tile including the newly selected part is received. is there. In order to overcome this problem, until now, low-resolution video / images that have been shown in addition to the tiles including the area selected by the user (videos that have low resolution due to low resolution and are not subject to network load) (Image) is distributed at the same time, and the problem is solved by a method in which the video / image is viewed at a low resolution until a high-resolution tile is distributed. For this reason, since the resolution of the part which a user wants to see falls temporarily, a user's visibility falls, and it cannot be said that the quality of a user experience is high.

また、ユーザが視聴しているタイミングよりも先の映像だけでなく、ユーザが現在視聴している部分の周りの領域を先読みして予めユーザの視聴端末内にバッファリングしておき、ユーザが視聴領域や画角を変化させた場合にすぐさまバッファ領域から予め取得しておいた映像・画像を提示し、ユーザを待たせることなくユーザが選択した領域を含む高解像度のタイルを提示するといった従来のバッファリングの考え方に基づいた方法も利用可能である。しかし、ユーザがインタラクティブに視聴する部分や画角を選択する視聴形態においては、いつどのタイミングでユーザが操作を行い、視聴領域や画角の変更を行うかが不明であるため、考えられる周りの領域、および予め決められた時間後までのすべての映像・画像をバッファリングしなければならないため、非効率かつネットワーク帯域や端末のバッファリングメモリやダウンロードリソースを無駄に消費してしまうという問題がある。   Further, not only the video ahead of the user's viewing timing but also the area around the portion currently being viewed by the user is pre-read and buffered in advance in the user's viewing terminal so that the user can view When the area or the angle of view is changed, the video / image acquired in advance from the buffer area is presented immediately, and the high-resolution tile including the area selected by the user is presented without waiting for the user. Methods based on the idea of buffering are also available. However, in the viewing mode in which the user selects an interactive viewing portion and angle of view, it is unclear when and when the user performs an operation and changes the viewing area and angle of view. Since all video / images up to a certain area and after a predetermined time have to be buffered, there is a problem that it is inefficient and wastes network bandwidth, terminal buffering memory and download resources. .

本発明は、このような事情に鑑みてなされたもので、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことができる映像配信システム、映像配信装置及び映像配信プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and video distribution capable of efficiently performing video distribution in a system in which a user operates a video interactively and views a portion desired to be viewed at a desired angle of view. It is an object to provide a system, a video distribution device, and a video distribution program.

本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより、前記全体映像データのうち選択した分割映像の映像データを配信する映像配信装置と、配信された前記分割映像の映像データを出力するユーザ端末とを備える映像配信システムであって、前記ユーザ端末は、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備え、前記映像配信装置は、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。   According to the present invention, the entire video data is divided into a plurality of small areas, and a divided video composed of at least one small area is selected by a user's selection operation. A video distribution system comprising a video distribution device for distributing data and a user terminal for outputting video data of the distributed divided video, wherein the user terminal selects a desired divided video; A buffer that temporarily stores the video data distributed from the video distribution device; and a video output unit that reads out and outputs the video data stored in the buffer. The video distribution device is selected by the selection unit. A first distribution means for distributing the divided divided video data to the buffer; and the selection means. Storage means for collecting and storing information for specifying the small areas constituting the divided video, and a tendency to select the divided video next from the information for specifying the small areas stored in the storage means. The trend information storage means for specifying and storing the trend information that is information to be displayed, and when the divided video is selected by the selection means, with reference to the trend information stored in the trend information storage means, And second distribution means for distributing the video data of the divided video, which is configured by the small area having a high tendency to be selected, to the buffer.

本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより配信された前記全体映像データのうち選択した分割映像の映像データを出力するために、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備えるユーザ端末に対して、前記映像データを配信する映像配信装置であって、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。   In the present invention, the entire video data is divided into a plurality of small areas, and the divided video selected from the whole video data distributed by selecting a divided video constituted by at least one of the small areas by a user selection operation. In order to output the video data, a selection means for selecting the desired divided video, a buffer for temporarily storing the video data distributed from the video distribution device, and reading the video data stored in the buffer A video distribution device that distributes the video data to a user terminal including a video output unit that outputs the divided video data selected by the selection unit to the buffer; 1 distribution means and information for specifying the small area constituting the divided video selected by the selection means is collected. Storage means for storing; trend information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means; When the divided video is selected by the selection unit, the video of the divided video configured by the small region having a high tendency to be selected next with reference to the trend information stored in the trend information storage unit And second distribution means for distributing data to the buffer.

本発明は、前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする。   The present invention is characterized in that the trend information storage means changes and stores trend information which is information indicating a tendency to select the divided video next in accordance with the attribute of the user.

本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。   The present invention is a video distribution program for causing a computer to function as the video distribution apparatus.

本発明によれば、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが可能になるという効果が得られる。   According to the present invention, it is possible to efficiently distribute video in a system in which a user interacts with video interactively and views a desired portion of the video at a desired angle of view.

本発明の第1実施形態による映像配信システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video delivery system by 1st Embodiment of this invention. 図1に示す映像配信システムの動作を示す図である。It is a figure which shows operation | movement of the video delivery system shown in FIG. 図1に示す映像配信システムの映像配信動作を示すフローチャートである。It is a flowchart which shows the video delivery operation | movement of the video delivery system shown in FIG. コンテンツ描画において、低解像度タイル、高解像度タイルおよびユーザの視聴部分の関係を示す図である。In content drawing, it is a figure which shows the relationship between a low resolution tile, a high resolution tile, and the viewing-and-listening part of a user. 本発明の第2実施形態よる映像配信システムの動作を示す図である。It is a figure which shows operation | movement of the video delivery system by 2nd Embodiment of this invention. 本発明の第3実施形態よる映像配信システムの動作を示す図である。It is a figure which shows operation | movement of the video delivery system by 3rd Embodiment of this invention. 本発明の第4実施形態よる映像配信システムの動作を示す図である。It is a figure which shows operation | movement of the video delivery system by 4th Embodiment of this invention.

<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像配信システムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、映像を配信する配信サーバである。符号20は、配信サーバ10から配信された映像を視聴するユーザ視聴端末である。配信サーバ10とユーザ視聴端末20とは情報通信可能に接続されている。符号11は、配信すべき映像であるコンテンツを保存するコンテンツ保存部であり、記憶装置によって構成する。符号12は、配信すべき映像を決定する配信映像決定部である。符号13は、ユーザ視聴端末20において視聴された映像に関する視聴ログを記録、出力する視聴ログ記録・出力部である。符号14は、視聴ログと視聴傾向結果の情報を保存するログ・視聴傾向結果保存部であり、記憶装置によって構成する。符号15は、視聴ログに基づいて視聴傾向を算出する視聴傾向算出部である。符号16は、予測映像を配信する予測映像配信部である。符号17は、低解像度の映像を配信する低解像度配信部である。符号18は、視聴されている部分の映像を配信する視聴部分配信部である。
<First Embodiment>
Hereinafter, a video delivery system according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure, reference numeral 10 denotes a distribution server for distributing video. Reference numeral 20 denotes a user viewing terminal for viewing the video distributed from the distribution server 10. The distribution server 10 and the user viewing terminal 20 are connected so that information communication is possible. Reference numeral 11 denotes a content storage unit that stores content that is video to be distributed, and is configured by a storage device. Reference numeral 12 denotes a distribution video determination unit that determines a video to be distributed. Reference numeral 13 denotes a viewing log recording / outputting unit that records and outputs a viewing log related to video viewed on the user viewing terminal 20. Reference numeral 14 denotes a log / viewing trend result storage unit that stores information on viewing logs and viewing trend results, and is configured by a storage device. Reference numeral 15 denotes a viewing tendency calculation unit that calculates a viewing tendency based on a viewing log. Reference numeral 16 denotes a predicted video distribution unit that distributes a predicted video. Reference numeral 17 denotes a low-resolution distribution unit that distributes a low-resolution video. Reference numeral 18 denotes a viewing partial distribution unit that distributes the video of the part being viewed.

符号21は、映像を視聴するユーザが操作入力を行う入力部である。符号22は、配信された映像を表示する表示部である。符号23は、配信サーバ10から配信された映像を一時記憶するバッファである。符号24は、入力部21における操作内容に応じて、配信する映像の要求を行う映像要求部である。符号25は、配信映像の受信を行う映像受信部である。符号26は、高解像度映像をデコードする高解像度映像デコード部である。符号27は、デコードされた高解像度映像を表示部22に描画する高解像度映像描画部である。符号28は、低解像度映像をデコードする低解像度映像デコード部である。符号29は、デコードされた低解像度映像を表示部22に描画する低解像度映像描画部である。   Reference numeral 21 denotes an input unit through which a user who views a video inputs an operation. Reference numeral 22 denotes a display unit that displays the distributed video. Reference numeral 23 denotes a buffer for temporarily storing the video distributed from the distribution server 10. Reference numeral 24 denotes a video request unit that requests a video to be distributed in accordance with the operation content in the input unit 21. Reference numeral 25 denotes a video receiving unit that receives distribution video. Reference numeral 26 denotes a high-resolution video decoding unit that decodes a high-resolution video. Reference numeral 27 denotes a high-resolution video rendering unit that renders the decoded high-resolution video on the display unit 22. Reference numeral 28 denotes a low-resolution video decoding unit that decodes a low-resolution video. Reference numeral 29 denotes a low-resolution video rendering unit that renders the decoded low-resolution video on the display unit 22.

ユーザ視聴端末20は、例えばタッチパネル入力を備えたタブレットやスマートフォンといった端末を用いることができる。また、入力部21としてマウスやペンタブレット、リモコンを兼ね備えたパソコンやSTB(Set Top Box)などでも構わない。配信サーバ10は、サーバ機、PCサーバ等、以下で説明する機能を持ったものであればその形態は問わない。   As the user viewing terminal 20, for example, a terminal such as a tablet or a smartphone provided with a touch panel input can be used. The input unit 21 may be a mouse, a pen tablet, a personal computer having a remote control, an STB (Set Top Box), or the like. The distribution server 10 may have any form as long as it has a function described below, such as a server machine or a PC server.

なお、配信サーバ10とユーザ視聴端末20が一体になっており、ローカルに保存されたコンテンツを以下で説明する機能を使ってユーザが視聴するようにしてもよい。   The distribution server 10 and the user viewing terminal 20 are integrated, and the user may view the content stored locally using a function described below.

次に、図2を参照して、図1に示す映像配信システムの動作を説明する。図2は、図1に示す映像配信システムの動作を示す図である。配信サーバ10はコンテンツ保存部11を備えている。コンテンツ保存部11に保存されるコンテンツは予め決められた複数の解像度を持つ映像データが保存されており、それぞれ、各フレーム毎にタイルと呼ばれる、所定の大きさの部分画像に分割されている。   Next, the operation of the video distribution system shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a diagram showing the operation of the video distribution system shown in FIG. The distribution server 10 includes a content storage unit 11. The content stored in the content storage unit 11 stores video data having a plurality of predetermined resolutions, and is divided into partial images of a predetermined size called tiles for each frame.

ユーザが自身の見たい位置をユーザ視聴端末20において例えばタブレットのタッチパネル上でフリック/ピンチ操作などにより選択操作(入力部21の操作)をすると、選択された部分を含むタイル(選択された部分が面積で最大となるタイル、高解像度タイルと呼ぶ)が要求される。また、低解像度タイルはコンテンツの全域を含むタイルとなっており、ユーザがコンテンツを視聴する間、高解像度タイルと共に常に配信される。   When the user performs a selection operation (operation of the input unit 21) on the user viewing terminal 20 by, for example, a flick / pinch operation on the touch panel of the tablet, the tile including the selected portion (the selected portion is displayed). Tiles with the largest area, called high resolution tiles). The low resolution tile is a tile that includes the entire content, and is always distributed along with the high resolution tile while the user views the content.

これにより、ユーザが視聴位置や画角を変更し、システムがその部分に応じた高解像度タイルを要求し、その配信を待つ間も映像が途切れることなく(映像が抜けてしまうことなく)、シームレスに映像視聴を行うことが可能となる。本実施形態ではこの他に、以後説明する方法で予測映像のタイル(次のタイミングで見られるであろうタイル)も同時に送られる。   As a result, the user can change the viewing position and angle of view, the system requests a high-resolution tile corresponding to the part, and the video is not interrupted (the video is not lost) while waiting for the distribution. It is possible to view the video. In this embodiment, in addition to this, tiles of predicted video (tiles that will be seen at the next timing) are also sent at the same time by a method described below.

次に、図3を参照して、図1に示す映像配信システムの映像配信動作を説明する。図3は、図1に示す映像配信システムの映像配信動作を示すフローチャートである。まず、低解像度配信部17はバッファ23に低解像度タイルを配信する(ステップS1)。続いて、視聴部分配信部18は、高解像度タイルをバッファ23に配信する(ステップS2)。   Next, the video distribution operation of the video distribution system shown in FIG. 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the video distribution operation of the video distribution system shown in FIG. First, the low resolution distribution unit 17 distributes the low resolution tile to the buffer 23 (step S1). Subsequently, the viewing partial distribution unit 18 distributes the high resolution tile to the buffer 23 (step S2).

次に、バッファ23は、低解像度タイルと高解像度タイルを映像受信部25へ受け渡す(ステップS3)。これを受けて、映像受信部25は、高解像度タイルを高解像度映像デコード部26へ出力する。これを受けて、高解像度映像デコード部26は、高解像度タイルをデコードして高解像度映像描画部27へ出力する。そして、高解像度映像描画部27は、デコードされた高解像度タイルを表示部22に描画することによって高解像度タイルの映像を表示する。また、映像受信部25は、低解像度タイルを低解像度映像デコード部28へ出力する。これを受けて、低解像度映像デコード部28は、低解像度タイルをデコードして低解像度映像描画部29へ出力する。そして、低解像度映像描画部29は、デコードされた低解像度タイルを表示部22に描画することによって低解像度タイルの映像を表示する。このとき、低解像度タイルと高解像度タイルは重畳されて表示部22に表示されることになる(ステップS4)。この基本動作(ステップS1〜S4)は繰り返し行われる。   Next, the buffer 23 delivers the low resolution tile and the high resolution tile to the video reception unit 25 (step S3). In response to this, the video receiving unit 25 outputs the high resolution tile to the high resolution video decoding unit 26. In response to this, the high resolution video decoding unit 26 decodes the high resolution tile and outputs it to the high resolution video rendering unit 27. Then, the high resolution video rendering unit 27 displays the video of the high resolution tile by rendering the decoded high resolution tile on the display unit 22. In addition, the video receiving unit 25 outputs the low resolution tile to the low resolution video decoding unit 28. In response to this, the low resolution video decoding unit 28 decodes the low resolution tile and outputs it to the low resolution video rendering unit 29. Then, the low resolution video drawing unit 29 displays the video of the low resolution tile by drawing the decoded low resolution tile on the display unit 22. At this time, the low resolution tile and the high resolution tile are superimposed and displayed on the display unit 22 (step S4). This basic operation (steps S1 to S4) is repeated.

この基本動作と並行して、ユーザ視聴端末20の入力部21において、ユーザが視聴位置・画角を選択する操作を行うと、入力部21は、ユーザの入力操作(例えばユーザのタッチパネル入力操作)を読み取る(ステップS5)。入力部21は入力された値を映像要求部24に渡す。映像要求部24は、バッファ23に目的のタイルがあるか否かを判定し(ステップS6)、バッファ23に目的のタイルがあれば、前述の基本動作を続行する。   In parallel with this basic operation, when the user performs an operation of selecting a viewing position / viewing angle in the input unit 21 of the user viewing terminal 20, the input unit 21 performs an input operation of the user (for example, a touch panel input operation of the user). Is read (step S5). The input unit 21 passes the input value to the video request unit 24. The video request unit 24 determines whether or not there is a target tile in the buffer 23 (step S6). If there is a target tile in the buffer 23, the above-described basic operation is continued.

一方、バッファ23に目的のタイルがない場合、映像要求部24は、配信映像決定部12に対して目的の高解像度タイルを要求する(ステップS7)。これを受けて、配信映像決定部12は、要求された高解像度タイルを配信する指示を視聴部分配信部18へ出力する。視聴部分配信部18は、指示された高解像度タイルをコンテンツ保存部11から読み出してバッファ23へ配信する(ステップS8)。そして、前述した処理動作と同様に、ステップS3、S4が実行されて、ユーザの操作に応じた高解像度タイルが表示部22に表示されることになる。   On the other hand, when there is no target tile in the buffer 23, the video request unit 24 requests the target high-resolution tile from the distribution video determination unit 12 (step S7). In response to this, the distribution video determination unit 12 outputs an instruction to distribute the requested high resolution tile to the viewing partial distribution unit 18. The viewing partial distribution unit 18 reads the instructed high resolution tile from the content storage unit 11 and distributes it to the buffer 23 (step S8). Then, similarly to the processing operation described above, steps S3 and S4 are executed, and a high-resolution tile corresponding to the user's operation is displayed on the display unit 22.

この処理動作と並行して、配信映像決定部12は、視聴部分配信部18に対して高解像度タイルの配信を指示するタイミングで要求された視聴部分の高解像度タイルがどこであったかを示す情報を視聴ログ記録・出力部13に通知する。これを受けて、視聴ログ記録・出力部13は、要求された視聴部分の高解像度タイルがどこであったかを示す情報をログ・視聴傾向結果保存部14に記憶する(ステップS9)。   In parallel with this processing operation, the distribution video determination unit 12 views information indicating where the high-resolution tile of the viewing portion requested at the timing of instructing the viewing-partial distribution unit 18 to distribute the high-resolution tile. Notify the log recording / output unit 13. In response to this, the viewing log recording / output unit 13 stores information indicating where the requested high-resolution tile of the viewing portion was in the log / viewing tendency result storage unit 14 (step S9).

次に、視聴傾向算出部15は、ログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて、視聴傾向を算出し、得られた視聴傾向の情報をログ・視聴傾向結果保存部14に記憶する(ステップS10)。ここでいう視聴傾向の情報とは、視聴された高解像度タイルの次、またはその次に視聴された高解像度タイルの候補を示す情報である。本映像配信システムの同時使用ユーザは一人には限らないため、複数回同じコンテンツが視聴された場合、コンテンツの任意のタイミングで視聴されるタイルの視聴頻度が視聴傾向算出部15において計算可能となる。視聴傾向算出部15は、映像配信と視聴する動作とは非同期で定期的にログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて視聴傾向を算出する処理を行って、ログ・視聴傾向結果保存部14に記憶する。   Next, the viewing tendency calculation unit 15 calculates a viewing tendency based on the log information stored in the log / viewing trend result storage unit 14, and the obtained viewing trend information is stored in the log / viewing trend result storage unit. 14 (step S10). The viewing tendency information here is information indicating candidates for a high-resolution tile viewed next to or after the viewed high-resolution tile. Since the number of simultaneous users of the video distribution system is not limited to one, when the same content is viewed a plurality of times, the viewing tendency calculation unit 15 can calculate the viewing frequency of tiles that are viewed at an arbitrary timing of the content. . The viewing tendency calculation unit 15 performs processing for calculating a viewing tendency based on log information stored in the log / viewing trend result storage unit 14 periodically and asynchronously with video distribution and viewing operation. It is stored in the viewing tendency result storage unit 14.

次に、配信映像決定部12が視聴ログ記録・出力部13に情報記録を出力するのと同じタイミングで視聴ログ記録・出力部に対して、ログ・視聴傾向結果保存部14に保存された現時点でユーザが視聴しているタイミング、および予め管理者、またはユーザが設定した分量の未来のタイミングにおける各タイルの視聴頻度を問い合わせる(ステップS11)。配信サーバ10には予め管理者、またはユーザが参照すべき未来のタイミングと視聴頻度の閾値が登録されているものとし、その閾値に応じ、視聴頻度の高いタイル、すなわち“次のタイミング”でユーザが視聴するであろうタイルがどれであるかという情報を配信映像決定部12に対して回答する。   Next, the current time stored in the log / viewing trend result storage unit 14 for the viewing log recording / output unit at the same timing as the distribution video determination unit 12 outputs the information record to the viewing log recording / output unit 13 In step S11, the user is inquired about the viewing frequency of each tile at the timing when the user is viewing and the future timing of the amount set by the administrator or the user in advance. It is assumed that a future timing and a viewing frequency threshold that should be referred to by the administrator or the user are registered in the distribution server 10 in advance, and a user with a tile having a high viewing frequency, that is, “next timing”, according to the threshold. The distribution video determination unit 12 is replied to the information about which tile the user will view.

配信映像決定部12は、回答で得た情報を予測映像配信部に出力する。これを受けて、予測映像配信部16はこの情報に基づく高解像度タイルをコンテンツ保存部11から読み出し、バッファ23へ配信する(ステップS12)。“次のタイミング”でユーザが視聴するであろうタイルは所定の閾値に応じて複数あってもかまわない。この構成によって、次のタイミングで映像要求部24が要求する高解像度タイルがバッファ23に記憶されていた場合は、視聴部分配信部18からの映像配信を待つことなく、即時に高解像度のタイルを映像受信部25に送ることができる。   The distribution video determination unit 12 outputs information obtained from the answer to the prediction video distribution unit. In response to this, the predicted video distribution unit 16 reads out the high resolution tile based on this information from the content storage unit 11 and distributes it to the buffer 23 (step S12). There may be a plurality of tiles that the user will view at “next timing” in accordance with a predetermined threshold. With this configuration, when the high-resolution tile requested by the video request unit 24 is stored in the buffer 23 at the next timing, the high-resolution tile is immediately displayed without waiting for the video distribution from the viewing partial distribution unit 18. It can be sent to the video receiver 25.

最後に、コンテンツ終端であるか否かを判定し(ステップS13)、コンテンツ終端であれば処理を終了し、コンテンツ終端でなければステップS1に戻って処理を繰り返す。   Finally, it is determined whether or not it is the end of the content (step S13). If it is the end of the content, the process ends. If it is not the end of the content, the process returns to step S1 to repeat the process.

なお、高解像度タイルと低解像度タイルの時間同期の取り方については、各ファイルに時間情報を含むヘッダを付ける方法、ファイル名に時刻を入れておくことによって実現することができる。また、コンテンツ保存部11に保存された各タイルのファイル形式の一例として、静止画で全フレーム分保存されている、MPEG形式で1GOP(Group Of Pictures)単位で保存されているものがあげられる。   Note that the time synchronization between the high resolution tile and the low resolution tile can be realized by adding a header including time information to each file and by putting the time in the file name. An example of the file format of each tile stored in the content storage unit 11 is a still image that is stored for all frames, and an MPEG format that is stored in units of 1 GOP (Group Of Pictures).

前述した処理動作によって、映像受信部25に届けられた低解像度タイルと、ユーザが視聴したい高解像度タイルはそれぞれ低解像度映像デコード部28と高解像度映像デコード部26に送られ、映像デコード処理がなされ、デコード後の各映像は低解像度映像描画部29および高解像度映像描画部27において図4に示す形式でユーザ視聴端末20に描画されることになり、ユーザは表示部22に描画された映像を視聴することになる。図4は、コンテンツ描画において、低解像度タイル、高解像度タイルおよびユーザの視聴部分の関係を示す図である。   Through the processing operation described above, the low resolution tile delivered to the video receiving unit 25 and the high resolution tile desired by the user are sent to the low resolution video decoding unit 28 and the high resolution video decoding unit 26, respectively, and video decoding processing is performed. Each decoded video is rendered on the user viewing terminal 20 in the format shown in FIG. 4 in the low resolution video rendering unit 29 and the high resolution video rendering unit 27, and the user views the video rendered on the display unit 22. I will watch it. FIG. 4 is a diagram illustrating a relationship among a low resolution tile, a high resolution tile, and a user viewing portion in content drawing.

<第2実施形態>
次に、本発明の第2実施形態による映像配信システムを説明する。第2実施形態おける映像配信システムは、予測配信するタイルが複数あることが第1実施形態による映像配信システムと異なる点である。図5は、第2実施形態おける映像配信システムの動作を示す図である。
Second Embodiment
Next, a video distribution system according to a second embodiment of the present invention will be described. The video distribution system according to the second embodiment is different from the video distribution system according to the first embodiment in that there are a plurality of tiles for predictive distribution. FIG. 5 is a diagram showing the operation of the video distribution system in the second embodiment.

各タイルの視聴頻度は予め複数ユーザによる視聴から算出されているものとし、ある時刻tで視聴される高解像度タイルの次の時刻t+1における各タイルの視聴頻度の上位3つをバッファ23へ配信できるように配信サーバ管理者、またはユーザが予め設定しているものとする。   Assuming that the viewing frequency of each tile is calculated in advance from viewing by a plurality of users, the top three viewing frequencies of each tile at time t + 1 next to a high-resolution tile viewed at a certain time t can be distributed to the buffer 23. In this way, it is assumed that the distribution server administrator or the user has set in advance.

現在の視聴時刻における高解像度タイル(A)、低解像度タイル(B)が配信されると同時に、次のタイミングで見られるであろうタイル(C1〜3)を配信する。この“次のタイミングで見られるであろうタイル”は、時刻がt〜t+1間にユーザが移動できるであろう範囲の中でより視聴頻度が高い3つであり、この“ユーザが移動できるであろう範囲”は配信サーバの管理者、またはユーザが予め設定しておくものとする。例えば、1フレーム進むタイミング内でユーザは最大2次元方向に2タイル、解像度方向に1タイルしか移動できないなどである。   The high resolution tile (A) and the low resolution tile (B) at the current viewing time are distributed, and at the same time, the tiles (C1 to C3) that will be seen at the next timing are distributed. The “tiles that will be seen at the next timing” are the three most frequently viewed within the range in which the user can move between time t and t + 1. The “range” will be set in advance by the administrator or user of the distribution server. For example, the user can move only two tiles in the maximum two-dimensional direction and one tile in the resolution direction within the timing to advance one frame.

次のタイミング(時刻t+1)でユーザがC2のタイルに含まれる領域を選択した場合、高解像度タイルの配信要求を配信サーバ10にすることなく、バッファ23からすぐに映像受信部25に引き渡すことが可能となるため、ユーザは配信サーバ10からの高解像度タイルが配信されるまでの時間を感じることなく即座に高解像度の映像を視聴することが可能となる。   When the user selects an area included in the tile of C2 at the next timing (time t + 1), the distribution request for the high-resolution tile can be immediately delivered from the buffer 23 to the video reception unit 25 without using the distribution server 10. Therefore, the user can immediately view the high-resolution video without feeling the time until the high-resolution tile from the distribution server 10 is distributed.

また、万一次のタイミング(時刻t+1)でユーザがC1〜3のタイルに含まれる領域を選択しなかったとしても、配信サーバ10から高解像度タイルが配信されるまでの間、低解像度タイル(B)を表示しておくといった従来の方法で映像表示が可能となるため、ユーザエクスペリエンスが従来以上に低下することはない。   Even if the user does not select an area included in the tiles C1 to C3 at the primary timing (time t + 1), the low resolution tile (until the high resolution tile is distributed from the distribution server 10). Since the video can be displayed by the conventional method of displaying B), the user experience does not deteriorate more than before.

本実施形態では予測配信するタイル数は3つとし、未来のタイミング(時刻t+1)においてそれらを選んだが、配信サーバ10の管理者、またはユーザ自身がユーザ視聴端末20のバッファサイズ、ネットワークスピードを鑑みてこの閾値を変更(例えば、t+3までそれぞれ5枚のタイルをバッファリングするなど)することは可能である。   In the present embodiment, the number of tiles to be predicted distributed is three, and they are selected at a future timing (time t + 1). However, the administrator of the distribution server 10 or the user himself / herself considers the buffer size and network speed of the user viewing terminal 20. It is possible to change the threshold value (for example, buffer 5 tiles each until t + 3).

<第3実施形態>
次に、本発明の第3実施形態による映像配信システムを説明する。第3実施形態おける映像配信システムは、利用者の属性に応じて予測配信するタイルを変更することが、第1、第2実施形態と異なる点である。図6は、第3実施形態おける映像配信システムの動作を示す図である。
<Third Embodiment>
Next, a video distribution system according to a third embodiment of the present invention will be described. The video distribution system according to the third embodiment is different from the first and second embodiments in that the tile to be predicted and distributed is changed according to the user's attribute. FIG. 6 is a diagram illustrating the operation of the video distribution system in the third embodiment.

第3実施形態の映像配信システムでは、予めこの配信サービスを利用するユーザが限定されており、それぞれどのような属性のユーザがどのようなタイルを視聴したかが視聴ログに記録されていた場合、視聴傾向結果をその属性に応じて変更するものである。すなわち、視聴傾向結果から、例えば男性であればある時刻tの次のタイミングt+1ではC1〜3のタイルがよく見られる一方で、女性であればC4〜C6のタイルがよく見られることが分かっている場合、そのルールに従う仕組みを配信サーバ10の管理者、またはユーザ自身が視聴ログ記録・出力部13に登録しておき、利用ユーザの性別によって予測配信するタイルを変更することが可能となる。   In the video distribution system of the third embodiment, the users who use this distribution service are limited in advance, and when the attributes of the users viewed and what tiles are recorded in the viewing log, The viewing tendency result is changed according to the attribute. That is, from the viewing tendency result, it is understood that, for example, a C1 to 3 tile is often seen at a timing t + 1 next to a certain time t for a man, whereas a C4 to C6 tile is often seen for a woman. If it is, the administrator of the distribution server 10 or the user himself / herself registers the mechanism according to the rule in the viewing log recording / output unit 13, and the tile to be predicted and distributed can be changed according to the gender of the user.

ここでは属性として性別を利用したが、年齢や特定の被写体の好み、過去の視聴コンテンツの種別等でルールが作られても構わない。これにより、個人の嗜好に合わせた予測映像の高解像度タイルの配信が可能となる。   Here, gender is used as an attribute, but rules may be created based on age, preference of a specific subject, type of past viewing content, and the like. As a result, it is possible to deliver a high-resolution tile of a predicted video tailored to individual preferences.

<第4実施形態>
次に、本発明の第4実施形態による映像配信システムを説明する。第4実施形態おける映像配信システムは、第3実施形態を発展させ、記録された視聴傾向から全体の視聴傾向を把握して処理することが、第3実施形態と異なる点である。図7は、第4実施形態おける映像配信システムの動作を示す図である。
<Fourth embodiment>
Next, a video distribution system according to a fourth embodiment of the present invention will be described. The video distribution system according to the fourth embodiment is different from the third embodiment in that the third embodiment is developed to grasp and process the entire viewing tendency from the recorded viewing tendency. FIG. 7 is a diagram illustrating the operation of the video distribution system in the fourth embodiment.

男性と女性でコンテンツ全時刻においてどのタイルが最も見られていたかが分かっており、かつ、各タイルにはどの程度被写体が映っているかが予め分かっている場合、男性にはどの被写体、女性にはどの被写体が人気がある(図7に示す例では男性は被写体A、女性は被写体B)と言ったことが容易に算出できようになり、一般ユーザの嗜好特性が容易に把握可能となる。   If you know which tiles were seen most by males and females at all times, and if you know in advance how many subjects appear in each tile, which subject for men and which for women It can be easily calculated that the subject is popular (in the example shown in FIG. 7, the subject is male A and the subject B is female), and the preference characteristics of general users can be easily grasped.

ここでは、各タイルにどの程度被写体が映っているかが予め分かることを想定したが、このタイル内の被写体が映る割合データは、例えば人が予め目で見て登録することや、一般的なツール(例えばOpenCVの顔認識結果)などを用いて自動的に登録することなどが適用できる。また、ここではコンテンツ内に被写体は2つ(AとB)としたが、より多くの被写体があってもかまわない。さらに、今回は性別の属性で嗜好の違いを説明したが、年齢や出身地、出身国などの違いから算出することも可能である。   Here, it is assumed that how much the subject is reflected in each tile is known in advance, but the ratio data in which the subject in this tile is reflected is, for example, registered in advance by a human eye or a general tool. For example, automatic registration using (for example, OpenCV face recognition result) can be applied. In this example, there are two subjects (A and B) in the content, but there may be more subjects. Furthermore, although the difference in preference was explained by the attribute of gender this time, it is also possible to calculate from the difference in age, birthplace, country of origin, and the like.

以上説明したように、ユーザがインタラクティブに映像・画像を操作し、見たい部分を見たい画角で視聴するようなシステムにおいて効率的な映像配信を行うことが可能になる。これを実現するために、ある複数ユーザが対象のコンテンツを視聴した際、それぞれのユーザがどのタイミング(フレーム)でどのタイルを視聴していたか(どのタイミングでどの二次元位置がどの画角で視聴されていたか)を記録・保存しておき、全ユーザの記録を解析することで、全ユーザの視聴傾向(あるタイミングにおける各タイルの視聴割合)を算出し、記録しておくようにした。   As described above, it is possible to perform efficient video distribution in a system in which a user interactively manipulates a video / image and views a desired portion of the image at a desired angle of view. To achieve this, when multiple users watched the target content, which tile each user was watching at which timing (frame) (at which timing, which two-dimensional position was viewed at which angle of view) Recording / storing) and analyzing the records of all users to calculate and record the viewing tendency (viewing ratio of each tile at a certain timing) of all users.

この方法では新たなユーザが同じコンテンツの視聴を行う際、任意のタイミングで選択したタイルを配信サーバから配信する際、前述の全ユーザの視聴傾向から、今回のユーザが次のタイミングで見るであろうタイル(2次元的にまわりにあるタイル、またはユーザの選択した領域を含む解像度の異なるタイル)を予め決められたフレーム数内においてユーザ視聴端末へ配信する。これにより、ユーザが次のタイミングで見るであろうタイルを予め配信しておくことができる。このため、ユーザは次に選択するタイルを選択した時点で、まず解像度の低い映像を見ることなく高画質に視聴できる確率が上がり、ユーザエクスペリエンスの向上が可能となる。また、全ユーザの視聴傾向を逐次計算するようにしておけば、ある時期から突然人気が出た被写体などに対してもタイルの事前配信が可能となるため、ユーザの視聴傾向にロバストな配信が可能となる。さらに、無駄な(あまりユーザが視聴しない)タイルを配信することがないため、ユーザが好きな部分や画角を選択して視聴する視聴形態において、ネットワーク帯域や端末のダウンロードリソースの消費を最低限に抑えることが可能となる。   In this method, when a new user views the same content, when the tile selected at an arbitrary timing is distributed from the distribution server, the current user sees at the next timing from the above-mentioned viewing tendency of all users. Wax tiles (two-dimensional surrounding tiles or tiles having different resolutions including a user-selected area) are distributed to the user viewing terminal within a predetermined number of frames. Thereby, tiles that the user will see at the next timing can be distributed in advance. For this reason, when the user selects the tile to be selected next, the probability that the user can view the image with high image quality without first viewing the low-resolution video is increased, and the user experience can be improved. In addition, if the viewing tendency of all users is calculated sequentially, tiles can be pre-distributed even for subjects that suddenly become popular from a certain period of time. It becomes possible. Furthermore, since unnecessary tiles (which are not often viewed by users) are not distributed, consumption of network bandwidth and terminal download resources is minimized in a viewing mode in which a user selects a desired part and angle of view. It becomes possible to suppress to.

また、バッファリングされていないタイルをユーザが選択した場合は、従来の方法で適切なタイルが配信されるまで低解像度の映像を見つつ待たなければならないが、視聴操作を行った前述の「新たなユーザ」の視聴領域・画角も記録・保存され、同様にさらなる次の「新たなユーザ」のために解析がなされるため、多くのユーザが視聴すればするほど、同時に配信すべきタイルの統計的な精度が向上し、待たなければならないユーザは減っていく上、ネットワーク帯域や端末のバッファリングメモリ、ダウンロードリソースの消費が改善され続けるといった効果もある。   In addition, when the user selects a tile that is not buffered, it is necessary to wait while watching a low-resolution video until an appropriate tile is delivered by the conventional method. The viewing area and angle of view of the “user” are also recorded and stored, and similarly, analysis is performed for the next “new user”. The statistical accuracy is improved, the number of users who have to wait is reduced, and the network bandwidth, the buffering memory of the terminal, and the consumption of download resources are continuously improved.

また、視聴するユーザが別の観点(例えば性別やコンテンツに映った被写体の好み、年齢等)が異なる場合、視聴傾向が異なることも考えられるが、予めユーザを特定の観点でクラスタリングできるのであれば、観点毎にユーザの視聴傾向を別集計することで、新たに視聴するユーザが所属するクラスタリング観点さえ分かれば、そのユーザに合った事前配信が可能となる。   In addition, when viewing users have different viewpoints (for example, gender, preference of the subject reflected in the content, age, etc.), the viewing tendency may be different, but if users can be clustered in advance from a specific viewpoint By separately counting the viewing tendency of the user for each viewpoint, if the clustering viewpoint to which the newly viewed user belongs is known, advance distribution suitable for the user can be performed.

さらに、ユーザが最終的に視聴した全時刻におけるタイルの視聴傾向から、特定の被写体をより多く見ているなどのユーザの嗜好を把握可能といった効果もある。   Furthermore, there is an effect that it is possible to grasp the user's preference such as watching more specific subjects from the tile viewing tendency at all times when the user finally viewed.

前述した実施形態における配信サーバ10、ユーザ視聴端末20をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。   The distribution server 10 and the user viewing terminal 20 in the above-described embodiment may be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be realized using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。   As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.

ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが不可欠な用途に適用できる。   The present invention can be applied to an application in which it is indispensable to efficiently perform video distribution in a system in which a user interactively manipulates video and views a desired part of the video at a desired angle of view.

10・・・配信サーバ、11・・・コンテンツ保存部、12・・・配信映像決定部、13・・・視聴ログ記録・出力部、14・・・ログ・視聴傾向結果保存部、15・・・視聴傾向算出部、16・・・予測映像配信部、17・・・低解像度配信部、18・・・視聴部分配信部、20・・・ユーザ視聴端末、21・・・入力部、22・・・表示部、23・・・バッファ、24・・・映像要求部、25・・・映像受信部、26・・・高解像度映像デコード部、27・・・高解像度映像描画部、28・・・低解像度映像デコード部、29・・・低解像度映像描画部   DESCRIPTION OF SYMBOLS 10 ... Distribution server, 11 ... Content storage part, 12 ... Distribution video determination part, 13 ... Viewing log recording / output part, 14 ... Log / viewing tendency result storage part, 15 ... -Viewing tendency calculation unit, 16 ... predicted video delivery unit, 17 ... low resolution delivery unit, 18 ... viewing partial delivery unit, 20 ... user viewing terminal, 21 ... input unit, 22 ..Display unit, 23 ... Buffer, 24 ... Video request unit, 25 ... Video receiving unit, 26 ... High-resolution video decoding unit, 27 ... High-resolution video drawing unit, 28 ...・ Low resolution video decoding unit, 29 ... Low resolution video rendering unit

Claims (3)

全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより、前記全体映像データのうち選択した分割映像の映像データを配信する映像配信装置と、配信された前記分割映像の映像データを出力するユーザ端末とを備える映像配信システムであって、
前記ユーザ端末は、
所望の前記分割映像を選択する選択手段と、
前記映像配信装置から配信された前記映像データを一時記憶するバッファと、
前記バッファに記憶されている映像データを読み出して出力する映像出力手段と
を備え、
前記映像配信装置は、
前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
を備え
前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする映像配信システム。
The whole video data is divided into a plurality of small areas, and the divided video constituted by at least one of the small areas is selected by the user's selection operation, thereby distributing the video data of the selected divided video among the whole video data. A video distribution system comprising: a video distribution device; and a user terminal that outputs video data of the distributed divided video,
The user terminal is
Selecting means for selecting the desired divided video;
A buffer for temporarily storing the video data distributed from the video distribution device;
Video output means for reading out and outputting the video data stored in the buffer, and
The video distribution device includes:
First distribution means for distributing video data of the divided video selected by the selection means to the buffer;
Storage means for collecting and storing information for specifying the small area constituting the divided video selected by the selection means;
Tendency information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means;
When the divided image is selected by the selection means, the tendency information stored in the tendency information storage means is referred to, and the divided image that is configured by the small region having the highest tendency to be selected next is selected. Second distribution means for distributing video data to the buffer ;
The trend information storage means according to the attribute of the user, then the divided image changing trend information is information indicating the tendency to select to store the video distribution system according to claim Rukoto.
全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより配信された前記全体映像データのうち選択した分割映像の映像データを出力するために、所望の前記分割映像を選択する選択手段と、映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備えるユーザ端末に対して、前記映像データを配信する映像配信装置であって、
前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
を備え
前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする映像配信装置。
The whole video data is divided into a plurality of small areas, and the video data of the selected divided video among the whole video data distributed by selecting a divided video constituted by at least one of the small areas by a user selection operation is selected. to output image outputted by reading and selecting means for selecting a desired said divided image, a buffer for temporarily storing the image data delivered from the movies picture distribution device, a video data stored in the buffer A video distribution device that distributes the video data to a user terminal including an output unit,
First distribution means for distributing video data of the divided video selected by the selection means to the buffer;
Storage means for collecting and storing information for specifying the small area constituting the divided video selected by the selection means;
Tendency information storage means for specifying and storing trend information which is information indicating a tendency to select the divided video next from information for specifying the small area stored in the storage means;
When the divided image is selected by the selection means, the tendency information stored in the tendency information storage means is referred to, and the divided image that is configured by the small region having the highest tendency to be selected next is selected. Second distribution means for distributing video data to the buffer ;
The trend information storage means according to the attribute of the user, then the image distribution apparatus characterized that you store the divided image information indicating a tendency to select which alter the tendency information.
コンピュータを、請求項2に記載の映像配信装置として機能させるための映像配信プログラム。 A video distribution program for causing a computer to function as the video distribution device according to claim 2 .
JP2013237015A 2013-11-15 2013-11-15 Video distribution system, video distribution apparatus, and video distribution program Expired - Fee Related JP6178705B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013237015A JP6178705B2 (en) 2013-11-15 2013-11-15 Video distribution system, video distribution apparatus, and video distribution program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013237015A JP6178705B2 (en) 2013-11-15 2013-11-15 Video distribution system, video distribution apparatus, and video distribution program

Publications (2)

Publication Number Publication Date
JP2015097343A JP2015097343A (en) 2015-05-21
JP6178705B2 true JP6178705B2 (en) 2017-08-09

Family

ID=53374456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237015A Expired - Fee Related JP6178705B2 (en) 2013-11-15 2013-11-15 Video distribution system, video distribution apparatus, and video distribution program

Country Status (1)

Country Link
JP (1) JP6178705B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016002377T5 (en) 2015-05-27 2018-02-08 Google Llc STREAMS OF SPHERICAL VIDEO
JP6741784B2 (en) * 2016-04-08 2020-08-19 ヴィズビット インコーポレイテッド View-oriented 360-degree video streaming
US11032588B2 (en) * 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
WO2018057472A1 (en) * 2016-09-26 2018-03-29 Dolby Laboratories Licensing Corporation Content based stream splitting of video data
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
WO2019155695A1 (en) * 2018-02-06 2019-08-15 株式会社Nttドコモ Information processing device and information processing method
JP7259947B2 (en) * 2019-05-22 2023-04-18 日本電信電話株式会社 Video distribution device, video distribution method and program
CN113891155B (en) * 2021-09-29 2024-04-05 百果园技术(新加坡)有限公司 Video playing gear determining method, video playing method and related devices

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188866A (en) * 1997-07-18 1999-03-30 Pfu Ltd High-definition image display device and program storage medium therefor
JP2007189357A (en) * 2006-01-11 2007-07-26 Matsushita Electric Ind Co Ltd Device and method for distributing arbitrary-viewpoint video
JP2010206391A (en) * 2009-03-02 2010-09-16 Nippon Telegr & Teleph Corp <Ntt> Display device, display method, display program and recording medium
JP5089658B2 (en) * 2009-07-16 2012-12-05 株式会社Gnzo Transmitting apparatus and transmitting method
JP5663979B2 (en) * 2010-06-29 2015-02-04 ソニー株式会社 Image management server, image display device, image providing method, image acquisition method, program, and image management system
JP5544426B2 (en) * 2010-09-24 2014-07-09 株式会社Gnzo Video bitstream transmission system

Also Published As

Publication number Publication date
JP2015097343A (en) 2015-05-21

Similar Documents

Publication Publication Date Title
JP6178705B2 (en) Video distribution system, video distribution apparatus, and video distribution program
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US20190342241A1 (en) Systems and methods for manipulating and/or concatenating videos
US20160277772A1 (en) Reduced bit rate immersive video
JP6568670B1 (en) VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM
WO2012039404A1 (en) Video bit stream transmission system
JP2014215828A (en) Image data reproduction device, and viewpoint information generation device
US20150341686A1 (en) Multi-screen media delivery systems and methods
KR20140118605A (en) Server and method for transmitting augmented reality object
EP3534616A1 (en) Method, device and system for playing 360 degree panoramic video
EP3328088A1 (en) Cooperative provision of personalized user functions using shared and personal devices
KR102133207B1 (en) Communication apparatus, communication control method, and communication system
CN114040230B (en) Video code rate determining method and device, electronic equipment and storage medium thereof
JP2014075743A (en) Video viewing history analysis device, video viewing history analysis method and video viewing history analysis program
US20160277807A1 (en) Falling back from three-dimensional video
JP5887994B2 (en) Video transmission device, terminal device, video transmission method and program
CN112261408B (en) Image processing method and device for head-mounted display equipment and electronic equipment
Seo et al. Real-time panoramic video streaming system with overlaid interface concept for social media
US20170134457A1 (en) Broadcast-linked service based on cloud streaming, broadcast-linked service client apparatus, trigger content providing server
Kim et al. Region of interest–based segmented tiled adaptive streaming using head-mounted display tracking sensing data
JP5818326B2 (en) Video viewing history analysis method, video viewing history analysis apparatus, and video viewing history analysis program
US20220116677A1 (en) Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment
KR20160131827A (en) System for cloud streaming service, method of image cloud streaming service using alpha level of color bit and apparatus for the same
JP5818323B2 (en) Video viewing history analysis method, video viewing history analysis apparatus, and video viewing history analysis program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170714

R150 Certificate of patent or registration of utility model

Ref document number: 6178705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees