JP5603840B2 - Video tile size determination method - Google Patents
Video tile size determination method Download PDFInfo
- Publication number
- JP5603840B2 JP5603840B2 JP2011152806A JP2011152806A JP5603840B2 JP 5603840 B2 JP5603840 B2 JP 5603840B2 JP 2011152806 A JP2011152806 A JP 2011152806A JP 2011152806 A JP2011152806 A JP 2011152806A JP 5603840 B2 JP5603840 B2 JP 5603840B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- tile
- size
- gaze area
- ceil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、ユーザがインタラクティブに指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコード、ディスプレイ上に表示するシステムにおいて、高解像度映像をタイル分割する際のタイルサイズ決定方法に関する。 The present invention relates to a tile size determination method when a high-resolution video is divided into tiles in a system in which a high-resolution video is cut out according to a gaze area that a user specifies interactively, decoded on a terminal, and displayed on a display.
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式H.264 Annex Hとして多視点映像符号化(MVC)が標準化されている(例えば、非特許文献1参照)。MVCでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、MVCの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
As an encoding method for compressing a plurality of camera images together, the international standard encoding method H.264 is used. Multi-view video coding (MVC) is standardized as H.264 Annex H (see Non-Patent
図10は、従来技術による映像伝送システムの構成を示すブロック図である。図11は、入力映像データのタイル分割、及びタイルIDの付与例を示す概念図である。また、図12は、映像符号化後の映像データに付与されるデータIDを示す概念図である。多重化装置10において、映像分割部100は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し(例えば、図11)、小領域の映像データからなるタイル映像を作成する。符号化部101は、これらタイル映像を複数の符号化レートで符号化し、図12に示すように、符号化後のデータにデータIDを付与する。その後、MVCにて多重化して映像データを作成する。
FIG. 10 is a block diagram showing the configuration of a video transmission system according to the prior art. FIG. 11 is a conceptual diagram illustrating an example of tile division of input video data and assignment of tile IDs. FIG. 12 is a conceptual diagram showing a data ID assigned to video data after video encoding. In the
データ蓄積部102には、タイル分割情報(例えば、図11)、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。評価値計算部103は、データ蓄積部102に蓄積されている映像データを用いて、1フレーム単位(または所定のフレーム単位)ごとの評価値を計算し、これら評価値、各タイル映像と映像符号化データの対応表を対応テーブル&評価値蓄積部104に蓄積する。なお、評価値の計算終了後、不要になった符号化前のタイル映像データが消去される。
The
映像伝送サーバ20において、データ管理部105は、コマンド受信部106で受信した、映像再生クライアント30からのコマンド(データIDを用いたストリーム要求)に従って、データ蓄積部102へN(≦M)本のストリーム要求を行うことで、データ蓄積部102に蓄積されたM本のストリームからN本のストリームを取り出し、データ送信部107へ転送する。データ送信部107は、N本のストリームを映像再生クライアント30へ送出する。コマンド受信部106は、映像再生クライアント30からのコマンドを受信する。なお、映像再生クライアント30へデータ送信前に、データ送信部107は、タイル分割情報(例えば、図11)をデータ受信部112へ送出する。また、対応テーブル&評価値送信部108は、評価値蓄積部104から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部115へ送出する。
In the
映像再生クライアント30において、データ受信部112は、タイル分割情報、及びN本のストリームを受信する。復号化部113は、N本のストリームを復号する。映像表示部114は、復号化された部分映像をタイル分割情報に基づき再構成し表示する。対応テーブル&評価値受信部115は、映像伝送サーバ20から送信される対応テーブル及び評価値情報を受信し、対応テーブル&評価値蓄積部116に蓄積する。
In the
タイルIDリスト作成部118は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルIDリストを決定し、該当のタイルIDに対応するデータIDを対応テーブルから決定し、該当のデータIDに関連する評価値を対応テーブル&評価値蓄積部116から取出し、補正評価値計算部110にて評価値の補正(例えば、各フレーム単位の評価値を一定区間ごとに平均化するなどの補正処理)を行う。
The tile ID
注視領域指定部117は、ユーザから注視領域の変更を受付ける。コマンド変換部111は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルIDとに基づきサーバに要求するデータIDを決定する。コマンド送信部109は、コマンド変換部111で決定されたデータID基づくコマンドを送信する。
The gaze
なお、多重化装置10におけるデータ蓄積部102と対応テーブル&評価値蓄積部104とを機能統合し、映像伝送サーバ20におけるデータ送信部107と対応テーブル&評価値送信部108とを機能統合し、映像再生クライアント30におけるデータ受信部112と対応テーブル&評価値受信部115とを機能統合するような構成も可能である。
The
また、ここでは、M本のストリーム(全体ストリーム)から構成される映像を「全体映像」、N(≦M)本のストリーム(部分ストリーム)から構成される映像を「部分映像」、1本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、M個の単位映像、部分映像は、N個の単位映像から構成される(M≧N)。 Also, here, a video composed of M streams (whole stream) is “whole video”, a video composed of N (≦ M) streams (partial streams) is “partial video”, A video composed of streams is defined as “unit video”. That is, the entire video is composed of M unit videos, and the partial video is composed of N unit videos (M ≧ N).
図13(a)、(b)は、タイルIDリスト作成部118にて作成されるタイルIDリストの例を示す概念図である。タイルIDリストは、ユーザによりインタラクティブに操作され、平行移動、及び拡大縮小する注視領域を包含する最小のタイルIDのリストとして作成される。図13(a)、(b)に示す例において、注視領域位置では、タイルIDリストは(1,2,3,4,9,10,11,12,17,18,19,20,25,26,27,28)と作成される。
FIGS. 13A and 13B are conceptual diagrams showing examples of tile ID lists created by the tile ID
上述した非特許文献1における従来のタイル分割法では、ユーザが端末や、回線帯域に応じて、数種類タイルサイズや、符号化ビットレートのパターンを試行錯誤しながら実験的に決定する手法が採用されており、タイル分割の際のタイルサイズを決定するのは非常に困難であるという問題がある。
In the conventional tile division method in Non-Patent
本発明は、このような事情を考慮してなされたものであり、その目的は、事前に与えられた上限値に基づいて、自動的に分割タイルサイズを算出することができる映像タイルサイズ決定方法を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to determine a video tile size that can automatically calculate a divided tile size based on an upper limit given in advance. Is to provide.
上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(A)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
ただしceil()は小数点を切り上げる関数である。
In order to solve the above-described problem, the present invention divides an entire video into a plurality of tile videos, and the tiles that include the gaze area in the whole video according to a gaze area specified by a video playback terminal. a video transmission apparatus for transmitting an image by encoding to the video reproduction terminal, the video reproduction terminal and the video tile of the image transmission system which includes a displaying by decoding a plurality of said tiles image to be transmitted from the video transmission apparatus A method for determining a size, wherein a precondition of a gaze area size of M × N [pixel] and a decoding area upper limit Dmax based on the gaze area size in the video reproduction terminal is input to the video transmission device When the video transmission apparatus calculates an x that satisfies formula (a) based on the precondition, tiles size (M / x) of the tile image × (N / x) [pixel] Image tile size determination method characterized by comprising the steps of calculating, the.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
However, ceil () is a function that rounds up the decimal point.
また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(B)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x 2 )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Further, the present invention divides the entire video into a plurality of tile videos, and encodes the tile video including the gaze area in the whole video according to the gaze area specified by the video playback terminal. A video tile size determination method for a video transmission system, comprising: a video transmission device that transmits to a playback terminal; and the video playback terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device, Input to the video transmission apparatus are preconditions of a gaze area size of M × N [pixels], a coding bit rate R of the gaze area size that provides a predetermined quality, and a transmission band upper limit Rmax; A step of calculating x satisfying the formula (B) based on the precondition, and calculating a tile size (M / x) × (N / x) [pixel] of the tile image; Is a method for determining a tile size of a video.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(A)及び式(B)をともに満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x 2 )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Further, the present invention divides the entire video into a plurality of tile videos, and encodes the tile video including the gaze area in the whole video according to the gaze area specified by the video playback terminal. A video tile size determination method for a video transmission system, comprising: a video transmission device that transmits to a playback terminal; and the video playback terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device, An encoding bit rate of the gaze area size that provides the video transmission apparatus with a gaze area size of M × N [pixels], a decoding area upper limit Dmax based on the gaze area size in the video playback terminal, and a predetermined quality. R and the transmission bandwidth upper limit Rmax are input as preconditions, and the video transmission apparatus satisfies both the expressions (A) and (B) based on the preconditions. Calculating a to x, and calculating the tile size of the tile image (M / x) × (N / x) [ pixel] is a video tile size determination method, which comprises a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
この発明によれば、タイルサイズをいくつかのパターンを試して試行錯誤しながら決定するのではなく、デコード上限値、映像の伝送帯域上限を利用し、タイルサイズを効率的に決定することができる。 According to the present invention, the tile size can be efficiently determined by using the decoding upper limit value and the video transmission band upper limit instead of determining the tile size by trial and error by trying several patterns. .
本発明は、パノラマ映像伝送システムにおけるパノラマ映像のタイル分割方法に関するものである。本発明では、ユーザ操作により、注視領域がタイルIDリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用してタイルサイズを決定することを特徴とする。 The present invention relates to a panoramic video tile dividing method in a panoramic video transmission system. In the present invention, the tile size is determined using the number of tiles when the gaze area reaches the maximum tile ID list, the decoding upper limit value that can be decoded by the video playback client, and the video transmission band upper limit by user operation. It is characterized by that.
本発明では、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することが可能となる。 In the present invention, the tile size can be determined more efficiently than the conventional experimental tile size determination method by determining the tile size so as to satisfy the constraints on the decodable area and transmission band. It becomes.
なお、ここでは、注視領域の位置が「タイルIDリスト最大になる位置」を「ワーストケースの位置」、「タイルIDリスト最大になる位置になったとき」を「ワーストケース時」と呼ぶこととする。 Here, the position where the gaze area is “maximum tile ID list” is referred to as “worst case position”, and “when the tile ID list is maximum” is referred to as “worst case”. To do.
以下、本発明の一実施形態を、図面を参照して説明する。本発明の映像伝送システムの構成は、図10に示す従来技術による構成と基本的に同様である。すなわち、本実施形態の映像伝送システムは、全体映像を定められたタイルサイズに応じた複数のタイル映像に分割し、映像再生クライアント30から指定される注視領域に応じて、全体映像のうち指定された注視領域が含まれるタイル映像を符号化する多重化装置10と、多重化装置10によって符号化された映像を映像再生クライアント30に送信する映像伝送サーバ20と、映像伝送サーバ20から送信される複数のタイル映像を復号化して表示する映像再生端末30とを備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The configuration of the video transmission system of the present invention is basically the same as the configuration according to the prior art shown in FIG. That is, the video transmission system according to the present embodiment divides the entire video into a plurality of tile videos corresponding to a predetermined tile size, and is designated among the whole videos according to the gaze area designated by the
A.第1実施形態
図1は、本発明の第1実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。また、図2は、本第1実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
A. First Embodiment FIG. 1 is a flowchart for explaining a video tile size determination method according to a first embodiment of the present invention. FIG. 2 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the first embodiment.
一般的に、タイルサイズ:a×b[画素]、注視領域サイズ:M×N[画素]のとき、ワーストケースの位置にあるときの配信タイル数:Na×Nbと表す。ここで、Na=ceil(M/a)+1、Nb=ceil(N/b)+1である。なお、ceil()は、小数点切り上げ関数である。デコード面積は、(Na×Nb)×(a×b)で表現することができる。 Generally, when the tile size is a × b [pixels] and the gaze area size is M × N [pixels], the distribution tile number at the worst case position is expressed as Na × Nb. Here, Na = ceil (M / a) +1 and Nb = ceil (N / b) +1. Note that ceil () is a decimal point round-up function. The decoding area can be expressed by (Na × Nb) × (a × b).
まず、前提条件として、デコード面積上限と注視領域サイズとの情報を設定する(ステップS1)。ここで、前提条件は、例えば環境に応じた値が多重化装置10または映像伝送サーバ20に予め記憶されているようにしても良いし、映像再生クライアント30から前提条件がユーザ端末10に送信されるようにしても良い。このような情報が多重化装置10に入力され、映像分割部100の記憶領域に記憶されることにより、前提条件が設定される。例えば、デコード面積上限:1.5HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS2)。
First, as preconditions, information on the upper limit of the decoding area and the gaze area size is set (step S1). Here, as the precondition, for example, a value corresponding to the environment may be stored in the
ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
となるので、次式(1)〜(6)から、x>=4.5であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Therefore, from the following formulas (1) to (6), it can be understood that the gaze area can be decoded if x> = 4.5.
一般的に、タイルサイズが大きいほど映像品質がよくなるので、多重化装置10の映像分割部100は、x=4.5と決定する(ステップS3)。よって、タイルサイズは、HD/(4.5×4.5)、つまり、映像再生クライアントで再生可能である、HD面積の約1/20相当のタイルサイズとする(ステップS4)。なお、タイルサイズはHD面積の約1/20相当であればよく、タイルサイズ横幅をHDh/4、タイルサイズ縦幅をHDv/5などとしてもよい。この結果、注視領域と配信するタイル映像との関係は、図2に示すようになる。このように決定されたタイルサイズに応じたタイル映像が、多重化装置10から映像伝送サーバ20を介して映像再生クライアントに送信され、デコードされて表示されることで、タイルサイズを効率良く決定することができる。
In general, the larger the tile size, the better the video quality. Therefore, the
図3は、本第1実施形態において、他のパラメータを用いた映像タイルサイズ決定方法を説明するためのフローチャートである。ここでは、デコード面積上限を2HDとした場合について説明する。まず、前提条件として、デコード面積上限と注視領域サイズとを設定する(ステップS10)。例えば、デコード面積上限:2HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS11)。 FIG. 3 is a flowchart for explaining a video tile size determination method using other parameters in the first embodiment. Here, a case where the upper limit of the decoding area is 2HD will be described. First, as a precondition, an upper limit of the decoding area and a gaze area size are set (step S10). For example, the decoding area upper limit: 2HD (HD = HDh × HDv, HDh: HD horizontal width, HDv: HD vertical width), and gaze area size: HD (assuming display display of HD resolution). Next, the tile size is set to a = HDh / x, b = HDv / x (where x is a real number), and x that satisfies the decoding area upper limit is obtained (step S11).
ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
となるので、数式(1)〜(6)から、x>=2.4であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Therefore, it can be understood from the equations (1) to (6) that the gaze area can be decoded if x> = 2.4.
一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2.4と決定する(ステップS12)。よって、タイルサイズは、HD/(2.4×2.4)、つまり、映像再生クライアントで再生可能である、HD面積の約1/6相当のタイルサイズとする(ステップS13)。 In general, the larger the tile size, the better the video quality, so x = 2.4 is determined (step S12). Therefore, the tile size is HD / (2.4 × 2.4), that is, the tile size that can be played back by the video playback client and is equivalent to about 1/6 of the HD area (step S13).
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第3実施形態では、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
In the third embodiment, the vertical width of the original image, the decoding area upper limit, and the gaze area size are set as preconditions.
図4は、本第2実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図5は、本第2実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する(ステップS20)。例えば、原画像の縦幅をHD高、デコード面積上限を1.5HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS21)。 FIG. 4 is a flowchart for explaining a video tile size determination method according to the second embodiment. FIG. 5 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the second embodiment. First, as preconditions, the vertical width of the original image, the upper limit of the decoding area, and the gaze area size are set (step S20). For example, assuming that the vertical width of the original image is HD high, the upper limit of the decoding area is 1.5 HD (HD = HDh × HDv, HDh: HD horizontal width, HDv: HD vertical width), gaze area size: HD (HD resolution display display is assumed. ). Next, the tile size is set to a = HDh / x, b = HDv (where x is a real number), and x that satisfies the decoding area upper limit is obtained (step S21).
ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/HDv)=1=1(縦方向はタイル1個のみ)
となるので、数式(1)〜(6)から、X>=2であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / HDv) = 1 = 1 (vertical direction is only one tile)
Therefore, it can be seen from the equations (1) to (6) that the gaze area can be decoded if X> = 2.
一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2と決定する(ステップS22)。よって、タイルサイズは、HD/2、つまり、映像再生クライアントで再生可能である、HD面積の約1/2相当のタイルサイズとする(ステップS23)。 In general, the larger the tile size, the better the video quality, so x = 2 is determined (step S22). Therefore, the tile size is set to HD / 2, that is, the tile size that can be played back by the video playback client and is equivalent to about 1/2 of the HD area (step S23).
この第2実施形態のように、原画像のサイズをHD高に制限することで、第1実施形態(図1を参照)と同じデコード面積上限でも、図5に示すように、HDサイズの注視領域がワーストケース時に高さ方向に無駄にデコードするタイルが存在しないため,分割タイルサイズを第1実施形態よりも大きくすることができる. By limiting the size of the original image to HD height as in the second embodiment, even if the upper limit of the decoding area is the same as that in the first embodiment (see FIG. 1), as shown in FIG. Since there are no tiles that are unnecessarily decoded in the height direction when the area is the worst case, the divided tile size can be made larger than that in the first embodiment.
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する。
C. Third Embodiment Next, a third embodiment of the present invention will be described.
In the third embodiment, the gaze area size, the transmission band upper limit, and the HD video encoding bit rate that provides sufficient quality are set as preconditions.
図6は、本第3実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図7は、本第3実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する(ステップS30)。例えば、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定:M×N)、伝送帯域上限を11[Mbps]、十分な品質が得られるHD映像の符号化ビットレートを6[Mbps]とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、伝送帯域上限を満たすようなxを求める(ステップS31)。 FIG. 6 is a flowchart for explaining a video tile size determination method according to the third embodiment. FIG. 7 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the third embodiment. First, as preconditions, a gaze area size, an upper limit of a transmission band, and an HD video encoding bit rate capable of obtaining sufficient quality are set (step S30). For example, gaze area size: HD (assuming display display of HD resolution: M × N), upper limit of transmission band is 11 [Mbps], and encoding bit rate of HD video capable of obtaining sufficient quality is 6 [Mbps]. . Next, the tile size is set to a = HDh / x, b = HDv / x (where x is a real number), and x that satisfies the transmission band upper limit is obtained (step S31).
ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
1タイル当たりのビットレート=(R/(ceil(M/a)×ceil(N/b))=(6/(x×x)
となるので、次式(7)〜(12)から、X>=2.8であれば、注視領域をデコード可能と分かる。なお、Rは、十分な品質が得られるHD映像の符号化ビットレートである。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Bit rate per tile = (R / (ceil (M / a) × ceil (N / b)) = (6 / (xx)
Therefore, from the following equations (7) to (12), it can be understood that the gaze area can be decoded if X> = 2.8. Note that R is an HD video encoding bit rate with which sufficient quality can be obtained.
一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2.8と決定する(ステップS32)。よって、タイルサイズは、HD/(2.8×2.8)、つまり、映像再生クライアントで再生可能である、HD面積の約1/8相当のタイルサイズとする(ステップS33)。この結果、注視領域と配信するタイル映像との関係は、図7に示すようになる。 In general, the larger the tile size, the better the video quality, so x = 2.8 is determined (step S32). Therefore, the tile size is set to HD / (2.8 × 2.8), that is, a tile size equivalent to about 1/8 of the HD area that can be played back by the video playback client (step S33). As a result, the relationship between the gaze area and the tile video to be distributed is as shown in FIG.
なお、十分な品質が得られるHD映像の符号化ビットレートは、タイル分割することで符号化効率が落ちることを考慮し、タイル分割しない場合のHD映像の符号化ビットレートより多少大きく設定するほうがよい。例えば、タイル分割しない場合のHD映像の符号化ビットレートが6[Mbps]であれば、7[Mbps]に設定し、xを算出するなどの考慮が必要である。 Note that the encoding bit rate of HD video that provides sufficient quality should be set slightly higher than the encoding bit rate of HD video when tile division is not performed, considering that encoding efficiency is reduced by dividing the tile. Good. For example, if the HD video encoding bit rate without tile division is 6 [Mbps], it is necessary to consider setting x to 7 [Mbps].
D.第4実施形態
次に、本発明の第4実施形態について説明する。
本第4実施形態では、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する。
D. Fourth Embodiment Next, a fourth embodiment of the present invention will be described.
In the fourth embodiment, as preconditions, the vertical width of the original image, the gaze area size, the upper limit of the transmission band, and the HD video encoding bit rate that provides sufficient quality are set.
図8は、本第4実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図9は、本第4実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する(ステップS40)。例えば、原画像の縦幅をHD高、注視領域サイズをHD(HD解像度のディスプレイ表示を想定:M×N)、伝送帯域上限を11[Mbps]、十分な品質が得られるHD映像の符号化ビットレートを6[Mbps]とする。次に、タイルサイズを、a=HDh/x、b=HDv(ここでxは実数)とし、伝送帯域上限を満たすようなxを求める(ステップS41)。 FIG. 8 is a flowchart for explaining a video tile size determination method according to the fourth embodiment. FIG. 9 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the fourth embodiment. First, as preconditions, the vertical width of the original image, the gaze area size, the upper limit of the transmission band, and the HD video encoding bit rate that provides sufficient quality are set (step S40). For example, HD video encoding that can obtain sufficient quality with the height of the original image being HD high, the gaze area size being HD (assuming display of HD resolution display: M × N), the upper limit of the transmission band is 11 [Mbps] The bit rate is 6 [Mbps]. Next, assuming that the tile size is a = HDh / x, b = HDv (where x is a real number), x that satisfies the transmission band upper limit is obtained (step S41).
ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/HDv)=1=1(縦方向はタイル1個のみ)
1タイル当たりのビットレート=(R/(ceil(M/a)×ceil(N/b))=(6/(x×x)
となるので、数式(7)〜(12)から、X>=1.2であれば、注視領域をデコード可能と分かる。なお、Rは、十分な品質が得られるHD映像の符号化ビットレートである。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / HDv) = 1 = 1 (vertical direction is only one tile)
Bit rate per tile = (R / (ceil (M / a) × ceil (N / b)) = (6 / (xx)
Therefore, from the equations (7) to (12), it can be understood that the gaze area can be decoded if X> = 1.2. Note that R is an HD video encoding bit rate with which sufficient quality can be obtained.
ここで、xは実数であるので、x=2と決定する(ステップS42)。よって、タイルサイズは、HD/2、つまり、映像再生クライアントで再生可能である、HD面積の約1/2相当のタイルサイズとする(ステップS43)。この結果、注視領域と配信するタイル映像との関係は、図9に示すようになる。 Here, since x is a real number, x = 2 is determined (step S42). Therefore, the tile size is set to HD / 2, that is, the tile size that can be played back by the video playback client and is equivalent to about 1/2 of the HD area (step S43). As a result, the relationship between the gaze area and the tile video to be distributed is as shown in FIG.
上述した第1から第4実施形態において、デコード面積上限と伝送帯域上限との2つの上限が存在するとき、これら2つの上限による制約を満たすxを求めればよい。例えば、第1実施形態(図1)と第3実施形態(図6)を満たすxは、より制約の厳しいデコード面積を満たすx>=4.5となる。 In the first to fourth embodiments described above, when there are two upper limits, that is, a decoding area upper limit and a transmission band upper limit, it is only necessary to obtain x that satisfies the constraints imposed by these two upper limits. For example, x satisfying the first embodiment (FIG. 1) and the third embodiment (FIG. 6) satisfies x> = 4.5 satisfying a more restrictive decoding area.
上述した第1から第4実施形態によれば、ユーザ操作により、注視領域がタイルIDリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用し、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することができる。 According to the first to fourth embodiments described above, the number of tiles when the gaze area reaches the position where the tile ID list is maximized by the user operation, the decoding upper limit value that can be decoded by the video playback client, and the video transmission band upper limit. The tile size can be determined more efficiently than the conventional experimental tile size determination method by determining the tile size so as to satisfy the constraints on the area that can be decoded and the transmission band. .
なお、上述した第1から第4実施形態において、前提条件として、デコード面積上限と注視領域サイズ、あるいは伝送帯域上限と注視領域サイズと十分な品質が得られるHD映像の符号化ビットレートを設定するとしたが、これに限らず、デコード面積上限と注視領域サイズ、あるいは、伝送帯域上限と注視領域サイズ、あるいは、デコード面積上限と注視領域サイズとに加えて伝送帯域上限、あるいは、デコード面積上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、伝送帯域上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限と注視領域に重なる分割タイル数が最も多くなるときのタイル数を設定するようにしてもよい。 In the first to fourth embodiments described above, as preconditions, the decoding area upper limit and the gaze area size, or the transmission band upper limit and the gaze area size and the HD video encoding bit rate that provides sufficient quality are set. However, the present invention is not limited to this. The upper limit of the decoding area and the gaze area size, or the upper limit of the transmission band and the gaze area size, or the upper limit of the transmission band, or the upper limit of the decoding area and the gaze area size. In addition to the area size, the number of tiles when the number of divided tiles that overlap the gaze area is the largest, or when the number of divided tiles that overlap the gaze area is the largest in addition to the upper limit of the transmission band and the gaze area size In addition to the number of tiles or the decoding area upper limit and the gaze area size, the transmission band upper limit and the division that overlaps the gaze area The number of tiles when yl speed is most may be set.
10 多重化装置
20 映像伝送サーバ
30 映像再生クライアント
100 解像度変換&映像分割部
101 符号化部
102 データ蓄積部
103 評価値計算部
104 対応テーブル&評価値蓄積部
105 データ管理部
106 コマンド受信部
107 データ送信部
108 対応テーブル&評価値送信部
109 コマンド送信部
110 補正評価値計算部
111 コマンド変換部
112 データ受信部
113 復号化部
114 映像表示部
115 対応テーブル&評価値受信部
116 対応テーブル&評価値蓄積部
117 注視領域指定部
118 タイルIDリスト作成部
DESCRIPTION OF
Claims (3)
前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(A)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
ただしceil()は小数点を切り上げる関数である。 Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
A step of inputting, to the video transmission device, preconditions of a gaze area size of M × N [pixel] and a decoding area upper limit Dmax based on the gaze area size in the video playback terminal;
The video transmission device calculates x satisfying the formula (A) based on the precondition, and calculates a tile size (M / x) × (N / x) [pixel] of the tile video;
A method for determining a video tile size, comprising:
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
However, ceil () is a function that rounds up the decimal point.
前記映像伝送装置に、M×N[画素]の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(B)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x 2 )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。 Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
Input to the video transmission apparatus are preconditions of a gaze area size of M × N [pixels] and an encoding bit rate R of the gaze area size for obtaining a predetermined quality and a transmission band upper limit Rmax;
The video transmission device calculates x satisfying the formula (B) based on the precondition, and calculates the tile size (M / x) × (N / x) [pixel] of the tile video;
Film image tile size decision how to comprising a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(A)及び式(B)をともに満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x 2 )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。 Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
An encoding bit rate of the gaze area size that provides the video transmission apparatus with a gaze area size of M × N [pixels], a decoding area upper limit Dmax based on the gaze area size in the video playback terminal, and a predetermined quality. A step of inputting preconditions of R and the transmission band upper limit Rmax;
The video transmission apparatus calculates x satisfying both of the formulas (A) and (B) based on the preconditions, and sets the tile size (M / x) × (N / x) [pixel] of the tile video. A calculating step;
Film image tile size decision how to comprising a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152806A JP5603840B2 (en) | 2011-07-11 | 2011-07-11 | Video tile size determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152806A JP5603840B2 (en) | 2011-07-11 | 2011-07-11 | Video tile size determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013021478A JP2013021478A (en) | 2013-01-31 |
JP5603840B2 true JP5603840B2 (en) | 2014-10-08 |
Family
ID=47692489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152806A Expired - Fee Related JP5603840B2 (en) | 2011-07-11 | 2011-07-11 | Video tile size determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5603840B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5941000B2 (en) * | 2013-03-12 | 2016-06-29 | 日本電信電話株式会社 | Video distribution apparatus and video distribution method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199061A (en) * | 2001-12-28 | 2003-07-11 | Communication Research Laboratory | Digital content broadcast distributing method, digital broadcast distributing system and charging method using the same |
JP2003224846A (en) * | 2002-01-29 | 2003-08-08 | Matsushita Electric Ind Co Ltd | Image processing apparatus, decoding apparatus, encoding apparatus, image processing system, image processing method, and encoding method |
JP2005027080A (en) * | 2003-07-03 | 2005-01-27 | Fuji Xerox Co Ltd | Data processor, data processing system, data processing method, and program |
-
2011
- 2011-07-11 JP JP2011152806A patent/JP5603840B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013021478A (en) | 2013-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101987503B1 (en) | Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system | |
JP6305279B2 (en) | Video compression device and video playback device | |
US11044437B2 (en) | Method and system for combining multiple area-of-interest video codestreams into a combined video codestream | |
EP2490179A1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
US20210227236A1 (en) | Scalability of multi-directional video streaming | |
JP5700703B2 (en) | Video decoding apparatus, video transmission / reception system, video decoding method, and video transmission / reception method | |
JP2009194920A (en) | Image encoding device and image transmission device | |
Inoue et al. | Interactive panoramic video streaming system over restricted bandwidth network | |
KR20170005366A (en) | Method and Apparatus for Extracting Video from High Resolution Video | |
JP6807032B2 (en) | Information processing device and information processing method | |
KR20120133006A (en) | System and method for providing a service to streaming IPTV panorama image | |
JP5941000B2 (en) | Video distribution apparatus and video distribution method | |
JP5603841B2 (en) | Video transmission method, video transmission apparatus, and program | |
JP2017123503A (en) | Video distribution apparatus, video distribution method and computer program | |
JP6006680B2 (en) | Video distribution apparatus and video distribution program | |
EP3621309A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
JP5603840B2 (en) | Video tile size determination method | |
CN113099184A (en) | Image splicing method and device compatible with multiple video formats and electronic equipment | |
JP5310427B2 (en) | Communication terminal device, communication control method, and communication control program, | |
JP2019033362A (en) | Distribution apparatus, reception apparatus, and program | |
JP5478346B2 (en) | Format conversion apparatus, video distribution apparatus, multiplexing apparatus, format conversion method, video distribution method, and program | |
KR101107153B1 (en) | Video data conversion method and apparatus for 3d tv | |
JP2008011191A (en) | Video encoding/compositing apparatus, video encoding/compositing method and video transmitting system | |
JP2005176068A (en) | Motion image distribution system and method therefor | |
JP2010016713A (en) | Content distribution apparatus and display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130606 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5603840 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |