JP5603840B2 - Video tile size determination method - Google Patents

Video tile size determination method Download PDF

Info

Publication number
JP5603840B2
JP5603840B2 JP2011152806A JP2011152806A JP5603840B2 JP 5603840 B2 JP5603840 B2 JP 5603840B2 JP 2011152806 A JP2011152806 A JP 2011152806A JP 2011152806 A JP2011152806 A JP 2011152806A JP 5603840 B2 JP5603840 B2 JP 5603840B2
Authority
JP
Japan
Prior art keywords
video
tile
size
gaze area
ceil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011152806A
Other languages
Japanese (ja)
Other versions
JP2013021478A (en
Inventor
雅之 井上
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011152806A priority Critical patent/JP5603840B2/en
Publication of JP2013021478A publication Critical patent/JP2013021478A/en
Application granted granted Critical
Publication of JP5603840B2 publication Critical patent/JP5603840B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユーザがインタラクティブに指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコード、ディスプレイ上に表示するシステムにおいて、高解像度映像をタイル分割する際のタイルサイズ決定方法に関する。   The present invention relates to a tile size determination method when a high-resolution video is divided into tiles in a system in which a high-resolution video is cut out according to a gaze area that a user specifies interactively, decoded on a terminal, and displayed on a display.

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式H.264 Annex Hとして多視点映像符号化(MVC)が標準化されている(例えば、非特許文献1参照)。MVCでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、MVCの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。   As an encoding method for compressing a plurality of camera images together, the international standard encoding method H.264 is used. Multi-view video coding (MVC) is standardized as H.264 Annex H (see Non-Patent Document 1, for example). In MVC, a plurality of encoded video data is compressed and encoded in a multiplexed form. Encoded data of frames having the same time stamp are continuously multiplexed. That is, the encoded data is a stream in which a plurality of video data is multiplexed. Since frames with the same time stamp are continuously multiplexed, the decoder can decode and output MVC encoded data, thereby successively decoding and outputting a plurality of camera images with the same time stamp. it can.

図10は、従来技術による映像伝送システムの構成を示すブロック図である。図11は、入力映像データのタイル分割、及びタイルIDの付与例を示す概念図である。また、図12は、映像符号化後の映像データに付与されるデータIDを示す概念図である。多重化装置10において、映像分割部100は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し(例えば、図11)、小領域の映像データからなるタイル映像を作成する。符号化部101は、これらタイル映像を複数の符号化レートで符号化し、図12に示すように、符号化後のデータにデータIDを付与する。その後、MVCにて多重化して映像データを作成する。   FIG. 10 is a block diagram showing the configuration of a video transmission system according to the prior art. FIG. 11 is a conceptual diagram illustrating an example of tile division of input video data and assignment of tile IDs. FIG. 12 is a conceptual diagram showing a data ID assigned to video data after video encoding. In the multiplexing device 10, the video dividing unit 100 converts the video data into a plurality of resolutions, and then tiles the video data of each resolution (for example, FIG. 11) to create a tile video composed of video data in a small area. To do. The encoding unit 101 encodes these tile videos at a plurality of encoding rates, and assigns a data ID to the encoded data as shown in FIG. Thereafter, the video data is created by multiplexing with MVC.

データ蓄積部102には、タイル分割情報(例えば、図11)、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。評価値計算部103は、データ蓄積部102に蓄積されている映像データを用いて、1フレーム単位(または所定のフレーム単位)ごとの評価値を計算し、これら評価値、各タイル映像と映像符号化データの対応表を対応テーブル&評価値蓄積部104に蓄積する。なお、評価値の計算終了後、不要になった符号化前のタイル映像データが消去される。   The data storage unit 102 includes tile division information (for example, FIG. 11), tile video data before encoding, encoded and multiplexed video data for each tile video, and tile video created in the course of encoding processing. Accumulate local decoded video data. The evaluation value calculation unit 103 uses the video data stored in the data storage unit 102 to calculate an evaluation value for each frame unit (or a predetermined frame unit), and the evaluation value, each tile image, and the video code The correspondence table of the digitized data is stored in the correspondence table & evaluation value storage unit 104. Note that, after the evaluation value calculation is completed, tile video data before encoding that is no longer necessary is deleted.

映像伝送サーバ20において、データ管理部105は、コマンド受信部106で受信した、映像再生クライアント30からのコマンド(データIDを用いたストリーム要求)に従って、データ蓄積部102へN(≦M)本のストリーム要求を行うことで、データ蓄積部102に蓄積されたM本のストリームからN本のストリームを取り出し、データ送信部107へ転送する。データ送信部107は、N本のストリームを映像再生クライアント30へ送出する。コマンド受信部106は、映像再生クライアント30からのコマンドを受信する。なお、映像再生クライアント30へデータ送信前に、データ送信部107は、タイル分割情報(例えば、図11)をデータ受信部112へ送出する。また、対応テーブル&評価値送信部108は、評価値蓄積部104から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部115へ送出する。   In the video transmission server 20, the data management unit 105 sends N (≦ M) copies to the data storage unit 102 according to the command (stream request using the data ID) received from the command receiving unit 106 from the video playback client 30. By performing the stream request, N streams are extracted from the M streams stored in the data storage unit 102 and transferred to the data transmission unit 107. The data transmission unit 107 transmits N streams to the video reproduction client 30. The command receiving unit 106 receives a command from the video playback client 30. Before transmitting data to the video playback client 30, the data transmission unit 107 sends tile division information (for example, FIG. 11) to the data reception unit 112. Also, the correspondence table & evaluation value transmission unit 108 extracts the correspondence table and the evaluation value information from the evaluation value storage unit 104 and sends them to the evaluation value reception unit 115 of the video reproduction client.

映像再生クライアント30において、データ受信部112は、タイル分割情報、及びN本のストリームを受信する。復号化部113は、N本のストリームを復号する。映像表示部114は、復号化された部分映像をタイル分割情報に基づき再構成し表示する。対応テーブル&評価値受信部115は、映像伝送サーバ20から送信される対応テーブル及び評価値情報を受信し、対応テーブル&評価値蓄積部116に蓄積する。   In the video reproduction client 30, the data reception unit 112 receives tile division information and N streams. The decoding unit 113 decodes N streams. The video display unit 114 reconstructs and displays the decoded partial video based on the tile division information. The correspondence table & evaluation value receiving unit 115 receives the correspondence table and evaluation value information transmitted from the video transmission server 20 and stores them in the correspondence table & evaluation value storage unit 116.

タイルIDリスト作成部118は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルIDリストを決定し、該当のタイルIDに対応するデータIDを対応テーブルから決定し、該当のデータIDに関連する評価値を対応テーブル&評価値蓄積部116から取出し、補正評価値計算部110にて評価値の補正(例えば、各フレーム単位の評価値を一定区間ごとに平均化するなどの補正処理)を行う。   The tile ID list creation unit 118 determines the tile ID list from the gaze area when the designation of the user's gaze area is changed, determines the data ID corresponding to the corresponding tile ID from the correspondence table, The evaluation value related to the data ID is extracted from the correspondence table & evaluation value storage unit 116, and the correction evaluation value calculation unit 110 corrects the evaluation value (for example, the evaluation value of each frame unit is averaged for each fixed section). Correction process).

注視領域指定部117は、ユーザから注視領域の変更を受付ける。コマンド変換部111は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルIDとに基づきサーバに要求するデータIDを決定する。コマンド送信部109は、コマンド変換部111で決定されたデータID基づくコマンドを送信する。   The gaze area designating unit 117 receives a change of the gaze area from the user. The command conversion unit 111 determines a data ID to be requested to the server based on the correction evaluation value and the tile ID when the gaze area designation is changed and the correction evaluation value is changed. The command transmission unit 109 transmits a command based on the data ID determined by the command conversion unit 111.

なお、多重化装置10におけるデータ蓄積部102と対応テーブル&評価値蓄積部104とを機能統合し、映像伝送サーバ20におけるデータ送信部107と対応テーブル&評価値送信部108とを機能統合し、映像再生クライアント30におけるデータ受信部112と対応テーブル&評価値受信部115とを機能統合するような構成も可能である。   The data storage unit 102 and the correspondence table & evaluation value storage unit 104 in the multiplexing apparatus 10 are functionally integrated, and the data transmission unit 107 and the correspondence table & evaluation value transmission unit 108 in the video transmission server 20 are functionally integrated. A configuration in which the data receiving unit 112 and the correspondence table & evaluation value receiving unit 115 in the video reproduction client 30 are functionally integrated is also possible.

また、ここでは、M本のストリーム(全体ストリーム)から構成される映像を「全体映像」、N(≦M)本のストリーム(部分ストリーム)から構成される映像を「部分映像」、1本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、M個の単位映像、部分映像は、N個の単位映像から構成される(M≧N)。   Also, here, a video composed of M streams (whole stream) is “whole video”, a video composed of N (≦ M) streams (partial streams) is “partial video”, A video composed of streams is defined as “unit video”. That is, the entire video is composed of M unit videos, and the partial video is composed of N unit videos (M ≧ N).

図13(a)、(b)は、タイルIDリスト作成部118にて作成されるタイルIDリストの例を示す概念図である。タイルIDリストは、ユーザによりインタラクティブに操作され、平行移動、及び拡大縮小する注視領域を包含する最小のタイルIDのリストとして作成される。図13(a)、(b)に示す例において、注視領域位置では、タイルIDリストは(1,2,3,4,9,10,11,12,17,18,19,20,25,26,27,28)と作成される。   FIGS. 13A and 13B are conceptual diagrams showing examples of tile ID lists created by the tile ID list creating unit 118. FIG. The tile ID list is created as a list of minimum tile IDs including a gaze area that is interactively operated by the user and is translated and scaled. In the example shown in FIGS. 13A and 13B, the tile ID list is (1, 2, 3, 4, 9, 10, 11, 12, 17, 18, 19, 20, 25, 26, 27, 28).

井上雅之,木全英明,深澤勝彦,松浦宣彦,"インタラクティブ・パノラマ映像配信システムにおける配信方式の検討," 情報処理学会,オーディオビジュアル複合情報処理研究会,Vol.2010-AVM-69 No.9, 2010.Masayuki Inoue, Hideaki Kizen, Katsuhiko Fukasawa, Nobuhiko Matsuura, "Study of distribution method in interactive panorama video distribution system," IPSJ, Audio-visual complex information processing group, Vol.2010-AVM-69 No.9, 2010.

上述した非特許文献1における従来のタイル分割法では、ユーザが端末や、回線帯域に応じて、数種類タイルサイズや、符号化ビットレートのパターンを試行錯誤しながら実験的に決定する手法が採用されており、タイル分割の際のタイルサイズを決定するのは非常に困難であるという問題がある。   In the conventional tile division method in Non-Patent Document 1 described above, a method in which a user experimentally determines several types of tile sizes and coding bit rate patterns in accordance with the terminal and the line bandwidth by trial and error is employed. Therefore, there is a problem that it is very difficult to determine the tile size at the time of tile division.

本発明は、このような事情を考慮してなされたものであり、その目的は、事前に与えられた上限値に基づいて、自動的に分割タイルサイズを算出することができる映像タイルサイズ決定方法を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to determine a video tile size that can automatically calculate a divided tile size based on an upper limit given in advance. Is to provide.

上述した課題を解決するために、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(A)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
ただしceil()は小数点を切り上げる関数である。
In order to solve the above-described problem, the present invention divides an entire video into a plurality of tile videos, and the tiles that include the gaze area in the whole video according to a gaze area specified by a video playback terminal. a video transmission apparatus for transmitting an image by encoding to the video reproduction terminal, the video reproduction terminal and the video tile of the image transmission system which includes a displaying by decoding a plurality of said tiles image to be transmitted from the video transmission apparatus A method for determining a size, wherein a precondition of a gaze area size of M × N [pixel] and a decoding area upper limit Dmax based on the gaze area size in the video reproduction terminal is input to the video transmission device When the video transmission apparatus calculates an x that satisfies formula (a) based on the precondition, tiles size (M / x) of the tile image × (N / x) [pixel] Image tile size determination method characterized by comprising the steps of calculating, the.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
However, ceil () is a function that rounds up the decimal point.

また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(B)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Further, the present invention divides the entire video into a plurality of tile videos, and encodes the tile video including the gaze area in the whole video according to the gaze area specified by the video playback terminal. A video tile size determination method for a video transmission system, comprising: a video transmission device that transmits to a playback terminal; and the video playback terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device, Input to the video transmission apparatus are preconditions of a gaze area size of M × N [pixels], a coding bit rate R of the gaze area size that provides a predetermined quality, and a transmission band upper limit Rmax; A step of calculating x satisfying the formula (B) based on the precondition, and calculating a tile size (M / x) × (N / x) [pixel] of the tile image; Is a method for determining a tile size of a video.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.

また、本発明は、全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、前記映像伝送装置が、前記前提条件に基づいた式(A)及び式(B)をともに満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、を含むことを特徴とする映像タイルサイズ決定方法である。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Further, the present invention divides the entire video into a plurality of tile videos, and encodes the tile video including the gaze area in the whole video according to the gaze area specified by the video playback terminal. A video tile size determination method for a video transmission system, comprising: a video transmission device that transmits to a playback terminal; and the video playback terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device, An encoding bit rate of the gaze area size that provides the video transmission apparatus with a gaze area size of M × N [pixels], a decoding area upper limit Dmax based on the gaze area size in the video playback terminal, and a predetermined quality. R and the transmission bandwidth upper limit Rmax are input as preconditions, and the video transmission apparatus satisfies both the expressions (A) and (B) based on the preconditions. Calculating a to x, and calculating the tile size of the tile image (M / x) × (N / x) [ pixel] is a video tile size determination method, which comprises a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.

この発明によれば、タイルサイズをいくつかのパターンを試して試行錯誤しながら決定するのではなく、デコード上限値、映像の伝送帯域上限を利用し、タイルサイズを効率的に決定することができる。   According to the present invention, the tile size can be efficiently determined by using the decoding upper limit value and the video transmission band upper limit instead of determining the tile size by trial and error by trying several patterns. .

本発明の第1実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。4 is a flowchart for explaining a video tile size determination method according to the first embodiment of the present invention; 本第1実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。In this 1st Embodiment, it is a conceptual diagram which shows the relationship between a gaze area | region and the tile image | video to deliver. 本第1実施形態において、他のパラメータを用いた映像タイルサイズ決定方法を説明するためのフローチャートである。5 is a flowchart for explaining a video tile size determination method using other parameters in the first embodiment. 本第2実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。It is a flowchart for demonstrating the image tile size determination method by this 2nd Embodiment. 本第2実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。In this 2nd Embodiment, it is a conceptual diagram which shows the relationship between a gaze area | region and the tile image | video to deliver. 本第3実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。It is a flowchart for demonstrating the image tile size determination method by this 3rd Embodiment. 本第3実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。In this 3rd Embodiment, it is a conceptual diagram which shows the relationship between a gaze area | region and the tile image | video to deliver. 本第4実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。It is a flowchart for demonstrating the image tile size determination method by this 4th Embodiment. 本第4実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。In this 4th Embodiment, it is a conceptual diagram which shows the relationship between a gaze area | region and the tile image | video to deliver. 従来技術による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by a prior art. 入力映像データのタイル分割、及びタイルIDの付与例を示す概念図である。It is a conceptual diagram which shows the tile division | segmentation of input video data, and the example of provision of tile ID. 映像符号化後の映像データに付与されるデータIDを示す概念図である。It is a conceptual diagram which shows data ID provided to the video data after video encoding. タイルIDリスト作成部118にて作成されるタイルIDリストの例を示す概念図である。It is a conceptual diagram which shows the example of the tile ID list produced in the tile ID list production part 118. FIG.

本発明は、パノラマ映像伝送システムにおけるパノラマ映像のタイル分割方法に関するものである。本発明では、ユーザ操作により、注視領域がタイルIDリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用してタイルサイズを決定することを特徴とする。   The present invention relates to a panoramic video tile dividing method in a panoramic video transmission system. In the present invention, the tile size is determined using the number of tiles when the gaze area reaches the maximum tile ID list, the decoding upper limit value that can be decoded by the video playback client, and the video transmission band upper limit by user operation. It is characterized by that.

本発明では、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することが可能となる。   In the present invention, the tile size can be determined more efficiently than the conventional experimental tile size determination method by determining the tile size so as to satisfy the constraints on the decodable area and transmission band. It becomes.

なお、ここでは、注視領域の位置が「タイルIDリスト最大になる位置」を「ワーストケースの位置」、「タイルIDリスト最大になる位置になったとき」を「ワーストケース時」と呼ぶこととする。   Here, the position where the gaze area is “maximum tile ID list” is referred to as “worst case position”, and “when the tile ID list is maximum” is referred to as “worst case”. To do.

以下、本発明の一実施形態を、図面を参照して説明する。本発明の映像伝送システムの構成は、図10に示す従来技術による構成と基本的に同様である。すなわち、本実施形態の映像伝送システムは、全体映像を定められたタイルサイズに応じた複数のタイル映像に分割し、映像再生クライアント30から指定される注視領域に応じて、全体映像のうち指定された注視領域が含まれるタイル映像を符号化する多重化装置10と、多重化装置10によって符号化された映像を映像再生クライアント30に送信する映像伝送サーバ20と、映像伝送サーバ20から送信される複数のタイル映像を復号化して表示する映像再生端末30とを備えている。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The configuration of the video transmission system of the present invention is basically the same as the configuration according to the prior art shown in FIG. That is, the video transmission system according to the present embodiment divides the entire video into a plurality of tile videos corresponding to a predetermined tile size, and is designated among the whole videos according to the gaze area designated by the video playback client 30. The video transmission server 20 that transmits the video encoded by the multiplexing device 10 to the video reproduction client 30 and the video transmission server 20 transmit the video encoded by the multiplexing device 10. And a video playback terminal 30 for decoding and displaying a plurality of tile videos.

A.第1実施形態
図1は、本発明の第1実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。また、図2は、本第1実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。
A. First Embodiment FIG. 1 is a flowchart for explaining a video tile size determination method according to a first embodiment of the present invention. FIG. 2 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the first embodiment.

一般的に、タイルサイズ:a×b[画素]、注視領域サイズ:M×N[画素]のとき、ワーストケースの位置にあるときの配信タイル数:Na×Nbと表す。ここで、Na=ceil(M/a)+1、Nb=ceil(N/b)+1である。なお、ceil()は、小数点切り上げ関数である。デコード面積は、(Na×Nb)×(a×b)で表現することができる。   Generally, when the tile size is a × b [pixels] and the gaze area size is M × N [pixels], the distribution tile number at the worst case position is expressed as Na × Nb. Here, Na = ceil (M / a) +1 and Nb = ceil (N / b) +1. Note that ceil () is a decimal point round-up function. The decoding area can be expressed by (Na × Nb) × (a × b).

まず、前提条件として、デコード面積上限と注視領域サイズとの情報を設定する(ステップS1)。ここで、前提条件は、例えば環境に応じた値が多重化装置10または映像伝送サーバ20に予め記憶されているようにしても良いし、映像再生クライアント30から前提条件がユーザ端末10に送信されるようにしても良い。このような情報が多重化装置10に入力され、映像分割部100の記憶領域に記憶されることにより、前提条件が設定される。例えば、デコード面積上限:1.5HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS2)。   First, as preconditions, information on the upper limit of the decoding area and the gaze area size is set (step S1). Here, as the precondition, for example, a value corresponding to the environment may be stored in the multiplexing device 10 or the video transmission server 20 in advance, or the precondition is transmitted from the video reproduction client 30 to the user terminal 10. You may make it. Such information is input to the multiplexing apparatus 10 and stored in the storage area of the video dividing unit 100, whereby a precondition is set. For example, the decoding area upper limit: 1.5 HD (HD = HDh × HDv, HDh: HD horizontal width, HDv: HD vertical width), and gaze area size: HD (assuming display display of HD resolution). Next, the tile size is set to a = HDh / x, b = HDv / x (where x is a real number), and x that satisfies the decoding area upper limit is obtained (step S2).

ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
となるので、次式(1)〜(6)から、x>=4.5であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Therefore, from the following formulas (1) to (6), it can be understood that the gaze area can be decoded if x> = 4.5.

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

一般的に、タイルサイズが大きいほど映像品質がよくなるので、多重化装置10の映像分割部100は、x=4.5と決定する(ステップS3)。よって、タイルサイズは、HD/(4.5×4.5)、つまり、映像再生クライアントで再生可能である、HD面積の約1/20相当のタイルサイズとする(ステップS4)。なお、タイルサイズはHD面積の約1/20相当であればよく、タイルサイズ横幅をHDh/4、タイルサイズ縦幅をHDv/5などとしてもよい。この結果、注視領域と配信するタイル映像との関係は、図2に示すようになる。このように決定されたタイルサイズに応じたタイル映像が、多重化装置10から映像伝送サーバ20を介して映像再生クライアントに送信され、デコードされて表示されることで、タイルサイズを効率良く決定することができる。   In general, the larger the tile size, the better the video quality. Therefore, the video dividing unit 100 of the multiplexing apparatus 10 determines x = 4.5 (step S3). Therefore, the tile size is set to HD / (4.5 × 4.5), that is, a tile size equivalent to about 1/20 of the HD area that can be played back by the video playback client (step S4). The tile size may be about 1/20 of the HD area, the tile size horizontal width may be HDh / 4, and the tile size vertical width may be HDv / 5. As a result, the relationship between the gaze area and the tile video to be distributed is as shown in FIG. The tile image corresponding to the tile size determined in this way is transmitted from the multiplexing apparatus 10 to the video reproduction client via the video transmission server 20, and is decoded and displayed, thereby efficiently determining the tile size. be able to.

図3は、本第1実施形態において、他のパラメータを用いた映像タイルサイズ決定方法を説明するためのフローチャートである。ここでは、デコード面積上限を2HDとした場合について説明する。まず、前提条件として、デコード面積上限と注視領域サイズとを設定する(ステップS10)。例えば、デコード面積上限:2HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS11)。   FIG. 3 is a flowchart for explaining a video tile size determination method using other parameters in the first embodiment. Here, a case where the upper limit of the decoding area is 2HD will be described. First, as a precondition, an upper limit of the decoding area and a gaze area size are set (step S10). For example, the decoding area upper limit: 2HD (HD = HDh × HDv, HDh: HD horizontal width, HDv: HD vertical width), and gaze area size: HD (assuming display display of HD resolution). Next, the tile size is set to a = HDh / x, b = HDv / x (where x is a real number), and x that satisfies the decoding area upper limit is obtained (step S11).

ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
となるので、数式(1)〜(6)から、x>=2.4であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Therefore, it can be understood from the equations (1) to (6) that the gaze area can be decoded if x> = 2.4.

一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2.4と決定する(ステップS12)。よって、タイルサイズは、HD/(2.4×2.4)、つまり、映像再生クライアントで再生可能である、HD面積の約1/6相当のタイルサイズとする(ステップS13)。   In general, the larger the tile size, the better the video quality, so x = 2.4 is determined (step S12). Therefore, the tile size is HD / (2.4 × 2.4), that is, the tile size that can be played back by the video playback client and is equivalent to about 1/6 of the HD area (step S13).

B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第3実施形態では、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
In the third embodiment, the vertical width of the original image, the decoding area upper limit, and the gaze area size are set as preconditions.

図4は、本第2実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図5は、本第2実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、デコード面積上限、及び注視領域サイズを設定する(ステップS20)。例えば、原画像の縦幅をHD高、デコード面積上限を1.5HD(HD=HDh×HDv、HDh:HD横幅、HDv:HD縦幅)、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定)とする。次に、タイルサイズを、a=HDh/x、b=HDv(ここでxは実数)とし、デコード面積上限を満たすようなxを求める(ステップS21)。   FIG. 4 is a flowchart for explaining a video tile size determination method according to the second embodiment. FIG. 5 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the second embodiment. First, as preconditions, the vertical width of the original image, the upper limit of the decoding area, and the gaze area size are set (step S20). For example, assuming that the vertical width of the original image is HD high, the upper limit of the decoding area is 1.5 HD (HD = HDh × HDv, HDh: HD horizontal width, HDv: HD vertical width), gaze area size: HD (HD resolution display display is assumed. ). Next, the tile size is set to a = HDh / x, b = HDv (where x is a real number), and x that satisfies the decoding area upper limit is obtained (step S21).

ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/HDv)=1=1(縦方向はタイル1個のみ)
となるので、数式(1)〜(6)から、X>=2であれば、注視領域をデコード可能と分かる。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / HDv) = 1 = 1 (vertical direction is only one tile)
Therefore, it can be seen from the equations (1) to (6) that the gaze area can be decoded if X> = 2.

一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2と決定する(ステップS22)。よって、タイルサイズは、HD/2、つまり、映像再生クライアントで再生可能である、HD面積の約1/2相当のタイルサイズとする(ステップS23)。   In general, the larger the tile size, the better the video quality, so x = 2 is determined (step S22). Therefore, the tile size is set to HD / 2, that is, the tile size that can be played back by the video playback client and is equivalent to about 1/2 of the HD area (step S23).

この第2実施形態のように、原画像のサイズをHD高に制限することで、第1実施形態(図1を参照)と同じデコード面積上限でも、図5に示すように、HDサイズの注視領域がワーストケース時に高さ方向に無駄にデコードするタイルが存在しないため,分割タイルサイズを第1実施形態よりも大きくすることができる.   By limiting the size of the original image to HD height as in the second embodiment, even if the upper limit of the decoding area is the same as that in the first embodiment (see FIG. 1), as shown in FIG. Since there are no tiles that are unnecessarily decoded in the height direction when the area is the worst case, the divided tile size can be made larger than that in the first embodiment.

C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する。
C. Third Embodiment Next, a third embodiment of the present invention will be described.
In the third embodiment, the gaze area size, the transmission band upper limit, and the HD video encoding bit rate that provides sufficient quality are set as preconditions.

図6は、本第3実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図7は、本第3実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する(ステップS30)。例えば、注視領域サイズ:HD(HD解像度のディスプレイ表示を想定:M×N)、伝送帯域上限を11[Mbps]、十分な品質が得られるHD映像の符号化ビットレートを6[Mbps]とする。次に、タイルサイズを、a=HDh/x、b=HDv/x(ここでxは実数)とし、伝送帯域上限を満たすようなxを求める(ステップS31)。   FIG. 6 is a flowchart for explaining a video tile size determination method according to the third embodiment. FIG. 7 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the third embodiment. First, as preconditions, a gaze area size, an upper limit of a transmission band, and an HD video encoding bit rate capable of obtaining sufficient quality are set (step S30). For example, gaze area size: HD (assuming display display of HD resolution: M × N), upper limit of transmission band is 11 [Mbps], and encoding bit rate of HD video capable of obtaining sufficient quality is 6 [Mbps]. . Next, the tile size is set to a = HDh / x, b = HDv / x (where x is a real number), and x that satisfies the transmission band upper limit is obtained (step S31).

ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/(HDv/x))+1=x+1
1タイル当たりのビットレート=(R/(ceil(M/a)×ceil(N/b))=(6/(x×x)
となるので、次式(7)〜(12)から、X>=2.8であれば、注視領域をデコード可能と分かる。なお、Rは、十分な品質が得られるHD映像の符号化ビットレートである。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / (HDv / x)) + 1 = x + 1
Bit rate per tile = (R / (ceil (M / a) × ceil (N / b)) = (6 / (xx)
Therefore, from the following equations (7) to (12), it can be understood that the gaze area can be decoded if X> = 2.8. Note that R is an HD video encoding bit rate with which sufficient quality can be obtained.

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

Figure 0005603840
Figure 0005603840

一般的に、タイルサイズが大きいほど映像品質がよくなるので、x=2.8と決定する(ステップS32)。よって、タイルサイズは、HD/(2.8×2.8)、つまり、映像再生クライアントで再生可能である、HD面積の約1/8相当のタイルサイズとする(ステップS33)。この結果、注視領域と配信するタイル映像との関係は、図7に示すようになる。   In general, the larger the tile size, the better the video quality, so x = 2.8 is determined (step S32). Therefore, the tile size is set to HD / (2.8 × 2.8), that is, a tile size equivalent to about 1/8 of the HD area that can be played back by the video playback client (step S33). As a result, the relationship between the gaze area and the tile video to be distributed is as shown in FIG.

なお、十分な品質が得られるHD映像の符号化ビットレートは、タイル分割することで符号化効率が落ちることを考慮し、タイル分割しない場合のHD映像の符号化ビットレートより多少大きく設定するほうがよい。例えば、タイル分割しない場合のHD映像の符号化ビットレートが6[Mbps]であれば、7[Mbps]に設定し、xを算出するなどの考慮が必要である。   Note that the encoding bit rate of HD video that provides sufficient quality should be set slightly higher than the encoding bit rate of HD video when tile division is not performed, considering that encoding efficiency is reduced by dividing the tile. Good. For example, if the HD video encoding bit rate without tile division is 6 [Mbps], it is necessary to consider setting x to 7 [Mbps].

D.第4実施形態
次に、本発明の第4実施形態について説明する。
本第4実施形態では、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する。
D. Fourth Embodiment Next, a fourth embodiment of the present invention will be described.
In the fourth embodiment, as preconditions, the vertical width of the original image, the gaze area size, the upper limit of the transmission band, and the HD video encoding bit rate that provides sufficient quality are set.

図8は、本第4実施形態による映像タイルサイズ決定方法を説明するためのフローチャートである。図9は、本第4実施形態において、注視領域と配信するタイル映像との関係を示す概念図である。まず、前提条件として、原画像の縦幅、注視領域サイズ、伝送帯域上限、及び十分な品質が得られるHD映像の符号化ビットレートを設定する(ステップS40)。例えば、原画像の縦幅をHD高、注視領域サイズをHD(HD解像度のディスプレイ表示を想定:M×N)、伝送帯域上限を11[Mbps]、十分な品質が得られるHD映像の符号化ビットレートを6[Mbps]とする。次に、タイルサイズを、a=HDh/x、b=HDv(ここでxは実数)とし、伝送帯域上限を満たすようなxを求める(ステップS41)。   FIG. 8 is a flowchart for explaining a video tile size determination method according to the fourth embodiment. FIG. 9 is a conceptual diagram showing the relationship between the gaze area and the tile video to be distributed in the fourth embodiment. First, as preconditions, the vertical width of the original image, the gaze area size, the upper limit of the transmission band, and the HD video encoding bit rate that provides sufficient quality are set (step S40). For example, HD video encoding that can obtain sufficient quality with the height of the original image being HD high, the gaze area size being HD (assuming display of HD resolution display: M × N), the upper limit of the transmission band is 11 [Mbps] The bit rate is 6 [Mbps]. Next, assuming that the tile size is a = HDh / x, b = HDv (where x is a real number), x that satisfies the transmission band upper limit is obtained (step S41).

ここで、注視領域サイズ条件は、HDであり、M=HDh、N=HDvと表現する。
このとき、
Na=ceil(HDh/(HDh/x))+1=x+1,
Nb=ceil(HDv/HDv)=1=1(縦方向はタイル1個のみ)
1タイル当たりのビットレート=(R/(ceil(M/a)×ceil(N/b))=(6/(x×x)
となるので、数式(7)〜(12)から、X>=1.2であれば、注視領域をデコード可能と分かる。なお、Rは、十分な品質が得られるHD映像の符号化ビットレートである。
Here, the gaze area size condition is HD, and is expressed as M = HDh and N = HDv.
At this time,
Na = ceil (HDh / (HDh / x)) + 1 = x + 1,
Nb = ceil (HDv / HDv) = 1 = 1 (vertical direction is only one tile)
Bit rate per tile = (R / (ceil (M / a) × ceil (N / b)) = (6 / (xx)
Therefore, from the equations (7) to (12), it can be understood that the gaze area can be decoded if X> = 1.2. Note that R is an HD video encoding bit rate with which sufficient quality can be obtained.

ここで、xは実数であるので、x=2と決定する(ステップS42)。よって、タイルサイズは、HD/2、つまり、映像再生クライアントで再生可能である、HD面積の約1/2相当のタイルサイズとする(ステップS43)。この結果、注視領域と配信するタイル映像との関係は、図9に示すようになる。   Here, since x is a real number, x = 2 is determined (step S42). Therefore, the tile size is set to HD / 2, that is, the tile size that can be played back by the video playback client and is equivalent to about 1/2 of the HD area (step S43). As a result, the relationship between the gaze area and the tile video to be distributed is as shown in FIG.

上述した第1から第4実施形態において、デコード面積上限と伝送帯域上限との2つの上限が存在するとき、これら2つの上限による制約を満たすxを求めればよい。例えば、第1実施形態(図1)と第3実施形態(図6)を満たすxは、より制約の厳しいデコード面積を満たすx>=4.5となる。   In the first to fourth embodiments described above, when there are two upper limits, that is, a decoding area upper limit and a transmission band upper limit, it is only necessary to obtain x that satisfies the constraints imposed by these two upper limits. For example, x satisfying the first embodiment (FIG. 1) and the third embodiment (FIG. 6) satisfies x> = 4.5 satisfying a more restrictive decoding area.

上述した第1から第4実施形態によれば、ユーザ操作により、注視領域がタイルIDリスト最大になる位置になったときのタイル数、映像再生クライアントがデコードできるデコード上限値、映像の伝送帯域上限を利用し、デコード可能な面積及び伝送帯域についての制約条件を満たすようタイルサイズを決定することにより、従来の実験的なタイルサイズ決定方法に比して効率的にタイルサイズを決定することができる。   According to the first to fourth embodiments described above, the number of tiles when the gaze area reaches the position where the tile ID list is maximized by the user operation, the decoding upper limit value that can be decoded by the video playback client, and the video transmission band upper limit. The tile size can be determined more efficiently than the conventional experimental tile size determination method by determining the tile size so as to satisfy the constraints on the area that can be decoded and the transmission band. .

なお、上述した第1から第4実施形態において、前提条件として、デコード面積上限と注視領域サイズ、あるいは伝送帯域上限と注視領域サイズと十分な品質が得られるHD映像の符号化ビットレートを設定するとしたが、これに限らず、デコード面積上限と注視領域サイズ、あるいは、伝送帯域上限と注視領域サイズ、あるいは、デコード面積上限と注視領域サイズとに加えて伝送帯域上限、あるいは、デコード面積上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、伝送帯域上限と注視領域サイズとに加えて、注視領域に重なる分割タイル数が最も多くなるときのタイル数、あるいは、デコード面積上限と前記注視領域サイズとに加えて、伝送帯域上限と注視領域に重なる分割タイル数が最も多くなるときのタイル数を設定するようにしてもよい。   In the first to fourth embodiments described above, as preconditions, the decoding area upper limit and the gaze area size, or the transmission band upper limit and the gaze area size and the HD video encoding bit rate that provides sufficient quality are set. However, the present invention is not limited to this. The upper limit of the decoding area and the gaze area size, or the upper limit of the transmission band and the gaze area size, or the upper limit of the transmission band, or the upper limit of the decoding area and the gaze area size. In addition to the area size, the number of tiles when the number of divided tiles that overlap the gaze area is the largest, or when the number of divided tiles that overlap the gaze area is the largest in addition to the upper limit of the transmission band and the gaze area size In addition to the number of tiles or the decoding area upper limit and the gaze area size, the transmission band upper limit and the division that overlaps the gaze area The number of tiles when yl speed is most may be set.

10 多重化装置
20 映像伝送サーバ
30 映像再生クライアント
100 解像度変換&映像分割部
101 符号化部
102 データ蓄積部
103 評価値計算部
104 対応テーブル&評価値蓄積部
105 データ管理部
106 コマンド受信部
107 データ送信部
108 対応テーブル&評価値送信部
109 コマンド送信部
110 補正評価値計算部
111 コマンド変換部
112 データ受信部
113 復号化部
114 映像表示部
115 対応テーブル&評価値受信部
116 対応テーブル&評価値蓄積部
117 注視領域指定部
118 タイルIDリスト作成部
DESCRIPTION OF SYMBOLS 10 Multiplexer 20 Video transmission server 30 Video reproduction client 100 Resolution conversion & video division part 101 Coding part 102 Data storage part 103 Evaluation value calculation part 104 Correspondence table & evaluation value storage part 105 Data management part 106 Command reception part 107 Data Transmission unit 108 Correspondence table & evaluation value transmission unit 109 Command transmission unit 110 Correction evaluation value calculation unit 111 Command conversion unit 112 Data reception unit 113 Decoding unit 114 Video display unit 115 Correspondence table & evaluation value reception unit 116 Correspondence table & evaluation value Accumulation unit 117 Gaze area designation unit 118 Tile ID list creation unit

Claims (3)

全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(A)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
ただしceil()は小数点を切り上げる関数である。
Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
A step of inputting, to the video transmission device, preconditions of a gaze area size of M × N [pixel] and a decoding area upper limit Dmax based on the gaze area size in the video playback terminal;
The video transmission device calculates x satisfying the formula (A) based on the precondition, and calculates a tile size (M / x) × (N / x) [pixel] of the tile video;
A method for determining a video tile size, comprising:
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
However, ceil () is a function that rounds up the decimal point.
全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、M×N[画素]の注視領域サイズと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(B)を満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
Input to the video transmission apparatus are preconditions of a gaze area size of M × N [pixels] and an encoding bit rate R of the gaze area size for obtaining a predetermined quality and a transmission band upper limit Rmax;
The video transmission device calculates x satisfying the formula (B) based on the precondition, and calculates the tile size (M / x) × (N / x) [pixel] of the tile video;
Film image tile size decision how to comprising a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
全体映像を複数のタイル映像に分割し、映像再生端末から指定される注視領域に応じて、前記全体映像のうち当該注視領域が含まれる前記タイル映像を符号化して前記映像再生端末に送信する映像伝送装置と、当該映像伝送装置から送信される複数の前記タイル映像を復号化して表示する前記映像再生端末とを備えた映像伝送システムの映像タイルサイズ決定方法であって、
前記映像伝送装置に、M×N[画素]の注視領域サイズと前記映像再生端末における前記注視領域サイズを基準にしたデコード面積上限Dmaxと所定の品質が得られる前記注視領域サイズの符号化ビットレートRと伝送帯域上限Rmaxとの前提条件が入力されるステップと、
前記映像伝送装置が、前記前提条件に基づいた式(A)及び式(B)をともに満たすxを算出し、前記タイル映像のタイルサイズ(M/x)×(N/x)[画素]を算出するステップと、
を含むことを特徴とする映像タイルサイズ決定方法。
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(M/x)×(N/x)≦Dmax(M×N)…(A)
(ceil(M/(M/x))+1)×(ceil(N/(N/x))+1)
×(R/x )≦Rmax…(B)
ただしceil()は小数点を切り上げる関数である。
Video that divides the entire video into a plurality of tile videos, encodes the tile video including the gaze area in the entire video, and transmits the encoded video to the video playback terminal according to the gaze area specified by the video playback terminal A video tile size determination method for a video transmission system, comprising: a transmission device; and the video reproduction terminal that decodes and displays the plurality of tile videos transmitted from the video transmission device,
An encoding bit rate of the gaze area size that provides the video transmission apparatus with a gaze area size of M × N [pixels], a decoding area upper limit Dmax based on the gaze area size in the video playback terminal, and a predetermined quality. A step of inputting preconditions of R and the transmission band upper limit Rmax;
The video transmission apparatus calculates x satisfying both of the formulas (A) and (B) based on the preconditions, and sets the tile size (M / x) × (N / x) [pixel] of the tile video. A calculating step;
Film image tile size decision how to comprising a.
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (M / x) × (N / x) ≦ Dmax (M × N) (A)
(Ceil (M / (M / x)) + 1) × (ceil (N / (N / x)) + 1)
× (R / x 2 ) ≦ Rmax (B)
However, ceil () is a function that rounds up the decimal point.
JP2011152806A 2011-07-11 2011-07-11 Video tile size determination method Expired - Fee Related JP5603840B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011152806A JP5603840B2 (en) 2011-07-11 2011-07-11 Video tile size determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011152806A JP5603840B2 (en) 2011-07-11 2011-07-11 Video tile size determination method

Publications (2)

Publication Number Publication Date
JP2013021478A JP2013021478A (en) 2013-01-31
JP5603840B2 true JP5603840B2 (en) 2014-10-08

Family

ID=47692489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011152806A Expired - Fee Related JP5603840B2 (en) 2011-07-11 2011-07-11 Video tile size determination method

Country Status (1)

Country Link
JP (1) JP5603840B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5941000B2 (en) * 2013-03-12 2016-06-29 日本電信電話株式会社 Video distribution apparatus and video distribution method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199061A (en) * 2001-12-28 2003-07-11 Communication Research Laboratory Digital content broadcast distributing method, digital broadcast distributing system and charging method using the same
JP2003224846A (en) * 2002-01-29 2003-08-08 Matsushita Electric Ind Co Ltd Image processing apparatus, decoding apparatus, encoding apparatus, image processing system, image processing method, and encoding method
JP2005027080A (en) * 2003-07-03 2005-01-27 Fuji Xerox Co Ltd Data processor, data processing system, data processing method, and program

Also Published As

Publication number Publication date
JP2013021478A (en) 2013-01-31

Similar Documents

Publication Publication Date Title
KR101987503B1 (en) Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system
JP6305279B2 (en) Video compression device and video playback device
US11044437B2 (en) Method and system for combining multiple area-of-interest video codestreams into a combined video codestream
EP2490179A1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
US20210227236A1 (en) Scalability of multi-directional video streaming
JP5700703B2 (en) Video decoding apparatus, video transmission / reception system, video decoding method, and video transmission / reception method
JP2009194920A (en) Image encoding device and image transmission device
Inoue et al. Interactive panoramic video streaming system over restricted bandwidth network
KR20170005366A (en) Method and Apparatus for Extracting Video from High Resolution Video
JP6807032B2 (en) Information processing device and information processing method
KR20120133006A (en) System and method for providing a service to streaming IPTV panorama image
JP5941000B2 (en) Video distribution apparatus and video distribution method
JP5603841B2 (en) Video transmission method, video transmission apparatus, and program
JP2017123503A (en) Video distribution apparatus, video distribution method and computer program
JP6006680B2 (en) Video distribution apparatus and video distribution program
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
JP5603840B2 (en) Video tile size determination method
CN113099184A (en) Image splicing method and device compatible with multiple video formats and electronic equipment
JP5310427B2 (en) Communication terminal device, communication control method, and communication control program,
JP2019033362A (en) Distribution apparatus, reception apparatus, and program
JP5478346B2 (en) Format conversion apparatus, video distribution apparatus, multiplexing apparatus, format conversion method, video distribution method, and program
KR101107153B1 (en) Video data conversion method and apparatus for 3d tv
JP2008011191A (en) Video encoding/compositing apparatus, video encoding/compositing method and video transmitting system
JP2005176068A (en) Motion image distribution system and method therefor
JP2010016713A (en) Content distribution apparatus and display device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140822

R150 Certificate of patent or registration of utility model

Ref document number: 5603840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees