JP5487074B2 - Video transmission method and video transmission system - Google Patents

Video transmission method and video transmission system Download PDF

Info

Publication number
JP5487074B2
JP5487074B2 JP2010237905A JP2010237905A JP5487074B2 JP 5487074 B2 JP5487074 B2 JP 5487074B2 JP 2010237905 A JP2010237905 A JP 2010237905A JP 2010237905 A JP2010237905 A JP 2010237905A JP 5487074 B2 JP5487074 B2 JP 5487074B2
Authority
JP
Japan
Prior art keywords
tile
video
stream
data
small area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010237905A
Other languages
Japanese (ja)
Other versions
JP2011217345A (en
Inventor
雅之 井上
勝彦 深澤
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010237905A priority Critical patent/JP5487074B2/en
Publication of JP2011217345A publication Critical patent/JP2011217345A/en
Application granted granted Critical
Publication of JP5487074B2 publication Critical patent/JP5487074B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、高解像度パノラマ映像をユーザの注視領域指定に応じて一定の伝送帯域以内で伝送するための映像伝送方法、及映像伝送システムに関する。 The present invention, video transmission method for transmitting within a predetermined transmission band in accordance with high-resolution panoramic image on fixation region designated by the user, regarding Beauty video transmission system.

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式H.264 Annex Hとして多視点映像符号化(MVC)が標準化されている(例えば、非特許文献1参照)。MVCでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、MVCの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。   As an encoding method for compressing a plurality of camera images together, the international standard encoding method H.264 is used. Multi-view video coding (MVC) is standardized as H.264 Annex H (see Non-Patent Document 1, for example). In MVC, a plurality of encoded video data is compressed and encoded in a multiplexed form. Encoded data of frames having the same time stamp are continuously multiplexed. That is, the encoded data is a stream in which a plurality of video data is multiplexed. Since frames with the same time stamp are continuously multiplexed, the decoder can decode and output MVC encoded data, thereby successively decoding and outputting a plurality of camera images with the same time stamp. it can.

図18は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置1、映像伝送サーバ2、映像再生クライアント3から構成される。多重化装置1において、符号化部101は、MVC符号化部であり、M本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部102は、このM本のストリームを含む多重化データを蓄積する。   FIG. 18 is a block diagram showing the configuration of a video transmission system according to the prior art. In the figure, the conventional video transmission system includes a multiplexing device 1, a video transmission server 2, and a video reproduction client 3. In the multiplexing apparatus 1, an encoding unit 101 is an MVC encoding unit, and encodes and multiplexes M input streams at the same fixed encoding rate to create multiplexed data. The data storage unit 102 stores multiplexed data including the M streams.

映像伝送サーバ2において、データ送信部103は、データ蓄積部102に蓄積されているM本の多重化ストリームからN(≦M)本のストリームを取り出し、映像再生クライアント3へ送出する。ここで、N本のストリームを送出するためには、N×固定符号化レート分の伝送レートが必要となる。   In the video transmission server 2, the data transmission unit 103 extracts N (≦ M) streams from the M multiplexed streams stored in the data storage unit 102 and sends them to the video reproduction client 3. Here, in order to transmit N streams, a transmission rate corresponding to N × fixed coding rate is required.

映像再生クライアント3において、データ受信部104は、N本のストリームを受信する。復号化部105は、N本のストリームを復号する。映像表示部106は、部分映像を表示する。   In the video reproduction client 3, the data receiving unit 104 receives N streams. The decoding unit 105 decodes N streams. The video display unit 106 displays a partial video.

なお、ここでは、M本のストリーム(全体ストリーム)から構成される映像を「全体映像」、N(≦M)本のストリーム(部分ストリーム)から構成される映像を「部分映像」、1本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、M個の単位映像、部分映像は、N個の単位映像から構成される。   Here, a video composed of M streams (whole stream) is referred to as “whole video”, a video composed of N (≦ M) streams (partial streams) is referred to as “partial video”, A video composed of streams is defined as “unit video”. That is, the whole video is composed of M unit videos, and the partial video is composed of N unit videos.

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.

上述した従来技術では、HDサイズを超えるような高解像度パノラマ映像を実網などの制限された伝送帯域以下で伝送できないという問題があった。具体的には、伝送レート<N×固定符号化レートの場合には、N本の部分ストリームから構成される部分映像を送出できないという問題があった。   The above-described prior art has a problem that high-resolution panoramic images exceeding the HD size cannot be transmitted within a limited transmission band such as a real network. Specifically, when transmission rate <N × fixed coding rate, there is a problem in that a partial video composed of N partial streams cannot be transmitted.

また、伝送レート≧N×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。   Further, when the encoding rate is lowered too much so that the transmission rate ≧ N × fixed encoding rate, there is a problem that the image quality is deteriorated.

さらに、N本の部分ストリームからなる部分映像を十分な品質でできたとしても、部分映像の伝送であるため、ユーザの注視領域の急激な変更操作に追随した伝送要求、及び部分映像の受信ができないという問題があった。つまり、ユーザの注視領域操作に追随して、映像を表示できないという問題があった。なお、ここでの注視領域操作とは、「ズームイン(注視領域縮小)」、「ズームアウト(注視領域拡大)」、「上移動」、「下移動」、「左移動」、「右移動」などを意味する。   Furthermore, even if a partial video composed of N partial streams can be obtained with sufficient quality, since it is a partial video transmission, a transmission request following a sudden change operation of the user's gaze area and reception of the partial video are received. There was a problem that I could not. That is, there is a problem that the video cannot be displayed following the user's gaze area operation. Note that the gaze area operation here includes “zoom in (gaze area reduction)”, “zoom out (gaze area expansion)”, “upward movement”, “downward movement”, “leftward movement”, “rightward movement”, etc. Means.

図19は、注視領域の変更例を示す概念図である。映像データは、図19に示すように、複数の解像度、例えば、高解像度、中解像度、及び低解像度に変換された後、各解像度の1つが640×320画素からなるタイルサイズの32個のタイルに分割される。各タイルに付された数字が、タイル分割情報(タイルID)である。高解像度タイルの0,1,2,8,9,10,16,17,18が注視領域1であり、4,5,6,12,13,14,20,21,22が注視領域2であり、1,2,3,9,10,11,17,18,19が注視領域3であると想定する。   FIG. 19 is a conceptual diagram illustrating an example of changing a gaze area. As shown in FIG. 19, the video data is converted into a plurality of resolutions, for example, high resolution, medium resolution, and low resolution, and then each of the resolutions includes 32 tiles each having a tile size of 640 × 320 pixels. It is divided into. The number given to each tile is tile division information (tile ID). The high resolution tiles 0, 1, 2, 8, 9, 10, 16, 17, and 18 are the gaze area 1, and 4, 5, 6, 12, 13, 14, 20, 21, and 22 are the gaze area 2. Suppose that 1, 2, 3, 9, 10, 11, 17, 18, 19 are the gaze region 3.

例えば、図19において、注視領域1から注視領域2へ急激な変更操作が行われた場合、注視領域2の部分映像の要求をかけてから受信するまでは、伝送遅延などが原因となり、表示すべき映像がなくなるという問題があった。   For example, in FIG. 19, when an abrupt change operation is performed from the gaze area 1 to the gaze area 2, the display is displayed due to a transmission delay until the partial video of the gaze area 2 is requested and received. There was a problem that there was no video.

さらに、図19の注視領域1→注視領域3→注視領域2へと急激な変更操作が行われた場合に、注視領域の部分映像の2重要求が禁止されている(前回の部分映像の要求から受信を待って、新規の要求をかける)ケースにおいては、上記変更操作の途中で注視領域3の位置に来たときに、すぐに注視領域3の部分映像の要求をかけると、注視領域3の部分映像の受信処理を待たなくてはいけないため、本来ユーザが目的とする注視領域2の部分映像の要求、受信処理がさらに遅延するという問題があった。   Further, when an abrupt change operation is performed from the gaze area 1 to the gaze area 3 → the gaze area 2 in FIG. 19, the double request for the partial video in the gaze area is prohibited (request for the previous partial video). In the case where a new request is made after waiting for reception), when a request for a partial image of the gaze area 3 is made immediately when the position of the gaze area 3 is reached during the change operation, the gaze area 3 There is a problem in that the partial video request and reception processing of the gaze area 2 that the user originally intended is further delayed.

図20は、従来技術において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときの動作を説明するためのフローチャートである。具体的には、従来技術の方法では、注視領域の移動により重なりのあるタイルに変更があると、すぐにタイル映像の要求を行っていたため、注視領域3の部分映像の要求(ステップS1001)、受信(ステップS1002)の後に、注視領域2の部分映像の要求(ステップS1003)、受信(ステップS1004)を行っていた。   FIG. 20 is a flowchart for explaining the operation when a sudden change of the gaze area occurs in the video transmission system in which the double request for the partial video in the gaze area is prohibited in the prior art. Specifically, in the prior art method, if there is a change in the overlapping tile due to the movement of the gaze area, the tile image is requested immediately, so a request for a partial video in the gaze area 3 (step S1001), After reception (step S1002), a request for a partial video of the gaze area 2 (step S1003) and reception (step S1004) were made.

本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送することができ、映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像を表示することができ、さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる映像伝送方法、及映像伝送システムを提供することにある。


The present invention has been made in consideration of such circumstances, and its purpose is to transmit high-resolution panoramic video at a transmission rate or lower without excessively reducing the encoding rate, thereby maximizing video quality. Video that can be displayed at a transmission rate or less even when the user is suddenly operating the gaze area, and that the user can accelerate reception of the target gaze area when moving the gaze area transmission method is to provide a beauty video transmission system.


上述した課題を解決するために、本発明は、入力映像を符号化・多重化して所定の伝送帯域で伝送する映像伝送方法であって、入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第1のステップと、前記複数の小領域の各々にタイルIDを付与する第2のステップと、前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第3のステップと、前記複数の小領域の各ストリームに対する符号化結果に対してデータIDを付与する第4のステップと、前記複数の小領域の各々に付与されたタイルIDと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータIDとが対応付けられた対応表を作成する第5のステップと、前記複数の小領域の各ストリームの符号化結果に付与されたデータIDに対する評価値の算出する第6のステップとを含むことを特徴とする映像伝送方法である。   In order to solve the above-described problems, the present invention is a video transmission method for encoding and multiplexing input video and transmitting the video in a predetermined transmission band. The input video is resolution-converted, and a plurality of resolution-converted videos are displayed. A first step of dividing the plurality of small regions, a second step of assigning a tile ID to each of the plurality of small regions, and a parameter for specifying a plurality of encoding rates for each stream of the plurality of small regions A third step of encoding and multiplexing with, a fourth step of assigning a data ID to the encoding result for each stream of the plurality of small areas, and a tile assigned to each of the plurality of small areas A fifth step of creating a correspondence table in which an ID is associated with a data ID assigned to an encoding result for each stream of the plurality of small areas; and for each stream of the plurality of small areas, A video transmission method characterized by comprising a sixth step of calculating the evaluation value for granted data ID to Goka results.

本発明は、上記の発明において、前記対応表と前記評価値とを受信する第7のステップと、ユーザから指定される注視領域から着目解像度を決定する第8のステップと、前記対応表に基づいて、前記注視領域に対応する小領域のタイルIDリストを作成する第9のステップと、前記小領域のタイルIDリスト中に含まれる各小領域のストリームの符号化結果に対するデータIDを前記対応表から抽出し、前記評価値に基づいて、各データIDに対する補正評価値を算出する第10のステップと、前記補正評価値と前記小領域のタイルIDとから前記小領域のストリームの符号化結果に対するデータIDを決定する第11のステップとを更に含むことを特徴とする。   According to the present invention, in the above invention, the seventh step of receiving the correspondence table and the evaluation value, the eighth step of determining a target resolution from a gaze area designated by a user, and the correspondence table A ninth step of creating a tile ID list of a small area corresponding to the gaze area, and a data ID corresponding to a coding result of a stream of each small area included in the tile ID list of the small area And a tenth step of calculating a correction evaluation value for each data ID based on the evaluation value, and the encoding result of the small area stream from the correction evaluation value and the tile ID of the small area An eleventh step of determining a data ID.

本発明は、上記の発明において、前記第8のステップは、前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第12のステップと、注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第13のステップとを含むことを特徴とする。   According to the present invention, in the above invention, the eighth step includes a twelfth step of setting different threshold values for the case where the gaze area is enlarged and the case where the gaze area is reduced, and the vertical direction of the gaze area. And a thirteenth step of determining the resolution of interest based on a magnitude relationship between a width or a horizontal width and the threshold value.

本発明は、上記の発明において、前記第11のステップは、伝送ビットレートを設定する第14のステップと、前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第15のステップと、前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第16のステップとを含むことを特徴とする。   According to the present invention, in the above invention, the eleventh step includes a fourteenth step of setting a transmission bit rate, and subtracting a bit rate based on data unrelated to the video from the transmission bit rate, thereby A fifteenth step of calculating a usable bandwidth and a sixteenth step of determining a data ID for the encoding result of the stream of the small area based on the usable bandwidth of the video.

本発明は、上記の発明において、前記第16のステップは、前記補正評価値に基づく優先度に基づいて、前記小領域のタイルIDリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルID候補を絞り込む第17のステップと、前記タイルID候補における、前記着目解像度と、該着目解像度に対してN個下の解像度とに基づいて、前記小領域のタイルIDの選択品質を決定する第18のステップと、前記小領域のタイルIDと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第19のステップとを含むことを特徴とする。   According to the present invention, in the above invention, the sixteenth step is a tile ID having a transmission bit rate smaller than the usable bandwidth from the tile ID list of the small area based on the priority based on the correction evaluation value. The eighteenth step of narrowing down candidates, and the selection quality of the tile ID of the small area are determined based on the target resolution in the tile ID candidate and the resolution N lower than the target resolution. And a nineteenth step of determining a data ID for the encoding result of the stream of the small area based on the tile ID of the small area and the selection quality.

本発明は、上記の発明において、前記第17のステップは、前記小領域のタイルIDリストから該当小領域のタイルIDを選択する第20のステップと、前記小領域のタイルIDの最低品質の伝送ビットレートが使用可能帯域以下であるかを判定する第21のステップと、前記伝送ビットレートが使用可能帯域以下であると判定された場合、前記使用可能帯域から該当小領域のタイルIDの最低品質の伝送ビットレートを減算し、該当小領域のタイルIDを、優先度が次の小領域のタイルIDに変更し、絞り込み後の小領域のタイルID候補の数を算出する第22のステップと、前記伝送ビットレートが使用可能帯域以下でないと判定された場合、前記小領域のタイルIDリストから該当小領域のタイルID以下の優先度の小領域のタイルIDを削除する第23のステップとを更に含むことを特徴とする。   According to the present invention, in the above invention, the seventeenth step is a twentieth step of selecting a tile ID of the corresponding small area from the tile ID list of the small area, and transmission of the lowest quality tile ID of the small area. A twenty-first step for determining whether the bit rate is equal to or lower than the usable bandwidth; and if it is determined that the transmission bit rate is equal to or smaller than the usable bandwidth, the minimum quality of the tile ID of the corresponding small area from the usable bandwidth A 22nd step of subtracting the transmission bit rate, changing the tile ID of the corresponding small area to the tile ID of the next small area and calculating the number of tile ID candidates of the small area after narrowing down; If it is determined that the transmission bit rate is not equal to or lower than the usable bandwidth, the tile I of the small area having a priority equal to or lower than the tile ID of the corresponding small area from the tile ID list of the small area Characterized in that it further comprises a first 23 of the step of deleting.

本発明は、上記の発明において、前記第18のステップは、前記小領域のタイルIDリストのうち、前記補正評価値の最も低いタイルIDを改善対象の小領域のタイルIDとして決定する第24のステップと、前記改善対象の小領域のタイルIDが存在し、かつ現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下である場合、前記使用可能帯域から増加分のビットレートを減算したものを使用可能帯域とし、前記選択品質を前記改善品質に変更し、前記改善対象の小領域のタイルIDの補正評価値を更新する第25のステップと、前記改善対象の小領域のタイルIDが存在しないか、あるいは、現在の選択品質から改善品質への増加分のビットレートが使用可能帯域以下でない場合、当該選択品質の決定処理を終了する第26のステップとを含むことを特徴とする。   In the present invention according to the twenty-fourth aspect, in the eighteenth step, the tile ID having the lowest correction evaluation value in the tile ID list of the small area is determined as the tile ID of the small area to be improved. Step, and when the tile ID of the small area to be improved exists and the bit rate of the increase from the current selection quality to the improvement quality is equal to or lower than the usable bandwidth, the incremented bit from the usable bandwidth A twenty-fifth step of changing the selection quality to the improved quality and updating the correction evaluation value of the tile ID of the small area to be improved; If the tile ID does not exist or the bit rate of the increase from the current selection quality to the improvement quality is not less than the usable bandwidth, the selection quality determination process is terminated. Characterized in that it comprises a first 26 steps of.

また、上述した課題を解決するために、本発明は、多重化装置により符号化・多重化した映像を映像再生クライアントに所定の伝送帯域で伝送する映像伝送装置であって、前記入力映像を複数の解像度に変換する解像度変換手段と、前記解像度変換手段により複数の解像度に変換された各解像度の映像を、複数の小領域に分割する映像分割手段と、前記映像分割手段により分割された複数の小領域のストリームの各々を、複数の符号化レートを指定するパラメータで符号化して多重化する符号化手段と、前記符号化手段により符号化された複数の小領域のストリームの各々に対する品質評価値を算出する評価値算出手段と、前記映像分割手段により分割された小領域と前記符号化手段により符号化された複数の小領域のストリームとを対応付けた対応表を作成する対応表作成手段と、前記映像再生クライアントで指定された注視領域に基づいて、伝送対象となる所定数の小領域のストリームを決定する決定手段と、前記符号化手段により符号化された複数のストリームの中から、前記決定手段により決定された伝送対象となる所定数の小領域のストリームを選択する第1の選択手段と、前記第1の選択手段により選択される前記所定数の小領域のストリームの符号化レートの総和が、所定の伝送帯域以内となり、かつ、前記所定数の小領域のストリームの品質評価値の最低値がより高くなるように、前記所定数の小領域のストリームの中から、複数の解像度の映像ストリームを選択する第2の選択手段と、前記第2の選択手段により最終的に選択された、前記複数の解像度の映像ストリームを前記映像再生クライアントに伝送する伝送手段とを備えることを特徴とする映像伝送装置である。   In order to solve the above-described problem, the present invention provides a video transmission apparatus for transmitting a video encoded and multiplexed by a multiplexing apparatus to a video reproduction client in a predetermined transmission band, wherein a plurality of the input videos are transmitted. A resolution converting means for converting the image into a plurality of resolutions, a video dividing means for dividing the video of each resolution converted into a plurality of resolutions by the resolution converting means into a plurality of small regions, and a plurality of divided by the video dividing means. Encoding means for encoding and multiplexing each of the small area streams with a parameter specifying a plurality of encoding rates, and a quality evaluation value for each of the plurality of small area streams encoded by the encoding means The evaluation value calculating means for calculating the image, the small area divided by the video dividing means, and the plurality of small area streams encoded by the encoding means are associated with each other. A correspondence table creating means for creating a correspondence table; a determining means for determining a predetermined number of small area streams to be transmitted based on a gaze area designated by the video reproduction client; and a coding by the encoding means. A first selection unit that selects a predetermined number of small-area streams to be transmitted, determined by the determination unit, from the plurality of converted streams; and the predetermined unit that is selected by the first selection unit The predetermined number of small regions so that the sum of the coding rates of the small number of small regions is within a predetermined transmission band and the minimum quality evaluation value of the predetermined number of small regions is higher. A second selection unit that selects a video stream having a plurality of resolutions from the stream of the area; and a video stream having the plurality of resolutions that is finally selected by the second selection unit. A video transmission apparatus characterized by comprising a transmitting means for transmitting to the image reproduction client the stream.

また、上述した課題を解決するために、本発明は、多重化装置により符号化・多重化した映像を映像再生クライアントに所定の伝送帯域で伝送する映像伝送装置のコンピュータに、前記入力映像を複数の解像度に変換する解像度変換機能、前記複数の解像度に変換された各解像度の映像を、複数の小領域に分割する映像分割機能、前記分割された複数の小領域のストリームの各々を、複数の符号化レートを指定するパラメータで符号化して多重化する符号化機能、前記符号化された複数の小領域のストリームの各々に対する品質評価値を算出する評価値算出機能、前記分割された小領域と前記符号化された複数の小領域のストリームとを対応付けた対応表を作成する対応表作成機能、前記映像再生クライアントで指定された注視領域に基づいて、伝送対象となる所定数の小領域のストリームを決定する決定機能、前記符号化された複数のストリームの中から、前記伝送対象となる所定数の小領域のストリームを選択する第1の選択機能、前記選択された所定数の小領域のストリームの符号化レートの総和が、所定の伝送帯域以内となり、かつ、前記所定数の小領域のストリームの品質評価値の最低値がより高くなるように、前記所定数の小領域のストリームの中から、複数の解像度の映像ストリームを選択する第2の選択機能、前記最終的に選択された、前記複数の解像度の映像ストリームを前記映像再生クライアントに伝送する伝送機能を実現することを特徴とするプログラムである。   In order to solve the above-described problems, the present invention provides a computer of a video transmission apparatus that transmits a video encoded and multiplexed by a multiplexing apparatus to a video reproduction client in a predetermined transmission band. A resolution conversion function for converting the resolution into a plurality of resolutions, a video division function for dividing the video of each resolution converted into the plurality of resolutions into a plurality of small areas, and a plurality of the divided streams of the plurality of small areas respectively. An encoding function that encodes and multiplexes with a parameter that specifies an encoding rate, an evaluation value calculation function that calculates a quality evaluation value for each of the plurality of encoded small region streams, and the divided small regions; A correspondence table creation function for creating a correspondence table in which the encoded streams of a plurality of small areas are associated with each other, based on a gaze area designated by the video reproduction client A determination function for determining a predetermined number of small area streams to be transmitted; a first selection function for selecting the predetermined number of small area streams to be transmitted from the plurality of encoded streams The sum of the encoding rates of the selected predetermined number of small area streams is within a predetermined transmission band, and the minimum quality evaluation value of the predetermined number of small area streams is higher. A second selection function for selecting video streams of a plurality of resolutions from the predetermined number of small area streams; and transmitting the finally selected video streams of the plurality of resolutions to the video playback client. This is a program characterized by realizing a transmission function.

本発明は、上記の発明において、前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第27のステップと、前記決定されたデータIDに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第28のステップと、前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータIDに対応する、前記注視領域に対応する小領域のストリームを取り出す第29のステップと、前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第30のステップとを更に含むことを特徴とする。   According to the present invention, in the above-described invention, the gaze area is determined by the user based on the twenty-seventh step of accumulating the encoded streams of the plurality of small areas in a data accumulation unit and the determined data ID. After a predetermined time has elapsed since the designation, a command requesting a stream of a small area corresponding to the gaze area, and the command out of the encoded streams of the plurality of small areas A 29th step of retrieving a stream of a small area corresponding to the gaze area corresponding to the determined data ID, and a stream of the small area corresponding to the gaze area that has been retrieved, And 30th step of transmitting as a typical video stream.

本発明は、上記の発明において、前記決定手段は、前記映像再生クライアントで注視領域が指定されてから一定時間以上経過した後、伝送対象となる所定数の小領域のストリームを決定することを特徴とする。   The present invention is characterized in that, in the above invention, the determination means determines a predetermined number of small area streams to be transmitted after a predetermined time or more has elapsed since the watch area was designated by the video reproduction client. And

この発明によれば、符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送することができ、映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像を表示することができ、さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。   According to the present invention, it is possible to transmit a high-resolution panoramic video at a transmission rate or lower without excessively reducing the encoding rate, to maximize the video quality, and for abrupt operation of the user's gaze area, Video can be displayed at a transmission rate or lower, and reception of the gaze area targeted by the user can be accelerated when the gaze area moves.

本発明の実施形態による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by embodiment of this invention. 解像度変換&映像分割部200による映像データのタイル分割例、及びタイル分割情報(タイルID)の付与例を示す概念図である。It is a conceptual diagram which shows the example of the tile division | segmentation of the video data by the resolution conversion & image | video division | segmentation part 200, and the provision example of tile division information (tile ID). 高解像度タイルを対象としたデータIDの付与例を示す概念図である。It is a conceptual diagram which shows the example of provision of the data ID for high resolution tiles. 各タイル映像と映像符号化データとの対応表の一例を示す概念図である。It is a conceptual diagram which shows an example of the correspondence table of each tile image | video and image | video encoded data. 1フレーム単位(または所定のフレーム単位)毎の評価値の例を示す概念図である。It is a conceptual diagram which shows the example of the evaluation value for every frame unit (or predetermined frame unit). 多重化装置10における処理手順を示すフローチャートである。3 is a flowchart showing a processing procedure in the multiplexing apparatus 10; ユーザの注視領域の指定からコマンド変換部211におけるデータIDの決定方法までの処理手順を示すフローチャートである。10 is a flowchart showing a processing procedure from designation of a user's gaze area to a data ID determination method in a command conversion unit 211. 注視領域から着目解像度の決定方法を説明するための概念図である。It is a conceptual diagram for demonstrating the determination method of the attention resolution from a gaze area | region. 各解像度におけるタイルIDの対応関係を示す概念図である。It is a conceptual diagram which shows the correspondence of tile ID in each resolution. タイルIDの決定方法を説明するための概念図である。It is a conceptual diagram for demonstrating the determination method of tile ID. 補正評価値とタイルIDによるデータIDの決定手順を説明するためのフローチャートである。It is a flowchart for demonstrating the determination procedure of data ID by correction | amendment evaluation value and tile ID. 使用可能帯域を考慮したデータIDの決定手順を説明するためのフローチャートである。It is a flowchart for demonstrating the determination procedure of data ID in consideration of the useable band. 優先度によるタイルID候補の絞込み手順(解像度別)を説明するためのフローチャートである。It is a flowchart for demonstrating the narrowing-down procedure (by resolution) of tile ID candidate by priority. 選択品質における補正評価値をキーとしたタイルIDの昇順ソート後、選択品質の変更1回実施後の例を示す概念図である。It is a conceptual diagram which shows the example after the change of selection quality is implemented once after the ascending order sort of tile ID which used the correction evaluation value in selection quality as a key. タイルIDの選択品質決定手順(解像度別)を説明するためのフローチャートである。It is a flowchart for demonstrating the selection quality determination procedure (by resolution) of tile ID. 本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。In this embodiment, in a video transmission system in which a double request for a partial video in a gaze area is prohibited, an operation for avoiding a reception delay that occurs when a sudden change in the gaze area occurs is described. It is a flowchart. 本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。In this embodiment, in a video transmission system in which a double request for a partial video in a gaze area is prohibited, an operation for avoiding a reception delay that occurs when a sudden change in the gaze area occurs is described. It is a flowchart. 従来技術による映像伝送システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video transmission system by a prior art. 注視領域の変更例を示す概念図である。It is a conceptual diagram which shows the example of a change of a gaze area | region. 従来技術において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときの動作を説明するためのフローチャートである。10 is a flowchart for explaining an operation when a sudden change of a gaze area occurs in a video transmission system in which a double request for a partial video of a gaze area is prohibited in the related art.

以下、本発明の一実施形態を、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

A.実施形態の構成
本発明では、決められた伝送帯域(Xとする)の中で、注視領域を含み、複数の解像度で符号化されているN個の単位映像を受信したい場合に、各領域の各符号レートY(y1、y2、y3など)に応じた品質(高いレートほどに高い品質)のうち、最低品質が高くなるように、N個の領域の符号レートを定めることを特徴としている。
A. Configuration of Embodiment In the present invention, when it is desired to receive N unit videos encoded in a plurality of resolutions including a gaze area within a predetermined transmission band (X), A feature is that the code rates of N regions are determined so that the minimum quality among the quality (higher quality becomes higher as the rate is higher) corresponding to each code rate Y (y1, y2, y3, etc.).

図1は、本発明の実施形態による映像伝送システムの構成を示すブロック図である。図において、本実施形態による映像伝送システムは、多重化装置10、映像伝送サーバ20、及び映像再生クライアント30からなる。多重化装置10において、解像度変換&映像分割部200は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し(例えば、後述する図2を参照)、小領域の映像データからなるタイル映像を作成する。   FIG. 1 is a block diagram showing a configuration of a video transmission system according to an embodiment of the present invention. In the figure, the video transmission system according to the present embodiment includes a multiplexing device 10, a video transmission server 20, and a video reproduction client 30. In the multiplexing apparatus 10, the resolution conversion & video dividing unit 200 converts the video data into a plurality of resolutions, then divides the video data of each resolution into tiles (see, for example, FIG. 2 to be described later), and outputs a small area video Create a tile video consisting of data.

符号化部201は、これらタイル映像を複数の符号化レートを指定するパラメータ(例えば、ビットレートやQP値など)で符号化・多重化し、映像データを作成する。データ蓄積部202は、タイル分割情報(例えば、後述する図2を参照)、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。   The encoding unit 201 encodes and multiplexes these tile videos with parameters (for example, bit rate and QP value) that specify a plurality of encoding rates, and creates video data. The data storage unit 202 is created in the course of tile division information (for example, see FIG. 2 to be described later), tile video data before encoding, encoded and multiplexed video data for each tile video, and encoding processing. Tile video local decode video data is stored.

評価値計算部203は、データ蓄積部202に蓄積されている映像データを用いて、1フレーム単位(または所定のフレーム単位)毎の評価値を計算し、これら評価値(例えば、後述する図5を参照)、及び各タイル映像と映像符号化データとの対応表(例えば、後述する図4を参照)を、対応テーブル&評価値蓄積部204に蓄積する。   The evaluation value calculation unit 203 uses the video data stored in the data storage unit 202 to calculate an evaluation value for each frame unit (or a predetermined frame unit), and these evaluation values (for example, FIG. 5 described later). And a correspondence table (for example, see FIG. 4 described later) between each tile video and video encoded data is stored in the correspondence table & evaluation value storage unit 204.

映像伝送サーバ20において、データ管理部205は、コマンド受信部206で受信した、映像再生クライアント30からのコマンド(データIDを用いたストリーム要求)に従って、データ蓄積部202へN(≦M)本のストリーム要求を行うことで、データ蓄積部202に蓄積されたM本のストリームからN本のストリームを取り出し、データ送信部207へ転送する。   In the video transmission server 20, the data management unit 205 sends N (≦ M) copies to the data storage unit 202 according to the command (stream request using the data ID) received from the command receiving unit 206 from the video playback client 30. By performing the stream request, N streams are extracted from the M streams stored in the data storage unit 202 and transferred to the data transmission unit 207.

データ送信部207は、N本のストリームを映像再生クライアント30へ送出する。コマンド受信部206は、映像再生クライアント30からのコマンドを受信する。なお、映像再生クライアント30へデータ送信前に、データ送信部207は、タイル分割情報(例えば、後述する図2を参照)をデータ受信部212へ送出する。また、対応テーブル&評価値送信部208は、評価値蓄積部204から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部215へ送出する。   The data transmission unit 207 transmits N streams to the video reproduction client 30. The command receiving unit 206 receives a command from the video playback client 30. Before transmitting data to the video reproduction client 30, the data transmission unit 207 transmits tile division information (for example, see FIG. 2 described later) to the data reception unit 212. Also, the correspondence table & evaluation value transmission unit 208 takes out the correspondence table and evaluation value information from the evaluation value storage unit 204 and sends them to the evaluation value reception unit 215 of the video reproduction client.

映像再生クライアント30において、データ受信部212は、タイル分割情報、及びN本のストリームを受信する。復号化部213は、N本のストリームを復号する。映像表示部214は、復号化された部分映像をタイル分割情報に基づき再構成して表示する。対応テーブル&評価値受信部215は、映像伝送サーバ20から送信される対応テーブル、及び評価値情報を受信し、対応テーブル&評価値蓄積部216に蓄積する。注視領域指定部217は、ユーザから注視領域の変更を受付ける。   In the video reproduction client 30, the data receiving unit 212 receives tile division information and N streams. The decoding unit 213 decodes N streams. The video display unit 214 reconstructs and displays the decoded partial video based on the tile division information. The correspondence table & evaluation value receiving unit 215 receives the correspondence table and evaluation value information transmitted from the video transmission server 20 and stores them in the correspondence table & evaluation value storage unit 216. The gaze area designating unit 217 receives a change of the gaze area from the user.

タイルIDリスト作成部218は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルIDリストを決定し、該当のタイルIDに対応するデータIDを対応テーブルから決定し、該当のデータIDに関連する評価値を、対応テーブル&評価値蓄積部216から取出し、補正評価値計算部210に送出する。補正評価値計算部210は、該当のデータIDに関連する評価値の補正(例えば、各フレーム単位の評価値を一定区間毎に平均化するなどの補正処理)を行う。これにより頻繁なコマンド要求を回避する効果がある。   The tile ID list creation unit 218 determines the tile ID list from the gaze area when the designation of the gaze area of the user is changed, determines the data ID corresponding to the corresponding tile ID from the correspondence table, The evaluation value related to the data ID is extracted from the correspondence table & evaluation value storage unit 216 and sent to the corrected evaluation value calculation unit 210. The corrected evaluation value calculation unit 210 performs correction of the evaluation value related to the corresponding data ID (for example, correction processing such as averaging the evaluation value of each frame unit for each fixed section). This has the effect of avoiding frequent command requests.

コマンド変換部211は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルIDとに基づいて、映像伝送サーバ20に要求するデータIDを決定する。コマンド送信部209は、コマンド変換部211で決定されたデータIDに基づくコマンドを送信する。   The command conversion unit 211 determines a data ID to be requested to the video transmission server 20 based on the correction evaluation value and the tile ID when the gaze area designation is changed and the correction evaluation value is changed. The command transmission unit 209 transmits a command based on the data ID determined by the command conversion unit 211.

なお、多重化装置10におけるデータ蓄積部202と対応テーブル&評価値蓄積部204とを機能統合し、映像伝送サーバ20におけるデータ送信部207と対応テーブル&評価値送信部208とを機能統合し、映像再生クライアント30におけるデータ受信部212と対応テーブル&評価値受信部215とを機能統合するような構成も可能である。   The data storage unit 202 and the correspondence table & evaluation value storage unit 204 in the multiplexing apparatus 10 are functionally integrated, and the data transmission unit 207 and the correspondence table & evaluation value transmission unit 208 in the video transmission server 20 are functionally integrated. A configuration in which the data reception unit 212 and the correspondence table & evaluation value reception unit 215 in the video reproduction client 30 are functionally integrated is also possible.

図2は、解像度変換&映像分割部200による映像データのタイル分割例、及びタイル分割情報(タイルID)の付与例を示す概念図である。映像データは、図2に示すように、複数の解像度、例えば、高解像度、中解像度、及び低解像度に変換された後、各解像度の映像データ毎にタイル分割される。図2の例では、高解像度の映像データは、1つが640×320画素からなるタイルサイズの32個のタイルに分割され、中解像度の映像データは、1つが640×320画素からなるタイルサイズの8個のタイルに分割され、低解像度の映像データは、1つが640×320画素からなるタイルサイズの2個のタイルに分割される。各タイルに付された数字が、タイル分割情報(タイルID)である。高解像度タイルの0,1,2,8,9,10,16,17,18が注視領域1であり、4,5,6,12,13,14,20,21,22が注視領域2であると想定する。   FIG. 2 is a conceptual diagram illustrating an example of tile division of video data by the resolution conversion & video division unit 200 and an example of providing tile division information (tile ID). As shown in FIG. 2, the video data is converted into a plurality of resolutions, for example, high resolution, medium resolution, and low resolution, and then divided into tiles for each resolution of video data. In the example of FIG. 2, high-resolution video data is divided into 32 tiles each having a tile size of 640 × 320 pixels, and medium-resolution video data has a tile size of one having 640 × 320 pixels. Divided into 8 tiles, low-resolution video data is divided into 2 tiles each having a tile size of 640 × 320 pixels. The number given to each tile is tile division information (tile ID). The high resolution tiles 0, 1, 2, 8, 9, 10, 16, 17, and 18 are the gaze area 1, and 4, 5, 6, 12, 13, 14, 20, 21, and 22 are the gaze area 2. Assume that there is.

図3は、高解像度タイルを対象としたデータIDの付与例を示す概念図である。高解像度映像に含まれるタイルについては、各ビットレートでの符号化結果に対し、データIDが付与される。例えば、ビットレートが500Kbpsで映像符号化した場合の映像符号化データIDは、100,101,…,130,131となる。また、ビットレートが1Mbpsで映像符号化した場合の映像符号化データIDは、200,201,…,230,231となる。同様にして、ビットレートが1.5Mbpsで映像符号化した場合の映像符号化データIDは、300,301,・・・,330,331となる。   FIG. 3 is a conceptual diagram showing an example of data ID assignment for a high resolution tile. For tiles included in the high-resolution video, a data ID is assigned to the encoding result at each bit rate. For example, video encoded data IDs when video encoding is performed at a bit rate of 500 Kbps are 100, 101,. Also, the video encoded data ID when the video is encoded at a bit rate of 1 Mbps is 200, 201,..., 230, 231. Similarly, video encoded data IDs when video encoding is performed at a bit rate of 1.5 Mbps are 300, 301,..., 330, 331.

図4は、各タイル映像と映像符号化データとの対応表の一例を示す概念図である。該対応表は、図2に示す高解像度タイルに付与されたタイルIDと、図3に示すビットレートでのデータIDとを対応付けたものである。すなわち、0,1,…,31のタイルIDに対して、ビットレートが500Kbpsでの100,101,…,131のデータIDが対応付けられており、ビットレートが1Mbpsでの200,201,…,231のデータIDが対応付けられており、ビットレートが1.5Mbpsでの300,301,・・・,331のデータIDが対応付けられている。   FIG. 4 is a conceptual diagram showing an example of a correspondence table between each tile video and video encoded data. The correspondence table associates the tile ID assigned to the high resolution tile shown in FIG. 2 with the data ID at the bit rate shown in FIG. That is, tile IDs 0, 1,..., 31 are associated with data IDs 100, 101,..., 131 at a bit rate of 500 Kbps, and 200, 201,. , 231 are associated with each other, and data IDs 300, 301,..., 331 with a bit rate of 1.5 Mbps are associated with each other.

図5は、1フレーム単位(または所定のフレーム単位)毎の評価値の例を示す概念図である。高解像度タイルを対象としてタイルIDにおけるストリームを500kbps、1Mbps、1.5Mbpsで符号化した時のローカルデコード画像のY成分のSNR(Signal Nose Ratio)を評価値としている。   FIG. 5 is a conceptual diagram illustrating an example of an evaluation value for each frame unit (or a predetermined frame unit). The SNR (Signal Nose Ratio) of the Y component of the local decoded image when the stream with the tile ID is encoded at 500 kbps, 1 Mbps, and 1.5 Mbps for the high resolution tile is used as the evaluation value.

次に、本実施形態の映像多重化・伝送方法について詳細に説明する。
ここでは、解像度、符号化ビットレートは3段階とし、入力映像サイズ(高解像度映像サイズ):5120×1280画素、中解像度映像サイズ:2560×640画素、低解像度映像サイズ:1280×320画素、タイルサイズ:640×320画素、ビットレートは、500kbps、1Mbps、1.5Mbpsとした場合の説明を行う。
Next, the video multiplexing / transmission method of this embodiment will be described in detail.
Here, the resolution and the encoding bit rate are set in three stages, input video size (high resolution video size): 5120 × 1280 pixels, medium resolution video size: 2560 × 640 pixels, low resolution video size: 1280 × 320 pixels, tile The case where the size is 640 × 320 pixels and the bit rate is 500 kbps, 1 Mbps, and 1.5 Mbps will be described.

B.多重化装置10の処理
図6は、多重化装置10における処理手順を示すフローチャートである。まず、解像度変換&映像分割部200で、入力映像データを解像度変換した後、タイル分割し(ステップS1101)、図2に示すように、各タイルにタイルIDを付与する(ステップS1102)。次に、符号化部201で、各タイルを複数段階のビットレートで符号化し(ステップS1103)、各ビットレートでの符号化結果に対してデータIDを付与する(ステップS1104)。例えば、高解像度映像に含まれるタイルについては、各ビットレートでの符号化結果に対し、図3に示されるようにデータIDが付与される。
B. Processing of Multiplexing Device 10 FIG. 6 is a flowchart showing a processing procedure in the multiplexing device 10. First, the resolution conversion & video dividing unit 200 converts the resolution of the input video data and then divides the tile (step S1101), and assigns a tile ID to each tile as shown in FIG. 2 (step S1102). Next, the encoding unit 201 encodes each tile at a plurality of bit rates (step S1103), and assigns a data ID to the encoding result at each bit rate (step S1104). For example, for tiles included in a high-resolution video, a data ID is assigned to the encoding result at each bit rate as shown in FIG.

続いて、評価値計算部203で、図4に示すようなタイルIDとデータIDとの対応表を作成し(ステップS1105)、最後に、各データIDに対する評価値を算出する(ステップS1106)。例えば、評価値として、符号化時に作成されるローカルデコード画像のY成分SNRを用いた場合、フレームの関数SNR(f)と表現でき、fはフレーム番号を示す。なぜなら、フレーム毎にSNRが変動するためである。これにより、各タイルのフレーム毎の映像品質が把握できる。   Subsequently, the evaluation value calculation unit 203 creates a correspondence table between tile IDs and data IDs as shown in FIG. 4 (step S1105), and finally calculates an evaluation value for each data ID (step S1106). For example, when the Y component SNR of a local decoded image created at the time of encoding is used as the evaluation value, it can be expressed as a frame function SNR (f), where f indicates a frame number. This is because the SNR varies from frame to frame. Thereby, the video quality for every frame of each tile can be grasped.

ここで、f番目の各フレームのSNR(f)は、次式(1)により算出する。   Here, the SNR (f) of each f-th frame is calculated by the following equation (1).

SNR(f)=10*log10(MAX/MSE(f)) ………………(1) SNR (f) = 10 * log 10 (MAX 2 / MSE (f)) (1)

単位はデシベル[dB]である。MAXは、原画像が取り得る最大画素値である。例えば、ビット深度が8ビットの場合のMAXの値は、255となる。また、数式(1)のMSE(f)とは、フレーム番号fでの平均二乗誤差(Mean Square Error)のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。   The unit is decibel [dB]. MAX is the maximum pixel value that the original image can take. For example, the value of MAX when the bit depth is 8 bits is 255. MSE (f) in Equation (1) is a mean square error at frame number f, and the sum of squares of the difference between the tile-size original image and the local decoded image It is obtained by dividing by the number of pixels of size.

また、符号化部201にてローカルデコード画像が得られない符号化モード(例えば、フルイントラモード)などの場合には、ローカルデコード画像作成(復号化)を符号化手順とは別に行う必要がある。   In the case of an encoding mode (for example, full intra mode) in which a local decoded image cannot be obtained by the encoding unit 201, local decoded image creation (decoding) needs to be performed separately from the encoding procedure. .

C.映像再生クライアント30の処理
次に、本実施形態による映像再生クライアント30の処理手順について説明する。
図7は、本実施形態による映像再生クライアント30において、ユーザの注視領域の指定からコマンド変換部211におけるデータIDの決定方法までの処理手順を示すフローチャートである。まず、タイトルIDリスト作成部218で、注視領域指定部217からのユーザの注視領域の指定から着目解像度を決定し(ステップS1201)、タイトルIDリスト作成部218で、注視領域からタイルIDリストを作成し(ステップS1202)、補正評価値計算部210で、タイルIDリスト中に含まれる各データIDの補正評価値を算出する(ステップS1203)。そして、コマンド変換部211で、補正評価値とタイルIDとからデータIDを決定する(ステップS1204)。
C. Processing of Video Playback Client 30 Next, the processing procedure of the video playback client 30 according to the present embodiment will be described.
FIG. 7 is a flowchart illustrating a processing procedure from the designation of the user's gaze area to the data ID determination method in the command conversion unit 211 in the video playback client 30 according to the present embodiment. First, the title ID list creation unit 218 determines the resolution of interest from the designation of the user's gaze area from the gaze area designation unit 217 (step S1201), and the title ID list creation unit 218 creates the tile ID list from the gaze area. In step S1202, the correction evaluation value calculation unit 210 calculates a correction evaluation value for each data ID included in the tile ID list (step S1203). Then, the command conversion unit 211 determines a data ID from the correction evaluation value and the tile ID (step S1204).

次に、ステップS1201における注視領域から着目解像度の決定方法について説明する。図8は、注視領域から着目解像度の決定方法を説明するための概念図である。ここでは、高解像度パノラマ映像に対して、注視領域を拡大させる(ズームインする)場合と、注視領域を縮小させる(ズームアウトする)場合とで閾値を一致させないことに特徴があり、閾値付近での頻繁な解像度の変更を回避する効果がある。   Next, a method for determining the target resolution from the gaze area in step S1201 will be described. FIG. 8 is a conceptual diagram for explaining a method of determining the target resolution from the gaze area. Here, for high-resolution panoramic images, the threshold is not matched between when the gaze area is enlarged (zoom-in) and when the gaze area is reduced (zoom-out). This has the effect of avoiding frequent resolution changes.

例えば、図8に示すように、注視領域1から注視領域2の拡大操作があった場合、注視領域の横幅Wが閾値Th_out1以上となった場合に、伝送要求をかける映像データの解像度は、高解像度から中解像度に変更される。この拡大操作に続き、注視領域2から注視領域1への縮小操作があった場合には、横幅Wの値は閾値Th_in1を跨ぐことはないため、中解像度から高解像度への変更は発生しない。このように、注視領域の拡大、縮小の際に異なる閾値を用いることで、閾値Th_out1付近で注視領域がユーザの位置調整のため頻繁に拡大、縮小を行う場合などに、頻繁な解像度の変更が発生しなくなる効果がある。なお、縦幅Hの値についても同様の解像度変換処理を追加してもよい。   For example, as shown in FIG. 8, when there is an enlargement operation from the gaze area 1 to the gaze area 2, when the lateral width W of the gaze area is equal to or greater than the threshold Th_out1, the resolution of the video data to which the transmission request is made is high. The resolution is changed to medium resolution. If there is a reduction operation from the gaze area 2 to the gaze area 1 following this enlargement operation, the value of the horizontal width W does not cross the threshold Th_in1, so that the change from the medium resolution to the high resolution does not occur. In this way, by using different threshold values when the gaze area is enlarged or reduced, the resolution is frequently changed when the gaze area is frequently enlarged or reduced in order to adjust the position of the user near the threshold Th_out1. There is an effect that does not occur. A similar resolution conversion process may be added to the value of the vertical width H.

図9は、各解像度におけるタイルIDの対応関係を示す概念図である。図において、高解像度映像サイズを縦横2分の1に縮小したものが中解像度映像サイズ、さらに縦横2分の1に縮小したものが低解像度映像サイズとなっており、各解像度640×320画素のタイルで分割を行っている。なお、ここでは、2段階の縮小率を50%と同率としているが、異なる縮小率としてもよい。また、各解像度におけるタイルサイズを640×320画素としているが、異なるタイルサイズとしてもよい。   FIG. 9 is a conceptual diagram showing the correspondence between tile IDs at each resolution. In the figure, the high-resolution video size reduced to 1/2 in the vertical and horizontal directions is the medium-resolution video size, and the video image reduced to 1/2 in the vertical and horizontal directions is the low-resolution video size, and each resolution is 640 × 320 pixels. The tiles are divided. Here, the two-stage reduction rate is set to the same rate as 50%, but different reduction rates may be used. Further, although the tile size at each resolution is 640 × 320 pixels, it may be a different tile size.

以上の分割による各解像度のタイルIDの対応関係は、中解像度のタイルID=40は、高解像度のタイルID=0,1,8,9に対応する。また、低解像度のタイルID=80は、高解像度のタイルID=0,1,2,3,8,9,10,11,16,17,18,19,24,25,26,27に対応する。他のタイルについても同様の関係が成立する。   With respect to the correspondence relationship between the tile IDs of each resolution by the above division, the medium resolution tile ID = 40 corresponds to the high resolution tile IDs = 0, 1, 8, and 9. The low resolution tile ID = 80 corresponds to the high resolution tile ID = 0, 1, 2, 3, 8, 9, 10, 11, 16, 17, 18, 19, 24, 25, 26, 27. To do. The same relationship holds for other tiles.

映像伝送サーバ20側に、高解像度映像サイズ(入力映像サイズ)とその縮小版の映像を用意し、クライアント側で、ユーザの注視領域が拡大(ズームアウト)するに従い、解像度の低い映像を要求することで、映像表示に適した効率的な映像伝送が可能となる。つまり、ズームアウトすればするほど、パノラマ映像が縮小して表示されるため、低解像度の映像で十分ということである。   A high-resolution video size (input video size) and a reduced version of the video are prepared on the video transmission server 20 side, and a low-resolution video is requested on the client side as the user's gaze area expands (zooms out). Thus, efficient video transmission suitable for video display becomes possible. That is, as the zoom-out is performed, the panoramic image is reduced and displayed, so that a low-resolution image is sufficient.

上述したように、タイトルIDリスト作成部218は、ステップS1201において、解像度を決定した後、ステップS1202において、注視領域からタイルIDリストを作成する。ここで、図10(a)、(b)は、タイルIDの決定方法を説明するための概念図である。例えば、ステップS1201で、高解像度に決定し、図10(a)に示すように、注視領域の左上頂点座標が(x,y)=(960,100)で、注視領域が1920画素×1080画素の場合、タイルIDリストは、図10(b)の網掛け部分のタイルとなる。つまり、タイルIDリストは、1,2,3,4,9,10,11,12,17,18,19,20,25,26,27,28となる。これらが、伝送要求対象となるタイルである。   As described above, after determining the resolution in step S1201, the title ID list creation unit 218 creates a tile ID list from the gaze area in step S1202. Here, FIGS. 10A and 10B are conceptual diagrams for explaining a tile ID determination method. For example, in step S1201, the resolution is determined to be high, and as shown in FIG. 10A, the upper left vertex coordinate of the gaze area is (x, y) = (960, 100), and the gaze area is 1920 pixels × 1080 pixels. In this case, the tile ID list is a tile in the shaded portion in FIG. That is, the tile ID list is 1, 2, 3, 4, 9, 10, 11, 12, 17, 18, 19, 20, 25, 26, 27, 28. These are tiles that are transmission request targets.

次に、補正評価値計算部210は、ステップS1203において、タイルIDリスト中に含まれる各データIDを対応表(図4を参照)から抽出し、映像伝送サーバ20から伝送される評価値(図5を参照)から各データIDに対する補正評価値を算出する。なお、ここでの補正評価値は、一定区間の平均値(平均SNR)などを用いる。これにより、頻繁に評価値が変動し、以下のステップで頻繁なデータIDの決定に変更が行われないように回避する効果がある。   Next, in step S1203, the correction evaluation value calculation unit 210 extracts each data ID included in the tile ID list from the correspondence table (see FIG. 4), and the evaluation value (FIG. 4) transmitted from the video transmission server 20. 5), a corrected evaluation value for each data ID is calculated. Note that, as the correction evaluation value here, an average value (average SNR) of a certain section or the like is used. As a result, the evaluation value frequently fluctuates, and there is an effect of avoiding a change in frequent data ID determination in the following steps.

次に、コマンド変換部211は、ステップS1204において、補正評価値とタイルIDとからデータIDを決定する。なお、補正評価値を用いない場合には、評価値SNR(f)がフレーム毎に変動するため、ステップS1204がフレーム毎に処理されることとなる。   Next, in step S1204, the command conversion unit 211 determines a data ID from the correction evaluation value and the tile ID. Note that when the corrected evaluation value is not used, the evaluation value SNR (f) varies from frame to frame, and thus step S1204 is processed for each frame.

D.データIDの決定処理
次に、コマンド変換部211による、上記ステップS1204の詳細な手順について説明する。
D. Data ID Determination Processing Next, the detailed procedure of step S1204 performed by the command conversion unit 211 will be described.

図11は、補正評価値とタイルIDによるデータIDの決定手順を説明するためのフローチャートである。図11に示すように、高解像度パノラマ映像以外にも伝送される情報がある場合には、高解像度パノラマ映像の伝送に使用できる帯域が最大伝送ビットレートとはならないため、データIDを決定する前に、使用可能帯域Bの算出をする必要がある。   FIG. 11 is a flowchart for explaining the procedure for determining the data ID based on the correction evaluation value and the tile ID. As shown in FIG. 11, when there is information to be transmitted other than the high-resolution panoramic video, the band that can be used for transmission of the high-resolution panoramic video does not become the maximum transmission bit rate. In addition, it is necessary to calculate the usable bandwidth B.

例えば、音声付のパノラマ映像を伝送する場合には、まず、伝送ビットレートの設定を行い(ステップS1301)、Bにその伝送ビットレートを代入する(ステップS1302)。次に、Bから伝送プロトコルヘッダなどのビットレートを減算し(ステップS1303)、さらに、音声のビットレートを引き算する(ステップS1304)。そして、得られた使用可能帯域Bを考慮したデータIDの決定を行う(ステップS1305)。使用可能帯域Bを考慮するとは、残りの使用可能帯域でパノラマ映像を通せるように、データIDの決定をすることを意味している。これにより、伝送レート以下のパノラマ映像を可能とする効果がある。   For example, when transmitting panoramic video with audio, first, the transmission bit rate is set (step S1301), and the transmission bit rate is substituted into B (step S1302). Next, the bit rate such as the transmission protocol header is subtracted from B (step S1303), and the audio bit rate is further subtracted (step S1304). Then, the data ID is determined in consideration of the obtained usable bandwidth B (step S1305). Considering the usable bandwidth B means that the data ID is determined so that the panoramic video can be passed through the remaining usable bandwidth. This has the effect of enabling panoramic video below the transmission rate.

図12は、上述したステップS1305の詳細な処理手順(使用可能帯域を考慮したデータIDの決定手順)を説明するためのフローチャートである。ここで、着目解像度と1つ下の解像度とについて同様の処理を行う理由は、2段階の解像度を伝送するためである。さらに、着目解像度より、1つ下の解像度の伝送対象となる領域を広げることにより、ユーザの注視領域の急激な操作に対しても、映像再生クライアントにて、表示すべきデータがなくなるという問題を解決する。なお、図12では、2段階の解像度を、着目解像度と1つ下の解像度としているが、着目解像度とN個下の解像度としてもよい。   FIG. 12 is a flowchart for explaining the detailed processing procedure of the above-described step S1305 (procedure for determining the data ID in consideration of the usable bandwidth). Here, the reason why the same processing is performed for the target resolution and the next lower resolution is to transmit two levels of resolution. Furthermore, by expanding the transmission target area of the resolution one level lower than the target resolution, there is a problem that there is no data to be displayed in the video playback client even when the user's sudden operation in the gaze area is performed. Solve. In FIG. 12, the two levels of resolution are one resolution lower than the target resolution. However, the resolution may be N resolutions lower than the target resolution.

例えば、図2を参照して説明すると、注視領域1により決定される高解像度のタイルIDリストはタイルID=(0,1,2,8,9,10,16,17,18)であり、中解像度のタイルIDリストはタイルID=(40,41,44,45)であるが、このようなタイルIDの伝送では、着目解像度が高解像度の場合に注視領域1から注視領域2へユーザの急激な操作があった場合に、伝送遅延により表示すべきデータがないという状況が存在してしまう。このため、中解像度のタイルIDリストを広い領域にとり、タイルID=(40,41,42,43,44,45,46,47)のようにすれば、中解像度で映像全体を送信しているため、ユーザの急激な操作に対しても、表示すべき映像がないという状況を回避できる。   For example, referring to FIG. 2, the high-resolution tile ID list determined by the gaze area 1 is tile ID = (0, 1, 2, 8, 9, 10, 16, 17, 18). The tile ID list of medium resolution is tile ID = (40, 41, 44, 45). In such transmission of tile ID, when the resolution of interest is high resolution, the user's gaze area 1 to gaze area 2 is changed. When there is an abrupt operation, there is a situation where there is no data to be displayed due to a transmission delay. For this reason, if the tile ID list of medium resolution is set to a wide area and tile ID = (40, 41, 42, 43, 44, 45, 46, 47), the entire video is transmitted at medium resolution. Therefore, it is possible to avoid a situation in which there is no video to be displayed even when the user performs a rapid operation.

図12において、コマンド変換部211は、まず、優先度によるタイルIDの絞込みを行う(ステップS1401)。該ステップS1401の詳細については、図13及び図14を参照して説明する。   In FIG. 12, the command conversion unit 211 first narrows down tile IDs based on priority (step S1401). Details of step S1401 will be described with reference to FIGS.

図13は、優先度によるタイルID候補の絞込み手順(解像度別)を説明するためのフローチャートである。また、図14は、選択品質における補正評価値をキーとしたタイルIDの昇順ソート後、選択品質の変更を1回実施後の例を示す概念図である。   FIG. 13 is a flowchart for explaining a tile ID candidate narrowing-down procedure (by resolution) according to priority. FIG. 14 is a conceptual diagram showing an example after the selection quality is changed once after the tile IDs are sorted in ascending order using the correction evaluation value in the selection quality as a key.

例えば、ステップS1501の処理解像度が高解像度で、ユーザの注視領域からタイルIDリストが図10のようになった場合、このタイルIDリストに基づいて、対応テーブル&評価値蓄積部216から評価値を取出し、補正評価値を算出し、図14の左表のようなタイルIDと現在の選択品質、各ビットレートでのローカルデコード画像の補正評価値から構成される表を作成する。選択品質における補正評価値をキーとしたソート前の選択品質の列には、すべて最低ビットレートでのローカルデコード画像の補正評価値が設定される。   For example, when the processing resolution in step S1501 is high and the tile ID list is as shown in FIG. 10 from the user's gaze area, the evaluation value is obtained from the correspondence table & evaluation value storage unit 216 based on the tile ID list. Extraction and correction evaluation values are calculated, and a table composed of the tile ID, the current selection quality, and the correction evaluation value of the local decoded image at each bit rate as shown in the left table of FIG. 14 is created. In the selection quality column before sorting using the correction evaluation value in selection quality as a key, the correction evaluation value of the local decoded image at the lowest bit rate is set.

次に、選択品質における補正評価値をキーとして昇順ソートした結果に対し、上から処理優先度を高くする。これにより該当タイルIDを優先度が高いほうから順に選択する(ステップS1501)。続いて、該当タイルIDの最低品質の伝送ビットレートが使用可能帯域以下であるかどうか否かを判定し(ステップS1502)、使用可能帯域以下である場合には、使用可能帯域Bから該当タイルIDの最低品質の伝送ビットレートを減算する(ステップS1503)。次に、該当タイルIDに優先度が次のタイルIDを代入し(ステップS1504)、S1502の前に処理を戻す。そして、タイルIDリストから該当タイルIDリストがなくなったら、絞り込み後のタイルID候補の数を算出する(ステップS1505)。   Next, the processing priority is increased from the top with respect to the result of sorting in ascending order using the correction evaluation value for the selected quality as a key. As a result, the corresponding tile IDs are selected in descending order of priority (step S1501). Subsequently, it is determined whether or not the transmission bit rate with the lowest quality of the corresponding tile ID is equal to or lower than the usable bandwidth (step S1502). The lowest quality transmission bit rate is subtracted (step S1503). Next, the tile ID having the next priority is assigned to the tile ID (step S1504), and the process returns to step S1502. When the corresponding tile ID list disappears from the tile ID list, the number of tile ID candidates after narrowing down is calculated (step S1505).

一方、該当タイルIDの最低品質の伝送ビットレートが使用可能帯域より大である場合(ステップS1502にてNO)には、使用可能帯域ではタイルIDの追加ができないことを意味しており、タイルIDリストから該当タイルID以下の優先度のタイルIDを削除する(S1506)。次に、上記タイルIDの削除後、残ったタイルIDをカウントすることで、絞り込み後のタイルID候補の数を算出する(ステップS1505)。   On the other hand, if the transmission bit rate of the lowest quality of the corresponding tile ID is larger than the usable bandwidth (NO in step S1502), it means that the tile ID cannot be added in the usable bandwidth. A tile ID with a priority equal to or lower than the corresponding tile ID is deleted from the list (S1506). Next, after deleting the tile ID, the number of tile ID candidates after narrowing down is calculated by counting the remaining tile IDs (step S1505).

以上で図12のステップS1401の処理が終了する。続いて、タイルIDリスト数とタイルID候補の数が一致するか否かを判定する(ステップS1402)。図13に示すフローチャートから分かるように、タイルIDリストと絞り込み後のタイルID候補とが一致するとは、タイルIDリストの全てのタイルIDに関して、ステップS1502の判断がすべてYESとなったということを意味しており、処理解像度の全てのタイルに関して、最低品質で伝送可能であることを意味する。   Thus, the process of step S1401 in FIG. 12 ends. Subsequently, it is determined whether or not the number of tile ID lists matches the number of tile ID candidates (step S1402). As can be seen from the flowchart shown in FIG. 13, the fact that the tile ID list matches the narrowed-down tile ID candidate means that the determination in step S1502 is all YES for all tile IDs in the tile ID list. This means that transmission is possible with the lowest quality for all tiles of processing resolution.

一方、タイルIDリスト数とタイルID候補の数が一致しない場合(ステップS1402がNO)場合、着目解像度と最低解像度とが一致するか否かを判定する(ステップS1410)。ここで、着目解像度と最低解像度とが一致しない場合(ステップS1410がNO)には、着目解像度を1つ下の解像度に変更し(ステップS1411)、ステップS1412、つまり、図7のステップS1205へ処理を戻す。   On the other hand, when the number of tile ID lists does not match the number of tile ID candidates (NO in step S1402), it is determined whether the target resolution matches the minimum resolution (step S1410). If the target resolution and the minimum resolution do not match (NO in step S1410), the target resolution is changed to the next lower resolution (step S1411), and the process proceeds to step S1412, that is, step S1205 in FIG. To return.

一方、着目解像度と最低解像度とが一致した場合(ステップS1410がYES)には、ステップS1403へ処理を進める。タイルIDリスト数とタイルID候補の数が一致した場合(ステップS1402がYES)、または、タイルIDリスト数とタイルID候補の数が一致しないものの、目解像度と最低解像度とが一致した場合(ステップS1410のYES)には、着目解像度と最低解像度とが一致しないか否かを判定する(S1403)。   On the other hand, if the resolution of interest matches the minimum resolution (YES in step S1410), the process advances to step S1403. When the number of tile ID lists matches the number of tile ID candidates (YES in step S1402), or when the number of tile ID lists does not match the number of tile ID candidates but the eye resolution matches the minimum resolution (step In S1410 (YES), it is determined whether or not the target resolution does not match the minimum resolution (S1403).

そして、着目解像度が最低解像度と一致しない場合(ステップS1403がYES)には、1つ下の解像度の優先度によるタイルID候補の絞り込みを行い(ステップS1405)、ステップS1406へ処理を進める。一方、着目解像度が最低解像度と一致する場合(ステップS1403がNO)には、ステップS1405の処理をスキップし、ステップS1406へ処理を進める。ステップS1406の詳細な処理については図15を参照して説明する。   If the target resolution does not match the minimum resolution (YES in step S1403), the tile ID candidates are narrowed down by the priority of the next lower resolution (step S1405), and the process proceeds to step S1406. On the other hand, when the target resolution matches the minimum resolution (NO in step S1403), the process of step S1405 is skipped and the process proceeds to step S1406. Detailed processing in step S1406 will be described with reference to FIG.

図15は、タイルIDの選択品質決定手順(解像度別)を説明するためのフローチャートである。タイルIDの選択品質決定手順においては、まず、改善対象タイルIDを決定する(ステップS1601)。該ステップS1601では、まず、図14に示すように、選択品質における補正評価値をキーとしたタイルIDの昇順ソートを実施後、補正評価値の最も低いタイルIDを改善対象として決定する。改善品質が2段階ある場合には、改善対象となる度に1段階の品質改善を行う。例えば、図14の右表は、SNR128が最低値を示した場合であり、選択品質の補正評価値をキーとした昇順ソートを1回実施し、選択品質を1段階上げて、SNR128からSNR228へ変更した例を示している。この後、複数回ソートと選択品質の変更とを繰り返した後、再び、SNR228が最低品質を示した場合、再び、選択品質を1段階上げて、SNR228からSNR328へ変更することで、映像品質の底上げをする。   FIG. 15 is a flowchart for explaining the tile ID selection quality determination procedure (by resolution). In the tile ID selection quality determination procedure, first, an improvement target tile ID is determined (step S1601). In step S1601, first, as shown in FIG. 14, after the tile IDs are sorted in ascending order using the correction evaluation value in the selection quality as a key, the tile ID having the lowest correction evaluation value is determined as an improvement target. When there are two levels of improvement quality, one level of quality improvement is performed each time the improvement is targeted. For example, the right table of FIG. 14 shows a case where the SNR 128 shows the lowest value, and the ascending sort is performed once using the correction evaluation value of the selection quality as a key, and the selection quality is increased by one step, from SNR 128 to SNR 228. A modified example is shown. After that, after repeating sorting and changing the selection quality a plurality of times, if the SNR 228 shows the lowest quality again, the selection quality is raised again by one step and changed from the SNR 228 to the SNR 328. Raise the bottom.

通常、画面全体の映像品質にばらつきがある場合、画面全体の映像品質は、画質が悪い部分に引っ張られ、かつ、映像シーケンス全体の品質は、各フレームの品質の積分であると考えられるため、最低の品質部分から品質を底上げすることは、効率的な品質改善効果を及ぼし、映像品質を最大化すると考えられる。   Normally, if there is a variation in the video quality of the entire screen, the video quality of the entire screen is pulled to the poor image quality, and the quality of the entire video sequence is considered to be an integral of the quality of each frame, Raising the quality from the lowest quality part is considered to have an efficient quality improvement effect and maximize the video quality.

続いて、改善対象のタイルIDが存在するか否かを判定し(ステップS1602)、改善対象のタイルIDが存在する場合(ステップS1602のYES)には、改善品質の伝送ビットレートRIから選択品質の伝送ビットレートRCを減算し、この結果が使用可能帯域B以下であるか否かを判定する(ステップS1603)。そして、使用可能帯域B以下である場合(ステップS1603のYES)には、Bから(RI−RC)を減算する(ステップS1604)。続いて、選択品質を改善品質に変更する(ステップS1605)。最後に、該当タイルIDの補正評価値の更新を行う(ステップS1606)。   Subsequently, it is determined whether or not a tile ID to be improved exists (step S1602). If there is a tile ID to be improved (YES in step S1602), the selected quality is determined from the transmission bit rate RI of improved quality. The transmission bit rate RC is subtracted, and it is determined whether or not the result is equal to or less than the usable bandwidth B (step S1603). If it is equal to or less than the usable bandwidth B (YES in step S1603), (RI-RC) is subtracted from B (step S1604). Subsequently, the selected quality is changed to improved quality (step S1605). Finally, the correction evaluation value of the corresponding tile ID is updated (step S1606).

一方、改善対象のタイルIDが存在しない場合(ステップ1602がNO)には、改善対象がないため、処理を終了する。また、改善品質の伝送ビットレートRIから選択品質の伝送ビットレートRCを減算した結果が使用可能帯域Bより大である場合(ステップS1603のNO)には、使用可能帯域が不足しているため、処理を終了する。   On the other hand, if there is no improvement target tile ID (NO in step 1602), there is no improvement target, and the process ends. Further, when the result of subtracting the transmission bit rate RC of the selected quality from the transmission bit rate RI of the improved quality is larger than the usable bandwidth B (NO in step S1603), the usable bandwidth is insufficient. The process ends.

以上で、図12のステップS1406の処理が終了し、引き続き、着目解像度と最低解像度とが一致していないか否かを判定し(ステップS1407)、着目解像度と最低解像度とが一致していない場合(ステップS1407がYES)には、1つ下の解像度のタイルIDの選択品質の決定を行う(ステップS1408)。最後に、タイルIDと選択品質とからデータIDを決定する(ステップS1409)。   When the processing in step S1406 in FIG. 12 is completed, it is determined whether or not the target resolution and the minimum resolution do not match (step S1407), and the target resolution and the minimum resolution do not match. In step S1407, the selection quality of the tile ID having the next lower resolution is determined (step S1408). Finally, a data ID is determined from the tile ID and the selected quality (step S1409).

一方、着目解像度と最低解像度とが一致している場合(ステップS1407のNO)には、ステップS1408の処理をスキップし、上述したステップS1409へ処理を進める。例えば、図14の右表のような処理結果が得られた場合、タイルID=28、選択品質=SNR228であることから、データIDは228と決定される。   On the other hand, if the target resolution matches the minimum resolution (NO in step S1407), the process of step S1408 is skipped, and the process proceeds to step S1409 described above. For example, when the processing result as shown in the right table of FIG. 14 is obtained, since tile ID = 28 and selection quality = SNR 228, the data ID is determined to be 228.

コマンド変換部211では、上述したようにして決定されたデータIDを用いて、映像データ要求コマンドを作成し、コマンド送信部209より、コマンド送信を行う。   The command conversion unit 211 creates a video data request command using the data ID determined as described above, and transmits a command from the command transmission unit 209.

前述したように、図19に示すように、注視領域1→注視領域3→注視領域2へ急激な変更操作が行われた場合に、注視領域の部分映像の2重要求が禁止されている(前回の部分映像の要求から受信を待って、新規の要求をかける)ケースにおいては、上記変更操作の途中で注視領域3の位置に来たときに、すぐに注視領域3の部分映像の要求をかけると、注視領域3の部分映像の受信処理を待たなくてはいけないため、本来ユーザが目的とする注視領域2の部分映像の要求、受信処理がさらに遅延する。そこで、本実施形態では、注視領域が移動してからN秒以上停止したときのみ新規の要求をかけるような方法に変えるようにしている。   As described above, as shown in FIG. 19, when an abrupt change operation is performed from the gaze area 1 to the gaze area 3 to the gaze area 2, the double request for the partial video in the gaze area is prohibited ( In the case of waiting for reception from the previous partial video request and making a new request), when the position of the gaze area 3 is reached in the middle of the change operation, the partial video request for the gaze area 3 is immediately requested. In other words, since it is necessary to wait for the reception process of the partial video in the gaze area 3, the request for the partial video in the gaze area 2 originally intended by the user and the reception process are further delayed. Therefore, in the present embodiment, the method is changed to a method in which a new request is made only when the gaze area moves and stops for N seconds or longer.

図16、及び図17は、本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。本実施形態では、注視領域が移動を開始すると(ステップS1701)、注視領域の停止時間がN秒以上であるか否かを判定し(ステップS1702)、N秒以上停止したときのみ(ステップS1702のYES)、注視領域の部分映像の要求をかける(ステップS1703)。これにより、注視領域2の部分映像の要求をかけ(ステップS1801)、該注視領域2の部分映像を受信する(ステップS1802)。このように、新規の要求をかけるような方法に変えることで、注視領域移動後の位置(注視領域2)でのみ新規の要求をかける。   FIG. 16 and FIG. 17 show that in this embodiment, in a video transmission system in which a double request for a partial video in the gaze area is prohibited, a reception delay that occurs when a sudden change in the gaze area occurs is avoided. It is a flowchart for demonstrating the operation | movement for. In this embodiment, when the gaze area starts to move (step S1701), it is determined whether or not the gaze area has stopped for N seconds or longer (step S1702), and only when the gaze area has stopped for N seconds or longer (step S1702). YES), a request for a partial image of the gaze area is made (step S1703). As a result, a request for a partial video in the gaze area 2 is made (step S1801), and a partial video in the gaze area 2 is received (step S1802). In this way, by changing to a method in which a new request is made, a new request is made only at the position after the gaze area movement (gaze area 2).

上述した実施形態によれば、高解像度パノラマ映像を複数の同期したタイル映像に分割し、各タイル映像を複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したビットレートおよび解像度でストリームを取り出すとともに、着目解像度より1つ下の解像度も伝送する。   According to the above-described embodiment, the high-resolution panoramic image is divided into a plurality of synchronized tile images, each tile image is encoded at a plurality of bit rates, and the bit rate suitable for the transmission rate from the multiplexed video data and The stream is extracted at the resolution, and the resolution one lower than the target resolution is transmitted.

なお、デコード方法には、2種類あり、着目解像度とそれより1つ下の解像度とを同時にデコードする方法と、着目解像度のみをデコードする方法とがある。後者の方法は、着目解像度が1つ下の解像度になった場合に、その解像度のみをデコードする。   There are two types of decoding methods: a method of simultaneously decoding a target resolution and a resolution one level lower than that, and a method of decoding only the target resolution. In the latter method, when the resolution of interest becomes one lower resolution, only the resolution is decoded.

これにより、以下を可能とする。
1)符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送できる。
2)伝送レート以下で、映像品質を最大化できる。
3)ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像表示できる。
4)注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。
This allows the following:
1) High-resolution panoramic video can be transmitted at a transmission rate or lower without excessively reducing the encoding rate.
2) Video quality can be maximized below the transmission rate.
3) Video can be displayed at a transmission rate or less even when the user rapidly operates the gaze area.
4) It is possible to speed up the reception of the gaze area that the user intends when moving the gaze area.

10 多重化装置
20 映像伝送サーバ
30 映像再生クライアント
200 解像度変換&映像分割部
201 符号化部
202 データ蓄積部
203 評価値計算部
204 対応テーブル&評価値蓄積部
205 データ管理部
206 コマンド受信部
207 データ送信部
208 対応テーブル&評価値送信部
209 コマンド送信部
210 補正評価値計算部
211 コマンド変換部
212 データ受信部
213 復号化部
214 映像表示部
215 対応テーブル&評価値受信部
216 対応テーブル&評価値蓄積部
217 注視領域指定部
218 タイルIDリスト作成部
DESCRIPTION OF SYMBOLS 10 Multiplexer 20 Video transmission server 30 Video reproduction client 200 Resolution conversion & video division part 201 Coding part 202 Data storage part 203 Evaluation value calculation part 204 Correspondence table & evaluation value storage part 205 Data management part 206 Command reception part 207 Data Transmission unit 208 Correspondence table & evaluation value transmission unit 209 Command transmission unit 210 Correction evaluation value calculation unit 211 Command conversion unit 212 Data reception unit 213 Decoding unit 214 Video display unit 215 Correspondence table & evaluation value reception unit 216 Correspondence table & evaluation value Storage unit 217 Gaze area designation unit 218 Tile ID list creation unit

Claims (8)

第1装置が入力映像を符号化・多重化して所定の伝送帯域で第2装置に伝送する映像伝送方法であって、
前記第1装置は
入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第1のステップと、
前記複数の小領域の各々にタイルIDを付与する第2のステップと、
前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第3のステップと、
前記複数の小領域の各ストリームに対する符号化結果に対してデータIDを付与する第4のステップと、
前記複数の小領域の各々に付与されたタイルIDと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータIDとが対応付けられた対応表を作成する第5のステップと、
所定フレーム単位ごとの前記データIDに対応する前記複数の小領域の各ストリームに対する符号化結果に対する評価値を、前記第3のステップが符号化し多重化する前の前記複数の小領域の各ストリームと符号化し多重化した前記複数の小領域の各ストリームとの差分から品質を表す値として計算する第6のステップと、
前記対応表と前記評価値とを送信する第7のステップと、
前記第2装置は、
前記対応表と前記評価値とを受信する第7−1のステップと、
ユーザから指定される注視領域から着目解像度を決定する第8のステップと、
前記対応表に基づいて、前記注視領域に対応する小領域のタイルIDリストを作成する第9のステップと、
前記小領域のタイルIDリスト中に含まれる各小領域のストリームの符号化結果に対するデータIDを前記対応表から抽出し、前記評価値に基づいて、各データIDに対する評価値を一定区間ごとに平均化した一定区間の平均値である補正評価値として算出する第10のステップと、
前記補正評価値と前記小領域のタイルIDとの対応情報から前記符号化レートを特定し、前記対応表に基づいて当該符号化レートに対応する前記小領域のストリームの符号化結果のデータIDを決定する第11のステップと、
前記第11のステップにおいて決定されたデータIDを含むストリーム要求を送信する第11−1のステップと、
前記第1装置は、
前記第11−1のステップにおいて送信された前記ストリーム要求を受信する第11−2のステップと、
前記ストリーム要求に含まれる前記データIDのストリームを送信する第11−3のステップと、
を含み、
前記第8のステップは、
前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第12のステップと、
注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第13のステップと
を含むことを特徴とする映像伝送方法。
A video transmission method in which a first device encodes and multiplexes an input video and transmits it to a second device in a predetermined transmission band,
The first device includes :
A first step of converting the resolution of the input video and dividing the resolution-converted video into a plurality of small areas;
A second step of assigning a tile ID to each of the plurality of small areas;
A third step of encoding and multiplexing each stream of the plurality of small regions with a parameter specifying a plurality of encoding rates;
A fourth step of assigning a data ID to the encoding result for each stream of the plurality of small areas;
A fifth step of creating a correspondence table in which a tile ID assigned to each of the plurality of small areas is associated with a data ID assigned to an encoding result for each stream of the plurality of small areas;
The evaluation value for the encoding result for each stream of the plurality of small areas corresponding to the data ID for each predetermined frame unit, and the stream of the plurality of small areas before the third step encodes and multiplexes them, A sixth step of calculating as a value representing quality from a difference from each stream of the plurality of small regions encoded and multiplexed;
A seventh step of transmitting the correspondence table and the evaluation value;
The second device includes:
A step 7-1 for receiving the correspondence table and the evaluation value;
An eighth step of determining the target resolution from the gaze area designated by the user;
A ninth step of creating a tile ID list of a small area corresponding to the gaze area based on the correspondence table;
A data ID corresponding to the encoding result of each small area stream included in the tile ID list of the small area is extracted from the correspondence table, and an evaluation value for each data ID is averaged for each predetermined section based on the evaluation value. A tenth step of calculating as a corrected evaluation value that is an average value of the fixed interval
The encoding rate is identified from correspondence information between the correction evaluation value and the tile ID of the small area, and the data ID of the encoding result of the stream of the small area corresponding to the encoding rate is determined based on the correspondence table. An eleventh step of determining;
An eleventh step of transmitting a stream request including the data ID determined in the eleventh step;
The first device includes:
A step 11-2 for receiving the stream request transmitted in the step 11-1;
A step 11-3 for transmitting a stream of the data ID included in the stream request;
Including
The eighth step includes
A twelfth step of setting a threshold value for the case where the gaze area is enlarged and the case where the gaze area is reduced to different values;
A thirteenth step of determining the resolution of interest based on the magnitude relationship between the vertical or horizontal width of the gaze area and the threshold ;
A video transmission method comprising:
前記第11のステップは、
伝送ビットレートを設定する第14のステップと、
前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第15のステップと、
前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第16のステップと、
を含み、
前記第16のステップは、
前記補正評価値に基づく優先度に基づいて、前記小領域のタイルIDリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルID候補を絞り込む第17のステップと、
前記タイルID候補における前記着目解像度の前記評価値に基づいて、前記優先度ごとにソートしてタイルID候補と前記着目解像度の前記評価値との対応情報を生成し、生成した対応情報の前記タイルIDごとの前記着目解像度の前記評価値から前記小領域のタイルIDの選択品質を決定する第18のステップと、
前記小領域のタイルIDと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第19のステップと、
を含むことを特徴とする請求項に記載の映像伝送方法。
The eleventh step includes
A fourteenth step of setting a transmission bit rate;
A fifteenth step of calculating a usable bandwidth of the video by subtracting a bit rate based on data unrelated to the video from the transmission bit rate;
A sixteenth step of determining a data ID for the encoding result of the small area stream based on the usable bandwidth of the video;
Including
The sixteenth step includes
A seventeenth step of narrowing down tile ID candidates having a transmission bit rate smaller than the usable bandwidth from the tile ID list of the small area based on the priority based on the correction evaluation value;
Based on the evaluation value of the target resolution in the tile ID candidate, sorting is performed for each priority to generate correspondence information between the tile ID candidate and the evaluation value of the target resolution, and the tile of the generated correspondence information An eighteenth step of determining the selection quality of the tile ID of the small area from the evaluation value of the target resolution for each ID;
A nineteenth step of determining a data ID for an encoding result of the small area stream based on the tile ID of the small area and the selection quality;
The video transmission method according to claim 1 , further comprising:
前記第17のステップは、
前記小領域のタイルIDリストから該当小領域のタイルIDを選択する第20のステップと、
前記小領域のタイルIDの最低品質の伝送ビットレートが使用可能帯域以下であるかを判定する第21のステップと、
前記伝送ビットレートが使用可能帯域以下であると判定された場合、前記使用可能帯域から該当小領域のタイルIDの最低品質の伝送ビットレートを減算し、該当小領域のタイルIDを、優先度が次の小領域のタイルIDに変更し、絞り込み後の小領域のタイルID候補の数を算出する第22のステップと、
前記伝送ビットレートが使用可能帯域以下でないと判定された場合、前記小領域のタイルIDリストから該当小領域のタイルID以下の優先度の小領域のタイルIDを削除する第23のステップと
を更に含むことを特徴とする請求項に記載の映像伝送方法。
The seventeenth step includes
A twentieth step of selecting a tile ID of the corresponding small area from the tile ID list of the small area;
A twenty-first step of determining whether a transmission bit rate of the lowest quality of the tile ID of the small area is equal to or lower than an available band;
When it is determined that the transmission bit rate is equal to or lower than the usable bandwidth, the transmission bit rate of the lowest quality tile ID of the corresponding small area is subtracted from the usable band, and the tile ID of the corresponding small area is assigned a priority. A 22nd step of changing to the tile ID of the next small area and calculating the number of tile ID candidates of the small area after narrowing down;
A 23rd step of deleting a tile ID of a small area having a priority equal to or lower than a tile ID of the corresponding small area from the tile ID list of the small area when it is determined that the transmission bit rate is not equal to or less than an available bandwidth ;
The video transmission method according to claim 2 , further comprising:
前記第18のステップは、
前記小領域のタイルIDリストのうち、前記補正評価値の最も低いタイルIDを改善対象の小領域のタイルIDとして決定する第24のステップと、
前記改善対象の小領域のタイルIDが存在し、かつ現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下である場合、前記使用可能帯域から増加分のビットレートを減算したものを使用可能帯域とし、前記選択品質を前記改善品質に変更し、前記改善対象の小領域のタイルIDの補正評価値を更新する第25のステップと、
前記改善対象の小領域のタイルIDが存在しないか、あるいは、現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下でない場合、当該選択品質の決定処理を終了する第26のステップと、
を含むことを特徴とする請求項に記載の映像伝送方法。
The eighteenth step includes
A 24th step of determining, as a tile ID of a small area to be improved, a tile ID having the lowest correction evaluation value in the tile ID list of the small area;
When the tile ID of the small area to be improved exists and the bit rate of the increase from the current selection quality to the improvement quality is equal to or less than the usable bandwidth, the bit rate of the increased amount is subtracted from the usable bandwidth. A 25th step of changing the selected quality to the improved quality and updating the correction evaluation value of the tile ID of the small area to be improved;
If the tile ID of the small area to be improved does not exist or the bit rate of the increase from the current selection quality to the improvement quality is not less than or equal to the usable bandwidth, the selection quality determination process ends. And the steps
The video transmission method according to claim 2 , further comprising:
前記第1装置は、
前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第27のステップと、
前記決定されたデータIDに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第28のステップと、
前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータIDに対応する、前記注視領域に対応する小領域のストリームを取り出す第29のステップと、
前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第30のステップと、
を更に含むことを特徴とする請求項1に記載の映像伝送方法。
The first device includes:
A twenty-seventh step of storing each of the encoded streams of the plurality of small regions in a data storage unit;
A twenty-eighth step of requesting a stream of a small area corresponding to the gaze area after a predetermined time or more has elapsed since the user specified the gaze area based on the determined data ID;
A thirty-ninth step of extracting a stream of a small area corresponding to the gaze area corresponding to the determined data ID requested by the command from the encoded streams of the plurality of small areas; ,
A thirty-step of transmitting the extracted small area stream corresponding to the gaze area as a final video stream;
The video transmission method according to claim 1, further comprising:
第1装置が入力映像を符号化・多重化して所定の伝送帯域で第2装置に伝送する映像伝送システムであって、
前記第1装置は、
入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第1の手段と、
前記複数の小領域の各々にタイルIDを付与する第2の手段と、
前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第3の手段と、
前記複数の小領域の各ストリームに対する符号化結果に対してデータIDを付与する第4の手段と、
前記複数の小領域の各々に付与されたタイルIDと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータIDとが対応付けられた対応表を作成する第5の手段と、
所定フレーム単位ごとの前記データIDに対する評価値を、前記第3の手段が符号化し多重化する前の前記複数の小領域の各ストリームと符号化し多重化した前記複数の小領域の各ストリームとの差分から品質を表す値として計算する第6の手段と、
前記対応表と前記評価値とを送信する第7の手段と、
前記第2装置は、
前記対応表と前記評価値とを受信する第7−1の手段と、
ユーザから指定される注視領域から着目解像度を決定する第8の手段と、
前記対応表に基づいて、前記注視領域に対応する小領域のタイルIDリストを作成する第9の手段と、
前記小領域のタイルIDリスト中に含まれる各小領域のストリームの符号化結果に対するデータIDを前記対応表から抽出し、前記評価値に基づいて、各データIDに対する評価値を一定区間ごとに平均化した一定区間の平均値である補正評価値として算出する第10の手段と、
前記補正評価値と前記小領域のタイルIDとの対応情報から前記符号化レートを特定し、前記対応表に基づいて当該符号化レートに対応する前記小領域のストリームの符号化結果のデータIDを決定する第11の手段と、
前記第11の手段において決定されたデータIDを含むストリーム要求を送信する第11−1の手段と、
前記第1装置は、
前記ストリーム要求を受信する第11−2の手段と、
前記ストリーム要求に含まれる前記データIDのストリームを送信する第11−3の手段と、
を含み、
前記第8の手段は、
前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第12の手段と、
注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第13の手段と
を含むことを特徴とする映像伝送システム。
A video transmission system in which a first device encodes and multiplexes an input video and transmits it to a second device in a predetermined transmission band,
The first device includes:
A first means for converting the resolution of the input video and dividing each of the converted video into a plurality of small areas;
A second means for assigning a tile ID to each of the plurality of small areas;
A third means for encoding and multiplexing each stream of the plurality of small regions with a parameter specifying a plurality of encoding rates;
A fourth means for assigning a data ID to an encoding result for each stream of the plurality of small areas;
A fifth means for creating a correspondence table in which a tile ID assigned to each of the plurality of small areas is associated with a data ID assigned to an encoding result for each stream of the plurality of small areas;
The evaluation value for the data ID for each predetermined frame unit is encoded with each stream of the plurality of small areas before the third means encodes and multiplexes with each stream of the plurality of small areas encoded and multiplexed. A sixth means for calculating a quality value from the difference;
A seventh means for transmitting the correspondence table and the evaluation value;
The second device includes:
7-1 means for receiving the correspondence table and the evaluation value;
An eighth means for determining the target resolution from the gaze area designated by the user;
A ninth means for creating a tile ID list of a small area corresponding to the gaze area based on the correspondence table;
A data ID corresponding to the encoding result of each small area stream included in the tile ID list of the small area is extracted from the correspondence table, and an evaluation value for each data ID is averaged for each predetermined section based on the evaluation value. A tenth means for calculating as a corrected evaluation value, which is an average value of the fixed interval;
The encoding rate is identified from correspondence information between the correction evaluation value and the tile ID of the small area, and the data ID of the encoding result of the stream of the small area corresponding to the encoding rate is determined based on the correspondence table. An eleventh means for determining;
Eleventh means for transmitting a stream request including the data ID determined in the eleventh means;
The first device includes:
Eleventh means for receiving the stream request;
11th means for transmitting a stream of the data ID included in the stream request;
Including
The eighth means includes
A twelfth means for setting different threshold values for the case where the gaze area is enlarged and the case where the gaze area is reduced;
A thirteenth means for determining the target resolution based on the magnitude relationship between the vertical or horizontal width of the gaze area and the threshold ;
A video transmission system comprising:
前記第11の手段は、  The eleventh means is
伝送ビットレートを設定する第14の手段と、  A fourteenth means for setting a transmission bit rate;
前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第15の手段と、  Fifteenth means for calculating a usable bandwidth of the video by subtracting a bit rate based on data unrelated to the video from the transmission bit rate;
前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第16の手段と、  A sixteenth means for determining a data ID for the encoding result of the stream in the small area based on the usable bandwidth of the video;
を含み、  Including
前記第16の手段は、  The sixteenth means is
前記補正評価値に基づく優先度に基づいて、前記小領域のタイルIDリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルID候補を絞り込む第17の手段と、  Seventeenth means for narrowing down tile ID candidates having a transmission bit rate smaller than the usable bandwidth from the tile ID list of the small area based on the priority based on the correction evaluation value;
前記タイルID候補における前記着目解像度の前記評価値に基づいて、前記優先度ごとにソートしてタイルID候補と前記着目解像度の前記評価値との対応情報を生成し、生成した対応情報の前記タイルIDごとの前記着目解像度の前記評価値から前記小領域のタイルIDの選択品質を決定する第18の手段と、  Based on the evaluation value of the target resolution in the tile ID candidate, sorting is performed for each priority to generate correspondence information between the tile ID candidate and the evaluation value of the target resolution, and the tile of the generated correspondence information An eighteenth means for determining a selection quality of the tile ID of the small area from the evaluation value of the target resolution for each ID;
前記小領域のタイルIDと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータIDを決定する第19の手段と、  Nineteenth means for determining a data ID for the encoding result of the stream of the small area based on the tile ID of the small area and the selection quality;
を含むことを特徴とする請求項6に記載の映像伝送システム。  The video transmission system according to claim 6, further comprising:
前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第27の手段と、  A twenty-seventh means for storing the encoded streams of the plurality of small regions in a data storage unit;
前記決定されたデータIDに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第28の手段と、  28th means for requesting a command for a stream of a small area corresponding to the gaze area after a predetermined time or more has elapsed since the user specified the gaze area based on the determined data ID;
前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータIDに対応する、前記注視領域に対応する小領域のストリームを取り出す第29の手段と、  29th means for extracting a stream of a small area corresponding to the gaze area corresponding to the determined data ID requested by the command from the encoded streams of the plurality of small areas. ,
前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第30の手段と、  30th means for transmitting the extracted small area stream corresponding to the gaze area as a final video stream;
を更に含むことを特徴とする請求項6に記載の映像伝送システム。  The video transmission system according to claim 6, further comprising:
JP2010237905A 2010-03-18 2010-10-22 Video transmission method and video transmission system Expired - Fee Related JP5487074B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010237905A JP5487074B2 (en) 2010-03-18 2010-10-22 Video transmission method and video transmission system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010062607 2010-03-18
JP2010062607 2010-03-18
JP2010237905A JP5487074B2 (en) 2010-03-18 2010-10-22 Video transmission method and video transmission system

Publications (2)

Publication Number Publication Date
JP2011217345A JP2011217345A (en) 2011-10-27
JP5487074B2 true JP5487074B2 (en) 2014-05-07

Family

ID=44946575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010237905A Expired - Fee Related JP5487074B2 (en) 2010-03-18 2010-10-22 Video transmission method and video transmission system

Country Status (1)

Country Link
JP (1) JP5487074B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341660B2 (en) 2014-08-26 2019-07-02 Kabushiki Kaisha Toshiba Video compression apparatus and video playback apparatus

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2810429B1 (en) * 2012-01-30 2020-02-19 SeeScan, Inc. Adjustable variable resolution inspection systems and methods
EP2680527A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US20140313316A1 (en) * 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
JP5915604B2 (en) * 2013-08-30 2016-05-11 ブラザー工業株式会社 Information processing apparatus, program, and information processing method
JP6224516B2 (en) * 2014-05-07 2017-11-01 日本電信電話株式会社 Encoding method and encoding program
JP6551107B2 (en) * 2015-09-24 2019-07-31 ブラザー工業株式会社 Server apparatus, server program, terminal program, moving image transmission method, moving image display method, communication system
KR101716082B1 (en) 2016-04-12 2017-03-14 연세대학교 산학협력단 Method and apparatus for video quality measurement
JP7215229B2 (en) * 2019-03-01 2023-01-31 日本電信電話株式会社 Video quality estimation device, video quality estimation method and program
TWI749676B (en) * 2020-08-03 2021-12-11 緯創資通股份有限公司 Image quality assessment apparatus and image quality assessment method thereof
CN113099245B (en) * 2021-03-04 2023-07-25 广州方硅信息技术有限公司 Panoramic video live broadcast method, system and computer readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205786A (en) * 1997-12-25 1999-07-30 Hewlett Packard Co <Hp> Animation data housing form, animation data transferring system, animation displaying method and storage medium
JP3777327B2 (en) * 2001-12-03 2006-05-24 日本電信電話株式会社 Streaming delivery control method, delivery server, and client terminal
JP2003333569A (en) * 2002-05-13 2003-11-21 Sony Corp File format, information processing system, information processing apparatus and method, recording medium, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341660B2 (en) 2014-08-26 2019-07-02 Kabushiki Kaisha Toshiba Video compression apparatus and video playback apparatus

Also Published As

Publication number Publication date
JP2011217345A (en) 2011-10-27

Similar Documents

Publication Publication Date Title
JP5487074B2 (en) Video transmission method and video transmission system
Park et al. Rate-utility optimized streaming of volumetric media for augmented reality
JP5089658B2 (en) Transmitting apparatus and transmitting method
JP6305279B2 (en) Video compression device and video playback device
JP5326234B2 (en) Image transmitting apparatus, image transmitting method, and image transmitting system
KR102087987B1 (en) Master device, client device, and method for screen mirroring thereof
KR102106103B1 (en) Method and Apparatus for Extracting Video from High Resolution Video
KR20080064966A (en) Multi-view video delivery
US20140282800A1 (en) Video processing device, video reproduction device, video processing method, video reproduction method, and video processing system
Inoue et al. Interactive panoramic video streaming system over restricted bandwidth network
KR20120133006A (en) System and method for providing a service to streaming IPTV panorama image
JP5941000B2 (en) Video distribution apparatus and video distribution method
JP2010220001A (en) Re-encoding apparatus and re-encoding method
JP2014116922A (en) Video playback device and video distribution device
JP2009212821A (en) Content distribution device, reception device, content distribution method, and reception method
KR20140134100A (en) Method for generating user video and Apparatus therefor
JP6987567B2 (en) Distribution device, receiver and program
JP5594842B2 (en) Video distribution device
KR102166054B1 (en) Method and Apparatus for Displaying Streaming Video Transmitted from Network
KR102313527B1 (en) System for cloud streaming service, method of image cloud streaming service to provide a multi-view screen, and apparatus for the same
JP5478346B2 (en) Format conversion apparatus, video distribution apparatus, multiplexing apparatus, format conversion method, video distribution method, and program
KR101603976B1 (en) Method and apparatus for concatenating video files
Nguyen et al. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops
JP5603840B2 (en) Video tile size determination method
JPH1023388A (en) Charging system device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140224

R150 Certificate of patent or registration of utility model

Ref document number: 5487074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees