JP6194973B2 - 動画像復号装置及び動画像復号方法 - Google Patents
動画像復号装置及び動画像復号方法 Download PDFInfo
- Publication number
- JP6194973B2 JP6194973B2 JP2016043701A JP2016043701A JP6194973B2 JP 6194973 B2 JP6194973 B2 JP 6194973B2 JP 2016043701 A JP2016043701 A JP 2016043701A JP 2016043701 A JP2016043701 A JP 2016043701A JP 6194973 B2 JP6194973 B2 JP 6194973B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- decoding
- time
- picture
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000004364 calculation method Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 25
- 230000003111 delayed effect Effects 0.000 claims description 13
- 239000000872 buffer Substances 0.000 description 114
- 238000013139 quantization Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 21
- 239000000945 filler Substances 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 230000001186 cumulative effect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 101150114515 CTBS gene Proteins 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
<構成>
図7は、実施例1による動画像符号化装置100の概略構成の一例を示すブロック図である。動画像符号化装置100は、符号化処理部110と、符号量制御部120と、グループ決定部130と、復号時刻決定部140と、出力時刻決定部150とを有する。
i番目のピクチャP(i)内の各ブロックをdt(i−1)からdt(i)までの間で等間隔にて瞬時復号した場合を考える。この場合、消費した符号化データの累積値グラフf(t)は、ブロック当たりの情報量の下限・上限を設定する等の適切なレート制御により、ブロック伝送遅延を小さくすることが可能である。また、この情報を動画像復号装置に通知することで、ブロックの復号開始最早時刻を更に早めることが可能である。図8を用いて説明する。
対象とするグループの表示遅延を明示的に付加拡張情報とすることで、復号装置の方に最も早い表示タイミングを通知することができ、表示遅延を最小のものとすることができる。例えば、図5に示すようなタイル分割かつグループ分割であった場合の表示遅延の指定方法を図5と図9を用いて説明をする。
ogt(0)=dgt(0)+(dgt(2)−dgt(1))+l/L(dgt(3)−dgt(2)) ・・・式(5)
Lはs43で表されるグループ2内の垂直方向の総ライン数、lはs43で表されるグループ2内でピクチャ右上端が何ライン目かを表す。l/L(dgt(3)−dgt(2))は、グループを復号するために、1グループ時間かかると仮定したとき、s43で表されるグループ2のピクチャ右上端の復号が完了する時刻を表す。
実施例1におけるグループ復号時刻情報の算出方法を説明する。以降の説明は、符号化対象ピクチャに含まれる総ブロック数をMとする。
量子化値算出部121における、ブロックmの量子化値算出方法を以下に説明する。実施例1では、各グループに含まれるブロック数は等しくM/Nとしている。
次に、実施例1における、グループ出力時刻情報の算出方法について説明する。図11は、グループ出力時刻情報の算出を説明するための図である。
動画像符号化装置100は、動画像復号装置と、各ブロックが属するグループ、グループ復号遅延、及びグループ出力遅延を共有するために、少なくとも、各グループに属するブロックを表すグループ情報、グループ復号遅延情報、及びグループ出力遅延情報を出力データストリームに付加して、動画像復号装置へ通知する。出力データストリームは、単に出力ストリームとも呼ぶ。
次に、実施例1における動画像符号化装置100の動作について説明する。図12は、実施例1における動画像符号化処理の一例を示すフローチャートである。
次に、実施例2における動画像復号装置について説明する。実施例2では、実施例1における動画像符号化装置100で符号化されたストリームを適切に復号する。
図14は、実施例2における動画像復号装置200の概略構成の一例を示すブロック図である。動画像復号装置200は、受信バッファ205と、ブロック復号部210と、フレームメモリ211と、グループ出力部212と、復号時刻算出部220と、出力時刻算出部230と、グループ情報抽出部240とを有する。
次に、実施例2における動画像復号装置200の動作について説明する。図15は、実施例2における動画像復号処理の一例を示すフローチャートである。図15に示すステップS300で、グループ情報抽出部240は、各ピクチャの復号開始に当たり、まず、グループ情報をデータストリームから抽出する。
ステップS403で、ブロック復号部210は、グループの出力開始時刻に従い、グループに属する復号ブロックを算出する。
次に、実施例3における動画像符号化装置について説明する、実施例3では、グループ単位でアンダーフローが発生する場合に、どのような処理を行うか規定する。
図17は、実施例3による動画像符号化装置300の概略構成の一例を示すブロック図である。動画像符号化装置301は、符号化処理部310と、符号量制御部320と、グループ決定部330と、復号時刻決定部340と、出力時刻決定部350とを有する。
なお、本実施例では、ピクチャ内のグループにおいてアンダーフローが発生した場合に、Filler Dataを挿入する例を示したが、図17の量子化値算出部321で量子化値を制御することにより、該当ピクチャ全体の情報量を増やし、該当ピクチャを故意にアンダーフローさせることも可能である。
具体的には、図18のように、ピクチャが4個のグループから構成されているとする。ここで最初のグループがdgt(0)でアンダーフローを起こした場合、量子化算出部では、ピクチャの発生情報量を制御し、次のピクチャの到着時刻 dt(0)=dgt(3)でピクチャがアンダーフローを起こすように、グループ1乃至3の量子化器を制御する。同様に、第nのグループでアンダーフローを起こした場合には、第(n+1)番目以降のグループの量子化器を適切に制御することで、該当ピクチャがアンダーフローを起こすようにする。
このように、本実施例では、あるピクチャ内のグループのうち一つのグループでもアンダーフローが発生した場合に、該当ピクチャ全体がアンダーフローとなるように、該当ピクチャの発生情報量を制御する。
まず、図18を用いて、ピクチャ内のグループにおいて、アンダーフローが起こった場合を考える。図18は、アンダーフローの発生を説明するための図である。図18に示すグラフ90のように、基本的に、グループ単位の復号時刻を定義したときも、符号化装置側はSEIメッセージなどの追加情報で復号装置に送る情報通りにスケジューリングされた復号時刻で復号できるように、符号量の調整を行う。
実施例3による動画像符号化装置における、アンダーフロー検出方法、及びピクチャの発生情報量制御方法を以下に示す。
あるいは、バッファ占有量算出部322で、あるピクチャのあるグループでアンダーフローを検出した場合には、該当ピクチャ内の該当グループの次のグループ以降で、該当ピクチャがアンダーフローするよう、量子化値算出部で量子化値を制御してピクチャ全体の発生情報量を制御し、該当ピクチャのアンダーフローを故意に発生させる。
次に、実施例3における動画像符号化装置300の動作について説明する。図20は、実施例3における動画像符号化装置の処理の一例を示すフローチャートである。
[実施例4]
次に、実施例4における動画像復号装置について説明する、実施例4では、実施例3における動画像符号化装置により符号化された符号化データを適切に復号することができる。
図21は、実施例4における動画像復号装置400の概略構成の一例を示すブロック図である。動画像復号装置400は、受信バッファ405と、グループ復号遅延情報抽出部421と、グループ出力遅延情報抽出部431と、グループ復号時刻算出部422と、グループ出力時刻算出部と432と、グループ情報抽出部440と、ブロック復号部410と、フレームメモリ411と、グループ出力部412と、表示制御部413とを有する。
実施例4による動画像復号装置400における、アンダーフロー検出方法、及びビットストリーム編集方法を説明する。
次に、実施例4における動画像復号装置400の動作について説明する。図22は、実施例4における動画像復号装置400の処理の一例を示すフローチャートである。
図23は、動画像処理装置500の概略構成の一例を示すブロック図である。動画像処理装置500は、各実施例で説明した動画像符号化装置、又は動画像復号装置の一例である。図23に示すように、動画像処理装置500は、制御部501、主記憶部502、補助記憶部503、ドライブ装置504、ネットワークI/F部506、入力部507、表示部508を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
(付記1)
動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化装置であって、
複数のブロックに対し、各ブロックの属するグループを決定するグループ構成決定部と、
前記各ブロックの属するグループ情報を出力ストリームに付加するグループ情報付加部と、
前記グループ毎に復号時刻を算出し出力ストリームに付加する復号時刻決定部と、
前記グループ毎に表示時刻を算出し出力ストリームに付加する出力時刻決定部と、
グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで復号装置に伝送された場合に、前記出力時刻決定部より算出された表示時刻により表される時刻までに復号装置の受信バッファに到達するように符号量を制御する符号量制御部と、
前記符号量制御手段の制御情報に基づいて符号化を行う符号化処理部と、
グループに含まれる全てのブロックの復号に必要なデータが前記表示時刻までに復号装置の受信バッファに到達しない場合には、次のピクチャの最初のデータが前記表示時刻までに復号装置の受信バッファに到達しないように制御する情報量制御部と、
を備える動画像符号化装置。
(付記2)
動画像データに含まれる各ピクチャを複数のブロックに分割して符号化する動画像符号化方法であって、
複数のブロックに対し、各ブロックの属するグループを決定し、
前記各ブロックの属するグループ情報を出力ストリームに付加し、
前記グループ毎に復号時刻を算出し出力ストリームに付加し、
前記グループ毎に表示時刻を算出し出力ストリームに付加し、
グループに含まれる全てのブロックの復号に必要なデータが、所定の伝送レートで復号装置に伝送された場合に、前記表示時刻により表される時刻までに復号装置の受信バッファに到達するように符号量を制御し、
前記制御された符号量に基づいて符号化を行い、
グループに含まれる全てのブロックの復号に必要なデータが前記表示時刻までに復号装置の受信バッファに到達しない場合には、次のピクチャの最初のデータが前記表示時刻までに復号装置の受信バッファに到達しないように情報量を制御する処理を
コンピュータが実行する動画像符号化方法。
(付記3)
動画像データに含まれる各ピクチャを複数のブロックに分割して符号化した符号化データを示す入力ストリームを復号する動画像復号装置であって、
前記入力ストリームからグループ情報を抽出するグループ情報抽出部と、
グループ毎に復号時刻情報を算出する復号時刻算出部と、
前記グループ毎に出力時刻を算出する出力時刻算出部と、
前記出力ストリームを受け取り、復号を行い、復号ブロックを出力するブロック復号部と、
前記復号ブロックを保存するフレームメモリと、
前記フレームメモリに保存された前記グループ内の各復号ブロックを出力するグループ出力部と、
前記グループの表示を制御する表示制御部とを備え、
前記ブロック復号部は、前記グループの復号時刻に復号に必要な全データが到達しているかどうかを確認し、
前記表示制御部は、前記グループの復号時刻に復号に必要な全データが到達していない場合には、該当グループの各復号ブロックの代わりに、前記フレームメモリに保存された別の復号ブロックを表示するようにグループ出力部を制御する動画像復号装置。
(付記4)
動画像データに含まれる各ピクチャを複数のブロックに分割して符号化した符号化データを示す入力ストリームを復号する動画像復号方法であって、
前記入力ストリームからグループ情報を抽出し、
グループ毎に復号時刻情報を算出し、
前記グループ毎に出力時刻を算出し、
前記出力ストリームを受け取り、復号を行い、復号ブロックを出力し、
前記復号ブロックをフレームメモリに保存し、
前記フレームメモリに保存された前記グループ内の各復号ブロックを出力し、
前記グループの表示を制御する処理をコンピュータが実行し、
前記復号を行う処理は、前記グループの復号時刻に復号に必要な全データが到達しているかどうかを確認し、
前記表示を制御する処理は、前記グループの復号時刻に復号に必要な全データが到達していない場合には、該当グループの各復号ブロックの代わりに、前記フレームメモリに保存された別の復号ブロックを表示するように制御する動画像復号方法。
200、400 動画像復号装置
500 動画像処理装置
110 符号化処理部
120 符号量制御部
130 グループ決定部
140 復号時刻決定部
142 グループ復号遅延決定部
143 グループ復号遅延情報付加部
150 出力時刻決定部
152 グループ出力遅延決定部
153 グループ出力遅延情報付加部
210 ブロック復号部
212 グループ出力部
221 グループ復号遅延情報抽出部
222 グループ復号時刻算出部
231 グループ出力遅延情報抽出部
232 グループ出力時刻算出部
324 フィラー付加部
413 表示制御部
Claims (2)
- 動画像データに含まれる各ピクチャを複数のブロックに分割して符号化した符号化データを示す入力ストリームを復号する動画像復号装置であって、
前記入力ストリームからグループ情報を抽出するグループ情報抽出部と、
前記入力ストリームから抽出したグループ復号遅延情報と、前記グループ情報抽出部で抽出されたグループ情報からグループ毎に復号時刻を算出する復号時刻算出部と、
前記入力ストリームから抽出したグループ出力遅延情報と、前記グループ情報抽出部で抽出されたグループ情報から、前記ピクチャの先頭グループの出力時刻を算出する出力時刻算出部と、
前記入力ストリームを受け取り、前記復号時刻算出部で算出されたグループ毎の復号時刻に復号を行い、復号ブロックを出力するブロック復号部と、
前記復号ブロックを保存するフレームメモリと、
前記フレームメモリに保存された前記グループ内の各復号ブロックを前記出力時刻算出部で算出された前記ピクチャの先頭グループの出力時刻に出力するグループ出力部と、
前記グループの表示を制御する表示制御部とを備え、
前記ブロック復号部は、前記各グループの復号時刻に復号に必要な全データが到達しているかどうかを受信データに基づいて確認し、
前記表示制御部は、前記グループの復号時刻に、前記グループの復号に必要な全データが到達していない場合には、前記グループの属する前記ピクチャの各復号ブロックの表示時刻を1フレーム分遅らせて表示するように前記グループ出力部を制御する動画像復号装置。 - 動画像データに含まれる各ピクチャを複数のブロックに分割して符号化した符号化データを示す入力ストリームを復号する動画像復号方法であって、
前記入力ストリームからグループ情報を抽出し、
前記入力ストリームから抽出したグループ復号遅延情報と、抽出されたグループ情報からグループ毎に復号時刻を算出し、
前記入力ストリームから抽出したグループ出力遅延情報と、抽出されたグループ情報から、前記ピクチャの先頭グループの出力時刻を算出し、
前記入力ストリームを受け取り、算出されたグループ毎の復号時刻に復号を行い、復号ブロックを出力し、
前記復号ブロックをフレームメモリに保存し、
前記フレームメモリに保存された前記グループ内の各復号ブロックを算出された前記ピクチャの先頭グループの出力時刻に出力し、
前記グループの表示を制御する処理をコンピュータが実行し、
前記復号を行う処理は、前記グループの復号時刻に復号に必要な全データが到達しているかどうかを受信データに基づいて確認し、
前記表示を制御する処理は、前記グループの復号時刻に、前記グループの復号に必要な全データが到達していない場合には、前記グループの属する前記ピクチャの各復号ブロックの表示時刻を1フレーム分遅らせて表示するように制御する動画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043701A JP6194973B2 (ja) | 2016-03-07 | 2016-03-07 | 動画像復号装置及び動画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043701A JP6194973B2 (ja) | 2016-03-07 | 2016-03-07 | 動画像復号装置及び動画像復号方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012104003A Division JP5994367B2 (ja) | 2012-04-27 | 2012-04-27 | 動画像符号化装置、動画像符号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017157645A Division JP6394766B2 (ja) | 2017-08-17 | 2017-08-17 | 動画像符号化装置及び動画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016129419A JP2016129419A (ja) | 2016-07-14 |
JP6194973B2 true JP6194973B2 (ja) | 2017-09-13 |
Family
ID=56384604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043701A Expired - Fee Related JP6194973B2 (ja) | 2016-03-07 | 2016-03-07 | 動画像復号装置及び動画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6194973B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6394766B2 (ja) * | 2017-08-17 | 2018-09-26 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3338425B2 (ja) * | 1994-11-30 | 2002-10-28 | 三洋電機株式会社 | Mpegビデオデコーダ |
JP3969776B2 (ja) * | 1997-01-21 | 2007-09-05 | 沖電気工業株式会社 | 伝送画像復号装置 |
US20040105492A1 (en) * | 2001-01-22 | 2004-06-03 | Goh Kwong Huang | Method and apparatus for video buffer verifier underflow and overflow control |
JP4379779B2 (ja) * | 2003-04-28 | 2009-12-09 | Kddi株式会社 | 映像配信方式 |
WO2008032660A1 (en) * | 2006-09-11 | 2008-03-20 | Panasonic Corporation | Image decoding device, image decoding method, image decoding system, and system lsi |
JP5072893B2 (ja) * | 2009-03-25 | 2012-11-14 | 株式会社東芝 | 画像符号化方法および画像復号化方法 |
JP2011146790A (ja) * | 2010-01-12 | 2011-07-28 | Jvc Kenwood Holdings Inc | 動画像復号装置、及び、動画像復号方法 |
JP2011217082A (ja) * | 2010-03-31 | 2011-10-27 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
JP5521940B2 (ja) * | 2010-09-22 | 2014-06-18 | 富士通株式会社 | 符号化方法、復号化方法、符号化装置及び復号化装置 |
JP5720691B2 (ja) * | 2010-09-30 | 2015-05-20 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
-
2016
- 2016-03-07 JP JP2016043701A patent/JP6194973B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016129419A (ja) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5994367B2 (ja) | 動画像符号化装置、動画像符号化方法 | |
JP6234660B2 (ja) | 動画像復号装置 | |
JP6234659B2 (ja) | 動画像復号装置 | |
JP6194973B2 (ja) | 動画像復号装置及び動画像復号方法 | |
JP6394766B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
US9014274B2 (en) | Video image encoding device, video image encoding method | |
JP6194974B2 (ja) | 動画像復号装置及び動画像復号方法 | |
JP6288129B2 (ja) | 動画像復号装置及び動画像復号方法 | |
JP6146502B2 (ja) | 動画像符号化復号システム及び動画像符号化復号方法 | |
JP6249040B2 (ja) | 動画像復号方法 | |
JP6164324B2 (ja) | 動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6194973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |