JP3534742B1

JP3534742B1 - 動画像復号方法、動画像復号装置、及び動画像復号プログラム

Info

Publication number: JP3534742B1
Application number: JP2003190634A
Authority: JP
Inventors: チュンセンブン; 悟安達; 禎篤加藤; 稔栄藤; ティオケンタン
Original assignee: 株式会社エヌ・ティ・ティ・ドコモ
Priority date: 2002-10-03
Filing date: 2003-07-02
Publication date: 2004-06-07
Anticipated expiration: 2023-07-02
Also published as: ES2401427T3; DK2268035T3; TWI225360B; EP1406452B1; US20040066847A1; KR20040031644A; PT3355584T; US10158871B2; EP2268036A2; US7596178B2; ES2530447T3; EP2268035A2; EP1406452A2; KR100603175B1; JP2004180266A; ES2677237T3; ES2728323T3; US7751481B2; EP2268036A3; PT2268035T

Abstract

【要約】【課題】逆方向フレーム間予測を用いる際に適切な時
間間隔での復号画像出力を得ることが可能な動画像符号
化方法、動画像復号方法、動画像符号化装置、動画像復
号装置、動画像符号化プログラム及び動画像復号プログ
ラムを提供する。【解決手段】動画像処理システムは、動画像符号化装
置１と、動画像復号装置２とを備えて構成される。符号
化装置１は、動画像データＤ０を符号化した符号化デー
タＤ１に加えて、逆方向予測により生じ得る最大遅延時
間を出力する。また、復号装置２は、符号化装置１から
の符号化データＤ１に加えて、逆方向予測により生じ得
る最大遅延時間を入力する。そして、入力した最大遅延
時間を参照しつつ、符号化データＤ１を復号して動画像
データＤ２を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方
法、動画像復号方法、動画像符号化装置、動画像復号装
置、動画像処理システム、動画像符号化プログラム、及
び動画像復号プログラムに関するものである。

【０００２】

【従来の技術】動画像信号の伝送や蓄積、再生を行うた
めに、動画像信号の符号化技術が用いられる。そのよう
な技術として、ITU-T Recommendation H.263（以下H.26
3と呼ぶ）やISO/IEC International Standard 14496-2
（MPEG-4 Visual、以下MPEG-4と呼ぶ）などの国際標準
化動画像符号化方式が知られている。また、より新しい
符号化方式として、ITU-T とISO/IECとの合同国際標準
化が予定されている動画像符号化方式、ITU-T Recommen
dation H.264、ISO/IEC International Standard14496-
10（Joint Final Committee Draft of Joint Video Spe
cification、以下H.26Lと呼ぶ）が知られている。これ
らの動画像符号化方式に用いられている一般的な符号化
技術については、例えば非特許文献１（小野文孝、渡
辺裕共著、「国際標準画像符号化の基礎技術」）に記
載がある。

【０００３】動画像信号は時間的に少しずつ変化する一
枚づつの画像（フレーム）が連続して構成されたもので
あることから、一般的にこれらの動画像符号化方式にお
いては、符号化対象として入力されたフレーム（現フレ
ーム）に対して、他のフレーム（参照フレーム）との間
でフレーム間予測を行って動画像信号における時間的な
冗長度を削減する。この場合フレーム間予測は、現フレ
ームとの変化がより小さい参照フレームとの間で行うこ
とによって、より大きく冗長度を削減し符号化効率を高
めることできる。

【０００４】このため、図６に示すように、現フレーム
Ａ１に対する参照フレームとしては、現フレームＡ１よ
り時間的に前のフレームＡ０だけでなく、時間的に後の
フレームＡ２を用いる場合もある。前のフレームを用い
る場合を順方向予測、後のフレームを用いる場合を逆方
向予測と呼ぶ。またこのとき、両方の予測が任意に選択
されるか、もしくは同時に用いられる場合を双方向予測
と呼ぶ。

【０００５】一般的にこのような双方向予測が用いられ
る場合には、図６に示した例のように、時間的に前のフ
レームの１つが順方向予測の参照フレームとして、また
時間的に後のフレームの１つが逆方向予測の参照フレー
ムとして、現フレームに先んじて予めそれぞれ保持され
る。

【０００６】図７は、図６に示した双方向予測を行った
場合でのフレームの（ａ）復号、及び（ｂ）出力につい
て示す図である。例えばMPEG-4の復号においては、現フ
レームＡ１を双方向フレーム間予測により復号する場合
には、まず現フレームＡ１の復号化に先んじて、現フレ
ームＡ１より時間的に前のフレームの１つであるフレー
ムＡ０、および時間的に後のフレームの１つであるフレ
ームＡ２が、フレーム間予測を用いないフレーム内予測
により復号されたフレーム、もしくは順方向フレーム間
予測により復号されたフレームとして復号され、それら
が参照フレームとして保持される。その後に現フレーム
Ａ１が、保持されたこれら２つのフレームＡ０、Ａ２を
用いて双方向予測により復号される（図７（ａ））。

【０００７】したがってこの場合、時間的に後の参照フ
レームＡ２と現フレームＡ１との復号時間の順序は、そ
れぞれの復号画像の出力時間の順序と逆転することとな
る。なお、これらのフレームＡ０、Ａ１、Ａ２には、そ
れぞれ出力時間情報０、１、２が関連づけられており、
この情報にしたがって各フレームの時間的な前後関係を
知ることができる。このため、それぞれの復号画像は正
しい順序にて出力される（図７（ｂ））。MPEG-4では、
出力時間情報は絶対値として記述されている。

【０００８】また、近年の動画像符号化方式では、図８
に示すように、このようなフレーム間予測において、よ
り現フレームとの変化の小さいフレームからの予測が可
能となるように、順方向、逆方向それぞれの参照フレー
ムを１つだけではなく、複数用いることのできるものが
ある。図８においては、現フレームＢ２に対する参照フ
レームとして、現フレームＢ２より時間的に前の２つの
フレームＢ０、Ｂ１、及び時間的に後の２つのフレーム
Ｂ３、Ｂ４を用いる例を示している。

【０００９】図９は、図８に示した双方向予測を行った
場合でのフレームの（ａ）復号、及び（ｂ）出力につい
て示す図である。例えば、H.26Lの復号においては、予
め定められた参照フレーム数上限までの範囲で参照フレ
ームを複数保持しておくことができ、フレーム間予測を
行う場合には、それらの中から最適なものが任意に指示
されて用いられる。この場合、現フレームＢ２を双方向
予測フレームとして復号する場合には、まず現フレーム
Ｂ２の復号に先んじて参照フレームが復号されるが、こ
の参照フレームとして、現フレームＢ２より時間的に前
のフレームが複数（例えば２つのフレームＢ０、Ｂ
１）、また時間的に後のフレームが複数（例えば２つの
フレームＢ３、Ｂ４）、それぞれ復号されて、参照フレ
ームとして保持される。現フレームＢ２では、それらの
フレームＢ０、Ｂ１、Ｂ３、Ｂ４のなかから予測に用い
るフレームが任意に指示されて予測を行うことができる
（図９（ａ））。

【００１０】したがってこの場合、時間的に後の複数の
参照フレームＢ３、Ｂ４と現フレームＢ２との復号時間
の順序が、出力時間の順序と逆転することとなる。な
お、これらのフレームＢ０〜Ｂ４はそれぞれ出力時間情
報もしくは出力順序情報０〜４が関連づけられており、
この情報にしたがって各フレームの時間的な前後関係を
知ることができる。このため、それぞれの復号画像は正
しい順序にて出力される（図９（ｂ））。出力時間情報
は、絶対値として記述されることが多い。また、出力順
序は、フレーム間隔が一定の場合に用いられる。

【００１１】時間的に後のフレームを予測フレームとし
て用いた逆方向予測による復号を行う場合には、現フレ
ームの復号に先んじて、時間的に後のフレームの復号が
完了しており、予測フレームとして用いることができる
必要がある。この場合に現フレームには復号画像が得ら
れるまでに、逆方向予測が用いられないフレームの場合
と比較して、遅延が生じることとなる。

【００１２】これについて、図１０を参照しつつ以下に
具体的に説明する。尚、図１０は図６及び図７に示した
例に対応している。まず、各フレームＡ０〜Ａ２の符号
化データがフレーム間予測を行うために必要な順序にて
復号され、その間隔はフレームレートに準じた一定の時
間間隔であると仮定し、また復号処理に必要となる時間
はフレーム間予測が用いられるか否かやフレーム間予測
の方向の如何にかかわらず各フレームＡ０〜Ａ２につい
て無視できると仮定する（図１０（ａ））。実際には、
各フレームＡ０〜Ａ２の復号間隔は一定である必要はな
く、各フレームＡ０〜Ａ２の符号化ビット量変動などの
要因により変化し得るが、平均的には一定と見なすこと
ができる。また復号処理に必要となる時間もゼロではな
いが、各フレームＡ０〜Ａ２の間で大きな差がなけれ
ば、以下の説明において大きな問題とはならない。

【００１３】ここで、逆方向予測を行うことによる遅延
や他のフレームとの間で復号時間と出力時間の順序の逆
転がないフレームＡ０（以下、逆方向予測未関連フレー
ムと呼ぶ）において復号画像が得られる時間を、その復
号画像に関連づけられた出力時間として、復号画像の出
力を行うものとする。すると、後に続くフレームが逆方
向予測フレームＡ１であった場合に、この復号画像は時
間的に後となるフレームＡ２よりも後に復号されること
となるため、復号画像が得られるまでには遅延が生じ
る。

【００１４】このため、逆方向予測未関連フレームＡ０
において復号画像が得られる時間を出力時間の基準とし
てしまうと、逆方向予測フレームＡ１における復号画像
をそれに関連づけられた出力時間までに得ることができ
ない（図１０（ｂ））。すなわち、逆方向予測未関連フ
レームＡ０の復号画像と逆方向予測フレームＡ１の復号
画像との出力時間間隔が、本来の間隔よりも逆方向予測
を行う際に必要な遅延時間だけ開いて空いてしまうこと
となり、不自然な動画像出力となってしまう。

【００１５】したがって、動画像符号化において逆方向
フレーム間予測が用いられる場合には、図１０（ｃ）に
示すように、逆方向予測未関連フレームＡ０においても
予め逆方向予測を行う際に必要となる遅延時間だけ復号
画像の出力時間を遅延させておき、逆方向予測フレーム
Ａ１との出力時間間隔を正しく扱うことができるように
する必要がある。

【００１６】従来では逆方向フレーム間予測は、予測の
選択肢が増えることとなるため計算量が増大し簡易な機
器では実現が難しいこと、またテレビ会議といった双方
向での対話がなされる実時間通信においては遅延時間の
増加が望ましくないことから、テレビ放送やその蓄積な
ど、高ビットレートでの符号化がなされ、常にテレビ放
送信号と同じ３０フレーム／秒の固定フレームレートが
用いられる条件での動画像符号化において用いられてき
た。

【００１７】この場合には、例えばMPEG-4のように時間
的に後のフレームの１つを逆方向予測の参照フレームと
して用いる符号化において、逆方向予測を行う際に必要
となる遅延時間は一定である。例えば、上記のように３
０フレーム／秒のフレームレートが用いられる場合、遅
延時間は各フレームの時間間隔、すなわち１／３０秒と
なる。したがって、逆方向予測未関連フレームにおいて
復号画像の出力時間を遅延させるべき時間は、一律に１
／３０秒とすることができる。

【００１８】

【非特許文献１】小野文孝、渡辺裕共著、「国際標
準画像符号化の基礎技術」、コロナ社、1998年3月20日

【００１９】

【発明が解決しようとする課題】しかしながら近年で
は、計算機能力の向上とともに映像サービスの多様化が
進んでいることに伴い、インターネットや移動通信にお
ける映像配信など、遅延が許容され、かつ低ビットレー
トでの符号化が求められる動画像符号化が用いられるよ
うになってきている。低ビットレートでの符号化を実現
するためには、３０フレーム／秒よりも小さなフレーム
レートが用いられたり、また符号化ビットレートを制御
するためにフレームレートが動的に変更される可変フレ
ームレートが用いられたりする。

【００２０】このような動画像符号化において、より符
号化効率を高めるために上述した逆方向予測を用いた場
合、逆方向予測による遅延時間は従来のように１／３０
秒とはならない。また、可変フレームレートが用いられ
る場合には、フレームレートは一定とはならない。例え
ば、一時的に小さなフレームレートが用いられた場合に
は、そこでの各フレームの時間間隔は大きくなるため、
逆方向予測未関連フレームにおいて復号画像の出力時間
を遅延させるべき時間が一意には決まらない。このた
め、逆方向予測未関連フレームの復号画像と逆方向予測
フレームの復号画像との出力時間間隔を正しく扱うこと
ができなくなってしまう。

【００２１】このとき、予め逆方向予測を行う際に生じ
得る遅延時間を大きく見込み、常にこの遅延時間だけ逆
方向予測未関連フレームの復号画像の出力時間を遅延さ
せることにより、逆方向予測フレームの復号画像との出
力時間間隔を正しく扱うこともできる。しかしながらこ
の場合、実際の逆方向予測における遅延時間に関わら
ず、常に復号画像の出力時間に大きな遅延が付加される
こととなってしまう。

【００２２】また、H.26Lのように、逆方向予測におい
て複数の参照フレームが用いられる場合には、現フレー
ムの復号に先んじて、時間的に後のフレームであるそれ
らの参照フレームすべての復号が完了している必要があ
る。このため、逆方向予測を行う際に必要となる遅延時
間は、さらに増大することになる。

【００２３】またこの場合、逆方向予測において用いら
れる参照フレーム数は、現フレームよりも以前に復号さ
れた、現フレームよりも時間的に後となるフレームの数
として一意に決まるため、予め定められた参照フレーム
数上限までの範囲で、参照フレーム数を任意に変化させ
ることができてしまう。

【００２４】例えば、参照フレーム数上限が４であれ
ば、図８に示したように逆方向予測において用いられる
参照フレーム数は２でも良いが、図１１（ａ）に示すよ
うに、これを１としても良いし、あるいは図１１（ｂ）
に示すように、３としても良い。このように参照フレー
ム数を変化させることが可能であるため、逆方向予測を
行う際に必要な遅延時間は大きく変化し得ることにな
る。これにより、逆方向予測未関連フレームの復号画像
と逆方向予測フレームの復号画像との出力時間間隔を正
しく扱うことができなくなってしまう。

【００２５】このとき、逆方向予測において用いること
のできる最大の参照フレーム数は、参照フレーム数上限
よりも大きくなることはないことから、この参照フレー
ム数上限に応じた遅延時間が逆方向予測を行う際に生じ
得る最大の遅延時間となる。したがって、常にこの遅延
時間だけ逆方向予測未関連フレームの復号画像の出力時
間を遅延させることにより、逆方向予測フレームの復号
画像との出力時間間隔を正しく扱うこともできる。

【００２６】しかしながら、この場合、実際に逆方向予
測フレームにおいて用いられる参照フレーム数に関わら
ず、常に復号画像の出力時間に大きな遅延が付加される
こととなってしまう。また上述のような可変フレームレ
ートが用いられている場合には、最大の参照フレーム数
が一意に決まっても、最大の遅延時間を一意に決めるこ
とはできなくなってしまう。

【００２７】このように従来では、動画像符号化におい
て逆方向予測を用いる場合には、固定フレームレートが
用いられることが明らかである場合を除き、逆方向予測
を行う際に必要な遅延時間を一意に決めることができな
い。このため、逆方向予測未関連フレームの復号画像と
逆方向予測フレームの復号画像との出力時間間隔を正し
く扱うことができなくなり、不自然な動画像出力となっ
てしまうという問題があった。

【００２８】また、逆方向予測において複数の参照フレ
ームが用いられる場合にも、参照フレーム数が変化し得
ることから、遅延時間が変化し得る。したがって、逆方
向予測未関連フレームの復号画像と逆方向予測フレーム
の復号画像との時間間隔を正しく扱うことができなくな
ってしまうという問題があった。また、これに対処する
ために常に最大の遅延時間を想定した場合には、常に復
号画像の出力時間に大きな遅延が付加されてしまう問題
があった。

【００２９】本発明は、以上の問題点を解決するために
なされたものであり、逆方向フレーム間予測を用いる際
に適切な時間間隔での復号画像出力を得ることが可能な
動画像符号化方法、動画像復号方法、動画像符号化装
置、動画像復号装置、動画像符号化プログラム、及び動
画像復号プログラムを提供することを目的とする。

【００３０】

【課題を解決するための手段】このような目的を達成す
るために、本発明に係る動画像符号化方法は、符号化対
象となるフレームを入力する入力ステップと、フレーム
を所定の方法で符号化して符号化データを生成する符号
化ステップと、復号の際における、復号時間からフレー
ムを表示するための出力時間までの遅延させる時間によ
って、フレームの最大遅延時間を求める最大遅延時間計
算ステップと、符号化データに加えて最大遅延時間を出
力する出力ステップとを備えることを特徴とする。

【００３１】同様に、本発明に係る動画像符号化装置
は、符号化対象となるフレームを入力する入力手段と、
フレームを所定の方法で符号化して符号化データを生成
する符号化手段と、復号の際における、復号時間からフ
レームを表示するための出力時間までの遅延させる時間
によって、フレームの最大遅延時間を求める最大遅延時
間計算手段と、符号化データに加えて最大遅延時間を出
力する出力手段とを備えることを特徴とする。

【００３２】このように、本発明に係る動画像符号化方
法及び装置においては、連続するフレームによって構成
された動画像を符号化する際に、フレームの最大遅延時
間を求めている。これにより、逆方向フレーム間予測を
用いる際に、適切な時間間隔での復号画像出力を得るこ
とが可能となる。

【００３３】また、本発明に係る動画像符号化プログラ
ムは、符号化対象となるフレームを入力する入力処理
と、フレームを所定の方法で符号化して符号化データを
生成する符号化処理と、復号の際における、復号時間か
らフレームを表示するための出力時間までの遅延させる
時間によって、フレームの最大遅延時間を求める最大遅
延時間計算処理と、符号化データに加えて最大遅延時間
を出力する出力処理とをコンピュータに実行させること
を特徴とする。

【００３４】このように、本発明に係る動画像符号化プ
ログラムにおいては、動画像を符号化する際に、フレー
ムの最大遅延時間を求める処理をコンピュータに実行さ
せることとしている。これにより、逆方向フレーム間予
測を用いる際に、適切な時間間隔での復号画像出力を得
ることが可能となる。

【００３５】本発明に係る動画像復号方法は、所定の方
法で符号化されたフレームの符号化データ、フレームの
復号時間、及び最大遅延時間を含む画像データを入力す
る入力ステップと、符号化データを復号し、再生画像を
生成する復号ステップと、逆方向予測未関連フレームに
ついては、復号時間から最大遅延時間だけ遅延させた時
間を、逆方向予測未関連フレームを表示するための出力
時間とする画像出力時間計算ステップとを備えることを
特徴とする。

【００３６】同様に、本発明に係る動画像復号装置は、
所定の方法で符号化されたフレームの符号化データ、フ
レームの復号時間、及び最大遅延時間を含む画像データ
を入力する入力手段と、符号化データを復号し、再生画
像を生成する復号手段と、逆方向予測未関連フレームに
ついては、復号時間から最大遅延時間だけ遅延させた時
間を、逆方向予測未関連フレームを表示するための出力
時間とする画像出力時間計算手段とを備えることを特徴
とする。

【００３７】このように、本発明に係る動画像復号方法
及び装置においては、入力された符号化データを復号し
て動画像を生成する際に、最大遅延時間に基づいてフレ
ームを表示するための出力時間を求めている。これによ
り、逆方向フレーム間予測を用いる際に、適切な時間間
隔での復号画像出力を得ることが可能となる。

【００３８】また、本発明に係る動画像復号プログラム
は、所定の方法で符号化されたフレームの符号化デー
タ、フレームの復号時間、及び最大遅延時間を含む画像
データを入力する入力処理と、符号化データを復号し、
再生画像を生成する復号処理と、逆方向予測未関連フレ
ームについては、復号時間から最大遅延時間だけ遅延さ
せた時間を、逆方向予測未関連フレームを表示するため
の出力時間とする画像出力時間計算処理とをコンピュー
タに実行させることを特徴とする。

【００３９】このように、本発明に係る動画像復号プロ
グラムにおいては、符号化データを復号して動画像を生
成する際に、最大遅延時間に基づいてフレームを表示す
るための出力時間を求める処理をコンピュータに実行さ
せることとしている。これにより、逆方向フレーム間予
測を用いる際に、適切な時間間隔での復号画像出力を得
ることが可能となる。

【００４０】また、動画像符号化方法は、他のフレーム
との間でフレーム間予測を行う動画像符号化方法であっ
て、逆方向予測により生じ得る最大遅延時間を出力する
ことを特徴とする。

【００４１】同様に、動画像符号化装置は、他のフレー
ムとの間でフレーム間予測を行う動画像符号化装置であ
って、逆方向予測により生じ得る最大遅延時間を出力す
ることを特徴とする。

【００４２】同様に、動画像符号化プログラムは、他の
フレームとの間でフレーム間予測を行う動画像符号化を
コンピュータに実行させるための動画像符号化プログラ
ムであって、逆方向予測により生じ得る最大遅延時間を
出力する処理をコンピュータに実行させることを特徴と
する。

【００４３】このように、動画像符号化方法、装置、及
びプログラムにおいては、動画像を符号化して出力する
際に、符号化データに加えて、逆方向予測に伴う最大遅
延時間を出力することとしている。これにより、逆方向
フレーム間予測を用いる際に、適切な時間間隔での復号
画像出力を得ることが可能となる。

【００４４】また、動画像復号方法は、他のフレームと
の間でフレーム間予測を行う動画像復号方法であって、
逆方向予測により生じ得る最大遅延時間を入力すること
を特徴とする。

【００４５】同様に、動画像復号装置は、他のフレーム
との間でフレーム間予測を行う動画像復号装置であっ
て、逆方向予測により生じ得る最大遅延時間を入力する
ことを特徴とする。

【００４６】同様に、動画像復号プログラムは、他のフ
レームとの間でフレーム間予測を行う動画像復号をコン
ピュータに実行させるための動画像復号プログラムであ
って、逆方向予測により生じ得る最大遅延時間を入力す
る処理をコンピュータに実行させることを特徴とする。

【００４７】このように、動画像復号方法、装置、及び
プログラムにおいては、入力された符号化データを復号
して動画像を生成する際に、符号化データに加えて、逆
方向予測に伴う最大遅延時間を入力することとしてい
る。これにより、逆方向フレーム間予測を用いる際に、
適切な時間間隔での復号画像出力を得ることが可能とな
る。

【００４８】動画像符号化方法、符号化装置、及び符号
化プログラムにおいて出力される最大遅延時間として
は、逆方向フレーム間予測を行うフレームの発生時間か
ら、逆方向予測の参照フレームとして用いることのでき
る時間的に最も後のフレームの発生時間までの時間差を
最大遅延時間とすることが好ましい。

【００４９】また、最大遅延時間の適用に関しては、最
大遅延時間が符号化データ全体に適用される情報として
出力されることを特徴としてもよい。あるいは、最大遅
延時間が各フレームに適用される情報として出力される
ことを特徴としてもよい。あるいは、最大遅延時間がこ
の最大遅延時間が通知されるフレーム及びそのフレーム
よりも時間的に後の各フレームに適用される情報として
任意に出力されることを特徴としてもよい。

【００５０】また、動画像復号方法、復号装置、及び復
号プログラムにおいて入力される最大遅延時間について
は、他のフレームとの間で復号時間と出力時間の順序の
逆転がないフレームにおける、復号時間とそのフレーム
に関連づけられた復号画像出力時間との時間差を最大遅
延時間とすることが好ましい。あるいはさらに、その最
大遅延時間に基づいて以降の復号画像出力時間の基準を
設定することが好ましい。

【００５１】また、最大遅延時間の適用に関しては、最
大遅延時間が符号化データ全体に適用される情報として
入力されることを特徴としてもよい。あるいは、最大遅
延時間が各フレームに適用される情報として入力される
ことを特徴としてもよい。あるいは、最大遅延時間がこ
の最大遅延時間が通知されるフレーム及びそのフレーム
よりも時間的に後の各フレームに適用される情報として
任意に入力されることを特徴としてもよい。

【００５２】本発明に係る動画像処理システムは、動画
像の符号化装置と復号装置とを含んで構成された動画像
処理システムであって、符号化装置は、上記した動画像
符号化装置からなり、復号装置は、上記した動画像復号
装置からなることを特徴とする。

【００５３】このように、動画像処理システムは、逆方
向予測に伴う最大遅延時間をそれぞれ出力及び入力する
動画像符号化装置及び動画像復号装置を用いて構成され
ている。これにより、逆方向フレーム間予測を用いる際
に、適切な時間間隔での復号画像出力を得ることが可能
な動画像処理システムが実現される。

【００５４】

【発明の実施の形態】以下、図面とともに本発明による
動画像符号化方法、動画像復号方法、動画像符号化装
置、動画像復号装置、動画像符号化プログラム、及び動
画像復号プログラムの好適な実施形態について詳細に説
明する。なお、図面の説明においては同一要素には同一
符号を付し、重複する説明を省略する。

【００５５】まず、本発明における動画像の符号化及び
復号の概略について説明する。図１は、本発明による動
画像符号化装置、動画像復号装置、及び動画像処理シス
テムの概略構成を示すブロック図である。本動画像処理
システムは、動画像符号化装置１と、動画像復号装置２
とを備えて構成されている。以下、動画像符号化装置
１、動画像復号装置２、及び動画像処理システムについ
て、それらにおいて実行される動画像符号化方法、及び
動画像復号方法とともに説明する。

【００５６】動画像符号化装置１は、動画像の伝送や蓄
積、再生を行うために、画像（フレーム）が連続して構
成された動画像データＤ０を符号化して、符号化データ
Ｄ１として出力する装置である。また、動画像復号装置
２は、入力された符号化データＤ１を復号して、フレー
ムが連続して構成された復号後の動画像データＤ２を生
成する装置である。また、動画像符号化装置１と動画像
復号装置２との間は、符号化データＤ１等の必要なデー
タを伝送するため、有線または無線の所定のデータ伝送
路によって接続されている。

【００５７】動画像符号化装置１で行われる動画像の符
号化においては、上述したように、符号化対象として入
力された動画像データＤ０のフレームに対して、参照フ
レームとなる他のフレームとの間でフレーム間予測を行
って、動画像データにおける冗長度を削減する。図１に
示した動画像処理システムにおいては、動画像符号化装
置１は、このフレーム間予測について、時間的に後のフ
レームからの逆方向フレーム間予測を行う。さらに、こ
の動画像符号化装置１は、符号化データＤ１に加えて、
逆方向予測により生じ得る最大遅延時間を出力する。

【００５８】また、このような動画像符号化装置１に対
応して、動画像復号装置２は、動画像符号化装置１から
の符号化データＤ１に加えて、逆方向予測により生じ得
る最大遅延時間を入力する。そして、入力された最大遅
延時間を参照しつつ、符号化データＤ１を復号して動画
像データＤ２を生成する。

【００５９】このように、逆方向フレーム間予測に対し
て、最大遅延時間を出力する動画像符号化装置１及び動
画像符号化方法、最大遅延時間を入力する動画像復号装
置２及び動画像復号方法、及びそれらの装置１、２を備
える動画像処理システムによれば、逆方向フレーム間予
測を用いてフレーム間予測を行う場合に、適切な時間間
隔での復号画像出力を得ることが可能となる。

【００６０】ここで、動画像符号化において出力される
最大遅延時間については、例えば、逆方向フレーム間予
測を行うフレームの発生時間から、逆方向予測の参照フ
レームとして用いることのできる時間的に最も後のフレ
ームの発生時間までの時間差を最大遅延時間とすること
ができる。

【００６１】また、動画像復号において入力される最大
遅延時間については、例えば、逆方向フレーム間予測を
行うことによる遅延、及び他のフレームとの間で復号時
間と出力時間の順序の逆転がないフレームにおける、復
号時間（以下、Ｔｒとする）と当該フレームに関連づけ
られた復号画像出力時間（以下、Ｔｏとする）との時間
差を最大遅延時間（以下、dpb＿output＿delayとする）
とすることができる。この場合、その最大遅延時間に基
づいて以降の復号画像出力時間の基準を設定することが
好ましい。

【００６２】また、最大遅延時間の適用については、符
号化データ全体に適用する方法、または各フレームに適
用する方法がある。あるいは、最大遅延時間の情報が通
知された以降の各フレーム、すなわち、最大遅延時間が
通知されるフレーム及びそのフレームよりも時間的に後
の各フレームに適用する方法がある。これらの最大遅延
時間の出力、入力、及び適用等については具体的には後
述する。

【００６３】上記した動画像符号化装置１において実行
される動画像符号化方法に対応する処理は、動画像符号
化をコンピュータに実行させるための動画像符号化プロ
グラムによって実現可能である。また、動画像復号装置
２において実行される動画像復号方法に対応する処理
は、動画像復号をコンピュータに実行させるための動画
像復号プログラムによって実現可能である。

【００６４】例えば、動画像符号化装置１は、動画像符
号化の処理動作に必要な各ソフトウェアプログラムなど
が記憶されるＲＯＭと、プログラム実行中に一時的にデ
ータが記憶されるＲＡＭとが接続されたＣＰＵによって
構成することができる。このような構成において、ＣＰ
Ｕによって所定の動画像符号化プログラムを実行するこ
とにより、動画像符号化装置１を実現することができ
る。

【００６５】同様に、動画像復号装置２は、動画像復号
の処理動作に必要な各ソフトウェアプログラムなどが記
憶されるＲＯＭと、プログラム実行中に一時的なデータ
が記憶されるＲＡＭとが接続されたＣＰＵによって構成
することができる。このような構成において、ＣＰＵに
よって所定の動画像復号プログラムを実行することによ
り、動画像復号装置２を実現することができる。

【００６６】また、動画像符号化または動画像復号のた
めの各処理をＣＰＵによって実行させるための上記した
プログラムは、コンピュータ読取可能な記録媒体に記録
して頒布することが可能である。このような記録媒体に
は、例えば、ハードディスク及びフロッピーディスクな
どの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの
光学媒体、フロプティカルディスクなどの磁気光学媒
体、あるいは、プログラム命令を実行または格納するよ
うに特別に配置された、例えばＲＡＭ、ＲＯＭ、及び半
導体不揮発性メモリなどのハードウェアデバイスなどが
含まれる。

【００６７】以下、図１に示した動画像符号化装置、動
画像復号装置、それらを備える動画像処理システム、及
び対応する動画像符号化方法、動画像復号方法につい
て、具体的な実施形態とともに説明する。以下の説明で
は、動画像の符号化及び復号について、H.26Lをもとに
して実現することとして説明を行い、動画像符号化にお
ける動作について特に触れていない部分については、H.
26Lの動作に準じるものとする。ただし、本発明は、H.2
6Lに限られるものではない。

【００６８】（第１実施形態）まず、本発明の第１実施
形態について説明する。本実施形態では、固定フレーム
レートによる符号化がなされる場合の実施の形態を示
す。本実施形態による符号化においては、逆方向予測に
用いる最大参照フレーム数を決定し、この最大参照フレ
ーム数と符号化に用いるフレームレートとにより最大遅
延時間を算出し出力する。また本実施形態による復号に
おいては、逆方向予測未関連フレームの復号の際にその
復号画像の出力時間を、入力された最大遅延時間だけ遅
延させる。またその出力時間への遅延時間を、以降のす
べてに一様に適用し、逆方向予測未関連フレームの復号
画像と逆方向予測フレームの復号画像との出力時間間隔
が、本来の間隔から変化してしまうことを防ぐ。

【００６９】符号化においては、まず、用いられる参照
フレーム数上限が予め定められていることからこれを越
えない範囲で、逆方向予測に用いる最大参照フレーム数
を決定する。次に、これも予め定められた符号化に用い
るフレームレートに基づき、最大遅延時間を、逆方向予
測に用いる最大参照フレーム数に応じた１つ又は複数の
フレームの時間間隔として算出する。

【００７０】図２は、双方向予測を行った場合でのフレ
ームの符号化の一例について示す図である。ここで、こ
の図２においては、現フレームＦ２に対する参照フレー
ムとして、現フレームＦ２より時間的に前の２つのフレ
ームＦ０、Ｆ１、及び時間的に後の２つのフレームＦ
３、Ｆ４を用いる例を示している。

【００７１】図２に示すように、逆方向予測に用いる最
大参照フレーム数を２、フレームレートを１５フレーム
／秒とすれば、１つのフレームの時間間隔は１／１５秒
である。したがって、この場合、最大遅延時間は２×
（１／１５）＝２／１５秒となる。

【００７２】符号化においては、以降は最大遅延時間を
超える遅延時間が必要となる逆方向予測が行われること
のないように、各フレームの符号化を制御する。具体的
には、逆方向予測に用いる参照フレーム、すなわち現フ
レームよりも時間的に後となるフレームが、逆方向予測
に用いる最大参照フレーム数を越えて現フレームよりも
先に符号化され出力されることがないように、各フレー
ムの符号化の順序を制御する。

【００７３】図３は、本実施形態において用いられる動
画像符号化装置の構成の一例を示すブロック図である。
図３に示す動画像符号化装置１は、フレーム（画像）を
所定の方法で符号化する符号化器１０と、符号化装置１
の各部の動作を制御する制御器（ＣＰＵ）１５と、入力
端子１ａ及び符号化器１０の間に設けられたフレームメ
モリ１１と、出力端子１ｂ及び符号化器１０の間に設け
られた多重化器１２とを備える。また、制御器１５は、
その機能として、最大遅延時間を求める最大遅延時間計
算部１６を有している。また、符号化器１０には、出力
バッファ１３が設けられている。

【００７４】本符号化装置１における動画像符号化で
は、入力端子１ｃより、映像を符号化するための条件が
入力される。この条件の入力では、一般には、キーボー
ドなどの入力装置によって符号化条件が選択または入力
される。本実施形態においては具体的には、符号化条件
として、符号化対象となるフレームの大きさ、フレーム
レート、ビットレートに加えて、その映像の予測参照構
造（逆方向予測を行うかどうか）、一時的に格納され参
照フレームとして用いられるフレームの枚数（出力バッ
ファ１３の容量に対応）、逆方向予測に用いられる参照
フレームの枚数が入力される。これらの条件は、時間と
ともに変化させるように設定しても良い。入力端子１ｃ
から入力された符号化条件は制御器１５に格納される。

【００７５】符号化処理が開始されると、制御器１５は
符号化条件を符号化器１０に送り、符号化条件がセット
される。一方、入力端子１ａより符号化対象となるフレ
ームが入力され、フレームメモリ１１を経由して符号化
器１０に送られて符号化される。フレームメモリ１１内
には、逆方向予測を行うにあたってフレームの順番が入
れ替わるため、入力フレームが一時的に格納される。例
えば、図２に示した例では、フレームＦ２は、フレーム
Ｆ３、Ｆ４よりも先に入力端子１ａから入力されるが、
フレームＦ３、Ｆ４よりも後に符号化されるため、一時
的にフレームメモリ１１に格納される。

【００７６】符号化器１０は、H.26Lのアルコリズムに
基づいてフレームを符号化する。そして、符号化された
データは、多重化器１２を経由して、他の関連情報と多
重化されて出力端子１ｂより出力される。また、予測に
用いられるフレームは符号化器１０において再生され、
次のフレームを符号化するための参照フレームとしてバ
ッファ１３に格納される。

【００７７】本実施形態においては、制御器１５の最大
遅延時間計算部１６において、入力端子１ｃより入力さ
れる逆方向予測に用いる参照フレーム枚数及びフレーム
レートに基づき、最大遅延時間dpb＿output＿delayを算
出する。そして、最大遅延時間は、多重化器１２にて、
符号化された画像データに付加される。また、各フレー
ムの符号化データには、それを識別するための表示順番
を示す識別子（Ｎ）が合わせて付加される。

【００７８】なお、当然ながら、逆方向予測を行わない
場合、そのために用いられる参照フレーム枚数がゼロと
なるので、dpb＿output＿delayの値がゼロとなる。

【００７９】本実施形態では、この最大遅延時間を符号
化において出力し、また復号において入力するために、
H.26Lにおける符号化データシンタックスにおいて、最
大遅延時間を通知するシンタックスを追加するものとす
る。ここでは符号化データ全体に適用される情報を通知
するシンタックスであるシーケンスパラメータセット
（Sequence Parameter Set）の中に、新たなシンタック
スを追加する。

【００８０】この最大遅延時間を通知するシンタックス
として、dpb＿output＿delayを定義する。ここでは、dp
b＿output＿delayは、H.26Lにおいて時間を示す他のシ
ンタックスに用いられる時間単位と同じものを使うこと
として、９０ｋＨｚの時間単位にて最大遅延時間を示す
ものとする。また、その時間単位にて表される数値を、
３２ビットの符号無し固定長符号にて符号化して伝送す
るものとする。例えば、上記のように最大遅延時間が２
／１５秒である場合には、dpb＿output＿delayは（２／
１５）×９００００＝１２０００となる。

【００８１】復号においては、dpb＿output＿delayによ
り通知された最大遅延時間を復号し、これを用いて復号
画像の出力時間を遅延する。

【００８２】図４は、本実施形態において用いられる動
画像復号装置の構成の一例を示すブロック図である。図
４に示す動画像復号装置２は、符号化データを復号し、
再生画像を生成する復号器２０と、復号装置２の各部の
動作を制御する制御器（ＣＰＵ）２５と、入力端子２ａ
及び復号器２０の間に設けられた入力バッファ２１と、
出力端子２ｂ及び復号器２０の間に設けられた出力バッ
ファ２２とを備える。また、制御器２５は、その機能と
して、フレームを表示するための出力時間を求める画像
出力時間計算部２６を有している。

【００８３】本復号装置２における動画像復号では、入
力端子２ａより、復号対象となるデータが入力される。
このデータには、図３に示した符号化装置１を用いて符
号化された各フレームの符号化データや、最大遅延時間
dpb＿output＿delay、各フレームの表示順番を示す識別
子（Ｎ）が多重化されている。

【００８４】入力されたデータは、入力バッファ２１に
格納される。制御器２５の指示により、復号する時刻に
なれば、１フレーム分のデータが入力バッファ２１より
復号器２０に入力され、H.26Lのアルゴリズムにしたが
って復号される。このように再生されたフレームは出力
バッファ２２に格納される。出力バッファ２２にあるフ
レームはライン２３を経由して復号器２０にフィードバ
ックし、次のフレームを復号するための参照フレームと
して用いられる。

【００８５】一方、復号器２０において復号された最大
遅延時間dpb＿output＿delay、フレームレート、及び各
フレームの識別子（Ｎ）が制御器２５に入力される。そ
して、制御器２５の画像出力時間計算部２６において、
これらのデータより、各フレームの出力時間が、下記の
式にしたがって計算される。Ｔｏ（ｎ）＝dpb＿output＿delay＋Ｎ×フレーム間隔ここで、フレーム間隔はフレームレートより求められ
る。

【００８６】図２に示した例に合わせてdpb＿output＿d
elayを２／１５秒、フレーム間隔を１／１５秒とする
と、上記の式により、Ｎ＝０、Ｔｏ（０）＝２／１５Ｎ＝１、Ｔｏ（１）＝３／１５Ｎ＝２、Ｔｏ（２）＝４／１５Ｎ＝３、Ｔｏ（３）＝５／１５となる。このように、制御器２５において求められた出
力時間Ｔｏ（ｎ）にしたがい、出力バッファ２２にある
フレームは、図５（ｂ）に示す各フレームＦ０、Ｆ１、
Ｆ２、Ｆ３のように、一定間隔で出力端子２ｂに出力さ
れる。また、図示していないが、出力端子２ｂはモニタ
などの表示装置に接続される。

【００８７】図５は、図２に示した双方向予測を行った
場合でのフレームの（ａ）復号、及び（ｂ）出力につい
て示す図である。復号においては、各フレームの符号化
データがフレーム間予測を行うために必要な順序にて復
号され、その間隔はフレームレートに準じた一定の時間
間隔であると仮定し、また復号処理に必要となる時間は
フレーム間予測が用いられるか否かやフレーム間予測の
方向の如何にかかわらず各フレームについて無視できる
と仮定する。この場合に、逆方向予測フレームにおいて
逆方向予測を行う際に必要となる最大の遅延時間は、逆
方向予測に用いる最大参照フレーム数に応じたフレーム
の時間間隔に等しい。この時間が、最大遅延時間として
dpb＿output＿delayにより通知されていることになる。
したがって復号画像を出力するにあたり、出力時間をこ
の最大遅延時間だけ遅延させるものとする。

【００８８】実際には、各フレームの復号間隔は一定と
はならず、各フレームの符号化ビット量変動などの要因
により変化し得る。また各フレームの復号処理に必要と
なる時間は、逆方向予測フレームであるか否かの他、各
フレームの符号化ビット量などに応じて変化し得る。

【００８９】したがって、出力時間を遅延させる場合に
は、図５に示すように、逆方向予測を行うことによる遅
延や他のフレームとの間で復号時間と出力時間の順序の
逆転がない逆方向予測未関連フレームＦ０において、復
号画像が得られる時間を基準とする。すなわち、この復
号画像が得られる時間からdpb＿output＿delayにより通
知された最大遅延時間だけ遅延させた時間を、この復号
画像に関連づけられた出力時間に等しい時間であること
として、復号画像出力における基準時間とする。以降の
復号画像Ｆ１〜Ｆ４の出力は、この基準時間が各復号画
像に関連づけられた出力時間と同じ時間となったときに
出力することとする。

【００９０】例えば、上記のように最大遅延時間が２／
１５秒である場合には、逆方向予測未関連フレームにお
いて復号画像が得られる時間から２／１５秒だけ遅延さ
せた時間をこの復号画像に関連づけられた出力時間に等
しい時間であることとして、以降の復号画像出力におけ
る基準時間とする。

【００９１】なお、場合によっては符号化あるいは復号
の処理を簡略化するために、あえて最大遅延時間を通知
しないことも考えられる。このような場合のために、最
大遅延時間を通知するためのシンタックスは、それより
前にシンタックスの有無を指示するフラグが通知される
こととして、省略可能としてもよい。

【００９２】最大遅延時間の通知が省略される場合に
は、符号化においては、例えば逆方向予測は用いないこ
ととして予め規定しておくこととしても良いし、あるい
はまた参照フレーム数上限を越えない範囲で、逆方向予
測に用いる参照フレーム数を任意に変動できることとし
ても良い。

【００９３】復号においては、例えば符号化における規
定と一致させて逆方向予測は用いない、したがって逆方
向予測を行うことにより必要となる遅延は発生しないも
のとしても良いし、あるいはまた参照フレーム数上限を
越えない範囲で、逆方向予測に用いる参照フレーム数は
任意に変動し、したがって遅延時間は大きく変動し得る
ものとしても良い。この場合に復号においては、想定さ
れる最大の遅延時間を想定した処理を常に行うこととし
ても良いし、あるいはまた復号画像の出力時間間隔の変
動を許容することとして、各フレームの遅延時間を考慮
しない簡略化した処理を行うこととしても良い。

【００９４】本実施形態の説明はH.26Lをもとにして実
現したものとして説明したが、本発明を適用することの
できる動画像符号化方式はH.26Lに限定されるものでは
なく、逆方向フレーム間予測を用いる様々な動画像符号
化方式に適用することが可能である。

【００９５】また、本実施形態においては、最大遅延時
間を通知するためのシンタックスとしてシーケンスパラ
メータセットの中に固定長符号によるシンタックスを追
加するものとしたが、むろんこれを通知するための符号
やシンタックス、あるいは最大遅延時間を表現するため
の時間単位はこれらに限られるものではない。固定長符
号に代わり可変長符号を用いることとしても良いし、ま
た符号化データ全体に適用されるための情報を通知する
ことのできる様々なシンタックスにおいて通知するもの
とすることができる。

【００９６】例えば、H.26Lにおいては、補助拡張情報
メッセージ（Supplemental Enhancement Information M
essage）の中にシンタックスを追加することとしても良
い。また他の動画像符号化方式を用いる場合には、当該
符号化方式において符号化データ全体に適用されるため
の情報を通知するためのシンタックスを用いることがで
き、またH.263を用いた通信において制御情報の通知の
ために利用されるITU-TRecommendation H.245のよう
に、動画像符号化方式による符号化データの外部におい
て通知することとしても良い。

【００９７】（第２実施形態）次に、本発明の第２実施
形態について説明する。本実施形態では、可変フレーム
レートによる符号化がなされる場合の実施の形態を示
す。本実施形態による符号化および復号における動作
は、基本的に第１実施形態と同様である。本実施形態で
は可変フレームレートが用いられることから、符号化に
おいては第１実施形態における動作に加えて、フレーム
レートが低下した場合に、予め算出された最大遅延時間
を越える遅延時間が必要となる逆方向予測が行われない
ように動作し、フレームレートが変化する場合において
も、逆方向予測未関連フレームの復号画像と逆方向予測
フレームの復号画像との出力時間間隔が、本来の間隔か
ら変化してしまうことを防ぐ。

【００９８】符号化においては、まず用いられる参照フ
レーム数上限は予め定められていることからこれを越え
ない範囲で、逆方向予測に用いる最大参照フレーム数を
決定する。次に符号化ビットレートの制御において予め
定められる目標フレームレートに基づいた最大フレーム
時間間隔を決定し、最大遅延時間を、逆方向予測に用い
る最大参照フレーム数と最大フレーム時間間隔に応じた
１つ又は複数のフレームの時間間隔として算出する。

【００９９】符号化においては、以降は最大遅延時間を
超える遅延時間が必要となる逆方向予測が行われること
のないように、各フレームの符号化を制御する。具体的
には、逆方向予測に用いる参照フレーム、すなわち現フ
レームよりも時間的に後となるフレームが、逆方向予測
に用いる最大参照フレーム数を越えて現フレームよりも
先に符号化され出力されることがないように、各フレー
ムの符号化の順序を制御する。

【０１００】またそれとともに、符号化ビットレート制
御により符号化フレームレートが一時的に小さくなり、
その場合のフレーム時間間隔が最大フレーム時間間隔よ
り大きくなってしまった場合には、そこでのフレームの
符号化に逆方向予測を用いないように各フレームの符号
化を制御する。

【０１０１】本実施形態において、この最大遅延時間を
符号化において出力し、また復号において入力するため
に、符号化データシンタックスにおいて、最大遅延時間
を通知するシンタックスdpb＿output＿delayを追加する
こと、ならびにその定義については、第１実施形態にお
けるものと同じである。

【０１０２】また、本実施形態において、復号において
は、dpb＿output＿delayにより通知された最大遅延時間
を復号し、これを用いて復号画像の出力時間を遅延す
る。この処理についても、第１実施形態におけるものと
同じである。

【０１０３】（第３実施形態）次に、本発明の第３実施
形態について説明する。本実施形態では、最大遅延時間
が各フレームについて任意に通知されて柔軟に変更でき
る場合の実施の形態を示す。本実施形態による符号化お
よび復号における動作は、基本的に第１実施形態もしく
は第２実施形態と同様である。

【０１０４】本実施形態においては、第１実施形態にお
いて定義された、最大遅延時間を通知するシンタックス
dpb＿output＿delayを、符号化データ全体に適用される
情報を通知するシンタックスではなく、各フレームに適
用される情報を通知するシンタックスであるピクチャパ
ラメータセット（Picture Parameter Set）の中に追加
するものとする。ここでは、dpb＿output＿delayは、第
１実施形態における場合と同様に、９０ｋＨｚの時間単
位にて最大遅延時間を示すものとし、その時間単位にて
表される数値を、３２ビットの符号無し固定長符号にて
符号化して伝送するものとする。

【０１０５】符号化における最大遅延時間の算出、なら
びに復号における最大遅延時間を用いた復号画像の出力
時間の遅延については、第１実施形態におけるものと同
様である。また、本実施形態において用いられる動画像
符号化装置、及び動画像復号装置の構成は、第１実施形
態に関して図３、図４に示したものと同様である。

【０１０６】本実施形態における各フレームの最大遅延
時間dpb＿output＿delayの求め方について説明する。図
３に示す符号化装置１において、制御器１５では、逆方
向予測による遅延時間（Ｄ）を、第１実施形態で説明し
たような方法で求め、各フレームの符号化時間Ｔｒ
（ｎ）を決定する。次に、フレームメモリ１１より各フ
レームの表示時間Ｔｉｎ（ｎ）が入力されると、そのフ
レームのdpb＿output＿delay（ｎ）は下記のように求め
られる。dpb＿output＿delay（ｎ）＝Ｔｉｎ（ｎ）＋Ｄ
−Ｔｒ（ｎ）このdpb＿output＿delayの値は、該当する
フレームに関連付けられ、多重化器１２にて多重化され
る。

【０１０７】本実施形態では、各フレームを符号化する
ための時間Ｔｒ（ｎ）も一緒に符号化される。図２を例
として考えると、Ｄ＝２／１５秒、Ｔｉｎ（ｎ）＝０、
１／１５、２／１５、３／１５、４／１５（ｎ＝０、
１、２、３、４）である。符号化の順序が変わるため、
Ｔｒ（ｎ）＝０、１／１５、４／１５、２／１５、３／
１５（ｎ＝０、１、２、３、４）となる。ここで、各フ
レームのdpb＿output＿delay（ｎ）は、ｎ＝０、dpb＿output＿delay（０）＝０＋２／１５−０＝２／１５ｎ＝１、dpb＿output＿delay（１）＝１／１５＋２／１５−１／１５＝２／１５ｎ＝２、dpb＿output＿delay（２）＝２／１５＋２／１５−４／１５＝０ｎ＝３、dpb＿output＿delay（３）＝３／１５＋２／１５−２／１５＝３／１５ｎ＝４、dpb＿output＿delay（４）＝４／１５＋２／１５−３／１５＝３／１５となる。

【０１０８】一方、図４に示す復号装置２では、復号器
２０より、各フレームのdpb＿output＿delay（ｎ）及び
Ｔｒ（ｎ）が制御器２５に送られ、下記の式に基づいて
各フレームの出力時間Ｔｏ（ｎ）が求められる。Ｔｏ（ｎ）＝Ｔｒ（ｎ）＋dpb＿output＿delay 図２を例として考えると、上記の定義より、各フレーム
について、Ｔｒ（ｎ）＝０、１／１５、４／１５、２／
１５、３／１５（ｎ＝０、１、２、３、４）、dpb＿out
put＿delay（ｎ）＝２／１５、２／１５、０、３／１
５、３／１５（ｎ＝０、１、２、３、４）であるから、ｎ＝０、Ｔｏ（０）＝０＋２／１５＝２／１５ｎ＝１、Ｔｏ（１）＝１／１５＋２／１５＝３／１５ｎ＝２、Ｔｏ（２）＝４／１５＋０＝４／１５ｎ＝３、Ｔｏ（３）＝２／１５＋３／１５＝５／１５ｎ＝４、Ｔｏ（４）＝３／１５＋３／１５＝６／１５となる。

【０１０９】すなわち、全ての画像は２／１５秒送れ
て、一定の間隔を保ちながらモニタに表示される。な
お、当然ながら、逆方向予測を行わない場合、そのため
に用いられる参照フレーム枚数がゼロとなるので、dpb
＿output＿delay（ｎ）の値はゼロとなる。

【０１１０】最大遅延時間は、逆方向予測未関連フレー
ムにおいて復号画像が得られる時間から、復号画像出力
における基準時間を定義するものであることから、逆方
向予測未関連フレームについてのみ通知されれば良い。
したがって例えば、最大遅延時間を通知するためのシン
タックスは、それ以前にシンタックスの有無を指示する
フラグが通知されることとして、省略可能としてもよ
い。逆方向予測未関連フレームにおいても任意に省略さ
れることとしても良く、最大遅延時間の通知が省略され
る場合には、それ以前に通知された最大遅延時間が適用
されるものとすれば良い。

【０１１１】また、本実施形態における各フレームに対
するシンタックスは、第１実施形態において定義された
ような、符号化データ全体に対するシンタックスと同時
に用いられることとしても良い。この場合、各フレーム
に対するシンタックスは、上述のようにそれ以前にシン
タックスの有無を指示するフラグが通知されることとし
て、省略可能とする。符号化データ全体に対するシンタ
ックスにおいて通知された最大遅延時間は、各フレーム
に対するシンタックスにおいて最大遅延時間が通知され
るまで適用されるものとし、各フレームに対するシンタ
ックスにより更新された後は、これに基づいて遅延させ
た時間が以降のすべての復号画像出力における基準時間
となることとする。

【０１１２】本実施形態の説明はH.26Lをもとにして実
現したものとして説明したが、本発明を適用することの
できる動画像符号化方式はH.26Lに限定されるものでは
なく、逆方向フレーム間予測を用いる様々な動画像符号
化方式に適用することが可能である。

【０１１３】また、本実施形態においては、最大遅延時
間を通知するためのシンタックスとしてピクチャパラメ
ータセットの中に固定長符号によるシンタックスを追加
するものとしたが、むろんこれを通知するための符号や
シンタックス、あるいは最大遅延時間を表現するための
時間単位はこれらに限られるものではない。固定長符号
に代わり可変長符号を用いることとしても良いし、また
各フレームに適用されるための情報を通知することので
きる様々なシンタックスにおいて通知するものとするこ
とができる。

【０１１４】例えば、H.26Lにおいては補助拡張情報メ
ッセージ（Supplemental Enhancement Information Mes
sage）の中にシンタックスを追加することとしても良
い。また他の動画像符号化方式を用いる場合には、当該
符号化方式において各フレームに適用されるための情報
を通知するためのシンタックスを用いることができ、ま
たH.263を用いた通信において制御情報の通知のために
利用されるITU-T Recommendation H.245のように、動画
像符号化方式による符号化データの外部において通知す
ることとしても良い。

【０１１５】

【発明の効果】本発明による動画像符号化方法、動画像
復号方法、動画像符号化装置、動画像復号装置、動画像
処理システム、動画像符号化プログラム、及び動画像復
号プログラムは、以上詳細に説明したように、次のよう
な効果を得る。すなわち、連続するフレームによって構
成された動画像に対して、逆方向フレーム間予測を行っ
て符号化して出力する際に、逆方向予測に伴う最大遅延
時間を出力する動画像符号化方法、符号化装置、符号化
プログラム、最大遅延時間を入力する動画像復号方法、
復号装置、復号プログラム、及びそれらを用いた動画像
処理システムによれば、逆方向フレーム間予測を用いる
際に、適切な時間間隔での復号画像出力を得ることが可
能となる。

【０１１６】特に、従来技術と異なり、出力時間は絶対
値ではなくて、復号時間Ｔｒからの相対値を用いるため
に、フレームレートが可変の場合においても、少ないビ
ット数で正確に最大遅延時間dpb＿output＿delayの値を
記述し、伝送することができる効果がある。また、復号
時間Ｔｒがずれる場合、もしくは受信されない場合にお
いても、対応する画像が復号完了時点からdpb＿output
＿delay分遅延されてから出力されるので、画像は正し
い間隔で出力できる利点がある。

【図面の簡単な説明】

【図１】動画像符号化装置、動画像復号装置、及び動画
像処理システムの概略構成を示すブロック図である。

【図２】双方向予測を行った場合でのフレームの符号化
の一例について示す図である。

【図３】動画像符号化装置の構成の一例を示すブロック
図である。

【図４】動画像復号装置の構成の一例を示すブロック図
である。

【図５】図２に示した双方向予測を行った場合でのフレ
ームの（ａ）復号、及び（ｂ）出力について示す図であ
る。

【図６】双方向予測を行った場合でのフレームの符号化
について示す図である。

【図７】図６に示した双方向予測を行った場合でのフレ
ームの（ａ）復号、及び（ｂ）出力について示す図であ
る。

【図８】双方向予測を行った場合でのフレームの符号化
について示す図である。

【図９】図８に示した双方向予測を行った場合でのフレ
ームの（ａ）復号、及び（ｂ）出力について示す図であ
る。

【図１０】双方向予測を行った場合でのフレームの
（ａ）復号、（ｂ）出力、及び（ｃ）遅延させた出力に
ついて示す図である。

【図１１】双方向予測を行った場合でのフレームの符号
化について示す図である。

【符号の説明】

１…動画像符号化装置、１ａ、１ｃ…入力端子、１ｂ…
出力端子、１０…符号化器、１１…フレームメモリ、１
２…多重化器、１３…バッファ、１５…制御器、１６…
最大遅延時間計算部、２…動画像復号装置、２ａ…入力
端子、２ｂ…出力端子、２０…復号器、２１…入力バッ
ファ、２２…出力バッファ、２３…ライン、２５…制御
器、２６…画像出力時間計算部。Ｄ０…動画像データ、
Ｄ１…符号化データ、Ｄ２…復号後の動画像データ、Ｆ
０〜Ｆ４…フレーム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者栄藤稔東京都千代田区永田町二丁目11番１号株式会社エヌ・ティ・ティ・ドコモ内 (72)発明者タンティオケン東京都千代田区永田町二丁目11番１号株式会社エヌ・ティ・ティ・ドコモ内 (56)参考文献特開平８−205146（ＪＰ，Ａ) ＤｒａｆｔＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎａｎｄＦｉｎａｌＤｒａｆｔＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄｏｆＪｏｉｎｔＶｉｄｅｏＳｐｅｃｉｆｉｃａｔｉｏｎ，2003年３月，ｐ．205− 238 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】所定の方法で符号化されたフレームの符
号化データ、前記フレームの復号時間、及び最大遅延時
間を含む画像データを入力する入力ステップと、前記符号化データを復号し、再生画像を生成する復号ス
テップと、逆方向予測未関連フレームについては、前記復号時間か
ら前記最大遅延時間だけ遅延させた時間を、前記逆方向
予測未関連フレームを表示するための出力時間とする画
像出力時間計算ステップとを備えることを特徴とする動画像復号方法。
【請求項２】所定の方法で符号化されたフレームの符
号化データ、前記フレームの復号時間、及び最大遅延時
間を含む画像データを入力する入力手段と、前記符号化データを復号し、再生画像を生成する復号手
段と、逆方向予測未関連フレームについては、前記復号時間か
ら前記最大遅延時間だけ遅延させた時間を、前記逆方向
予測未関連フレームを表示するための出力時間とする画
像出力時間計算手段とを備えることを特徴とする動画像復号装置。
【請求項３】所定の方法で符号化されたフレームの符
号化データ、前記フレームの復号時間、及び最大遅延時
間を含む画像データを入力する入力処理と、前記符号化データを復号し、再生画像を生成する復号処
理と、逆方向予測未関連フレームについては、前記復号時間か
ら前記最大遅延時間だけ遅延させた時間を、前記逆方向
予測未関連フレームを表示するための出力時間とする画
像出力時間計算処理とをコンピュータに実行させるための動画像復号プログラ
ム。