JP3939273B2 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム - Google Patents
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム Download PDFInfo
- Publication number
- JP3939273B2 JP3939273B2 JP2003207595A JP2003207595A JP3939273B2 JP 3939273 B2 JP3939273 B2 JP 3939273B2 JP 2003207595 A JP2003207595 A JP 2003207595A JP 2003207595 A JP2003207595 A JP 2003207595A JP 3939273 B2 JP3939273 B2 JP 3939273B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- frame
- encoding
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関する。
【０００２】
【従来の技術】
従来、動画像信号の伝送や蓄積再生を行うために、動画像信号の符号化技術が用いられる。かかる技術としては、例えば、ITU-T Recommendation H.263（以下「Ｈ．２６３」と記す。）やISO/IEC International Standard 14496-2（MPEG-4 Visual、以下「ＭＰＥＧ-４」と記す。）などの国際標準化動画像符号化方式が知られている。
【０００３】
また、より新しい符号化方式としては、ITU-TとISO/IECとの合同国際標準化が予定されている動画像符号化方式、ITU-T Recommendation H.264、ISO/IEC International Standard 14496-10（Joint Final Committee Draft of Joint Video Specification、以下「Ｈ.２６Ｌ」と記す。）が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば、以下に示す非特許文献１を参照されたい。
【０００４】
【非特許文献１】
国際標準動画像符号化の基礎技術
（小野 文孝、渡辺 裕共著、コロナ社、1998年3月20日発行）
【０００５】
動画像信号は時間的に少しずつ変化する一枚ずつの画像（フレーム）が連続して構成されたものである。このため、一般的に、これらの動画像符号化方式においては、符号化対象として入力されたフレーム（現フレーム）に対して、他のフレーム（参照フレーム）との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。
【０００６】
この場合、フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行われることによって、より大きく冗長度を削減し符号化効率を高めることできる。このため、参照フレームとしては現フレームより時間的に前のフレームだけでなく、時間的に後のフレームを用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と記す（図１参照）。また、このとき両方の予測が任意に選択される場合、若しくは同時に用いられる場合を双方向予測と記す。
【０００７】
一般的に、この様な双方向予測が用いられる場合には、時間的に前のフレームの１つが順方向予測の参照フレームとして、また時間的に後のフレームの１つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれフレームバッファに保持される。
【０００８】
例えば、ＭＰＥＧ−４の復号においては、現フレームを双方向フレーム間予測により復号する場合には、まず現フレームの復号化に先んじて、現フレームより時間的に前のフレームの１つ、及び時間的に後のフレームの１つが、フレーム間予測を用いないフレーム内予測により復号されたフレーム、若しくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとしてフレームバッファに保持される。その後、現フレームが、保持されたこれら２つのフレームを用いて双方向予測により復号される（図２（ａ）参照）。
【０００９】
したがって、この場合、時間的に後の参照フレームと現フレームとの復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームにはそれぞれ出力時間を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図２（ｂ）参照）。ＭＰＥＧ−４では、出力時間は絶対値として記述されている。
【００１０】
近年の動画像符号化方式では、上述したフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となる様に、順方向、逆方向それぞれの参照フレームを１つだけではなく、複数用いることのできるものがある（図３参照）。
【００１１】
例えば、H.26Lの復号においては、予め定められた参照フレーム数上限までの範囲で複数の参照フレームを、フレームバッファに保持しておき、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームを双方向予測フレームとして復号する場合には、まず現フレームの復号に先んじて参照フレームが復号されるが、この参照フレームとして現フレームより時間的に前のフレームが複数、また時間的に後のフレームが複数、それぞれ復号され、参照フレームとしてフレームバッファに保持される。現フレームは、それらのフレームの中から予測に用いるフレームが任意に指示されて予測を行うことができる（図４（ａ）参照）。
【００１２】
したがって、この場合、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームはそれぞれ出力時間を示す情報若しくは出力順序を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図４（ｂ）参照）。出力時間は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【００１３】
上述した様に、逆方向予測においても、複数の参照フレームが用いられる場合には、フレームバッファに保持されるフレームは必ずしも現フレーム以降での逆方向予測に用いられるとは限らない。この例として、図５に示す予測構造を参照して説明する。現フレームＦ１が時間的に後の参照フレームＦ２から逆方向予測され、またＦ２はＦ３から、Ｆ３はＦ４から逆方向予測され、更にＦ４は時間的に前の参照フレームＦ０から順方向予測されているものとする。このような予測は、例えば、時間的に前の参照フレームＦ０と現フレームＦ１との間の変化が大きい一方でＦ１と時間的に後の参照フレームＦ２、Ｆ３、Ｆ４との間の変化が小さく、かつ、Ｆ０とＦ３との間では比較的に変化が小さくなるような場合に行われて、効率的な予測を行うことができる。
【００１４】
このとき、現フレームＦ１は時間的に後の参照フレームＦ２からのみ予測されることから、Ｆ３、Ｆ４は現フレームＦ１を復号する時点にて、フレーム間予測には用いることのないフレームとなる。しかしながら、Ｆ３、Ｆ４は現フレームＦ１よりも時間的に後のフレームであることから、それぞれの出力時間に復号画像として出力されるまで、保持され続ける必要がある。
【００１５】
このように、逆方向予測のために時間的に後のフレームをフレームバッファに保持する場合、かかるフレームとしては、現フレーム以降のフレーム間予測において参照フレームとして用いられるものと、参照フレームとしては用いられないものの２種類が存在することになる。以下、このように参照フレームとして用いられないものの、出力時間に達していないことからフレームバッファに保持されているフレームを、「出力待ちフレーム」と記す。
【００１６】
このフレームの違いを説明するために、動画像復号装置の構成の概略図を図６（ａ）及び図６（ｂ）に示す。図６（ａ）に示す様に、復号装置１には参照フレームを保持するフレームバッファ３が存在し、フレーム間予測を行う際に参照フレームを復号処理部２に出力する。このとき、上述のように逆方向予測において複数の参照フレームが用いられる場合は、フレームバッファには、参照フレームだけでなく出力待ちフレームも保持されることとなり、論理的には図６（ｂ）に示す様に、参照フレームとして一定の時間保持され続けて復号処理部２へも出力されるフレームを格納する領域と、出力待ちフレームとして、復号処理部２へ出力されることはなく、そのフレームに関する出力時間に復号画像として出力されるまでの間だけ保持され続けるフレームを格納する領域が存在することになる。
【００１７】
ところで、複数の参照フレームが用いられる場合に、例えばある動画像の中で特異な特徴を有し、他のフレームからの変化の大きいフレームがあった場合に、これを参照フレームとして保持していても効率的な予測は期待できない。したがって、かかるフレームを参照フレームとして保持せずに、その分のフレームバッファにて他のフレームを保持できる様にした方がフレーム間予測を効率的に行える場合がある。あるいは逆に、ある動画像の中で代表的な特徴を有し、他のフレームからの変化が小さいフレームは、現フレームとの時間的距離に関わらず参照フレームとして長くフレームバッファに保持しておくことにより、多くフレームにおいてフレーム間予測を効率的に行えることが期待できる。
【００１８】
このような参照フレームの取捨選択動作を実現するために、符号化データにて参照フレームの取捨選択情報を通知することが考えられる。例えばH.26Lでは、メモリ管理制御（ＭＭＣＯ：Memory Management Control Operation）コマンドが定義されている。MMCOコマンドでは、例えば、フレームバッファに保持されている全ての参照フレームを不要として指示することのできるResetコマンドなどが定義されており、必要に応じて任意に、フレームバッファにおいて参照フレームとして保持するフレームの取捨選択を指示することができる。
【００１９】
また、動画像上でのランダムアクセスを行うために、符号化データの途中から復号を開始しようとした場合には、復号を開始するフレームは、他のフレームからのフレーム間予測を用いないフレーム内予測により符号化されたフレームであり、またそのフレーム以降のフレームも、復号を開始するフレームより以前のフレームを参照フレームとしないこと、すなわち復号を開始するフレームの復号に先んじて、フレームバッファに保持されている全ての参照フレームが不要として指示されている必要がある。
【００２０】
例えば、H.26Lでは、このような状態を明示するために、瞬時復号器更新（IDR：Instantaneous Decoder Refresh）ピクチャが定義されている。IDRピクチャにおいては、IDRピクチャが復号される以前の参照フレームはすべて不要とされ、以降のフレームにおけるフレーム間予測が、IDRピクチャより以前のフレームからのフレーム間予測が行われないこととされる。これにより、ランダムアクセスなど、符号化データの中途からの復号を行う場合には、IDRピクチャからであればフレーム間予測における参照フレームの有無の問題が生じることなく、復号を行うことができる。
【００２１】
【発明が解決しようとする課題】
上述のように、逆方向予測フレーム間予測において複数の参照フレームを用いる場合、フレームバッファでの参照フレームの保持を制御する手段を設けることにより、複数の参照フレームを効率的に扱うことができる。他方で、このようなフレームバッファにはフレーム間予測に用いられる参照フレームだけでなく、出力時間までの間に保持される出力待ちフレームも存在するが、参照フレームの保持を制御する従来の手段においては、このような出力待ちフレームの制御が考慮されていなかった。そのために、出力される予定のない出力待ちフレームが、フレームバッファを長時間占領する課題がある。
【００２２】
このため、出力待ちフレームの制御が適切に行うことができない場合、復号画像の出力を一意に扱うことができない等の問題が生じてしまうことがある。
例えば、図７（ａ）の符号化データＦ００〜Ｆ０４からなる動画像から、図７（ｂ）の符号化データＦ１０〜Ｆ１３からなる動画像へ、Ｆ０３の時点で切り替えを行うものとする。これは、動画像の編集を行うために蓄積された符号化データをフレーム単位で切り替えた場合、あるいは放送型の動画像通信において、１つのチャネルに相当する任意の符号化データから、別のチャネルに相当する他の符号化データに切り替えた場合、などに生じ得る。
【００２３】
この場合、Ｆ１０はIDRピクチャである必要があり、これによりＦ１０の復号に先んじてフレームバッファに保持されている参照フレームは全て不要とされ、Ｆ１０以降のフレームの復号は問題なく行うことができる。しかしながら、この場合に不要とされるのは参照フレームであることから、Ｆ０３、Ｆ０４が参照フレームではなく出力待ちフレームであった場合には、扱いが一意とはならない。すなわち、Ｆ１０への切り替えが行われた場合に、Ｆ０３、Ｆ０４はフレームバッファに引き続き保持されて出力されるべきフレームであるのか、あるいはＦ１０の復号に先んじて不要として扱われるべきフレームであるのかが明確ではない。したがって、この場合の復号画像としてどのフレームが出力されるのか、一意ではない。
【００２４】
そこで、本発明の課題は、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することである。
【００２５】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る動画像符号化装置は、符号化の対象となる画像を入力する入力手段と、前記画像を符号化し、符号化データを生成する符号化手段と、前記符号化手段により符号化され再生された画像のうち、前記符号化手段により次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、ことを特徴とする。
【００２６】
消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることが望ましい。
【００２７】
本発明に係る動画像復号装置は、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力手段と、前記符号化データを復号し、再生画像を生成する復号手段と、前記再生画像のうち、前記復号手段により次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ出力待ちフレームとを全て消去することを特徴とする。
【００２８】
消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることが望ましい。
【００２９】
本発明に係る動画像符号化方法は、動画像符号化装置が、符号化の対象となる画像を入力する入力ステップと、前記動画像符号化装置が、前記画像を符号化し、符号化データを生成する符号化ステップと、前記動画像符号化装置が、前記符号化ステップにて符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、前記動画像符号化装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像符号化装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、ことを特徴とする。
【００３０】
本発明に係る動画像復号方法は、動画像復号装置が、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力ステップと、前記動画像復号装置が、前記符号化データを復号し、再生画像を生成する復号ステップと、前記動画像復号装置が、前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、前記動画像復号装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像復号装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去することを特徴とする。
【００３１】
本発明に係る動画像符号化プログラムは、符号化の対象となる画像を入力する機能と、前記画像を符号化し、符号化データを生成する機能と、符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する機能とを動画像符号化装置に実現させることを特徴とする。
【００３２】
本発明に係る動画像復号プログラムは、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する機能と、前記符号化データを復号し、再生画像を生成する機能と、前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去する機能とを動画像復号装置に実現させることを特徴とする。
【００３７】
これらの発明によれば、符号化において、復号画像出力待ちであるフレームを不要とすることを指示する情報を出力すると共に、復号において、この情報を入力し、全ての出力待ちフレームを出力しない。これにより、編集後の符号化データの復号や、符号化データ上でのランダムアクセス後の復号において、不必要な復号画像出力が生じたり、逆に必要な復号画像出力が削除されたりしてしまうことを防ぐ。その結果、適切な復号画像出力を得ることができる。
【００３８】
また、上述した動画像符号化装置と、上述した動画像復号装置とを備え、前記動画像復号装置は、前記動画像符号化装置により符号化されたデータを復号する動画像処理システムを構築しても、同様の効果が得られる。
【００５１】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
説明の前提として、符号化及び復号に関しては、H.26Lを基に実現されるものとすると共に、動画像符号化における動作について特に言及しない部分については、H.26Lの動作に準じるものとする。
【００５２】
まず、本発明に係る動画像処理システムの構成を説明する。図８は、動画像処理システム１００の機能的構成を示すブロック図である。図８に示す様に、動画像処理システム１００は、動画像符号化装置１０と動画像復号装置２０とを備えて構成される。動画像符号化装置１０及び動画像復号装置２０は、時間的に後のフレームからの逆方向フレーム間予測を行う。
【００５３】
詳細な処理内容に関しては後述するが、動画像符号化装置１０は選択情報出力部１１を備え、選択情報出力部１１は、時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を動画像復号装置２０に出力する。
動画像復号装置２０は復号画像不要化部２１を備え、復号画像不要化部２１は、時間的に後のフレームの復号画像を不要とするための情報が動画像符号化装置１０から入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない。
【００５４】
上記情報は例えば、時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。また例えば、この情報は、時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。更に例えば、この情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００５５】
続いて、本発明に係る動画像符号化方法、及び動画像復号方法について説明する。本実施の形態では、フレームバッファの保持されるフレームについて不要とすることを指示することのできる情報を定義するが、このとき参照フレーム、出力待ちフレームのそれぞれについて明確に定義を行う。
【００５６】
ここでは、H.26Lにおいて符号化データを伝送する単位であるNAL（Network Abstraction Layer） についての情報を通知するNAL unit syntaxにおいて定義するものとする。具体的には、その中に含まれるNAL unit typeにて通知される種別として定義する。
【００５７】
ここでは、まず従来のIDRピクチャについて、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するものとする。すなわち、フレームバッファに保持されている出力待ちフレームは、IDRピクチャによっては不要とはされないものとして定義する。
【００５８】
次に、IDRピクチャとは異なる新たなピクチャとして、Instant Buffer Refreshピクチャ（以下、「IBRピクチャ」と記す。）を定義する。IBRピクチャは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するIDRピクチャの定義に加えて、全ての出力待ちフレームも不要とすることを指示するものとして定義される。すなわち、現フレームがIBRピクチャであるとされた場合には、現フレームの復号に先んじて、フレームバッファに保持されている全ての参照フレーム、及び全ての出力待ちフレームを不要とするものとする。
【００５９】
符号化では、動画像符号化装置１０は、このようなIBRピクチャを以下の様な場合に指示する。例えば、ランダムアクセスポイントとしてIDRピクチャを指示しようとする場合に、逆方向予測による遅延のいかんに関わらず、それ以前の出力待ちフレームが保持されないようにする場合に、当該フレームをIBRピクチャと指示することができる。
【００６０】
復号においては、動画像復号装置２０は、現フレームがIBRピクチャであった場合には、現フレームの復号に先んじてフレームバッファに含まれる全ての参照フレーム、出力待ちフレームを不要とし、現フレーム以後のフレーム間予測ならびに復号画像出力に用いられることがないものとする。
【００６１】
IBRピクチャにおいては、全ての出力待ちフレームを不要とするのではなく、不要となる出力待ちフレームを限定して不要とするものとしてもよい。
そこで、IBRピクチャに関連付けられた復号画像出力時間を用いて不要の判断を行うこととし、この出力時間よりも大きな出力時間を持つ、出力待ちフレームのみを不要とすることとしてもよい。
【００６２】
あるいはまた、別途出力時間を通知することとして、通知された時間より大きな出力時間を持つ出力待ちフレームのみを不要とすることとし、不要となる出力待ちフレームを、そのフレームに関連付けられた復号画像出力時間によって指定することととしてもよい。
【００６３】
この場合には出力時間を通知するためのシンタックスが必要となるが、それは例えばNAL unit syntaxの中で、NAL unit typeがIBRピクチャを指示した場合にだけ存在するシンタックスとすることとして、IBRピクチャとともに時間を通知するシンタックスとしてもよい。例えば、NAL unit typeがIBRピクチャを指示した場合にNAL unit typeに引き続いて通知される“latest_output_time”を定義する。ここでは、latest_output_timeは、H.26Lにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、90kHzの時間単位にて最大遅延時間を示すものとする。またその時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。
【００６４】
復号においては、動画像復号装置２０は、latest_output_timeが通知された場合、フレームバッファに保持されている出力待ちフレームの内、その復号画像出力時間がlatest_output_timeよりも大きなフレームのみを不要とする。
【００６５】
また、このようにlatest_output_timeを用いる場合には、その前に更にフラグが通知されるものとし、フラグによる指示があった場合のみlatest_output_timeが存在するシンタックスを用いるものとしてもよい。かかる場合において、latest_output_timeが省略される場合には、全ての出力待ちフレームを不要とすることとして定義することができる。
【００６６】
本実施の形態では、IDRピクチャとは異なるピクチャとしてIBRピクチャを定義することとしたが、両者の違いはフレームバッファに保持された出力待ちフレームの扱いの違いであることから、IBRピクチャの様に新しいピクチャを定義するのではなく、IDRピクチャに付随する、出力待ちフレームの扱いを指示するフラグ（no_output_of_prior_pics_flag）を定義することとして、IBRピクチャと同じ定義をIDRピクチャに与えることとしてもよい。
【００６７】
すなわち、上述した定義の様に、IDRピクチャでは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示し、出力待ちフレームは不要とはされないものとして定義する。このとき、このIDRピクチャについて、関連付けられたフラグが別途通知されることとし、フラグによる指示があった場合には（no_output_of_prior_pics_flag＝１）、当該IDRピクチャにおいては上述のIBRピクチャと同じ様に、フレームバッファに保持されている全ての参照フレームに加えて、全ての出力待ちフレームも不要とすることを指示するものとする。この様な通知により、新たなピクチャを定義することなく、出力待ちフレームを不要とする指示を与えることも可能である。
【００６８】
本実施の形態について、図１０〜図１２を参照して、更に説明する。
図１０は、本実施の形態における動画像符号化装置１０の構成を示すブロック図である。入力端子４７より、映像を符号化するための条件が入力される。一般的にはキーボードにより、符号化条件が選択若しくは入力される。符号化条件としては、例えば、符号化の対象となる画像の大きさ、フレームレート、ビットレートが挙げられる。更に、映像の予測参照構造やバッファ４４の容量が挙げられる。
【００６９】
映像の予測参照構造は、例えば、入力画像をＩＤＲ画像として符号化するタイミング、予測符号化画像が参照する画像などである。バッファ４４の容量は、例えば、一時的に格納され参照画像として用いられる画像の枚数である。これらの条件は、時間と共に変化するような設定をしてもよい。入力された符号化条件は、制御器４８に格納される。
【００７０】
符号化処理が開始すると、制御器４８は、符号化条件をエンコーダ４３に出力し、符号化条件がセットされる。一方、入力端子４１より、符号化の対象となる画像が入力されると、フレームメモリ４２を経由して、エンコーダ４３に出力された後、符号化される。逆方向予測を行う際に画像の順番が入れ替わるため、フレームメモリ４２内には、入力画像が一時的に格納される。
【００７１】
エンコーダ４３は、Ｈ．２６Ｌのアルゴリズムに基づいて画像を符号化する。符号化された画像は、多重化器４５を経由して、他の関連情報と多重化された後、出力端子４６より出力される。また、予測に用いられる画像は、エンコーダ４３にて再生された後、次の画像を符号化するための参照画像として、バッファ４４に格納される。
【００７２】
図１１は、制御器４８が、no_output_of_prior_pics_flagを決定する処理を説明するためのフローチャートである。この処理は、符号化の対象となる映像を構成する各画像に対して実行される。まずＳ１では、符号化の対象となる画像の符号化条件（ＩＤＲ画像として符号化すべきか否か）、及びバッファ４４に既に格納されている再生画像が参照画像若しくは表示画像として用いられるか否かに関する情報が入力される。かかる情報は、制御器４８が別途管理している。
【００７３】
Ｓ２では、符号化の対象となる画像がＩＤＲ画像であるか否かが判定される。判定の結果、ＩＤＲ画像ではない場合には（Ｓ２；ＮＯ）、この処理は終了する（Ｓ３）。ＩＤＲ画像である場合には（Ｓ２；ＹＥＳ）、Ｓ４に移行する。Ｓ４では、バッファ４４に既に格納されている画像が、参照画像又は表示画像として用いられるか否かの判定が行われる。
【００７４】
上記判定の結果、参照画像又は表示画像として用いられる場合には（Ｓ４；ＹＥＳ）、no_output_of_prior_pics_flagは“０”にセットされる（Ｓ５）。一方、参照画像又は表示画像として用いられない場合には（Ｓ４；ＮＯ）、no_output_of_prior_pics_flagは“１”にセットされる（Ｓ６）。このようにセットされたno_output_of_prior_pics_flagは、バスＬ８を経由して多重化器４５に出力された後、対応する画像の符号化データに付加され、出力端子４６から送出される（Ｓ７）。また、Ｓ６において、no_output_of_prior_pics_flagが“１”にセットされた場合、制御器４８は、Ｌ７経由で、バッファ４４に格納されている画像を全て消去するコマンドを出力する。
【００７５】
図１２は、本実施の形態における動画像復号装置２０の構成を示すブロック図である。入力端子５１より、復号されるデータが入力される。このデータは、動画像符号化装置１０により符号化された各フレームの画像データである。このデータがＩＤＲ画像である場合には、no_output_of_prior_pics_flagが多重化されている。入力されたデータは、入力バッファ５２に格納される。所定の時刻になると、制御器５６からの指示により、一フレーム分のデータが入力バッファ５２からデコーダ５３に入力され、Ｈ．２６Ｌのアルゴリズムに従った復号化が開始される。
【００７６】
復号された画像は、出力バッファ５４に一旦格納される。出力バッファ５４に格納された画像は、バスＭ５を経由して、デコーダ５３にフィードバックされた後、次の画像を復号するための参照画像として用いられる。一方、デコーダ５３により復号化されたＩＤＲ画像に付加されているno_output_of_prior_pics_flagのデータは、制御器５６に入力される。
【００７７】
制御器５６は、no_output_of_prior_pics_flagの値（“０”又は“１”）を参照して、出力バッファ５４を制御する。すなわち、no_output_of_prior_pics_flagが“１”である場合には、参照画像と表示待ち画像とが共に不要となるので、制御器５６は、バスＭ８を経由して、出力バッファ５４に格納されている全ての画像を消去するコマンドを出力する。これに対して、no_output_of_prior_pics_flagが“０”である場合には、その画像はＩＤＲ画像であるので、制御器５６は、参照に用いられる画像（参照画像）を全て不要とし、出力バッファ５４から消去する。しかし、表示待ち画像は消去しない。表示待ち画像は、その時刻に、ディスプレイに表示される。
【００７８】
また、本実施の形態では、H.26Lを基にして本発明を実現した例について説明したが、本発明を適用可能な動画像符号化方式としては、H.26Lに限らず、逆方向フレーム間予測を用いる様々な動画像符号化方式がある。
【００７９】
更に、本実施の形態においては、出力待ちフレームを不要とすることを通知するためのシンタックスとしてNAL unit syntaxの中で通知されるNAL unit typeにおいて定義を追加するものとし、また出力時間を通知する場合には固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための定義やシンタックスはこれらに限られるものではない。出力時間を通知するための固定長符号に代わり可変長符号を用いることとしても良いし、出力時間の単位も90kHzではなく、例えばH.26Lにおいて、補助的に映像利便性情報（Video Usability Information、VUI）として通知される、num_units_in_tick、time_scaleにて定義される時間単位に基づくものとしてもよい。
【００８０】
また、NAL unit syntax以外にも、フレーム単位で適用されるための情報を通知することのできる様々なシンタックスによって通知するものとすることができる。例えばH.26Lにおいては、補助拡張情報メッセージ（Supplemental Enhancement Information Message）の中にシンタックスを追加するものとしても良い。
【００８１】
あるいはまた、H.26Lにおいて参照フレームの制御のために定義される、メモリ管理制御処理（ＭＭＣＯ）コマンドを拡張することとしてもよい。この場合、MMCOコマンドとして定義されているリセット（Reset）コマンドが上述のNAL unit typeにおけるIDRピクチャと同じ動作を定義していることから、NAL unit typeにおける定義の場合と同様に、例えば出力待ちフレームリセット（Reordering Buffer Reset）コマンドを定義することができる。このコマンドによる動作の定義は、NAL unit typeにおけるIBRピクチャにおける動作の定義と同様とすればよい。
【００８２】
他の動画像符号化方式を用いる場合には、当該符号化方式においてフレーム単位に適用される情報を通知するためのシンタックスを用いることができる。また、H.263を用いた通信において制御情報の通知のために利用されるITU-T Recommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【００８３】
最後に、図９を参照して、本発明に係る動画像符号化プログラム、及び動画像復号プログラムについて説明する。
図９に示す様に、動画像処理プログラム３１０は、記録媒体３０内に形成されたプログラム格納領域３０ａに格納されている。動画像処理プログラム３１０は、図８に示した動画像処理システム１００により実行可能であり、動画像処理を統括するメインモジュール３１１と、後述の動画像符号化プログラム３１２と、後述の動画像復号プログラム３１３とを有する。
【００８４】
動画像符号化プログラム３１２は、選択情報出力モジュール３１２ａを備えて構成される。選択情報出力モジュール３１２ａを動作させることによって実現する機能は、動画像符号化装置１０の選択情報出力部１１の有する機能と同様である。
【００８５】
動画像復号プログラム３１３は、復号画像不要化モジュール３１３ａを備えて構成される。復号画像不要化モジュール３１３ａを動作させることによって実現する機能は、動画像復号装置２０の復号画像不要化部２１の有する機能とそれぞれ同様である。
【００８６】
また、動画像処理プログラム３１０は、その一部若しくは全部が通信回線等の伝送媒体を介して他の機器により受信され、記録される構成としてもよい。反対に、動画像処理プログラム３１０を、伝送媒体を介して伝送し、他の機器にインストールする構成としてもよい。
【００８７】
【発明の効果】
本発明によれば、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することができる。更に、出力されていない出力待ちフレームがフレームバッファから削除されるため、フレームバッファを無駄なく利用することができる。
【図面の簡単な説明】
【図１】フレーム間予測における順方向予測と逆方向予測を説明するための図である。
【図２】図２（ａ）は、現フレームが２つのフレームを用いて双方向予測により復号される例を示す図である。図２（ｂ）は、時間的に後の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図３】参照フレームが複数用いられる場合の順方向予測と逆方向予測とを説明するための図である。
【図４】図４（ａ）は、所定の参照フレーム数上限までの範囲で複数の参照フレームのフレーム間予測を行う例を示す図である。図４（ｂ）は、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図５】フレームバッファに保持されるフレームが現フレーム以降での逆方向予測に用いられない場合における予測構造を示す図である。
【図６】図６（ａ）は、動画像復号装置の構成を概略的に示す図である。図６（ｂ）は、フレームバッファの構成を概略的に示す図である。
【図７】図７（ａ）は、符号化データから成る切替え前の動画像の一例を示す図である。図７（ｂ）は、符号化データから成る切替え後の動画像を示す図である。
【図８】本発明に係る動画像処理システムの機能的構成を示すブロック図である。
【図９】本発明に係る動画像処理プログラムの構成を示す図である。
【図１０】本発明に係る動画像符号化装置の構成を示すブロック図である。
【図１１】制御器がno_output_of_prior_pics_flagを決定する処理を説明するためのフローチャートである。
【図１２】本発明に係る動画像復号装置の構成を示すブロック図である。
【符号の説明】
１０…動画像符号化装置、１１…選択情報出力部、２０…動画像復号装置、２１…復号画像不要化部、３１０…動画像処理プログラム、３１２…選択情報出力モジュール、３１３…復号画像不要化モジュール、４１，４７…入力端子、４２…フレームメモリ、４３…エンコーダ、４４…バッファ、４５…多重化器、４６…出力端子、４８…制御器、５１…入力端子、５２…入力バッファ、５３…デコーダ、５４…出力バッファ、５５…出力端子、５６…制御器、１００…動画像処理システム
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関する。
【０００２】
【従来の技術】
従来、動画像信号の伝送や蓄積再生を行うために、動画像信号の符号化技術が用いられる。かかる技術としては、例えば、ITU-T Recommendation H.263（以下「Ｈ．２６３」と記す。）やISO/IEC International Standard 14496-2（MPEG-4 Visual、以下「ＭＰＥＧ-４」と記す。）などの国際標準化動画像符号化方式が知られている。
【０００３】
また、より新しい符号化方式としては、ITU-TとISO/IECとの合同国際標準化が予定されている動画像符号化方式、ITU-T Recommendation H.264、ISO/IEC International Standard 14496-10（Joint Final Committee Draft of Joint Video Specification、以下「Ｈ.２６Ｌ」と記す。）が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば、以下に示す非特許文献１を参照されたい。
【０００４】
【非特許文献１】
国際標準動画像符号化の基礎技術
（小野 文孝、渡辺 裕共著、コロナ社、1998年3月20日発行）
【０００５】
動画像信号は時間的に少しずつ変化する一枚ずつの画像（フレーム）が連続して構成されたものである。このため、一般的に、これらの動画像符号化方式においては、符号化対象として入力されたフレーム（現フレーム）に対して、他のフレーム（参照フレーム）との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。
【０００６】
この場合、フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行われることによって、より大きく冗長度を削減し符号化効率を高めることできる。このため、参照フレームとしては現フレームより時間的に前のフレームだけでなく、時間的に後のフレームを用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と記す（図１参照）。また、このとき両方の予測が任意に選択される場合、若しくは同時に用いられる場合を双方向予測と記す。
【０００７】
一般的に、この様な双方向予測が用いられる場合には、時間的に前のフレームの１つが順方向予測の参照フレームとして、また時間的に後のフレームの１つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれフレームバッファに保持される。
【０００８】
例えば、ＭＰＥＧ−４の復号においては、現フレームを双方向フレーム間予測により復号する場合には、まず現フレームの復号化に先んじて、現フレームより時間的に前のフレームの１つ、及び時間的に後のフレームの１つが、フレーム間予測を用いないフレーム内予測により復号されたフレーム、若しくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとしてフレームバッファに保持される。その後、現フレームが、保持されたこれら２つのフレームを用いて双方向予測により復号される（図２（ａ）参照）。
【０００９】
したがって、この場合、時間的に後の参照フレームと現フレームとの復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームにはそれぞれ出力時間を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図２（ｂ）参照）。ＭＰＥＧ−４では、出力時間は絶対値として記述されている。
【００１０】
近年の動画像符号化方式では、上述したフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となる様に、順方向、逆方向それぞれの参照フレームを１つだけではなく、複数用いることのできるものがある（図３参照）。
【００１１】
例えば、H.26Lの復号においては、予め定められた参照フレーム数上限までの範囲で複数の参照フレームを、フレームバッファに保持しておき、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームを双方向予測フレームとして復号する場合には、まず現フレームの復号に先んじて参照フレームが復号されるが、この参照フレームとして現フレームより時間的に前のフレームが複数、また時間的に後のフレームが複数、それぞれ復号され、参照フレームとしてフレームバッファに保持される。現フレームは、それらのフレームの中から予測に用いるフレームが任意に指示されて予測を行うことができる（図４（ａ）参照）。
【００１２】
したがって、この場合、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームはそれぞれ出力時間を示す情報若しくは出力順序を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図４（ｂ）参照）。出力時間は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【００１３】
上述した様に、逆方向予測においても、複数の参照フレームが用いられる場合には、フレームバッファに保持されるフレームは必ずしも現フレーム以降での逆方向予測に用いられるとは限らない。この例として、図５に示す予測構造を参照して説明する。現フレームＦ１が時間的に後の参照フレームＦ２から逆方向予測され、またＦ２はＦ３から、Ｆ３はＦ４から逆方向予測され、更にＦ４は時間的に前の参照フレームＦ０から順方向予測されているものとする。このような予測は、例えば、時間的に前の参照フレームＦ０と現フレームＦ１との間の変化が大きい一方でＦ１と時間的に後の参照フレームＦ２、Ｆ３、Ｆ４との間の変化が小さく、かつ、Ｆ０とＦ３との間では比較的に変化が小さくなるような場合に行われて、効率的な予測を行うことができる。
【００１４】
このとき、現フレームＦ１は時間的に後の参照フレームＦ２からのみ予測されることから、Ｆ３、Ｆ４は現フレームＦ１を復号する時点にて、フレーム間予測には用いることのないフレームとなる。しかしながら、Ｆ３、Ｆ４は現フレームＦ１よりも時間的に後のフレームであることから、それぞれの出力時間に復号画像として出力されるまで、保持され続ける必要がある。
【００１５】
このように、逆方向予測のために時間的に後のフレームをフレームバッファに保持する場合、かかるフレームとしては、現フレーム以降のフレーム間予測において参照フレームとして用いられるものと、参照フレームとしては用いられないものの２種類が存在することになる。以下、このように参照フレームとして用いられないものの、出力時間に達していないことからフレームバッファに保持されているフレームを、「出力待ちフレーム」と記す。
【００１６】
このフレームの違いを説明するために、動画像復号装置の構成の概略図を図６（ａ）及び図６（ｂ）に示す。図６（ａ）に示す様に、復号装置１には参照フレームを保持するフレームバッファ３が存在し、フレーム間予測を行う際に参照フレームを復号処理部２に出力する。このとき、上述のように逆方向予測において複数の参照フレームが用いられる場合は、フレームバッファには、参照フレームだけでなく出力待ちフレームも保持されることとなり、論理的には図６（ｂ）に示す様に、参照フレームとして一定の時間保持され続けて復号処理部２へも出力されるフレームを格納する領域と、出力待ちフレームとして、復号処理部２へ出力されることはなく、そのフレームに関する出力時間に復号画像として出力されるまでの間だけ保持され続けるフレームを格納する領域が存在することになる。
【００１７】
ところで、複数の参照フレームが用いられる場合に、例えばある動画像の中で特異な特徴を有し、他のフレームからの変化の大きいフレームがあった場合に、これを参照フレームとして保持していても効率的な予測は期待できない。したがって、かかるフレームを参照フレームとして保持せずに、その分のフレームバッファにて他のフレームを保持できる様にした方がフレーム間予測を効率的に行える場合がある。あるいは逆に、ある動画像の中で代表的な特徴を有し、他のフレームからの変化が小さいフレームは、現フレームとの時間的距離に関わらず参照フレームとして長くフレームバッファに保持しておくことにより、多くフレームにおいてフレーム間予測を効率的に行えることが期待できる。
【００１８】
このような参照フレームの取捨選択動作を実現するために、符号化データにて参照フレームの取捨選択情報を通知することが考えられる。例えばH.26Lでは、メモリ管理制御（ＭＭＣＯ：Memory Management Control Operation）コマンドが定義されている。MMCOコマンドでは、例えば、フレームバッファに保持されている全ての参照フレームを不要として指示することのできるResetコマンドなどが定義されており、必要に応じて任意に、フレームバッファにおいて参照フレームとして保持するフレームの取捨選択を指示することができる。
【００１９】
また、動画像上でのランダムアクセスを行うために、符号化データの途中から復号を開始しようとした場合には、復号を開始するフレームは、他のフレームからのフレーム間予測を用いないフレーム内予測により符号化されたフレームであり、またそのフレーム以降のフレームも、復号を開始するフレームより以前のフレームを参照フレームとしないこと、すなわち復号を開始するフレームの復号に先んじて、フレームバッファに保持されている全ての参照フレームが不要として指示されている必要がある。
【００２０】
例えば、H.26Lでは、このような状態を明示するために、瞬時復号器更新（IDR：Instantaneous Decoder Refresh）ピクチャが定義されている。IDRピクチャにおいては、IDRピクチャが復号される以前の参照フレームはすべて不要とされ、以降のフレームにおけるフレーム間予測が、IDRピクチャより以前のフレームからのフレーム間予測が行われないこととされる。これにより、ランダムアクセスなど、符号化データの中途からの復号を行う場合には、IDRピクチャからであればフレーム間予測における参照フレームの有無の問題が生じることなく、復号を行うことができる。
【００２１】
【発明が解決しようとする課題】
上述のように、逆方向予測フレーム間予測において複数の参照フレームを用いる場合、フレームバッファでの参照フレームの保持を制御する手段を設けることにより、複数の参照フレームを効率的に扱うことができる。他方で、このようなフレームバッファにはフレーム間予測に用いられる参照フレームだけでなく、出力時間までの間に保持される出力待ちフレームも存在するが、参照フレームの保持を制御する従来の手段においては、このような出力待ちフレームの制御が考慮されていなかった。そのために、出力される予定のない出力待ちフレームが、フレームバッファを長時間占領する課題がある。
【００２２】
このため、出力待ちフレームの制御が適切に行うことができない場合、復号画像の出力を一意に扱うことができない等の問題が生じてしまうことがある。
例えば、図７（ａ）の符号化データＦ００〜Ｆ０４からなる動画像から、図７（ｂ）の符号化データＦ１０〜Ｆ１３からなる動画像へ、Ｆ０３の時点で切り替えを行うものとする。これは、動画像の編集を行うために蓄積された符号化データをフレーム単位で切り替えた場合、あるいは放送型の動画像通信において、１つのチャネルに相当する任意の符号化データから、別のチャネルに相当する他の符号化データに切り替えた場合、などに生じ得る。
【００２３】
この場合、Ｆ１０はIDRピクチャである必要があり、これによりＦ１０の復号に先んじてフレームバッファに保持されている参照フレームは全て不要とされ、Ｆ１０以降のフレームの復号は問題なく行うことができる。しかしながら、この場合に不要とされるのは参照フレームであることから、Ｆ０３、Ｆ０４が参照フレームではなく出力待ちフレームであった場合には、扱いが一意とはならない。すなわち、Ｆ１０への切り替えが行われた場合に、Ｆ０３、Ｆ０４はフレームバッファに引き続き保持されて出力されるべきフレームであるのか、あるいはＦ１０の復号に先んじて不要として扱われるべきフレームであるのかが明確ではない。したがって、この場合の復号画像としてどのフレームが出力されるのか、一意ではない。
【００２４】
そこで、本発明の課題は、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することである。
【００２５】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る動画像符号化装置は、符号化の対象となる画像を入力する入力手段と、前記画像を符号化し、符号化データを生成する符号化手段と、前記符号化手段により符号化され再生された画像のうち、前記符号化手段により次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、ことを特徴とする。
【００２６】
消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることが望ましい。
【００２７】
本発明に係る動画像復号装置は、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力手段と、前記符号化データを復号し、再生画像を生成する復号手段と、前記再生画像のうち、前記復号手段により次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ出力待ちフレームとを全て消去することを特徴とする。
【００２８】
消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることが望ましい。
【００２９】
本発明に係る動画像符号化方法は、動画像符号化装置が、符号化の対象となる画像を入力する入力ステップと、前記動画像符号化装置が、前記画像を符号化し、符号化データを生成する符号化ステップと、前記動画像符号化装置が、前記符号化ステップにて符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、前記動画像符号化装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像符号化装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、ことを特徴とする。
【００３０】
本発明に係る動画像復号方法は、動画像復号装置が、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力ステップと、前記動画像復号装置が、前記符号化データを復号し、再生画像を生成する復号ステップと、前記動画像復号装置が、前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、前記動画像復号装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像復号装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去することを特徴とする。
【００３１】
本発明に係る動画像符号化プログラムは、符号化の対象となる画像を入力する機能と、前記画像を符号化し、符号化データを生成する機能と、符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する機能とを動画像符号化装置に実現させることを特徴とする。
【００３２】
本発明に係る動画像復号プログラムは、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する機能と、前記符号化データを復号し、再生画像を生成する機能と、前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去する機能とを動画像復号装置に実現させることを特徴とする。
【００３７】
これらの発明によれば、符号化において、復号画像出力待ちであるフレームを不要とすることを指示する情報を出力すると共に、復号において、この情報を入力し、全ての出力待ちフレームを出力しない。これにより、編集後の符号化データの復号や、符号化データ上でのランダムアクセス後の復号において、不必要な復号画像出力が生じたり、逆に必要な復号画像出力が削除されたりしてしまうことを防ぐ。その結果、適切な復号画像出力を得ることができる。
【００３８】
また、上述した動画像符号化装置と、上述した動画像復号装置とを備え、前記動画像復号装置は、前記動画像符号化装置により符号化されたデータを復号する動画像処理システムを構築しても、同様の効果が得られる。
【００５１】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
説明の前提として、符号化及び復号に関しては、H.26Lを基に実現されるものとすると共に、動画像符号化における動作について特に言及しない部分については、H.26Lの動作に準じるものとする。
【００５２】
まず、本発明に係る動画像処理システムの構成を説明する。図８は、動画像処理システム１００の機能的構成を示すブロック図である。図８に示す様に、動画像処理システム１００は、動画像符号化装置１０と動画像復号装置２０とを備えて構成される。動画像符号化装置１０及び動画像復号装置２０は、時間的に後のフレームからの逆方向フレーム間予測を行う。
【００５３】
詳細な処理内容に関しては後述するが、動画像符号化装置１０は選択情報出力部１１を備え、選択情報出力部１１は、時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を動画像復号装置２０に出力する。
動画像復号装置２０は復号画像不要化部２１を備え、復号画像不要化部２１は、時間的に後のフレームの復号画像を不要とするための情報が動画像符号化装置１０から入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない。
【００５４】
上記情報は例えば、時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。また例えば、この情報は、時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。更に例えば、この情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００５５】
続いて、本発明に係る動画像符号化方法、及び動画像復号方法について説明する。本実施の形態では、フレームバッファの保持されるフレームについて不要とすることを指示することのできる情報を定義するが、このとき参照フレーム、出力待ちフレームのそれぞれについて明確に定義を行う。
【００５６】
ここでは、H.26Lにおいて符号化データを伝送する単位であるNAL（Network Abstraction Layer） についての情報を通知するNAL unit syntaxにおいて定義するものとする。具体的には、その中に含まれるNAL unit typeにて通知される種別として定義する。
【００５７】
ここでは、まず従来のIDRピクチャについて、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するものとする。すなわち、フレームバッファに保持されている出力待ちフレームは、IDRピクチャによっては不要とはされないものとして定義する。
【００５８】
次に、IDRピクチャとは異なる新たなピクチャとして、Instant Buffer Refreshピクチャ（以下、「IBRピクチャ」と記す。）を定義する。IBRピクチャは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するIDRピクチャの定義に加えて、全ての出力待ちフレームも不要とすることを指示するものとして定義される。すなわち、現フレームがIBRピクチャであるとされた場合には、現フレームの復号に先んじて、フレームバッファに保持されている全ての参照フレーム、及び全ての出力待ちフレームを不要とするものとする。
【００５９】
符号化では、動画像符号化装置１０は、このようなIBRピクチャを以下の様な場合に指示する。例えば、ランダムアクセスポイントとしてIDRピクチャを指示しようとする場合に、逆方向予測による遅延のいかんに関わらず、それ以前の出力待ちフレームが保持されないようにする場合に、当該フレームをIBRピクチャと指示することができる。
【００６０】
復号においては、動画像復号装置２０は、現フレームがIBRピクチャであった場合には、現フレームの復号に先んじてフレームバッファに含まれる全ての参照フレーム、出力待ちフレームを不要とし、現フレーム以後のフレーム間予測ならびに復号画像出力に用いられることがないものとする。
【００６１】
IBRピクチャにおいては、全ての出力待ちフレームを不要とするのではなく、不要となる出力待ちフレームを限定して不要とするものとしてもよい。
そこで、IBRピクチャに関連付けられた復号画像出力時間を用いて不要の判断を行うこととし、この出力時間よりも大きな出力時間を持つ、出力待ちフレームのみを不要とすることとしてもよい。
【００６２】
あるいはまた、別途出力時間を通知することとして、通知された時間より大きな出力時間を持つ出力待ちフレームのみを不要とすることとし、不要となる出力待ちフレームを、そのフレームに関連付けられた復号画像出力時間によって指定することととしてもよい。
【００６３】
この場合には出力時間を通知するためのシンタックスが必要となるが、それは例えばNAL unit syntaxの中で、NAL unit typeがIBRピクチャを指示した場合にだけ存在するシンタックスとすることとして、IBRピクチャとともに時間を通知するシンタックスとしてもよい。例えば、NAL unit typeがIBRピクチャを指示した場合にNAL unit typeに引き続いて通知される“latest_output_time”を定義する。ここでは、latest_output_timeは、H.26Lにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、90kHzの時間単位にて最大遅延時間を示すものとする。またその時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。
【００６４】
復号においては、動画像復号装置２０は、latest_output_timeが通知された場合、フレームバッファに保持されている出力待ちフレームの内、その復号画像出力時間がlatest_output_timeよりも大きなフレームのみを不要とする。
【００６５】
また、このようにlatest_output_timeを用いる場合には、その前に更にフラグが通知されるものとし、フラグによる指示があった場合のみlatest_output_timeが存在するシンタックスを用いるものとしてもよい。かかる場合において、latest_output_timeが省略される場合には、全ての出力待ちフレームを不要とすることとして定義することができる。
【００６６】
本実施の形態では、IDRピクチャとは異なるピクチャとしてIBRピクチャを定義することとしたが、両者の違いはフレームバッファに保持された出力待ちフレームの扱いの違いであることから、IBRピクチャの様に新しいピクチャを定義するのではなく、IDRピクチャに付随する、出力待ちフレームの扱いを指示するフラグ（no_output_of_prior_pics_flag）を定義することとして、IBRピクチャと同じ定義をIDRピクチャに与えることとしてもよい。
【００６７】
すなわち、上述した定義の様に、IDRピクチャでは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示し、出力待ちフレームは不要とはされないものとして定義する。このとき、このIDRピクチャについて、関連付けられたフラグが別途通知されることとし、フラグによる指示があった場合には（no_output_of_prior_pics_flag＝１）、当該IDRピクチャにおいては上述のIBRピクチャと同じ様に、フレームバッファに保持されている全ての参照フレームに加えて、全ての出力待ちフレームも不要とすることを指示するものとする。この様な通知により、新たなピクチャを定義することなく、出力待ちフレームを不要とする指示を与えることも可能である。
【００６８】
本実施の形態について、図１０〜図１２を参照して、更に説明する。
図１０は、本実施の形態における動画像符号化装置１０の構成を示すブロック図である。入力端子４７より、映像を符号化するための条件が入力される。一般的にはキーボードにより、符号化条件が選択若しくは入力される。符号化条件としては、例えば、符号化の対象となる画像の大きさ、フレームレート、ビットレートが挙げられる。更に、映像の予測参照構造やバッファ４４の容量が挙げられる。
【００６９】
映像の予測参照構造は、例えば、入力画像をＩＤＲ画像として符号化するタイミング、予測符号化画像が参照する画像などである。バッファ４４の容量は、例えば、一時的に格納され参照画像として用いられる画像の枚数である。これらの条件は、時間と共に変化するような設定をしてもよい。入力された符号化条件は、制御器４８に格納される。
【００７０】
符号化処理が開始すると、制御器４８は、符号化条件をエンコーダ４３に出力し、符号化条件がセットされる。一方、入力端子４１より、符号化の対象となる画像が入力されると、フレームメモリ４２を経由して、エンコーダ４３に出力された後、符号化される。逆方向予測を行う際に画像の順番が入れ替わるため、フレームメモリ４２内には、入力画像が一時的に格納される。
【００７１】
エンコーダ４３は、Ｈ．２６Ｌのアルゴリズムに基づいて画像を符号化する。符号化された画像は、多重化器４５を経由して、他の関連情報と多重化された後、出力端子４６より出力される。また、予測に用いられる画像は、エンコーダ４３にて再生された後、次の画像を符号化するための参照画像として、バッファ４４に格納される。
【００７２】
図１１は、制御器４８が、no_output_of_prior_pics_flagを決定する処理を説明するためのフローチャートである。この処理は、符号化の対象となる映像を構成する各画像に対して実行される。まずＳ１では、符号化の対象となる画像の符号化条件（ＩＤＲ画像として符号化すべきか否か）、及びバッファ４４に既に格納されている再生画像が参照画像若しくは表示画像として用いられるか否かに関する情報が入力される。かかる情報は、制御器４８が別途管理している。
【００７３】
Ｓ２では、符号化の対象となる画像がＩＤＲ画像であるか否かが判定される。判定の結果、ＩＤＲ画像ではない場合には（Ｓ２；ＮＯ）、この処理は終了する（Ｓ３）。ＩＤＲ画像である場合には（Ｓ２；ＹＥＳ）、Ｓ４に移行する。Ｓ４では、バッファ４４に既に格納されている画像が、参照画像又は表示画像として用いられるか否かの判定が行われる。
【００７４】
上記判定の結果、参照画像又は表示画像として用いられる場合には（Ｓ４；ＹＥＳ）、no_output_of_prior_pics_flagは“０”にセットされる（Ｓ５）。一方、参照画像又は表示画像として用いられない場合には（Ｓ４；ＮＯ）、no_output_of_prior_pics_flagは“１”にセットされる（Ｓ６）。このようにセットされたno_output_of_prior_pics_flagは、バスＬ８を経由して多重化器４５に出力された後、対応する画像の符号化データに付加され、出力端子４６から送出される（Ｓ７）。また、Ｓ６において、no_output_of_prior_pics_flagが“１”にセットされた場合、制御器４８は、Ｌ７経由で、バッファ４４に格納されている画像を全て消去するコマンドを出力する。
【００７５】
図１２は、本実施の形態における動画像復号装置２０の構成を示すブロック図である。入力端子５１より、復号されるデータが入力される。このデータは、動画像符号化装置１０により符号化された各フレームの画像データである。このデータがＩＤＲ画像である場合には、no_output_of_prior_pics_flagが多重化されている。入力されたデータは、入力バッファ５２に格納される。所定の時刻になると、制御器５６からの指示により、一フレーム分のデータが入力バッファ５２からデコーダ５３に入力され、Ｈ．２６Ｌのアルゴリズムに従った復号化が開始される。
【００７６】
復号された画像は、出力バッファ５４に一旦格納される。出力バッファ５４に格納された画像は、バスＭ５を経由して、デコーダ５３にフィードバックされた後、次の画像を復号するための参照画像として用いられる。一方、デコーダ５３により復号化されたＩＤＲ画像に付加されているno_output_of_prior_pics_flagのデータは、制御器５６に入力される。
【００７７】
制御器５６は、no_output_of_prior_pics_flagの値（“０”又は“１”）を参照して、出力バッファ５４を制御する。すなわち、no_output_of_prior_pics_flagが“１”である場合には、参照画像と表示待ち画像とが共に不要となるので、制御器５６は、バスＭ８を経由して、出力バッファ５４に格納されている全ての画像を消去するコマンドを出力する。これに対して、no_output_of_prior_pics_flagが“０”である場合には、その画像はＩＤＲ画像であるので、制御器５６は、参照に用いられる画像（参照画像）を全て不要とし、出力バッファ５４から消去する。しかし、表示待ち画像は消去しない。表示待ち画像は、その時刻に、ディスプレイに表示される。
【００７８】
また、本実施の形態では、H.26Lを基にして本発明を実現した例について説明したが、本発明を適用可能な動画像符号化方式としては、H.26Lに限らず、逆方向フレーム間予測を用いる様々な動画像符号化方式がある。
【００７９】
更に、本実施の形態においては、出力待ちフレームを不要とすることを通知するためのシンタックスとしてNAL unit syntaxの中で通知されるNAL unit typeにおいて定義を追加するものとし、また出力時間を通知する場合には固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための定義やシンタックスはこれらに限られるものではない。出力時間を通知するための固定長符号に代わり可変長符号を用いることとしても良いし、出力時間の単位も90kHzではなく、例えばH.26Lにおいて、補助的に映像利便性情報（Video Usability Information、VUI）として通知される、num_units_in_tick、time_scaleにて定義される時間単位に基づくものとしてもよい。
【００８０】
また、NAL unit syntax以外にも、フレーム単位で適用されるための情報を通知することのできる様々なシンタックスによって通知するものとすることができる。例えばH.26Lにおいては、補助拡張情報メッセージ（Supplemental Enhancement Information Message）の中にシンタックスを追加するものとしても良い。
【００８１】
あるいはまた、H.26Lにおいて参照フレームの制御のために定義される、メモリ管理制御処理（ＭＭＣＯ）コマンドを拡張することとしてもよい。この場合、MMCOコマンドとして定義されているリセット（Reset）コマンドが上述のNAL unit typeにおけるIDRピクチャと同じ動作を定義していることから、NAL unit typeにおける定義の場合と同様に、例えば出力待ちフレームリセット（Reordering Buffer Reset）コマンドを定義することができる。このコマンドによる動作の定義は、NAL unit typeにおけるIBRピクチャにおける動作の定義と同様とすればよい。
【００８２】
他の動画像符号化方式を用いる場合には、当該符号化方式においてフレーム単位に適用される情報を通知するためのシンタックスを用いることができる。また、H.263を用いた通信において制御情報の通知のために利用されるITU-T Recommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【００８３】
最後に、図９を参照して、本発明に係る動画像符号化プログラム、及び動画像復号プログラムについて説明する。
図９に示す様に、動画像処理プログラム３１０は、記録媒体３０内に形成されたプログラム格納領域３０ａに格納されている。動画像処理プログラム３１０は、図８に示した動画像処理システム１００により実行可能であり、動画像処理を統括するメインモジュール３１１と、後述の動画像符号化プログラム３１２と、後述の動画像復号プログラム３１３とを有する。
【００８４】
動画像符号化プログラム３１２は、選択情報出力モジュール３１２ａを備えて構成される。選択情報出力モジュール３１２ａを動作させることによって実現する機能は、動画像符号化装置１０の選択情報出力部１１の有する機能と同様である。
【００８５】
動画像復号プログラム３１３は、復号画像不要化モジュール３１３ａを備えて構成される。復号画像不要化モジュール３１３ａを動作させることによって実現する機能は、動画像復号装置２０の復号画像不要化部２１の有する機能とそれぞれ同様である。
【００８６】
また、動画像処理プログラム３１０は、その一部若しくは全部が通信回線等の伝送媒体を介して他の機器により受信され、記録される構成としてもよい。反対に、動画像処理プログラム３１０を、伝送媒体を介して伝送し、他の機器にインストールする構成としてもよい。
【００８７】
【発明の効果】
本発明によれば、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することができる。更に、出力されていない出力待ちフレームがフレームバッファから削除されるため、フレームバッファを無駄なく利用することができる。
【図面の簡単な説明】
【図１】フレーム間予測における順方向予測と逆方向予測を説明するための図である。
【図２】図２（ａ）は、現フレームが２つのフレームを用いて双方向予測により復号される例を示す図である。図２（ｂ）は、時間的に後の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図３】参照フレームが複数用いられる場合の順方向予測と逆方向予測とを説明するための図である。
【図４】図４（ａ）は、所定の参照フレーム数上限までの範囲で複数の参照フレームのフレーム間予測を行う例を示す図である。図４（ｂ）は、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図５】フレームバッファに保持されるフレームが現フレーム以降での逆方向予測に用いられない場合における予測構造を示す図である。
【図６】図６（ａ）は、動画像復号装置の構成を概略的に示す図である。図６（ｂ）は、フレームバッファの構成を概略的に示す図である。
【図７】図７（ａ）は、符号化データから成る切替え前の動画像の一例を示す図である。図７（ｂ）は、符号化データから成る切替え後の動画像を示す図である。
【図８】本発明に係る動画像処理システムの機能的構成を示すブロック図である。
【図９】本発明に係る動画像処理プログラムの構成を示す図である。
【図１０】本発明に係る動画像符号化装置の構成を示すブロック図である。
【図１１】制御器がno_output_of_prior_pics_flagを決定する処理を説明するためのフローチャートである。
【図１２】本発明に係る動画像復号装置の構成を示すブロック図である。
【符号の説明】
１０…動画像符号化装置、１１…選択情報出力部、２０…動画像復号装置、２１…復号画像不要化部、３１０…動画像処理プログラム、３１２…選択情報出力モジュール、３１３…復号画像不要化モジュール、４１，４７…入力端子、４２…フレームメモリ、４３…エンコーダ、４４…バッファ、４５…多重化器、４６…出力端子、４８…制御器、５１…入力端子、５２…入力バッファ、５３…デコーダ、５４…出力バッファ、５５…出力端子、５６…制御器、１００…動画像処理システム
Claims (8)
- 符号化の対象となる画像を入力する入力手段と、
前記画像を符号化し、符号化データを生成する符号化手段と、
前記符号化手段により符号化され再生された画像のうち、前記符号化手段により次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、
前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、
前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、
ことを特徴とする動画像符号化装置。 - 消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることを特徴とする請求項１に記載の動画像符号化装置。
- 符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力手段と、
前記符号化データを復号し、再生画像を生成する復号手段と、
前記再生画像のうち、前記復号手段により次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを格納する画像格納手段と、
前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理手段とを備え、
前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ出力待ちフレームとを全て消去することを特徴とする動画像復号装置。 - 消去する前記出力待ちフレームの基準となる出力時間は、前記ＩＤＲ画像に関連付けられた出力時間であることを特徴とする請求項３に記載の動画像復号装置。
- 動画像符号化装置が、符号化の対象となる画像を入力する入力ステップと、
前記動画像符号化装置が、前記画像を符号化し、符号化データを生成する符号化ステップと、
前記動画像符号化装置が、前記符号化ステップにて符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、
前記動画像符号化装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、
前記バッファ管理ステップでは、前記動画像符号化装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する 場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する、
ことを特徴とする動画像符号化方法。 - 動画像復号装置が、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力ステップと、
前記動画像復号装置が、前記符号化データを復号し、再生画像を生成する復号ステップと、
前記動画像復号装置が、前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する画像格納ステップと、
前記動画像復号装置が、前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理するバッファ管理ステップとを含み、
前記バッファ管理ステップでは、前記動画像復号装置は、前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去することを特徴とする動画像復号方法。 - 符号化の対象となる画像を入力する機能と、
前記画像を符号化し、符号化データを生成する機能と、
符号化され再生された画像のうち、次の符号化に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、
前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、
前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像を符号化する際に、前記画像格納手段に既に格納されている前記参照フレームを消去するか、又は、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを、前記符号化データと共に出力し、前記参照フレームと前記出力待ちフレームとの双方を消去するかを示すフラグを出力する場合には、これよりも大きい出力時間を持つ前記出力待ちフレームを消去することとする、消去する前記出力待ちフレームの基準となる出力時間を併せて出力する機能と
を動画像符号化装置に実現させることを特徴とする動画像符号化プログラム。 - 符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する機能と、
前記符号化データを復号し、再生画像を生成する機能と、
前記再生画像のうち、次の復号に用いられる参照フレームと、表示される出力時間に達していない出力待ちフレームとを画像格納手段に格納する機能と、
前記画像格納手段に格納されている前記参照フレームと前記出力待ちフレームとを管理する機能と、
前記画像格納手段に格納されている画像を参照せずに符号化されるＩＤＲ画像に対応する前記画像出力指示フラグが“１”の場合には、前記画像格納手段に格納されている前記参照フレームと、当該画像出力指示フラグと併せて入力された、消去する前記出力待ちフレームの基準となる出力時間より大きい出力時間を持つ前記出力待ちフレームとを全て消去する機能と
を動画像復号装置に実現させることを特徴とする動画像復号プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003207595A JP3939273B2 (ja) | 2002-10-11 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002299512 | 2002-10-11 | ||
| JP2003207595A JP3939273B2 (ja) | 2002-10-11 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003190567A Division JP3513148B1 (ja) | 2002-10-11 | 2003-07-02 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006294731A Division JP2007068218A (ja) | 2002-10-11 | 2006-10-30 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004187265A JP2004187265A (ja) | 2004-07-02 |
| JP3939273B2 true JP3939273B2 (ja) | 2007-07-04 |
Family
ID=32774345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003207595A Expired - Lifetime JP3939273B2 (ja) | 2002-10-11 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3939273B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7710462B2 (en) * | 2004-12-17 | 2010-05-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for randomly accessing multiview videos |
-
2003
- 2003-08-14 JP JP2003207595A patent/JP3939273B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004187265A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10009627B2 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program | |
| US9826228B2 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program | |
| US8594181B2 (en) | Multi-decoder and method | |
| JP4710887B2 (ja) | 画像処理装置、及び、画像処理装置の制御方法 | |
| JPH08154247A (ja) | 圧縮画像データ処理装置及び方法 | |
| JPH0795571A (ja) | 画像符号化装置、画像復号化装置及び多地点間データ伝送方法 | |
| US20100111166A1 (en) | Device for decoding a video stream and method thereof | |
| JP3939273B2 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2007068218A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
| JP2009071365A (ja) | 動画像復号装置およびその方法 | |
| US8054206B2 (en) | Decoding device and decoding method | |
| JP2004228617A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP2007074544A (ja) | 画像復号再生装置 | |
| JP2002027478A (ja) | 画像情報符号化装置及び方法 | |
| JPH04280190A (ja) | 画像復号化方法、及びこの画像復号化方法を用いた画像復号化装置 | |
| JP2001128125A (ja) | 動画像再生装置 | |
| JP2005079751A (ja) | 動画像予測符号化装置 | |
| JP2013110549A (ja) | 動画像符号化装置および動画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3939273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |