JPWO2006059796A1 - 符号化装置および方法、並びにプログラム - Google Patents
符号化装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2006059796A1 JPWO2006059796A1 JP2006546745A JP2006546745A JPWO2006059796A1 JP WO2006059796 A1 JPWO2006059796 A1 JP WO2006059796A1 JP 2006546745 A JP2006546745 A JP 2006546745A JP 2006546745 A JP2006546745 A JP 2006546745A JP WO2006059796 A1 JPWO2006059796 A1 JP WO2006059796A1
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- decoding
- decoded
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
デコード側において表示待ちが生じないようにピクチャを符号化することができる。符号化順が入れ替わった再符号化が行われる。その結果、ピクチャＢ３が、ピクチャＩ１（ピクチャＮｄ）から第２番目にデコードされるピクチャＮａ＋１（第１１図Ａ）として検出されるので、｛Ｉ１，Ｐ２，Ｂ３｝のピクチャ列に、ピクチャＰ３（ピクチャＮａ＋２）（ピクチャＩ１から第２番目に表示されるピクチャ）が含まれているようになり、第１１図Ｃおよび第１１図Ｄに示すように、ピクチャＢ３のデコードが、ピクチャＢ３の表示時刻に対応する時刻に行われ、ピクチャＢ３をその表示時刻に表示することができるようになる。
Description
本発明は、符号化装置および方法、並びにプログラムに関し、デコード側において表示待ちが生じないようにピクチャを符号化することができる符号化装置および方法、並びにプログラムに関する。
第１図を参照して、動画像圧縮技術符号化標準であるＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格での、エンコードおよびデコードの関係を簡単に説明する。
エンコーダ２は、ビデオカメラ１等により取り込まれたビデオ信号を、双方向動き補償フレーム間予測の原理に基づいて符号化し、ビットストリームを生成する。
デコード側のバッファ５がオーバフローしたりアンダフローして破綻してしまうと、ビットストリームを正しく復号することができなくなるので、エンコーダ２は、このバッファ５を破綻させないように、ビットストリームを生成する必要がある。
そこでこれを実現するために、符号化において、仮想のバッファを含むデコーダ６の振る舞いを仮想的にモデル化した仮想デコーダという概念が導入されている。
仮想デコーダには、デコードされる前のビットストリームを保存するバッファ（ＣＰＢ：Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）と、デコードされたピクチャを保存するバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）の２個のバッファが規定されている。ＣＰＢとＤＰＢのバッファサイズは、レベルに応じて規定されている。
例えば、ビデオデータの１フレームまたは１フィールドのピクチャをデコード処理単位であるアクセスユニットとすると、アクセスユニットは、予め定められた到着時刻にＣＰＢに入力される。第２図Ａは、ＣＰＢのデコード時刻に対応する時刻である、ＣＰＢリムーバルタイムを表している。アクセスユニットは、ＣＰＢリムーバルタイムで定義された時刻にＣＰＢから瞬時に取り出されて、仮想デコーダによって瞬時にデコードされる。デコードされたピクチャは、ＣＰＢリムーバルタイムの時刻にＤＰＢに入力される。
デコードされてＤＰＢに入力されたピクチャは、表示時刻順に入れ替えられてＤＰＢに保存される。第２図Ｂは、ＤＰＢの表示時刻に対応する時刻であるＤＰＢアウトプットを表している。アクセスユニットは、ＤＰＢアウトプットタイムで定義された時刻にＤＰＢから出力され、表示される。
なおＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムは、例えば１６ｍｓｅｃ（ｔｃ）間隔で定義されている。
エンコーダ２は、例えばアクセスユニットをペイロードとして、第３図に示すように、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを生成する。ＡＶＣのビットストリームでは、ＣＰＢリムーバルタイムやＤＰＢアウトプットタイムは、各ピクチャのヘッダ情報として格納されているため、この場合にはペイロード中に格納される。
ＰＥＳパケットのヘッダ情報には、当該ＰＥＳパケットにランダムアクセスした際にビデオデータ、オーディオデータ、字幕データの同期を取るのために用いられる表示時刻情報（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）などが格納される。
エンコーダ２は、第２図Ａや第２図Ｂに示すような、ピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムなどの規則に従って、これらのバッファが破綻しないようにエンコードを行う。実際のデコード処理の際に従うべき規則となるピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムの値は、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれる。
エンコードされたビットストリームは、実際のプレーヤにおいて、第２図Ｃに示す時刻にデコード処理が行われ、第２図Ｄに示す時刻に表示される。実際のデコード処理の際には、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれるＤＰＢアウトプットタイムに基づいて、例えば毎秒３０フレームといったように、指定された時間にピクチャを表示していく。ＡＶＣ規格では、ピクチャのヘッダ情報に仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムが記述されている。
なお、第２図Ｃおよび第２図Ｄに示す、実際のデコード処理におけるデコード時刻および表示時刻は、第２図Ａおよび第２図Ｂに示す仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムと同様に、ｔｃ間隔で示されている。
エンコーダ２により生成されたビットストリームは、伝送バッファ３に入力されて蓄積され、例えばトランスポートストリームやプログラムストリームとして伝送路４に出力されたり、図示しない記録媒体に記録されたりする。
伝送路４または図示されない記録媒体を介して伝送されたトランスポートストリームまたはプログラムストリームは、デコーダ側のバッファ５に入力される。デコーダ６は、このバッファ５からビットストリームを取り出して、各ピクチャについて、第２図Ｃに示すように、仮想デコーダによるＣＰＢリムーバルタイムが示すデコード順序（第２図Ａ）と同じ順序（第２図Ａ）で、ＤＰＢアウトプットタイム（第２図Ｂ）に対応する時刻に合わせてデコード処理を行う（非特許文献１「Ｈ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０），Ａｎｎｅｘ Ｃ」参照）。
デコーダ６は、デコード処理の結果得られた画像を、ＤＰＢアウトプットタイム（第２図Ｂ）に応じた時刻に、表示部７に表示する。
しかしながら、実際のデコード処理は、上述したように、仮想デコーダにより定められているＣＰＢリムーバルタイムが示す時刻ではなく、ＤＰＢアウトプットタイムが示す時刻に対応する時刻（第２図Ｂ）に、仮想デコーダによるデコードと同じ順序（第２図Ａ）で行われる、そのため、デコード順と表示順が異なるピクチャの復号が、そのピクチャの表示時刻までに行われない場合がある。
例えば、第２図Ｂで第３番目に表示されるピクチャＢ３は、第２図Ａに示すように第４番目にデコードされる。一方、実際のデコード側のピクチャＢ３のデコード時刻は、第２図Ｃに示すように、ピクチャＢ３の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示すように、ピクチャＢ３を、本来の表示時刻（第２図Ｂ）に表示することができなくなる。第２図Ｄ中、第２図ＢのＤＰＢアウトプットタイムに応じて“Ｂ３”が表示されるべき時刻に×が付されているのは、表示されないことを意味している。この場合、実際のデコード処理では、第２図Ｄのように、ピクチャＢ３の表示待ちが生じる。
エンコーダ２は、ビデオカメラ１等により取り込まれたビデオ信号を、双方向動き補償フレーム間予測の原理に基づいて符号化し、ビットストリームを生成する。
デコード側のバッファ５がオーバフローしたりアンダフローして破綻してしまうと、ビットストリームを正しく復号することができなくなるので、エンコーダ２は、このバッファ５を破綻させないように、ビットストリームを生成する必要がある。
そこでこれを実現するために、符号化において、仮想のバッファを含むデコーダ６の振る舞いを仮想的にモデル化した仮想デコーダという概念が導入されている。
仮想デコーダには、デコードされる前のビットストリームを保存するバッファ（ＣＰＢ：Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）と、デコードされたピクチャを保存するバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）の２個のバッファが規定されている。ＣＰＢとＤＰＢのバッファサイズは、レベルに応じて規定されている。
例えば、ビデオデータの１フレームまたは１フィールドのピクチャをデコード処理単位であるアクセスユニットとすると、アクセスユニットは、予め定められた到着時刻にＣＰＢに入力される。第２図Ａは、ＣＰＢのデコード時刻に対応する時刻である、ＣＰＢリムーバルタイムを表している。アクセスユニットは、ＣＰＢリムーバルタイムで定義された時刻にＣＰＢから瞬時に取り出されて、仮想デコーダによって瞬時にデコードされる。デコードされたピクチャは、ＣＰＢリムーバルタイムの時刻にＤＰＢに入力される。
デコードされてＤＰＢに入力されたピクチャは、表示時刻順に入れ替えられてＤＰＢに保存される。第２図Ｂは、ＤＰＢの表示時刻に対応する時刻であるＤＰＢアウトプットを表している。アクセスユニットは、ＤＰＢアウトプットタイムで定義された時刻にＤＰＢから出力され、表示される。
なおＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムは、例えば１６ｍｓｅｃ（ｔｃ）間隔で定義されている。
エンコーダ２は、例えばアクセスユニットをペイロードとして、第３図に示すように、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを生成する。ＡＶＣのビットストリームでは、ＣＰＢリムーバルタイムやＤＰＢアウトプットタイムは、各ピクチャのヘッダ情報として格納されているため、この場合にはペイロード中に格納される。
ＰＥＳパケットのヘッダ情報には、当該ＰＥＳパケットにランダムアクセスした際にビデオデータ、オーディオデータ、字幕データの同期を取るのために用いられる表示時刻情報（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）などが格納される。
エンコーダ２は、第２図Ａや第２図Ｂに示すような、ピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムなどの規則に従って、これらのバッファが破綻しないようにエンコードを行う。実際のデコード処理の際に従うべき規則となるピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムの値は、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれる。
エンコードされたビットストリームは、実際のプレーヤにおいて、第２図Ｃに示す時刻にデコード処理が行われ、第２図Ｄに示す時刻に表示される。実際のデコード処理の際には、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれるＤＰＢアウトプットタイムに基づいて、例えば毎秒３０フレームといったように、指定された時間にピクチャを表示していく。ＡＶＣ規格では、ピクチャのヘッダ情報に仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムが記述されている。
なお、第２図Ｃおよび第２図Ｄに示す、実際のデコード処理におけるデコード時刻および表示時刻は、第２図Ａおよび第２図Ｂに示す仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムと同様に、ｔｃ間隔で示されている。
エンコーダ２により生成されたビットストリームは、伝送バッファ３に入力されて蓄積され、例えばトランスポートストリームやプログラムストリームとして伝送路４に出力されたり、図示しない記録媒体に記録されたりする。
伝送路４または図示されない記録媒体を介して伝送されたトランスポートストリームまたはプログラムストリームは、デコーダ側のバッファ５に入力される。デコーダ６は、このバッファ５からビットストリームを取り出して、各ピクチャについて、第２図Ｃに示すように、仮想デコーダによるＣＰＢリムーバルタイムが示すデコード順序（第２図Ａ）と同じ順序（第２図Ａ）で、ＤＰＢアウトプットタイム（第２図Ｂ）に対応する時刻に合わせてデコード処理を行う（非特許文献１「Ｈ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０），Ａｎｎｅｘ Ｃ」参照）。
デコーダ６は、デコード処理の結果得られた画像を、ＤＰＢアウトプットタイム（第２図Ｂ）に応じた時刻に、表示部７に表示する。
しかしながら、実際のデコード処理は、上述したように、仮想デコーダにより定められているＣＰＢリムーバルタイムが示す時刻ではなく、ＤＰＢアウトプットタイムが示す時刻に対応する時刻（第２図Ｂ）に、仮想デコーダによるデコードと同じ順序（第２図Ａ）で行われる、そのため、デコード順と表示順が異なるピクチャの復号が、そのピクチャの表示時刻までに行われない場合がある。
例えば、第２図Ｂで第３番目に表示されるピクチャＢ３は、第２図Ａに示すように第４番目にデコードされる。一方、実際のデコード側のピクチャＢ３のデコード時刻は、第２図Ｃに示すように、ピクチャＢ３の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示すように、ピクチャＢ３を、本来の表示時刻（第２図Ｂ）に表示することができなくなる。第２図Ｄ中、第２図ＢのＤＰＢアウトプットタイムに応じて“Ｂ３”が表示されるべき時刻に×が付されているのは、表示されないことを意味している。この場合、実際のデコード処理では、第２図Ｄのように、ピクチャＢ３の表示待ちが生じる。
本発明はこのような状況に鑑みてなされたものであり、デコード側において表示待ちが生じないようにピクチャを符号化することができるようにするものである。
本発明の符号化装置は、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行うように構成された符号化部を備えることを特徴とする。
符号化部は、ピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出するように構成された第１の検出部と、ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出するように構成された第２の検出部と、ピクチャ群の中で、第１の検出部により検出されたピクチャから第ｍ番目に復号されるピクチャを検出するように構成された第３の検出部と、第３の検出部により検出されたピクチャが復号されるまでに、第２の検出部により検出されたピクチャが復号される符号化処理を実行するように構成された実行部を備えることができる。
本発明の符号化方法は、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行う符号化ステップを含むことを特徴とする。
本発明のプログラムは、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行う符号化ステップを含むことを特徴とする。
本発明の装置および方法、並びにプログラムにおいては、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化が行われる。
本発明によれば、デコード側において表示待ちが生じないように動画像を符号化することができる。
本発明の符号化装置は、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行うように構成された符号化部を備えることを特徴とする。
符号化部は、ピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出するように構成された第１の検出部と、ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出するように構成された第２の検出部と、ピクチャ群の中で、第１の検出部により検出されたピクチャから第ｍ番目に復号されるピクチャを検出するように構成された第３の検出部と、第３の検出部により検出されたピクチャが復号されるまでに、第２の検出部により検出されたピクチャが復号される符号化処理を実行するように構成された実行部を備えることができる。
本発明の符号化方法は、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行う符号化ステップを含むことを特徴とする。
本発明のプログラムは、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化を行う符号化ステップを含むことを特徴とする。
本発明の装置および方法、並びにプログラムにおいては、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化が行われる。
本発明によれば、デコード側において表示待ちが生じないように動画像を符号化することができる。
第１図は、エンコードとデコードの一例の関係を示す図、第２図Ａ、第２図Ｂ、第２図Ｃおよび第２図Ｄは、仮想デコーダモデルに基づく符号化装置の動作と、実際のプレーヤにおける動作とを説明する一例のタイミングチャート、第３図は、ＰＥＳパケットのデータ構造を示す図、第４図は、本発明を適用した符号化装置の構成例を示すブロック図、第５図Ａおよび第５図Ｂは、ＲＩＰ単位毎のデコードと表示の順番を説明する図、第６図は、第４図のビデオエンコーダ２６の構成例を示すブロック図、第７図は、第４図の符号化装置の機能的構成例を示すブロック図、第８図は、第４図の符号化装置の動作を説明するフローチャート、第９図Ａおよび第９図Ｂは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１０図Ａおよび第１０図Ｂは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１１図Ａ、第１１図Ｂ、第１１図Ｃおよび第１１図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１２図Ａ、第１２図Ｂ、第１２図Ｃおよび第１２図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１３図Ａ、第１３図Ｂ、第１３図Ｃおよび第１３図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１４図Ａ、第１４図Ｂ、第１４図Ｃおよび第１４図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１５図Ａ、第１５図Ｂ、第１５図Ｃおよび第１５図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャート、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
１１ 符号化装置
２１ バス
２２ ＣＰＵ
２３ メモリ
２４ ビデオ信号入力インタフェース
２５ 制御信号入力インタフェース
２６ ビデオエンコーダ
２７ ビデオデータ出力インタフェース
５１ 制御信号入力制御部
５２ ビデオ信号入力制御部
５３ エンコード制御部
５４ ビデオエンコーダ制御部，
５５ ビデオデータ出力制御部
Ｓ１ ピクチャの表示時刻を取得する
Ｓ２ 所定の符号化順に、ピクチャを符号化する（デコード時刻の決定）
Ｓ３ ＲＩＰを選択する ｛Ｎｏ，・・・，Ｎｅ｝
Ｓ４ ＲＩＰを構成するピクチャの表示時刻を読み取る
Ｓ５ ＲＩＰを構成するピクチャのデコード時刻を読み取る
Ｓ６ 最初に表示されるピクチャＮａの表示時刻以降にデコードされるＲＩＰのピクチャの中で、最初にデコードされるピクチャＮｄを検出する
Ｓ７ ｍ＝１
Ｓ８ ピクチャＮａ＋ｍとピクチャＮｄ＋ｍを検出する
Ｓ９ ピクチャＮｄ＋ｍは、ピクチャＮｅより前のフレーム？
Ｓ１０ ｛Ｎｏ，・・・，Ｎｄ＋ｍ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１１ ｍ←ｍ＋１
Ｓ１２ 再符号化を行う
Ｓ１３ ｛ピクチャＮｏ，・・・，Ｎｅ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１４ 再符号化を行う
Ｓ１５ すべてのＲＩＰを選択したか？
Ｓ１６ 表示待ちが解消されているか？
２１ バス
２２ ＣＰＵ
２３ メモリ
２４ ビデオ信号入力インタフェース
２５ 制御信号入力インタフェース
２６ ビデオエンコーダ
２７ ビデオデータ出力インタフェース
５１ 制御信号入力制御部
５２ ビデオ信号入力制御部
５３ エンコード制御部
５４ ビデオエンコーダ制御部，
５５ ビデオデータ出力制御部
Ｓ１ ピクチャの表示時刻を取得する
Ｓ２ 所定の符号化順に、ピクチャを符号化する（デコード時刻の決定）
Ｓ３ ＲＩＰを選択する ｛Ｎｏ，・・・，Ｎｅ｝
Ｓ４ ＲＩＰを構成するピクチャの表示時刻を読み取る
Ｓ５ ＲＩＰを構成するピクチャのデコード時刻を読み取る
Ｓ６ 最初に表示されるピクチャＮａの表示時刻以降にデコードされるＲＩＰのピクチャの中で、最初にデコードされるピクチャＮｄを検出する
Ｓ７ ｍ＝１
Ｓ８ ピクチャＮａ＋ｍとピクチャＮｄ＋ｍを検出する
Ｓ９ ピクチャＮｄ＋ｍは、ピクチャＮｅより前のフレーム？
Ｓ１０ ｛Ｎｏ，・・・，Ｎｄ＋ｍ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１１ ｍ←ｍ＋１
Ｓ１２ 再符号化を行う
Ｓ１３ ｛ピクチャＮｏ，・・・，Ｎｅ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１４ 再符号化を行う
Ｓ１５ すべてのＲＩＰを選択したか？
Ｓ１６ 表示待ちが解消されているか？
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求の範囲１に記載の符号化装置は、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行うように構成された符号化部（例えば、第７図のエンコード制御部５３）
を備えることを特徴とする。
請求の範囲４に記載の符号化装置は、
前記符号化部は、
前記ピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出するように構成された第１の検出部（例えば、第８図のステップＳ６の処理を行う第７図のエンコード制御部５３）と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出するように構成された第２の検出部（例えば、第８図のステップＳ８の処理を行う第７図のエンコード制御部５３）と、
前記ピクチャ群の中で、前記第１の検出部により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出するように構成された第３の検出部（例えば、第８図のステップＳ８の処理を行う第７図のエンコード制御部５３）と、
前記第３の検出部により検出された前記ピクチャが復号されるまでに、前記第２の検出部により検出されたピクチャが復号される符号化処理を実行するように構成された実行部（例えば、第８図のステップＳ１０乃至Ｓ１２の処理を行う第７図のエンコード制御部５３）と
を備えることを特徴とする。
本発明の符号化方法およびプログラムは、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行う符号化ステップ（例えば、第８図の処理を行う第７図のエンコード制御部５３）
を含むことを特徴とする。
以下に、図面を参照して、本発明の実施の形態について説明する。
第４図は、本発明を適用した符号化装置１１の構成例を示している。
この符号化装置１１は、Ｈ．２６４／ＡＶＣの規格に準拠して動画像圧縮符号化を行うが、ランダムアクセスを可能とするために、第５図Ａおよび第５図Ｂに示すような所定枚数のピクチャからなる組（以下、ＲＩＰ：Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ Ｉｎｔｅｒｖａｌ Ｐｉｃｔｕｒｅｓと称する）内のピクチャの情報のみでデコードが完結する符号化を行う。第５図Ａは、デコードの順番を、第５図Ｂは、表示の順番をそれぞれ示す。
バス２１には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、メモリ２３、ビデオ信号入力インタフェース２４、制御信号入力インタフェース２５、ビデオエンコーダ２６、およびビデオデータ出力インタフェース２７等が接続されている。
ＣＰＵ２２およびメモリ２３は、コンピュータシステムを形成している。即ち、ＣＰＵ２２は、メモリ２３に記憶されたプログラムを実行し、装置全体を制御するとともに、後述する処理を行う。メモリ２３は、ＣＰＵ２２が実行するプログラムを記憶している。また、メモリ２３は、ＣＰＵ２２の動作上必要なデータを一時的に記憶する。なお、メモリ２３は、不揮発性メモリのみ、または揮発性メモリと不揮発性メモリとの組み合わせで構成することが可能である。また、第４図の装置に、ハードディスクを設け、そのハードディスクに、ＣＰＵ２２が実行するプログラムを格納しておく場合には、メモリ２３は、揮発性メモリのみで構成することが可能である。
ここで、ＣＰＵ２２が実行するプログラムは、ディスク、さらには、ディスク以外のフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク、磁気ディスク、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、メモリ２３にあらかじめ記憶させておくこと、あるいは、上述したようなリムーバブル記録媒体から装置にインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、ディスク装置に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、ディスク装置に有線で転送し、ディスク装置では、そのようにして転送されてくるプログラムを受信し、内蔵するメモリ２３にインストールすることができる。
さらに、プログラムは、１のＣＰＵにより処理されるものであっても良いし、複数のＣＰＵによって分散処理されるものであっても良い。
ビデオ信号入力インタフェース２４は、ＣＰＵ２２の制御の下、ビデオカメラ等から供給されたビデオ信号を入力し、バス２１を介して、ＣＰＵ２２や、メモリ２３、ビデオエンコーダ２６などに供給する。
制御信号入力インタフェース２５は、図示せぬキー（ボタン）や、リモコン（リモートコントロールコマンダ）がユーザに操作されることによって供給される制御信号を入力し、バス２１を介して、ＣＰＵ２２に供給する。なお、制御信号入力インタフェース２５は、その他、例えば、モデム（ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）モデムを含む）や、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）などの通信インタフェースとしても機能する。
ビデオエンコーダ２６は、ビデオ信号入力インタフェース２４を介して入力されたビデオ信号を符号化し、その結果得られたビデオデータを、バス２１を介して、ＣＰＵ２２に供給する。
ビデオデータ出力インタフェース２７は、ＣＰＵ２２によりビデオデータがパケット化されて得られたビデオトランスポートストリームを出力する。
第６図は、ビデオエンコーダ２６の構成例を示している。
Ａ／Ｄ変換部３１は、そこに供給されるピクチャをＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換することにより、ディジタル信号に変換して、２−３検出部３２に供給する。なおここではＡ／Ｄ変換部３１には、２−３プルダウンによって得られたＮＴＳＣ方式のピクチャの画像信号が、フィールド単位で供給されるものとする。
２−３検出部３２は、Ａ／Ｄ変換部３１からのピクチャの、２つのフィールド同士の差分であるフィールド間差分情報等を用いて、２−３韻律の検出を行う。
即ち、２−３プルダウンでは、映画フィルムの各フレームが、ＮＴＳＣ方式の２フィールドと３フィールドに交互に変換されるので、ＮＴＳＣ方式のピクチャのシーケンスは、映画フィルムの順次走査の１フレームから得られた２フィールドの組と、映画フィルムの順次走査の１フレームから得られた３フィールドの組とが交互に繰り返される、いわば２−３韻律を有する。２−３検出部３２では、この２フィールドの組と３フィールドの組の検出が行われる。
２−３検出部３２は、検出した２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、画面並べ替えバッファ３に供給する。なお第２図Ａ、第２図Ｂ、第２図Ｃおよび第２図Ｄは、２−３プルダウンされている場合のピクチャの例を示している。すなわち表示時刻の間隔が、３ｔｃの場合と２ｔｃの場合が存在する。
画面並べ替えバッファ３３は、ピクチャを一時的に記憶し、その記憶したピクチャを、あらかじめ決まっている符号化順にしたがって並べ替え、符号化対象の注目ピクチャ（以下、単に「注目ピクチャ」と記述する）として、マクロブロック単位で、加算器３４に供給する。
注目ピクチャが、イントラ符号化されるイントラ符号化ピクチャである場合には、加算器３４は、その注目ピクチャを、そのまま、直交変換部３５に供給する。
また、注目ピクチャが、インター符号化されるインター符号化ピクチャである場合には、加算器３４は、注目ピクチャから、動き予測／補償部４２から供給される予測画像を減算し、直交変換部３５に供給する。
即ち、動き予測／補償部４２は、画面並べ替えバッファ３３に記憶されたピクチャの動きベクトルを検出するとともに、フレームメモリ４１から、既に符号化されて復号された、注目ピクチャの参照画像となるピクチャを読み出し、その参照画像に対して、動きベクトルに基づく動き補償を施すことで、最適な予測モードによる、注目ピクチャの予測画像を生成する。そして、動き予測／補償部４２は、その予測画像を、加算器３４に供給し、加算器３４は、このようにして動き予測／補償部４２から供給される予測画像を、注目ピクチャから減算して、直交変換部３５に供給する。
直交変換部３５は、加算器３４から供給される注目ピクチャ、または注目ピクチャから予測画像を減算した減算結果である差分画像に対して、例えば、離散コサイン変換等の直交変換を施し、その結果得られる変換係数を、量子化部３６に供給する。
量子化部３６は、後述するレート制御部４３からの制御にしたがった量子化ステップで、直交変換部３５からの変換係数を量子化し、その結果得られる量子化係数を、可逆符号化部３７と逆量子化部３９に供給する。
可逆符号化部３７は、量子化部３６からの量子化係数、さらには、動き予測／補償部４２で検出された動きベクトルなどに対して、例えば、可変長符号化や算術符号化等の可逆符号化を施して多重化し、その結果得られる符号化データを、蓄積バッファ３８に供給する。
なお、可逆符号化部３７において、動きベクトルなどは、符号化データの、いわゆるヘッダ部分に挿入される。
蓄積バッファ３８は、可逆符号化部３７からの符号化データを一時記憶し、所定のレートで出力する。
また、蓄積バッファ３８の符号化データの記憶量は、レート制御部４３に供給されるようになっており、レート制御部４３は、蓄積バッファ３８の記憶量に基づき、蓄積バッファ３８がオーバフローまたはアンダフローしないように、量子化部３６の量子化ステップをフィードバック制御する。
一方、逆量子化部３９は、量子化部３６から供給される変換係数を、量子化部３６における量子化ステップと同一の量子化ステップで逆量子化し、その結果得られる変換係数を、逆直交変換部４０に供給する。逆直交変換部４０は、逆量子化部３９からの変換係数に逆直交変換処理を施し、これにより、元のイントラ符号化ピクチャを復号、または元のインター符号化ピクチャから予測画像を減算した差分画像を復号して、フレームメモリ４１に供給する。
フレームメモリ４１は、符号化ピクチャを復号したものを記憶する。また、フレームメモリ４１においては、差分画像を復号したものに対して、その差分画像を得るのにインター符号化ピクチャから減算した予測画像を、動き予測／補償部４２から得て加算することにより、インター符号化ピクチャを復号して記憶する。
動き予測／補償部４２では、以上のようにしてフレームメモリ４１に記憶されたピクチャを参照画像として、予測画像が生成される。
第７図は、第４図に示すＣＰＵ２２が実行する符号化処理に関する機能的構成例を示している。
制御信号入力制御部５１は、制御信号入力インタフェース２５（第４図）を介して入力された指示を、エンコード制御部５３に通知する。
ビデオ信号入力制御部５２は、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を、ビデオエンコーダ２６（第４図）に供給する。
エンコード制御部５３は、制御信号入力制御部５１から供給された指令に応じて、各部を制御して、後述するように、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
ビデオエンコーダ制御部５４は、エンコード制御部５３の制御の下、ビデオエンコーダ２６（第４図）を制御して、ビデオ信号インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
ビデオデータ出力制御部５５は、エンコード制御部５３の制御の下、ビデオデータ出力インタフェース２７（第４図）を制御して、ビデオエンコーダ２６により生成されたビットストリームをパケット化し、その結果得られたトランスポートストリームを出力する。
次に、符号化装置１１における符号化処理の動作を、第８図のフローチャートを参照して説明する。なおはじめに符号化処理の概略を説明し、その後具体例に基づいて詳細に説明する。
ステップＳ１において、エンコード制御部５３は、ビデオ信号入力インタフェース２４により入力された順番に応じて、符号化するピクチャの表示時刻を取得する。
次にステップＳ２において、エンコード制御部５３は、表示時刻に応じた所定の符号化順を、ビデオエンコーダ制御部５４に通知する。ビデオエンコーダ制御部５４は、ビデオエンコーダ２６を制御して、その符号化順に、ビデオ信号入力インタフェース２４により入力されたビデオ信号を符号化させる。
ステップＳ３において、エンコード制御部５３は、ビデオエンコーダ２６により符号化された各ピクチャ列から、１個のＲＩＰを選択する。なお以下において、ＲＩＰにおいてデコード順に並ぶピクチャの最初のピクチャを、ピクチャＮ０と称し、最後のピクチャを、ピクチャＮｅと称する。
ステップＳ４において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰを構成するピクチャのＤＰＢアウトプットタイムを読み取るとともに、ステップＳ５において、ＣＰＢリムーバルタイムを読み取る。
次にステップＳ６において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰのピクチャの中で最初に表示されるピクチャ（以下、適宜、ピクチャＮａと称する）の表示時刻以降にデコードされる、ＲＩＰのピクチャの中で最初にデコードされるピクチャ（以下、適宜、このピクチャＮｄと称する）を検出する。
そしてステップＳ７において、エンコード制御部５３は、後の処理で利用する係数ｍを値１に初期化する。
ステップＳ８において、エンコード制御部５３は、ステップＳ６で検出した、ピクチャＮａからｍ番目に表示されるピクチャ（以下、適宜、ピクチャＮａ＋ｍと称する）と、ピクチャＮｄからｍ番目にデコードされるピクチャ（以下、適宜、ピクチャＮｄ＋ｍと称する）を検出する。
次にステップＳ９において、エンコード制御部５３は、ステップＳ８で検出したピクチャＮｄ＋ｍは、ＲＩＰの最後のピクチャＮｅより前のピクチャであるか否かを判定し、前のピクチャであると判定した場合、ステップＳ１０に進む。
ステップＳ１０において、エンコード制御部５３は、デコード順における｛Ｎ０，・・・・，Ｎｄ＋ｍ｝のピクチャ列に、ピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていると判定した場合、ステップＳ１１に進み、係数ｍの値を１だけインクリメントして、ステップＳ８に戻る。
一方ステップＳ１０で、ピクチャＮａ＋ｍが含まれないと判定された場合、ステップＳ１２に進み、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
ステップＳ１２における再符号化の一つの手段としては、リオーダにより表示待ちが発生している場合、表示順とデコード順でピクチャの並びがなるべく同等の並びになるように、ＲＩＰ内でのピクチャのデコード順の並びを変更することが可能である。例えば、Ｎａ＋ｍが表示されるタイミングにおいて、｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるピクチャで表示タイミングがＮａ＋ｍ以降の表示タイミングを持つピクチャとデコード順の並びを入れ替えることにより、Ｎａ＋ｍに該当するピクチャが｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるように変更する。また、デコード順の並びを変更することによって、前後の動き補償の参照関係が変更される為、符号化効率向上の為に割り当てるピクチャタイプを適応的に変更することも可能である。
ステップＳ１２で再符号化がなされると、次のステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、順番を入れ替えたことによりピクチャ並びが変更された箇所からステップＳ４に戻り、再帰的にそれ以降の処理が同様に行われる。
また、ステップＳ１２における再符号化のもう一つの手段として、ＲＩＰ内のピクチャの並びを変更せずに、ＲＩＰ内のピクチャの全てのデコード時刻を表示時刻に対して相対的に早めることも可能である。例えば、ピクチャヘッダ内に格納されているピクチャの表示時刻であるＤＰＢアウトプットタイムに対して、相対的に、デコード時刻であるＣＰＢリムーバルタイムを早めることにより、ＮｄとなるピクチャをＲＩＰ内のデコード並びで数ピクチャ先に進んだピクチャに変更する。例えば、変更前にＮｄ＋ｍに相当するピクチャが、変更後にはＮｄとなる。ここで、当該ＲＩＰの先頭デコード時刻は、ストリームにおける直前のＲＩＰの最終デコード時刻（直前のＲＩＰのＮｅとなるピクチャ）より大きい時刻でなければならない為、デコード時刻を表示時刻に対して相対的に早める場合の制約となる。
次にステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、ステップＳ４に戻り、それ以降の処理が同様に行われる。
ステップＳ１６において、直前のＲＩＰとのデコード間隔が、デコード時刻を相対的に早め、表示待ちを発生させない為に十分でない等の理由により、表示待ちが解消されていないと判定される場合も考えられる。このような場合、ステップＳ３に戻り、ストリーム先頭のＲＩＰを選択し、ストリーム先頭からデコード時刻を表示時刻に対して相対的に早めることにより、表示待ち発生を回避する方法がある。
係数ｍの値がステップＳ１１で繰り返しインクリメントされて、ステップＳ９でピクチャＮｄ＋ｍが、ピクチャＮｅより前のフレームではないと判定されたとき、ステップＳ１３に進む。
ステップＳ１３において、エンコード制御部５３は、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列（ＲＩＰ）にピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていないと判定した場合、ステップＳ１４に進む。
ステップＳ１４において、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
その後、ステップＳ１３に戻る。
ステップＳ１３で、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列にピクチャＮａ＋ｍが含まれていると判定された場合、ステップＳ１５に進み、エンコード制御部５３は、ステップＳ３ですべてのＲＩＰが選択されたか否かを判定し、すべてのＲＩＰが選択されていないと判定した場合、ステップＳ３に戻り、次のＲＩＰを選択して、ステップＳ４以降の処理を同様に実行する。
ステップＳ１５で、すべてのＲＩＰが選択されたと判定された場合、処理は終了する。
次に上述した符号化処理を、第９図Ａおよび第９図Ｂ、第１０図Ａおよび第１０図Ｂ、ならびに、第１１図Ａ、第１１図Ｂ、第１１図Ｃおよび第１１図Ｄの例を参照して詳細に説明する。この例では、第９図Ｂ、第１０図Ｂおよび第１１図Ｂのように仮想デコーダにおけるＤＰＢアウトプットタイムの示す順番に表示されるＲＩＰの最初から４枚分のピクチャが（ステップＳ１）、第９図Ａ、図１０Ａおよび図１１Ａのように仮想デコーダにおけるＣＰＢリムーバルタイムの示す順番にデコードされるように符号化されている（ステップＳ２）。
なお第９図Ａは、第２図Ａが示す同じピクチャのＣＰＢリムーバルタイムを表し、第９図Ｂは、第２図Ｂが示す同じピクチャのＤＰＢアウトプットタイムを表している（ｍ＝１）。図１０Ａ、図１１Ａ、図１０Ｂおよび図１１Ｂも同様である（ｍ＝２）。
すなわちこのＲＩＰの中で最初に表示されるピクチャＩ１（ピクチャＮａ）の表示時刻以降にデコードされるＲＩＰのピクチャの中で最初にデコードされるピクチャＩ１（ピクチャＮｄ）が検出される（ステップＳ４，Ｓ５，Ｓ６）。
次にｍ＝１となり（ステップＳ７）、ピクチャＩ１（ピクチャＮａ）から第１番目に表示されるピクチャＰ２（ピクチャＮａ＋１）（第９図Ｂ）と、ピクチャＩ１から第１番目にデコードされるピクチャＰ２（ピクチャＮｄ＋１）（第９図Ａ）が検出される（ステップＳ８）。
ピクチャＰ２（ピクチャＮｄ＋１）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列、すなわち｛Ｉ１，Ｐ２｝のピクチャ列に、表示順におけるピクチャＮａ＋１のピクチャＰ２が含まれているか否かが判定され（ステップＳ１０）、この場合、含まれているので、係数ｍ＝２となる（ステップＳ１１）。
そして今度は、ｍ＝２なので、ピクチャＩ１（ピクチャＮｄ）から第２番目にデコードされるピクチャＰ４（ピクチャＮｄ＋２）（第１０図Ａ）と、ピクチャＩ１（ピクチャＮａ）から第２番目に表示されるピクチャＢ３（ピクチャＮａ＋２）（第１０図Ｂ）とが検出される（ステップＳ８）。
ピクチャＰ４（ピクチャＮｄ＋２）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列、すなわち｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列に、表示順におけるピクチャＮａ＋２のピクチャＢ３が含まれていないと判定される（ステップＳ１０）。
このように、表示順におけるピクチャＮａ＋ｍのピクチャ（ｍ＝２の場合、ピクチャＢ３）が、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列（ｍ＝２の場合、｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列）に含まれていない場合、この例では、ピクチャＢ３のデコード時刻は、第２図Ｃに示したように、ピクチャＢ３の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示したように、ピクチャＢ３は、本来の表示時刻に表示されない。
そこでこの場合、例えば、第１１図Ａに示すように、第９図Ａおよび第１０図Ａの場合に対してピクチャＢ３とピクチャＰ４の仮想デコーダにおけるＣＰＢリムーバルタイムが入れ替わった再符号化が行われる（ステップＳ１２）。
その結果、ｍ＝２の場合でも、ピクチャＢ３が、ＲＩＰの中で最初にデコードされるピクチャＮｄ（ピクチャＩ１）から第２番目にデコードされるピクチャＮｄ＋２（第１１図Ａ）として検出されるので（ステップＳ８）、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列｛Ｉ１，Ｐ２，Ｂ３｝）に、表示順におけるＮａ＋２番目のピクチャ（再符号化前と同様にピクチャＢ３）が含まれているようになる（ステップＳ１０）。これにより、実際のプレーヤにおいては、第２図Ｃおよび第２図Ｄに示すように、デコーダ側で表示待ちが起こらない。第１１図Ｃおよび第１１図Ｄに示すように、ピクチャＢ３のデコードが、ピクチャＢ３の表示時刻に対応する時刻に行われ、ピクチャＢ３をその表示時刻に表示することができるようになる。
このような処理がピクチャＮａ＋ｍがＲＩＰの最後のピクチャＮｅとなるまで繰り返し行われる。
なお以上においては、符号化順を変更して再符号化する場合を例として説明したが（ステップＳ１２）、他の符号化条件を変更するようにしてもよい。
例えば、第１２図Ａおよび第１２図Ｂに示す仮想デゴーダモデルにおける規則に従って符号化された場合、第２番目に表示されるピクチャＢ２（第１２図Ｂ）は、第３番目にデコードされる（第１２図Ａ）。一方、デコード側のピクチャＢ２のデコード時刻は、第１２図Ｃに示すように、ピクチャＢ２の表示時刻（第１２図Ｄ）の後の、本来第３番目に表示されるピクチャＰ３の表示時刻（第１２図Ｂ）に対応する時刻になる。そのため、ピクチャＢ２を、本来の表示時刻（第１２図Ｂ）に表示することができない。
すなわちｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＰ３であり（第１２図Ａ）、ピクチャＮａ＋１は、ピクチャＢ２となり（第１２図Ｂ）、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ２は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ１，Ｐ３｝のピクチャ列に含まれない。
そこでこの場合、第１３図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１３図Ａに示すようにｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＢ２となるので、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ２は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ１，Ｐ３，Ｂ２｝のピクチャ列に含まれるようになる。すなわち、実際のデコード処理において、第１３図Ｃおよび第１３図Ｄに示すように、ピクチャＢ２のデコードが、ピクチャＢ２の表示時刻に合わせて行われるので、ピクチャＢ３を、本来の表示時刻に表示することができるようになる。
また、同様に、例えば、第１４図Ａおよび第１４図Ｂに示す、仮想デコーダモデルにおける規則に従って符号化された場合、第３番目に表示されるピクチャＢ３（第１４図Ｂ）は、第４番目にデコードされる（第１４図Ａ）。一方、実際のデコード側のピクチャＢ３のデコード時刻は、第１４図Ｃに示すように、ピクチャＢ３の表示時刻（第１４図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第１４図Ｂ）に対応する時刻になる。そのため、第１４図Ｄに示すように、ピクチャＢ３を、本来の表示時刻（第１４図Ｂ）に表示することができない。
すなわちｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＰ４であり（第１４図Ａ）、表示順におけるピクチャＮａ＋２は、ピクチャＢ３となるため（第１４図Ｂ）、表示順におけるピクチャＮａ＋２であるピクチャＢ３は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列に含まれない。
そこでこの場合、第１５図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１５図Ａに示すようにｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＢ３となるので、表示順におけるピクチャＮａ＋１であるピクチャＢ３（ピクチャＮａ＋１）は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ１，Ｐ２，Ｐ４，Ｂ３｝のピクチャ列に含まれるようになる。すなわち第１５図Ｃおよび第１５図Ｄに示すように、実際のデコード処理において、ピクチャＢ３のデコードが、ピクチャＢ３の表示時刻に合わせて行われるので、ピクチャＢ３は、本来の表示時刻に表示されるようになる。
以上のように、表示時刻に同期してデコードされる場合において、ランダムアクセスを可能とするために、所定枚数のピクチャからなる組であるＲＩＰを定義し、仮想デコーダにおいてそのＲＩＰ毎に、最初に表示されるピクチャＮａの表示時刻以降で最初にデコードされるピクチャＮｄから第ｍ番目までに、第ｍ番目に表示されるピクチャＮａ＋ｍがデコードされるようにピクチャを符号化するようにしたので、実際のデコード側におけるピクチャの表示待ちを防止することができる。
なお、トップフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ２ｔ）と、ボトムフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ２ｂ）が存在する場合がある。この場合、ピクチャＮｄの検出においては、第１フィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図Ｄの場合はＰ２ｔ）のＣＰＢリムーバルタイムが参照される。一方、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出等においては、ピクチャＰ２ｔおよびピクチャＰ２ｂは、合わせて１つのピクチャとして扱われる。すなわち、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出を行う際には、デコード順におけるピクチャＮｄ＋１は、Ｐ３であり、表示順におけるピクチャＮａ＋１は、Ｐ２ｔとＰ２ｂである、
なお、この例では、実際のデコード処理はフレーム単位またはペアになったフィールド単位で行われるため、第１６図Ｃおよび第１６図Ｄでは、Ｐ２ｔとＰ２ｂは、合わせてＰ２（ｔ＋ｂ）として示されている。
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求の範囲１に記載の符号化装置は、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行うように構成された符号化部（例えば、第７図のエンコード制御部５３）
を備えることを特徴とする。
請求の範囲４に記載の符号化装置は、
前記符号化部は、
前記ピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出するように構成された第１の検出部（例えば、第８図のステップＳ６の処理を行う第７図のエンコード制御部５３）と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出するように構成された第２の検出部（例えば、第８図のステップＳ８の処理を行う第７図のエンコード制御部５３）と、
前記ピクチャ群の中で、前記第１の検出部により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出するように構成された第３の検出部（例えば、第８図のステップＳ８の処理を行う第７図のエンコード制御部５３）と、
前記第３の検出部により検出された前記ピクチャが復号されるまでに、前記第２の検出部により検出されたピクチャが復号される符号化処理を実行するように構成された実行部（例えば、第８図のステップＳ１０乃至Ｓ１２の処理を行う第７図のエンコード制御部５３）と
を備えることを特徴とする。
本発明の符号化方法およびプログラムは、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行う符号化ステップ（例えば、第８図の処理を行う第７図のエンコード制御部５３）
を含むことを特徴とする。
以下に、図面を参照して、本発明の実施の形態について説明する。
第４図は、本発明を適用した符号化装置１１の構成例を示している。
この符号化装置１１は、Ｈ．２６４／ＡＶＣの規格に準拠して動画像圧縮符号化を行うが、ランダムアクセスを可能とするために、第５図Ａおよび第５図Ｂに示すような所定枚数のピクチャからなる組（以下、ＲＩＰ：Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ Ｉｎｔｅｒｖａｌ Ｐｉｃｔｕｒｅｓと称する）内のピクチャの情報のみでデコードが完結する符号化を行う。第５図Ａは、デコードの順番を、第５図Ｂは、表示の順番をそれぞれ示す。
バス２１には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、メモリ２３、ビデオ信号入力インタフェース２４、制御信号入力インタフェース２５、ビデオエンコーダ２６、およびビデオデータ出力インタフェース２７等が接続されている。
ＣＰＵ２２およびメモリ２３は、コンピュータシステムを形成している。即ち、ＣＰＵ２２は、メモリ２３に記憶されたプログラムを実行し、装置全体を制御するとともに、後述する処理を行う。メモリ２３は、ＣＰＵ２２が実行するプログラムを記憶している。また、メモリ２３は、ＣＰＵ２２の動作上必要なデータを一時的に記憶する。なお、メモリ２３は、不揮発性メモリのみ、または揮発性メモリと不揮発性メモリとの組み合わせで構成することが可能である。また、第４図の装置に、ハードディスクを設け、そのハードディスクに、ＣＰＵ２２が実行するプログラムを格納しておく場合には、メモリ２３は、揮発性メモリのみで構成することが可能である。
ここで、ＣＰＵ２２が実行するプログラムは、ディスク、さらには、ディスク以外のフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク、磁気ディスク、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、メモリ２３にあらかじめ記憶させておくこと、あるいは、上述したようなリムーバブル記録媒体から装置にインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、ディスク装置に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、ディスク装置に有線で転送し、ディスク装置では、そのようにして転送されてくるプログラムを受信し、内蔵するメモリ２３にインストールすることができる。
さらに、プログラムは、１のＣＰＵにより処理されるものであっても良いし、複数のＣＰＵによって分散処理されるものであっても良い。
ビデオ信号入力インタフェース２４は、ＣＰＵ２２の制御の下、ビデオカメラ等から供給されたビデオ信号を入力し、バス２１を介して、ＣＰＵ２２や、メモリ２３、ビデオエンコーダ２６などに供給する。
制御信号入力インタフェース２５は、図示せぬキー（ボタン）や、リモコン（リモートコントロールコマンダ）がユーザに操作されることによって供給される制御信号を入力し、バス２１を介して、ＣＰＵ２２に供給する。なお、制御信号入力インタフェース２５は、その他、例えば、モデム（ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）モデムを含む）や、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）などの通信インタフェースとしても機能する。
ビデオエンコーダ２６は、ビデオ信号入力インタフェース２４を介して入力されたビデオ信号を符号化し、その結果得られたビデオデータを、バス２１を介して、ＣＰＵ２２に供給する。
ビデオデータ出力インタフェース２７は、ＣＰＵ２２によりビデオデータがパケット化されて得られたビデオトランスポートストリームを出力する。
第６図は、ビデオエンコーダ２６の構成例を示している。
Ａ／Ｄ変換部３１は、そこに供給されるピクチャをＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換することにより、ディジタル信号に変換して、２−３検出部３２に供給する。なおここではＡ／Ｄ変換部３１には、２−３プルダウンによって得られたＮＴＳＣ方式のピクチャの画像信号が、フィールド単位で供給されるものとする。
２−３検出部３２は、Ａ／Ｄ変換部３１からのピクチャの、２つのフィールド同士の差分であるフィールド間差分情報等を用いて、２−３韻律の検出を行う。
即ち、２−３プルダウンでは、映画フィルムの各フレームが、ＮＴＳＣ方式の２フィールドと３フィールドに交互に変換されるので、ＮＴＳＣ方式のピクチャのシーケンスは、映画フィルムの順次走査の１フレームから得られた２フィールドの組と、映画フィルムの順次走査の１フレームから得られた３フィールドの組とが交互に繰り返される、いわば２−３韻律を有する。２−３検出部３２では、この２フィールドの組と３フィールドの組の検出が行われる。
２−３検出部３２は、検出した２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、画面並べ替えバッファ３に供給する。なお第２図Ａ、第２図Ｂ、第２図Ｃおよび第２図Ｄは、２−３プルダウンされている場合のピクチャの例を示している。すなわち表示時刻の間隔が、３ｔｃの場合と２ｔｃの場合が存在する。
画面並べ替えバッファ３３は、ピクチャを一時的に記憶し、その記憶したピクチャを、あらかじめ決まっている符号化順にしたがって並べ替え、符号化対象の注目ピクチャ（以下、単に「注目ピクチャ」と記述する）として、マクロブロック単位で、加算器３４に供給する。
注目ピクチャが、イントラ符号化されるイントラ符号化ピクチャである場合には、加算器３４は、その注目ピクチャを、そのまま、直交変換部３５に供給する。
また、注目ピクチャが、インター符号化されるインター符号化ピクチャである場合には、加算器３４は、注目ピクチャから、動き予測／補償部４２から供給される予測画像を減算し、直交変換部３５に供給する。
即ち、動き予測／補償部４２は、画面並べ替えバッファ３３に記憶されたピクチャの動きベクトルを検出するとともに、フレームメモリ４１から、既に符号化されて復号された、注目ピクチャの参照画像となるピクチャを読み出し、その参照画像に対して、動きベクトルに基づく動き補償を施すことで、最適な予測モードによる、注目ピクチャの予測画像を生成する。そして、動き予測／補償部４２は、その予測画像を、加算器３４に供給し、加算器３４は、このようにして動き予測／補償部４２から供給される予測画像を、注目ピクチャから減算して、直交変換部３５に供給する。
直交変換部３５は、加算器３４から供給される注目ピクチャ、または注目ピクチャから予測画像を減算した減算結果である差分画像に対して、例えば、離散コサイン変換等の直交変換を施し、その結果得られる変換係数を、量子化部３６に供給する。
量子化部３６は、後述するレート制御部４３からの制御にしたがった量子化ステップで、直交変換部３５からの変換係数を量子化し、その結果得られる量子化係数を、可逆符号化部３７と逆量子化部３９に供給する。
可逆符号化部３７は、量子化部３６からの量子化係数、さらには、動き予測／補償部４２で検出された動きベクトルなどに対して、例えば、可変長符号化や算術符号化等の可逆符号化を施して多重化し、その結果得られる符号化データを、蓄積バッファ３８に供給する。
なお、可逆符号化部３７において、動きベクトルなどは、符号化データの、いわゆるヘッダ部分に挿入される。
蓄積バッファ３８は、可逆符号化部３７からの符号化データを一時記憶し、所定のレートで出力する。
また、蓄積バッファ３８の符号化データの記憶量は、レート制御部４３に供給されるようになっており、レート制御部４３は、蓄積バッファ３８の記憶量に基づき、蓄積バッファ３８がオーバフローまたはアンダフローしないように、量子化部３６の量子化ステップをフィードバック制御する。
一方、逆量子化部３９は、量子化部３６から供給される変換係数を、量子化部３６における量子化ステップと同一の量子化ステップで逆量子化し、その結果得られる変換係数を、逆直交変換部４０に供給する。逆直交変換部４０は、逆量子化部３９からの変換係数に逆直交変換処理を施し、これにより、元のイントラ符号化ピクチャを復号、または元のインター符号化ピクチャから予測画像を減算した差分画像を復号して、フレームメモリ４１に供給する。
フレームメモリ４１は、符号化ピクチャを復号したものを記憶する。また、フレームメモリ４１においては、差分画像を復号したものに対して、その差分画像を得るのにインター符号化ピクチャから減算した予測画像を、動き予測／補償部４２から得て加算することにより、インター符号化ピクチャを復号して記憶する。
動き予測／補償部４２では、以上のようにしてフレームメモリ４１に記憶されたピクチャを参照画像として、予測画像が生成される。
第７図は、第４図に示すＣＰＵ２２が実行する符号化処理に関する機能的構成例を示している。
制御信号入力制御部５１は、制御信号入力インタフェース２５（第４図）を介して入力された指示を、エンコード制御部５３に通知する。
ビデオ信号入力制御部５２は、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を、ビデオエンコーダ２６（第４図）に供給する。
エンコード制御部５３は、制御信号入力制御部５１から供給された指令に応じて、各部を制御して、後述するように、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
ビデオエンコーダ制御部５４は、エンコード制御部５３の制御の下、ビデオエンコーダ２６（第４図）を制御して、ビデオ信号インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
ビデオデータ出力制御部５５は、エンコード制御部５３の制御の下、ビデオデータ出力インタフェース２７（第４図）を制御して、ビデオエンコーダ２６により生成されたビットストリームをパケット化し、その結果得られたトランスポートストリームを出力する。
次に、符号化装置１１における符号化処理の動作を、第８図のフローチャートを参照して説明する。なおはじめに符号化処理の概略を説明し、その後具体例に基づいて詳細に説明する。
ステップＳ１において、エンコード制御部５３は、ビデオ信号入力インタフェース２４により入力された順番に応じて、符号化するピクチャの表示時刻を取得する。
次にステップＳ２において、エンコード制御部５３は、表示時刻に応じた所定の符号化順を、ビデオエンコーダ制御部５４に通知する。ビデオエンコーダ制御部５４は、ビデオエンコーダ２６を制御して、その符号化順に、ビデオ信号入力インタフェース２４により入力されたビデオ信号を符号化させる。
ステップＳ３において、エンコード制御部５３は、ビデオエンコーダ２６により符号化された各ピクチャ列から、１個のＲＩＰを選択する。なお以下において、ＲＩＰにおいてデコード順に並ぶピクチャの最初のピクチャを、ピクチャＮ０と称し、最後のピクチャを、ピクチャＮｅと称する。
ステップＳ４において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰを構成するピクチャのＤＰＢアウトプットタイムを読み取るとともに、ステップＳ５において、ＣＰＢリムーバルタイムを読み取る。
次にステップＳ６において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰのピクチャの中で最初に表示されるピクチャ（以下、適宜、ピクチャＮａと称する）の表示時刻以降にデコードされる、ＲＩＰのピクチャの中で最初にデコードされるピクチャ（以下、適宜、このピクチャＮｄと称する）を検出する。
そしてステップＳ７において、エンコード制御部５３は、後の処理で利用する係数ｍを値１に初期化する。
ステップＳ８において、エンコード制御部５３は、ステップＳ６で検出した、ピクチャＮａからｍ番目に表示されるピクチャ（以下、適宜、ピクチャＮａ＋ｍと称する）と、ピクチャＮｄからｍ番目にデコードされるピクチャ（以下、適宜、ピクチャＮｄ＋ｍと称する）を検出する。
次にステップＳ９において、エンコード制御部５３は、ステップＳ８で検出したピクチャＮｄ＋ｍは、ＲＩＰの最後のピクチャＮｅより前のピクチャであるか否かを判定し、前のピクチャであると判定した場合、ステップＳ１０に進む。
ステップＳ１０において、エンコード制御部５３は、デコード順における｛Ｎ０，・・・・，Ｎｄ＋ｍ｝のピクチャ列に、ピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていると判定した場合、ステップＳ１１に進み、係数ｍの値を１だけインクリメントして、ステップＳ８に戻る。
一方ステップＳ１０で、ピクチャＮａ＋ｍが含まれないと判定された場合、ステップＳ１２に進み、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
ステップＳ１２における再符号化の一つの手段としては、リオーダにより表示待ちが発生している場合、表示順とデコード順でピクチャの並びがなるべく同等の並びになるように、ＲＩＰ内でのピクチャのデコード順の並びを変更することが可能である。例えば、Ｎａ＋ｍが表示されるタイミングにおいて、｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるピクチャで表示タイミングがＮａ＋ｍ以降の表示タイミングを持つピクチャとデコード順の並びを入れ替えることにより、Ｎａ＋ｍに該当するピクチャが｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるように変更する。また、デコード順の並びを変更することによって、前後の動き補償の参照関係が変更される為、符号化効率向上の為に割り当てるピクチャタイプを適応的に変更することも可能である。
ステップＳ１２で再符号化がなされると、次のステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、順番を入れ替えたことによりピクチャ並びが変更された箇所からステップＳ４に戻り、再帰的にそれ以降の処理が同様に行われる。
また、ステップＳ１２における再符号化のもう一つの手段として、ＲＩＰ内のピクチャの並びを変更せずに、ＲＩＰ内のピクチャの全てのデコード時刻を表示時刻に対して相対的に早めることも可能である。例えば、ピクチャヘッダ内に格納されているピクチャの表示時刻であるＤＰＢアウトプットタイムに対して、相対的に、デコード時刻であるＣＰＢリムーバルタイムを早めることにより、ＮｄとなるピクチャをＲＩＰ内のデコード並びで数ピクチャ先に進んだピクチャに変更する。例えば、変更前にＮｄ＋ｍに相当するピクチャが、変更後にはＮｄとなる。ここで、当該ＲＩＰの先頭デコード時刻は、ストリームにおける直前のＲＩＰの最終デコード時刻（直前のＲＩＰのＮｅとなるピクチャ）より大きい時刻でなければならない為、デコード時刻を表示時刻に対して相対的に早める場合の制約となる。
次にステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、ステップＳ４に戻り、それ以降の処理が同様に行われる。
ステップＳ１６において、直前のＲＩＰとのデコード間隔が、デコード時刻を相対的に早め、表示待ちを発生させない為に十分でない等の理由により、表示待ちが解消されていないと判定される場合も考えられる。このような場合、ステップＳ３に戻り、ストリーム先頭のＲＩＰを選択し、ストリーム先頭からデコード時刻を表示時刻に対して相対的に早めることにより、表示待ち発生を回避する方法がある。
係数ｍの値がステップＳ１１で繰り返しインクリメントされて、ステップＳ９でピクチャＮｄ＋ｍが、ピクチャＮｅより前のフレームではないと判定されたとき、ステップＳ１３に進む。
ステップＳ１３において、エンコード制御部５３は、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列（ＲＩＰ）にピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていないと判定した場合、ステップＳ１４に進む。
ステップＳ１４において、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
その後、ステップＳ１３に戻る。
ステップＳ１３で、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列にピクチャＮａ＋ｍが含まれていると判定された場合、ステップＳ１５に進み、エンコード制御部５３は、ステップＳ３ですべてのＲＩＰが選択されたか否かを判定し、すべてのＲＩＰが選択されていないと判定した場合、ステップＳ３に戻り、次のＲＩＰを選択して、ステップＳ４以降の処理を同様に実行する。
ステップＳ１５で、すべてのＲＩＰが選択されたと判定された場合、処理は終了する。
次に上述した符号化処理を、第９図Ａおよび第９図Ｂ、第１０図Ａおよび第１０図Ｂ、ならびに、第１１図Ａ、第１１図Ｂ、第１１図Ｃおよび第１１図Ｄの例を参照して詳細に説明する。この例では、第９図Ｂ、第１０図Ｂおよび第１１図Ｂのように仮想デコーダにおけるＤＰＢアウトプットタイムの示す順番に表示されるＲＩＰの最初から４枚分のピクチャが（ステップＳ１）、第９図Ａ、図１０Ａおよび図１１Ａのように仮想デコーダにおけるＣＰＢリムーバルタイムの示す順番にデコードされるように符号化されている（ステップＳ２）。
なお第９図Ａは、第２図Ａが示す同じピクチャのＣＰＢリムーバルタイムを表し、第９図Ｂは、第２図Ｂが示す同じピクチャのＤＰＢアウトプットタイムを表している（ｍ＝１）。図１０Ａ、図１１Ａ、図１０Ｂおよび図１１Ｂも同様である（ｍ＝２）。
すなわちこのＲＩＰの中で最初に表示されるピクチャＩ１（ピクチャＮａ）の表示時刻以降にデコードされるＲＩＰのピクチャの中で最初にデコードされるピクチャＩ１（ピクチャＮｄ）が検出される（ステップＳ４，Ｓ５，Ｓ６）。
次にｍ＝１となり（ステップＳ７）、ピクチャＩ１（ピクチャＮａ）から第１番目に表示されるピクチャＰ２（ピクチャＮａ＋１）（第９図Ｂ）と、ピクチャＩ１から第１番目にデコードされるピクチャＰ２（ピクチャＮｄ＋１）（第９図Ａ）が検出される（ステップＳ８）。
ピクチャＰ２（ピクチャＮｄ＋１）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列、すなわち｛Ｉ１，Ｐ２｝のピクチャ列に、表示順におけるピクチャＮａ＋１のピクチャＰ２が含まれているか否かが判定され（ステップＳ１０）、この場合、含まれているので、係数ｍ＝２となる（ステップＳ１１）。
そして今度は、ｍ＝２なので、ピクチャＩ１（ピクチャＮｄ）から第２番目にデコードされるピクチャＰ４（ピクチャＮｄ＋２）（第１０図Ａ）と、ピクチャＩ１（ピクチャＮａ）から第２番目に表示されるピクチャＢ３（ピクチャＮａ＋２）（第１０図Ｂ）とが検出される（ステップＳ８）。
ピクチャＰ４（ピクチャＮｄ＋２）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列、すなわち｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列に、表示順におけるピクチャＮａ＋２のピクチャＢ３が含まれていないと判定される（ステップＳ１０）。
このように、表示順におけるピクチャＮａ＋ｍのピクチャ（ｍ＝２の場合、ピクチャＢ３）が、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列（ｍ＝２の場合、｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列）に含まれていない場合、この例では、ピクチャＢ３のデコード時刻は、第２図Ｃに示したように、ピクチャＢ３の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示したように、ピクチャＢ３は、本来の表示時刻に表示されない。
そこでこの場合、例えば、第１１図Ａに示すように、第９図Ａおよび第１０図Ａの場合に対してピクチャＢ３とピクチャＰ４の仮想デコーダにおけるＣＰＢリムーバルタイムが入れ替わった再符号化が行われる（ステップＳ１２）。
その結果、ｍ＝２の場合でも、ピクチャＢ３が、ＲＩＰの中で最初にデコードされるピクチャＮｄ（ピクチャＩ１）から第２番目にデコードされるピクチャＮｄ＋２（第１１図Ａ）として検出されるので（ステップＳ８）、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列｛Ｉ１，Ｐ２，Ｂ３｝）に、表示順におけるＮａ＋２番目のピクチャ（再符号化前と同様にピクチャＢ３）が含まれているようになる（ステップＳ１０）。これにより、実際のプレーヤにおいては、第２図Ｃおよび第２図Ｄに示すように、デコーダ側で表示待ちが起こらない。第１１図Ｃおよび第１１図Ｄに示すように、ピクチャＢ３のデコードが、ピクチャＢ３の表示時刻に対応する時刻に行われ、ピクチャＢ３をその表示時刻に表示することができるようになる。
このような処理がピクチャＮａ＋ｍがＲＩＰの最後のピクチャＮｅとなるまで繰り返し行われる。
なお以上においては、符号化順を変更して再符号化する場合を例として説明したが（ステップＳ１２）、他の符号化条件を変更するようにしてもよい。
例えば、第１２図Ａおよび第１２図Ｂに示す仮想デゴーダモデルにおける規則に従って符号化された場合、第２番目に表示されるピクチャＢ２（第１２図Ｂ）は、第３番目にデコードされる（第１２図Ａ）。一方、デコード側のピクチャＢ２のデコード時刻は、第１２図Ｃに示すように、ピクチャＢ２の表示時刻（第１２図Ｄ）の後の、本来第３番目に表示されるピクチャＰ３の表示時刻（第１２図Ｂ）に対応する時刻になる。そのため、ピクチャＢ２を、本来の表示時刻（第１２図Ｂ）に表示することができない。
すなわちｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＰ３であり（第１２図Ａ）、ピクチャＮａ＋１は、ピクチャＢ２となり（第１２図Ｂ）、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ２は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ１，Ｐ３｝のピクチャ列に含まれない。
そこでこの場合、第１３図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１３図Ａに示すようにｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＢ２となるので、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ２は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ１，Ｐ３，Ｂ２｝のピクチャ列に含まれるようになる。すなわち、実際のデコード処理において、第１３図Ｃおよび第１３図Ｄに示すように、ピクチャＢ２のデコードが、ピクチャＢ２の表示時刻に合わせて行われるので、ピクチャＢ３を、本来の表示時刻に表示することができるようになる。
また、同様に、例えば、第１４図Ａおよび第１４図Ｂに示す、仮想デコーダモデルにおける規則に従って符号化された場合、第３番目に表示されるピクチャＢ３（第１４図Ｂ）は、第４番目にデコードされる（第１４図Ａ）。一方、実際のデコード側のピクチャＢ３のデコード時刻は、第１４図Ｃに示すように、ピクチャＢ３の表示時刻（第１４図Ｄ）の後の、本来第４番目に表示されるピクチャＰ４の表示時刻（第１４図Ｂ）に対応する時刻になる。そのため、第１４図Ｄに示すように、ピクチャＢ３を、本来の表示時刻（第１４図Ｂ）に表示することができない。
すなわちｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＰ４であり（第１４図Ａ）、表示順におけるピクチャＮａ＋２は、ピクチャＢ３となるため（第１４図Ｂ）、表示順におけるピクチャＮａ＋２であるピクチャＢ３は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ１，Ｐ２，Ｐ４｝のピクチャ列に含まれない。
そこでこの場合、第１５図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１５図Ａに示すようにｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＢ３となるので、表示順におけるピクチャＮａ＋１であるピクチャＢ３（ピクチャＮａ＋１）は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ１，Ｐ２，Ｐ４，Ｂ３｝のピクチャ列に含まれるようになる。すなわち第１５図Ｃおよび第１５図Ｄに示すように、実際のデコード処理において、ピクチャＢ３のデコードが、ピクチャＢ３の表示時刻に合わせて行われるので、ピクチャＢ３は、本来の表示時刻に表示されるようになる。
以上のように、表示時刻に同期してデコードされる場合において、ランダムアクセスを可能とするために、所定枚数のピクチャからなる組であるＲＩＰを定義し、仮想デコーダにおいてそのＲＩＰ毎に、最初に表示されるピクチャＮａの表示時刻以降で最初にデコードされるピクチャＮｄから第ｍ番目までに、第ｍ番目に表示されるピクチャＮａ＋ｍがデコードされるようにピクチャを符号化するようにしたので、実際のデコード側におけるピクチャの表示待ちを防止することができる。
なお、トップフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ２ｔ）と、ボトムフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ２ｂ）が存在する場合がある。この場合、ピクチャＮｄの検出においては、第１フィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図Ｄの場合はＰ２ｔ）のＣＰＢリムーバルタイムが参照される。一方、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出等においては、ピクチャＰ２ｔおよびピクチャＰ２ｂは、合わせて１つのピクチャとして扱われる。すなわち、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出を行う際には、デコード順におけるピクチャＮｄ＋１は、Ｐ３であり、表示順におけるピクチャＮａ＋１は、Ｐ２ｔとＰ２ｂである、
なお、この例では、実際のデコード処理はフレーム単位またはペアになったフィールド単位で行われるため、第１６図Ｃおよび第１６図Ｄでは、Ｐ２ｔとＰ２ｂは、合わせてＰ２（ｔ＋ｂ）として示されている。
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
Claims (6)
- 復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置において、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行うように構成された符号化部
を備えることを特徴とする符号化装置。 - 前記符号化部は、
前記ピクチャ群を構成するピクチャの符号化順を変更して前記符号化するようにした
ことを特徴とする請求の範囲１に記載の符号化装置。 - 前記符号化部は、
前記ピクチャ群を構成するピクチャそれぞれの前記表示時刻を一定値だけ遅らせて前記符号化するようにした
ことを特徴とする請求の範囲１に記載の符号化装置。 - 前記符号化部は、
前記ピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出するように構成された第１の検出部と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出するように構成された第２の検出部と、
前記ピクチャ群の中で、前記第１の検出部により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出するように構成された第３の検出部と、
前記第３の検出部により検出された前記ピクチャが復号されるまでに、前記第２の検出手段により検出されたピクチャが復号される符号化処理を実行するように構成された実行部と
ことを特徴とする請求の範囲１に記載の符号化装置。 - 復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化方法において、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行う符号化ステップ
を含むことを特徴とする符号化方法。 - 復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置を制御するプロセッサに実行させるプログラムにおいて、
ランダムアクセスを可能にするピクチャ群毎に、前記ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、前記ピクチャの符号化を行う符号化ステップ
を含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006546745A JP4902358B2 (ja) | 2004-12-02 | 2005-12-01 | 符号化装置および方法、並びにプログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004349817 | 2004-12-02 | ||
| JP2004349817 | 2004-12-02 | ||
| PCT/JP2005/022509 WO2006059796A1 (ja) | 2004-12-02 | 2005-12-01 | 符号化装置および方法、並びにプログラム |
| JP2006546745A JP4902358B2 (ja) | 2004-12-02 | 2005-12-01 | 符号化装置および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2006059796A1 true JPWO2006059796A1 (ja) | 2008-06-05 |
| JP4902358B2 JP4902358B2 (ja) | 2012-03-21 |
Family
ID=36565214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006546745A Expired - Fee Related JP4902358B2 (ja) | 2004-12-02 | 2005-12-01 | 符号化装置および方法、並びにプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20090168866A1 (ja) |
| EP (1) | EP1819170A4 (ja) |
| JP (1) | JP4902358B2 (ja) |
| KR (1) | KR20070090174A (ja) |
| CN (1) | CN100579223C (ja) |
| TW (1) | TWI289997B (ja) |
| WO (1) | WO2006059796A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4947389B2 (ja) * | 2009-04-03 | 2012-06-06 | ソニー株式会社 | 画像信号復号装置、画像信号復号方法、および画像信号符号化方法 |
| ES2703005T3 (es) | 2010-05-07 | 2019-03-06 | Nippon Telegraph & Telephone | Método de control de codificación de imágenes animadas, aparato de codificación de imágenes animadas y programa de codificación de imágenes animadas |
| WO2011142291A1 (ja) * | 2010-05-12 | 2011-11-17 | 日本電信電話株式会社 | 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム |
| US9565431B2 (en) | 2012-04-04 | 2017-02-07 | Qualcomm Incorporated | Low-delay video buffering in video coding |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180266A (ja) * | 2002-10-03 | 2004-06-24 | Ntt Docomo Inc | 動画像復号方法、動画像復号装置、及び動画像復号プログラム |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5563624A (en) * | 1990-06-18 | 1996-10-08 | Seiko Epson Corporation | Flat display device and display body driving device |
| JP2550856B2 (ja) * | 1993-05-17 | 1996-11-06 | 日本電気株式会社 | 動画像符号化前処理装置 |
| KR100396971B1 (ko) * | 1994-11-29 | 2003-11-03 | 산요덴키가부시키가이샤 | 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더 |
| JP3556381B2 (ja) * | 1996-03-13 | 2004-08-18 | 株式会社東芝 | 情報多重化装置 |
| JP3556380B2 (ja) * | 1996-03-13 | 2004-08-18 | 株式会社東芝 | 動画像符号タイミング推定方法、動画像復号化装置およびｍｐｅｇシステム多重化装置 |
| US6065050A (en) * | 1996-06-05 | 2000-05-16 | Sun Microsystems, Inc. | System and method for indexing between trick play and normal play video streams in a video delivery system |
| CA2260961C (en) * | 1996-07-15 | 2009-04-28 | Snell & Wilcox Limited | Video signal compression process augmented with information signal |
| US5838876A (en) * | 1996-09-24 | 1998-11-17 | Sony Corporation | Frame-accurate edit and playback in digital stream recording |
| US6546189B1 (en) * | 1996-11-15 | 2003-04-08 | Hitachi, Ltd. | Method and apparatus for editing compressed moving pictures and storage medium |
| JPH1169301A (ja) * | 1997-08-08 | 1999-03-09 | Sony Corp | 復号方法及び復号再生装置、並びに記録媒体 |
| JP3529599B2 (ja) * | 1997-09-02 | 2004-05-24 | 株式会社東芝 | 符号化装置における編集可能点挿入方法および符号化装置 |
| KR100554432B1 (ko) * | 1997-09-17 | 2006-11-17 | 마츠시타 덴끼 산교 가부시키가이샤 | 광디스크용 재생장치 및 재생방법 |
| EP0903742B1 (en) * | 1997-09-17 | 2003-03-19 | Matsushita Electric Industrial Co., Ltd | Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium |
| JPH11252058A (ja) * | 1998-02-27 | 1999-09-17 | Sony Corp | 多重化装置及び方法 |
| JP4005691B2 (ja) * | 1998-03-19 | 2007-11-07 | 株式会社東芝 | 動画像符号化方法および動画像符号化装置 |
| JPH11275580A (ja) * | 1998-03-24 | 1999-10-08 | Sony Corp | 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法 |
| EP0994627B1 (en) * | 1998-10-13 | 2006-03-08 | Matsushita Electric Industrial Co., Ltd. | Regulation of the computational and memory requirements of a compressed bitstream in a video decoder |
| JP2000232649A (ja) * | 1998-12-10 | 2000-08-22 | Fujitsu Ltd | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 |
| US6658056B1 (en) * | 1999-03-30 | 2003-12-02 | Sony Corporation | Digital video decoding, buffering and frame-rate converting method and apparatus |
| US7149247B2 (en) * | 2002-01-22 | 2006-12-12 | Microsoft Corporation | Methods and systems for encoding and decoding video data to enable random access and splicing |
| ES2299171T3 (es) * | 2002-02-01 | 2008-05-16 | Matsushita Electric Industrial Co., Ltd | Procedimiento de codificacion de imagenes en movimiento y aparato de codificacion de imagenes en movimiento. |
| PT2278816E (pt) * | 2002-07-11 | 2013-05-10 | Panasonic Corp | Gestão de memória tampão pós-descodificador para um fluxo de bits de mpeg de h.264-svc |
| US7787539B2 (en) | 2002-07-17 | 2010-08-31 | Broadcom Corporation | Decoding and presentation time stamps for MPEG-4 advanced video coding |
| US20040252758A1 (en) * | 2002-08-14 | 2004-12-16 | Ioannis Katsavounidis | Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder |
| US7802002B2 (en) * | 2002-08-23 | 2010-09-21 | Hewlett-Packard Development Company, L.P. | Media data streaming considering performance characteristics of the streaming path |
| TWI249356B (en) * | 2002-11-06 | 2006-02-11 | Nokia Corp | Picture buffering for prediction references and display |
| JP2004193687A (ja) * | 2002-12-06 | 2004-07-08 | Sony Corp | 非初期化バッファモデルを用いた方法 |
| US7920630B2 (en) * | 2003-01-21 | 2011-04-05 | Broadcom Corporation | Buffer descriptor data structure for communication link between decode and display processes in MPEG decoders |
-
2005
- 2005-12-01 TW TW94142335A patent/TWI289997B/zh not_active IP Right Cessation
- 2005-12-01 JP JP2006546745A patent/JP4902358B2/ja not_active Expired - Fee Related
- 2005-12-01 WO PCT/JP2005/022509 patent/WO2006059796A1/ja active Application Filing
- 2005-12-01 CN CN200580047636A patent/CN100579223C/zh not_active Expired - Fee Related
- 2005-12-01 EP EP05814633A patent/EP1819170A4/en not_active Withdrawn
- 2005-12-01 US US11/720,679 patent/US20090168866A1/en not_active Abandoned
- 2005-12-01 KR KR20077012405A patent/KR20070090174A/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180266A (ja) * | 2002-10-03 | 2004-06-24 | Ntt Docomo Inc | 動画像復号方法、動画像復号装置、及び動画像復号プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101112102A (zh) | 2008-01-23 |
| TW200637374A (en) | 2006-10-16 |
| CN100579223C (zh) | 2010-01-06 |
| US20090168866A1 (en) | 2009-07-02 |
| TWI289997B (en) | 2007-11-11 |
| JP4902358B2 (ja) | 2012-03-21 |
| KR20070090174A (ko) | 2007-09-05 |
| WO2006059796A1 (ja) | 2006-06-08 |
| EP1819170A1 (en) | 2007-08-15 |
| EP1819170A4 (en) | 2010-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5072893B2 (ja) | 画像符号化方法および画像復号化方法 | |
| JP4114885B2 (ja) | 画像符号化装置、方法、及びプログラム | |
| JP6376719B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
| JP2006197401A (ja) | 情報処理装置および方法、並びにプログラム | |
| KR20010031222A (ko) | 트랜스코딩 방법 및 장치 | |
| JP2013219727A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
| RU2740631C1 (ru) | Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи | |
| JP2013038758A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
| US20020057739A1 (en) | Method and apparatus for encoding video | |
| JP4902358B2 (ja) | 符号化装置および方法、並びにプログラム | |
| JPH10336670A (ja) | 画像伝送装置および画像伝送方法、提供媒体 | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| KR101154743B1 (ko) | 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치 | |
| JP2002199392A (ja) | 映像符号化方法および装置 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP4559811B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP4708821B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
| JP4806888B2 (ja) | 復号化装置及び復号化方法 | |
| JP6618578B2 (ja) | 画像符号化装置、および画像復号装置 | |
| JP6982253B2 (ja) | 復号装置、符号化装置、復号方法、符号化方法、及びプログラム | |
| US20020176503A1 (en) | Image processing apparatus , image processing method, and supplying medium | |
| JP2020039162A (ja) | 画像符号化装置、および画像復号装置 | |
| JP2001320653A (ja) | 画像復号装置及び画像復号方法 | |
| JP2010206463A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム | |
| JP2007043575A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20070814 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070824 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081118 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110720 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |