JP3556380B2 - Video code timing estimation method, video decoding device, and MPEG system multiplexing device - Google Patents
Video code timing estimation method, video decoding device, and MPEG system multiplexing device Download PDFInfo
- Publication number
- JP3556380B2 JP3556380B2 JP05640396A JP5640396A JP3556380B2 JP 3556380 B2 JP3556380 B2 JP 3556380B2 JP 05640396 A JP05640396 A JP 05640396A JP 5640396 A JP5640396 A JP 5640396A JP 3556380 B2 JP3556380 B2 JP 3556380B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded frame
- field
- frame
- display
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、個別に符号化される動画像、音声等の符号化データ列を同期化して多重化するＭＰＥＧシステムにおける動画像の復号タイミング推定方法および、それを用いた動画像符号化装置および動画像復号化装置に関する。
【０００２】
【従来の技術】
個別に符号化された動画像（ビデオ）、音声（オーディオ）等のデータ列を同期・多重して１本化するＭＰＥＧシステムには、主に、ＣＤ−ＲＯＭ等の蓄積メディアのアプリケーションに対応したＭＰＥＧ１システム、このＭＰＥＧ１のアプリケーションを含む幅広いアプリケーションに対応したＭＰＥＧ２システムとがある。
【０００３】
このようなＭＰＥＧシステムでは、ビデオ、オーディオ等を個別に符号化して得られた別個のデータ列（ストリーム）を時分割多重して１本のストリームにし、蓄積メディアに記録したり、通信ネットワークを介して伝送する。再生側では、蓄積メディアから読み出され、あるいは、通信ネットワークを介して受信された多重ストリームから各個別のストリームを分離してそれぞれの復号器に送り、各複合器で個別にストリームを復号して出力装置（ビデオモニタ、スピーカなど）に出力する。その際、送信側で意図したように、受信側で各個別ストリームを同期復号、再生出力するようになっている。
【０００４】
ところで、ＭＰＥＧの符号化画像には、画面の全てをイントラ符号化するイントラ符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、過去の再生画像からの順方向予測と未来の再生画像からの逆方向予測をも使う双方向予測符号化画像（Ｂピクチャ）という３つの画像タイプがある。
【０００５】
双方向予測符号化のＢピクチャが挿入される場合、過去の再生画像のみならず、未来の再生画像をも参照する必要があるために、画面の処理順序と原画面の順序が異なることに注意が必要である。
【０００６】
すなわち、符号器では、Ｂピクチャをスキップして次のＩ、Ｐピクチャを先に符号化し、その後、間にあるＢピクチャを符号化する。復号器は、Ｂピクチャを直ちに復号して表示するが、Ｉ、Ｐピクチャは復号した後も間に入るＢピクチャの処理が終了してから表示する。従って、符号器と復号器を通すとＩまたはＰピクチャの現れる周期だけの遅延が発生することになる。
【０００７】
この様子を具体的に示したものが図８である。図８では、入力画像（原画像）、符号化画像、表示画像の関係を画面の処理順と原画面の順序の相違を含めて表している。
【０００８】
図８において、ｂ１２、ｂ１３は、（ｎ−１）番目のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ：Ｉピクチャが少なくとも１枚入った画面群構造）に含まれるＢピクチャを表し、ｐ１４は、（ｎ−１）番目のＧＯＰの最後のｐピクチャを表す。
【０００９】
Ｉ２は、ｎ番目のＧＯＰの最初のＩピクチャを表し、ｐ５は、ｎ番目のＧＯＰの最初のｐピクチャを表し、Ｂ０、Ｂ１、Ｂ３、Ｂ４は、ｎ番目のＧＯＰに含まれるＢピクチャを表す。
【００１０】
各ピクチャ間の復号のインターバルＴｘｘ（ｘｘ＝Ｂ０、Ｂ１、Ｉ２、…、Ｐ５、…）は、復号を行っているときに表示を行うピクチャの表示時間である。すなわち、
（１） 現在、Ｂピクチャを復号しているなら、次のピクチャの復号開始までのインターバルは、そのＢピクチャが表示される期間である。
【００１１】
（２） 現在、ＩまたはＰピクチャを復号しているなら、次のピクチャの復号開始までのインターバルは直前に復号を行ったＩまたはＰピクチャが表示される期間である。
【００１２】
ＭＰＥＧ１では、順次走査（ノンインタレース）の画像のみを扱っているが、ＭＰＥＧ２では、順次走査の画像だけでなく、インタレース走査（飛び越し走査）の画像も扱うことができる。順次走査方式とインタレース走査方式の違いを図９を参照して簡単に説明する。
【００１３】
図９では、３０Ｈｚ（詳しくは２９．９７Ｈｚ）順次走査方式（図９（ｂ）参照）と、３０Ｈｚインタレース走査方式、すなわち、フィールド周波数６０Ｈｚの場合（図９（ａ）参照）を例にとり示している。順次走査では、１枚のフレームの中の画像は、全て同じ時間にサンプリングされたものであるが、インタレース走査では、１枚のフレームの中の画像は異なった時間にサンプリングされたものが１ライン毎に交互に（すなわち、奇数ラインと偶数ラインを交互に）繰り返されている。この異なった時間にサンプリングされた画像をそれぞれ第１フィールド、第２フィールドと呼び、インタレース走査の画面では、１枚のフレームは、通常２枚のフィールド画像から構成されることになる（図９（ａ）参照）。
【００１４】
ＭＰＥＧ２では、ピクチャ（ＭＰＥＧにおける１枚の画像単位）にフレームを割り当てることもフィールドを割り当てることもできる。ピクチャにフレームが割り当てられた場合、この割り付け方をフレーム構造と呼ぶ。ピクチャにフィールドが割り当てられた場合、この割り付け方をフィールド構造と呼ぶ。１つの画像シーケンスの中で、フレーム構造とフィールド構造が混在してもよいし、どちらか一方の構造だけで符号化してもよい。
【００１５】
一方、ＭＰＥＧ１では、順次走査方式であるため、全てがフレーム画像として扱われていて、１フレームの表示時間は、２フィールド期間である。
ＭＰＥＧ２では、１フレームを表示する期間は、２フィールドあるいは３フィールドと任意に設定することができる。例えば、フレーム周期２４Ｈｚの映画ソースをＮＴＳＣ方式のフレーム周期３０Ｈｚのインタレースの受像装置でフレームレート変換して表示される場合、２：３プルダウンと呼ばれるテレシネ変換の情報を表すフラグ（ＴＦＦ、ＲＦＦ）を多重して符号化を行う。
【００１６】
ここで、フラグＴＦＦ（ｔｏｐ ｆｉｅｌｄ ｆｉｒｓｔ）とは、フレーム構造の場合、最初に表示されるフィールドが上位（ｔｏｐ ｆｉｅｌｄ）か下位（ｂｏｔｔｏｍ ｆｉｅｌｄ）かを示し、フラグＲＥＦ（ｒｅｐｅａｔ ｆｉｒｓｔ ｆｉｅｌｄ）は、１ピクチャの表示期間が２フィールドか、３フィールドかを示している。なお、この２つのフラグは、各ピクチャ毎に与えられるデータである。
【００１７】
さて、ここで、ランダムアクセス時やチャンネルホッピング時のように、符号化データの途中からエントリーする場合を考える。例えば、図８のｎ番目のＧＯＰから復号を開始する場合、最初のＩまたはＰピクチャの復号時に表示を行う画像がない。このような場合、図８中の復号画像ｐ１４の表示時間が不明であるため、Ｉ２ピクチャの次に復号を行うＢ０ピクチャの復号開始までのインターバルが２フィールド後であるか３フィールド後であるか特定できない。
【００１８】
また、シーケンスのスタートアップ時も同様に符号化側がＩ２ピクチャとＢ０ピクチャの復号インターバルを２フィールドとして符号化を行ったか３フィールドにして符号化を行ったかが不明な場合、前述と同様な問題が発生する。
【００１９】
従来、Ｂ０ピクチャの復号開始時刻を推定するには、次のような方法がある。すなわち、ＭＰＥＧ方式で符号化された画像データには、、付加情報として、符号化された各ピクチャの先頭のバイトが受信バッファに入力されてから復号に用いるまでのバッファ滞留時間（ＶＤ：ＶＢＶ Ｄｅｌａｙ）が多重されている。このＶＤの値は、９０Ｈｚのクロックで測定したときのクロック数を１６ビットで表現したものである。ＶＤと受信バッファの占有量Ｂｎ、伝送レートＲの関係は、
ＶＤ＝９００００×Ｂｎ／Ｒ
となる。
【００２０】
これより、受信バッファの占有量がＢｎとなった時刻にＢ０ピクチャの復号を開始することが可能である。
しかし、この方法では、Ｂｎを求めるために除算を行う必要があるため、ハードウエアの規模が懸念される。また、可変レート符号化を行った場合は、伝送レートＲがピクチャ単位で変化する場合や、ＶＤの値が「０ｘＦＦＦＦ」という特殊な値で記録される場合があるため、Ｂｎを計算を行うことが非常に困難になる。
【００２１】
一方、従来の動画像符号化技術であるＭＰＥＧ１では、２：３プルダウンと呼ばれるテレシネ変換の情報を表すフラグ（ＴＦＦ、ＲＦＦ）がなく、全てがフレーム画像として扱われていた。従って、ＭＰＥＧ１により符号化された動画像信号を復号する場合、Ｂ０ピクチャの復号を開始する時刻は、Ｉ２ピクチャの復号から１フレーム（２フィールド）後でよい。
【００２２】
【発明が解決しようとする課題】
ＭＰＥＧ２では、前述したように、２：３プルダウンされた画像を扱う可能性があるため、２番目に入力された符号化画像（Ｂ０ピクチャ）の復号を開始する時刻が最初に入力された符号化画像（Ｉ２ピクチャ）の復号から２フィールド後か３フィールド後であるかを容易に特定できないという問題点がある。
【００２３】
すなわち、従来において、最初のＩピクチャの次に復号を行うＢピクチャの復号開始時刻を推定するには、
（１） 固定伝送レートの場合、ハードウエアの増加が予想される。
（２） 可変伝送レートの場合、従来技術では不可能である。
という問題点があった。
【００２４】
復号開始時間が正確に推定されないと、受信した圧縮データを蓄える受信バッファのオーバーフローやアンダーフローが発生する恐れがあり、正常に復号が行われなくなる恐れがある。また、ＭＰＥＧシステムにおいて、再生側でビデオ、オーディオを同期復号することが困難となる。同様に、ＭＰＥＧシステムの符号側においても、復号の開始タイミングを正確に掴めないと、オーディオ等の他のデータが適正な時刻に多重されなくなる。
【００２５】
そこで、本発明は、上記問題点を鑑みてなされたもので、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる動画像復号タイミング推定方法、および、それを用いた動画像符号化装置および動画像復号化装置を提供することを目的とする。
【００２６】
【課題を解決するための手段】
本発明は、テレシネ変換された動画像のＭＰＥＧ２符号化フレームを復号する際の復号タイミングを推定するものであって、
（１）第１の符号化フレームの表示順が１番目の場合、次に復号する第２の符号化フレームの復号開始タイミングは、当該第２の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、当該２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドが異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする。
本発明によれば、動画像の符号化フレームを復号する際に、２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２７】
また、本発明の動画像復号化装置は、動画像の符号化データ列から、最初に復号される符号化フレームの表示順を示す番号、フレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データと、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データ、画面の表示期間を示すデータを抽出する抽出手段と、この抽出手段で抽出された各データと、画面の表示の連続性を基に、２番目の符号化フレームの復号開始時を推定する推定手段とを具備し、この推定手段で推定された復号開始時をもとに、前記符号化フレームを復号することにより、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２８】
また、本発明の動画像符号化装置は、動画像の符号化データ列から、最初に復号される符号化フレームの表示順を示す番号、フレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データと、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データ、画面の表示期間を示すデータを抽出する抽出手段と、この抽出手段で抽出された各データと、画面の表示の連続性を基に、２番目の符号化フレームの復号タイミングを算出する算出手段とを具備し、前記算出された復号タイミング情報を前記符号化フレームに付加することにより、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
図１は、ＭＰＥＧ２のデータ構造の一例を概略的に示したものである。
ＭＰＥＧ２によって符号化された画像データは、上からシーケンス層、ＧＯＰ層、ピクチャ層、…、ブロック層までの階層構成をとるが、図１では、シーケンス層とＧＯＰ層について示している。
【００３０】
シーケンス層のデータ構造は、例えば、一連の同じ属性をもつ画面グループ（ＧＯＰ）のデータ（例えば、順次走査であることを示すＰＳ（Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｅｑｕｅｎｃｅ）等）を含むシーケンスヘッダ（ＳＨ）と、ＧＯＰのデータからなる。
【００３１】
ＧＯＰ層のデータ構造は、ランダムアクセスの単位となる画面グループ（ＧＯＰ）を構成する複数の画面に共通のデータを含むＧＯＰヘッダと、そのＧＯＰを構成する各画面（ピクチャ）のデータからなる。
【００３２】
ピクチャ層のデータ構造は、各画面毎に、その１枚の画面に共通な属性のデータ（例えば、ＴＲ、ＴＦＦ、ＲＥＦ、ＰＳＴＲ等）を含むピクチャヘッダと、各画面（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の符号化データからなる。
【００３３】
このような構造のＭＰＥＧ２のデータは、ＭＰＥＧシステムにおいて、さらに、複数のパケットに分解され、オーディオパケット等ともに時分割多重されて、１本のデータ列を生成する。その際、ビデオ、オーディオ等の復号器を含むＭＰＥＧシステム復号器において時刻基準となるＳＴＣ（基本となる同期信号）の値を符号器側で意図した値にセット・校正するための情報であるＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）、アクセス・ユニットと呼ばれる復号再生の単位（すなわち、ビデオは１フレーム、オーディオは１オーディオ・フレーム）毎に必要に応じて、再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）が付加される。
【００３４】
ＭＰＥＧシステムの復号器における時刻基準ＳＴＣがＰＴＳに一致したとき、そのアクセス・ユニットを再生出力する。ＰＴＳは、例えば、９０ＫＨｚのクロックで計測した値で表される。
【００３５】
ＤＴＳは、ＭＰＥＧにおいて、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行して符号化データ列に送出されるために、復号する順序と再生出力する順序が異なることに対応して設けられたもので、ＰＴＳとＤＴＳが異なる場合には、両方のタイムスタンプをつけ、一致する場合はＰＴＳだけをつける。
【００３６】
次に、本実施形態に係る復号タイミング推定方法について、図２、図３に示すフローチャートを参照して説明する。
なお、以下の説明において、符号化フレームとは、符号化対象である１画面の符号化データで、インタレース走査では、１符号化フレームは２枚のフィールド画像から構成されるものである。
【００３７】
まず、この復号タイミング推定方法で用いられるＭＰＥＧ２で定義されているデータ、すなわち、ＴＲ、ＴＦＦ、ＲＥＦ、ＰＳＴＲについて説明する。これらは、ＭＰＥＧ２のデータ構造では、ピクチャ層に付加されているものである。
【００３８】
ＴＲ（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）は、ピクチャの表示順を示す番号である。図２、図３では、ＧＯＰの先頭にある、すなわち、復号処理の順番が最初の符号化フレームのＴＲをＴＲ０と示している。図２、図３では、ＴＲ０の値として、例えば、ＴＲ０＝０、１、２の場合を示している。
【００３９】
ＰＳＴＲ（Ｐｉｃｔｕｒｅ Ｓｔｒｕｃｔｕｒｅ）は、符号化フレームがフレーム構造かフィールド構造かを示すもので、フィールド構造の場合は、上位フィールド（ｔｏｐ）か、下位フィールド（ｂｏｔｔｏｍ）かも合わせて示す。図２、図３では、ＰＳＴＲの値を、ＰＳＴＲ＝「ｆｒａｍ」、「ｔｏｐ」、「ｂｏｔｔｏｍ」と示している。また、図２、図３では、復号処理の順番が最初の符号化フレームのＰＳＴＲをＰＳＴＲ０、復号処理の順番が２番目の符号化フレームのＰＳＴＲをＰＳＴＲ１と示している。
【００４０】
ＴＦＦ（Ｔｏｐ Ｆｉｅｌｄ Ｆｉｒｓｔ）は、符号化フレームがフレーム構造の場合に、最初に表示されるフィールドが上位フィールド（ｔｏｐ）か下位フィールド（ｂｏｔｔｏｍ）かを示す。図２、図３では、ＴＦＦ＝０のとき、ｔｏｐから表示し、ＴＦＦ＝１のとき、ｂｏｔｔｏｍから表示することを示している。また、図２、図３では、復号処理の順番が最初の符号化フレームのＴＦＦをＴＦＦ０、２番目の符号化フレームのＴＦＦをＴＦＦ１と示している。
【００４１】
ＲＥＦ（Ｒｅｐｅａａｔ Ｆｉｒｓｔ Ｆｉｅｌｄ）は、２：３プルダウンの際に使われて、１符号化フレームの表示期間が２フィールドか、３フィールドかを示している。図２、図３では、ＲＥＦ＝０のとき２フィールドで、ＲＥＦ＝１のとき３フィールドであることを示している。また、図２、図３では、最初の符号化フレームのＲＥＦをＲＥＦ０、２番目の符号化フレームのＲＥＦをＲＥＦ１と示している。
【００４２】
基準時刻ＳＴＣに基づき、９０ＫＨｚのクロック数で表した１フィールド期間の値を図２、図３においてＦＰＲＤと示している。
最初の符号化フレームのＰＴＳ、ＤＴＳをそれぞれＰＴＳ０、ＤＴＳ０とすると、本発明の復号タイミング推定方法では、２番目の符号化フレームに付加されたＰＳＴ１、ＴＦＦ１、最初の符号化フレームに付加されたＴＲ０、ＰＳＴＲ０、ＰＴＳ０、ＴＦＦ０等の情報を有効に用いて、２番目の符号化フレームが得られた時点で２番目の符号化フレームの復号開始時間ＤＴＳ１を推定することを目的とするものである。
【００４３】
なお、ここで取り扱う動画像データは、Ｂピクチャを含み（ＬＤ（ｌｏｗ ｄｒｌａｙ）＝０）、順次走査である（ＰＳ（ｐｒｏｇｒｅｓｓｉｖｅ ｓｅｑｕｅｎｃｅ）＝０）ものとする。ＬＤ、ＰＳは、画像の表示周期（例えば、２４Ｈｚ／２９．９７Ｈｚ）を識別するデータＦＲＣ（ｆｒａｍｅ ｒａｔｅ ｃｏｄｅ）とともに、シーケンス層に付加されるデータである。
【００４４】
まず、最初の符号化フレームがＴＲ０＝２、ＰＳＴＲ０＝「ｆｒａｍｅ」、ＴＦＦ０＝１、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍｅ」、ＴＦＦ１＝０、ＲＥＦ１＝０の場合について説明する。
【００４５】
ステップＳ１で、ＴＲ０＝２、すなわち、最初の符号化フレームの表示番号が「２」であるので、ステップＳ４に進む。
ステップＳ４で、ＰＳＴＲ０＝「ｆｒａｍｅ」、すなわち、最初の符号化フレームがフレーム構造であるので、ステップＳ５に進む。
【００４６】
ステップＳ５で、ＰＳＴＲ１＝「ｆｒａｍｅ」、すなわち、２番目の符号化フレームがフレーム構造であるので、ステップＳ８に進む。
ステップＳ８で、ＴＦＦ０＝１、ＴＦＦ１＝０、すなわち、最初の符号化フレームは上位フィールドが先に表示され、２番目のフレームは下位フィールドが先に表示されるので、図３のステップＳ１４に進む。
【００４７】
この場合、図４を参照して具体的に説明する。ＴＲ０＝２より最初の符号化フレーム（Ｉ２）が表示されるまで符号化フレーム（Ｂピクチャ）が２枚挿入されるわけであるが、Ｉ２がフレーム構造でしかもＴＦＦ＝１であることからＩ２の表示は上位（ｔｏｐ）フィールドから開始される。
【００４８】
また、２番目の符号化フレームＢ０はフレーム構造でしかもＴＦＦ１＝０であることからＢ０の表示は下位フィールド（ｂｏｔｔｏｍ）から開始される。また、ＲＥＦ１＝０であるからＢ０の表示期間は２フィールドである。
【００４９】
従って、図４に示すように、ＢＯは、ｂｏｔｔｏｍ→ｔｏｐと表示され、Ｉ２は、ｔｏｐから表示される。
画面表示の際は、必ずｂｏｔｔｏｍフィールドとｔｏｐフィールドが交互に表示され、これを「表示の連続性」と呼ぶことにする。
【００５０】
この例では、Ｉ２が表示される前に表示される他方の符号化フレーム（Ｂピクチャ）Ｂ１の表示期間が不明であるが、仮に、Ｂ１の表示期間が特定できれば、Ｉ２の表示時刻ＰＳＴ０からＢ０、Ｂ１の表示期間を引いたものがＢ０の復号開始時刻になることが容易に理解できよう。
【００５１】
さて、表示の連続性から、２番目に表示されるＢピクチャ（Ｂ１）は、図４に示すように、奇数フィールド期間の表示であることがわかる。さらに、各符号化フレームは、２または３フィールド期間の表示しか許されないため、Ｂ１は、３フィールド期間の表示であることが判断できる。
【００５２】
従って、Ｂ０の復号開始時刻ＤＴＳ１は、Ｉ２の表示開示時刻の５フィールド前になることが推定される（図４参照）。
すなわち、図３のステップＳ１４において、ＢＯの復号開始時刻ＤＴＳ１は、次式（１）より求まる。
【００５３】
ＤＴＳ１＝ＰＴＳ０−５×ＦＰＲＤ …（１）
ステップＳ８で、ＴＦＦ０＝ＴＦＦ１＝０、あるいは、ＴＦＦ０＝ＴＦＦ１＝１のとき、すなわち、図４において、Ｉ２とＢ０が共に下位フィールドあるいは上位フィールドから先に表示される場合は、図３のステップＳ１３に進む。
【００５４】
ステップＳ１３では、前述同様の原理に基づき、２番目の符号化フレームＢ０の復号開始時刻ＤＴＳ１は、ＲＦＦ１の値に応じて、次式（２）より求まることがわかる
ＤＴＳ１＝ＰＴＳ０−２×（２＋ＲＦＦ１）×ＦＰＲＤ …（２）
ステップＳ５で、２番目の符号化フレームＢ０がＰＳＴＲ１＝「ｔｏｐ」であるとき、すなわち、上位フィールドから表示が開始されるとき、ステップＳ９に進む。
【００５５】
ステップＳ９では、最初の符号化フレームＩ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の前に表示される符号化フレームＢ０、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ０＝１のとき、ステップＳ１５に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進む。
【００５６】
ステップＳ１５では、符号化フレームＢＯ、Ｂ１の表示期間は、４フィールドと推定されるので、Ｂ１の復号開始時刻ＤＴＳ１は、次式（３）より求めることができる。
【００５７】
ＤＴＳ１＝ＰＴＳ０−４×ＦＰＲＤ …（３）
となる。
ステップＳ１４では、符号化フレームＢ０、Ｂ１の表示期間は５フィールドと推定されるので、Ｂ１の復号開始時間ＤＴＳ１は、（１）式より求めることができる。
【００５８】
ステップＳ５で、２番目の符号化フレームＢ０がＰＳＴＲ１＝「ｂｏｔｔｏｍ」であるとき、すなわち、下位フィールドから表示が開始されるとき、ステップＳ１０に進む。
【００５９】
ステップＳ１０では、最初の符号化フレームＩ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の前に表示される符号化フレームＢ０、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ０＝１のとき、符号化フレームＢ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進み、ＴＦＦ１＝０のとき、符号化フレームＢ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６０】
ステップＳ４で、最初の符号化フレームＩ２がＰＳＴＲ０＝「ｔｏｐ」のとき、すなわち、Ｉ２がフィールド構造で、しかも上位フィールドの場合は、ステップＳ６に進む。
【００６１】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０がフレーム構造のときは、ステップＳ１１に進む。
ステップＳ１１では、２番目の符号化フレームＢ０のＴＦＦ１の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１３に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進む。
【００６２】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、上位フィールドのときは、Ｂ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６３】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、下位フィールドのときは、Ｂ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進む。
【００６４】
ステップＳ４で、最初の符号化フレームＩ２がＰＳＴＲ０＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｉ２がフィールド構造で、しかも下位フィールドの場合は、ステップＳ７に進む。
【００６５】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０がフレーム構造のときは、ステップＳ１２に進む。
ステップＳ１２では、２番目の符号化フレームＢ０のＴＦＦ１の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１４に進み、ＴＦＦ１＝０のとき、ステップＳ１３に進む。
【００６６】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、上位フィールドのときは、Ｂ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進む。
【００６７】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、下位フィールドのときは、Ｂ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６８】
次に、最初の符号化画像がＴＲ０＝１、ＰＳＴＲ０＝「ｆｒａｍｅ」、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍｅ」、ＲＥＦ１＝０の場合について説明する。
【００６９】
ステップＳ１で、ＴＲ０＝１のとき、すなわち、最初の符号化フレームの表示番号が「１」であるとき、ステップＳ３に進む。
この場合、図５を参照して具体的に説明する。ＴＲ０＝１より、最初の符号化フレームＩ２が表示されるまでＢピクチャの符号化フレームが１枚挿入されるわけであるが、２番目の符号化フレームＢ０は、ＲＥＦ１＝０より、その表示期間は２フィールド期間となることがわかる。すなわち、Ｂ０の復号開始時刻ＤＴＳ１は、最初の符号化フレームＩ２の表示開始時刻の２フィールド前になることが推定される。
【００７０】
もし、２番目の符号化フレームＢ０が、ＲＥＦ１＝１であるときは、その表示期間は３フィールド期間となる。すなわち、Ｂ０の復号開始時刻ＤＴＳ１は、最初の符号化フレームＩ２の表示開始時刻の３フィールド前になることが推定される。
【００７１】
これらをまとめると、図３のステップＳ３において、Ｂ０の復号開始時刻ＤＴＳ１は、次式（４）より求めることができる。
ＤＴＳ１＝ＰＴＳ０−（２＋ＲＥＦ１）×ＦＲＰＤ …（４）
ステップＳ１で、ＴＲ０＝０のとき、すなわち、最初の符号化フレームの表示番号が「０」のとき、そのＧＯＰ内の画像が他のＧＯＰから独立再生可能である場合が考えられる。このとき、ステップＳ２に進み、２番目の符号化フレームの復号時刻ＤＴＳ１は、最初の符号化フレームの表示開始時刻ＰＴＳ０と同じとなる。
【００７２】
以上、説明したように、上記動画像復号タイミング推定方法によれば、最初に復号される符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ０）と、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ（ＰＳＴＲ１）、画面の表示方法の識別データ（ＴＦＦ１）、画面の表示期間を示すデータ（ＲＦＦ１）、画面の表示の連続性を基に、最初に復号される符号化フレームの表示開始時刻（ＰＴＳ０）より何フィールド期間前に２番目の符号化フレームの復号が開始されるか、すなわち、２番目の符号化フレームの復号開始時刻（ＤＴＳ１）を少ない演算量で正確に推定することができる。
【００７３】
なお。図２、３、では、ＴＲの値が０、１、２の場合について説明したが、これに限るものではなく、ＴＲの値に応じて前述同様に復号開始時刻の推定が可能となる。
【００７４】
次に、この復号タイミング推定方法を、ＭＰＥＧシステムの符号器および復号器に適用することを考える。
図６は、ＭＰＥＧシステムの復号器側の要部の構成を概略的に示したものである。ＭＰＥＧ１あるいはＭＰＥＧ２のビデオ、オーディオ等の多重化されたビットストリーム（以下、ＭＰＥＧビットストリームと呼ぶ）４０１が、蓄積メディアから読み出され、あるいは、ネットワークを介して受信されると、まず、ＭＰＥＧシステムデコーダ４０２に入力される。
【００７５】
ＭＰＥＧシステムデコーダ４０２は、以下の処理を行う。
（１） ＭＰＥＧビットストリーム４０１からビデオのビットストリーム４０７を分離してＭＰＥＧビデオデコーダ４０３に出力する。
【００７６】
（２） ＭＰＥＧビットストリーム４０１からオーディオのビットストリーム４１２を分離してオーディオデコーダ４１３に出力する。
（３） ＭＰＥＧビットストリーム４０１から最初の符号化フレームの再生出力の時刻管理情報（ＰＴＳ）４０５と、復号の時刻管理情報（ＤＴＳ）４０６を分離し、復号開始タイミング制御回路４０８に出力する。
【００７７】
（４） ＭＰＥＧビットストリーム４０１からシステム時刻基準参照値（ＳＣＲ）４０４を分離し、復号開始タイミング制御回路４０８に出力し、それをもとに具備されるＭＰＥＧシステムの時刻基準となるＳＴＣカウンタをセットする。
【００７８】
復号開始タイミング制御回路４０は、ＳＴＣカウンタの値と最初の符号化フレームのＤＴＳの値が一致した時点で復号開始信号４１０をＭＰＥＧビデオデコーダに出力する。
【００７９】
ＭＰＥＧビデオデコーダ４０３は、復号開始信号４１０を受けて最初の符号化フレームの復号を開始し、ビデオ信号４１１を出力する。
ＭＰＥＧビデオデコーダ４０３は、図１に示したような構造のビデオシーケンスから、期待される表示方法（すなわち、ＬＤ、ＰＳ、ＦＲＣ）のデータを分離する。さらに、最初の符号化フレームの先頭（ピクチャヘッダ）に含まれる符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ）を分離し、これらデータ４０９を復号開始タイミング制御回路４０８に出力する。
【００８０】
次に、ＭＰＥＧビデオデコーダ４０３で最初の符号化フレームの復号が終了すると、２番目の符号化フレームの先頭（ピクチャヘッダ）に含まれるフレーム構造／フィールド構造の識別データ（ＰＳＴＲ１）、画面の表示方法の識別データ（ＴＦＦ１）、画面の表示期間を示すデータ（ＲＦＦ１）を分離、これらデータ４０９を復号開始タイミング制御回路４０８に出力する。
【００８１】
復号開始タイミング制御回路４０８では、図２、図３に示したフローチャートに従って、２番目の符号化フレームの復号開始時刻を算出し、その算出された時刻とＳＴＣカウンタの値が一致した時点で、復号開始信号４１０を出力する。
【００８２】
ＭＰＥＧビデオデコーダ４０３では、復号開始信号４１０を受けて、２番目の符号化フレームの復号を開始し、ビデオ信号４１１を出力する。
一方、復号開始タイミング制御回路４０８は、オーディオデコーダ４１３からオーディオのビットストリームから分離されたＰＴＳ４１５を受け取り、それを基に、ビデオ信号と同期再生するように、オーディオの復号開始信号４１６を出力する。
【００８３】
オーディオデコーダ４１３は、オーディオビットストリーム４１２を受け、復号開始信号４１６により復号を介しし、復号されたオーディオ信号４１４を出力する。
【００８４】
図７は、ＭＰＥＧシステムの符号器側の要部の構成を概略的に示したものである。
符号化されたビデオのビットストリーム５０１はビデオ文法解釈部５０２に入力され、それと同時に、システム多重化部５０３に入力される。
【００８５】
ビデオ文法解釈部５０２は、図１に示したような構造のビデオシーケンスから、期待される表示方法（すなわち、ＬＤ、ＰＳ、ＦＲＣ）のデータを分離する。さらに、最初の符号化フレームの先頭（ピクチャヘッダ）に含まれる符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ）を分離し、これらデータ５０５をＰＴＳ／ＤＴＳ算出回路５０４に出力する。
【００８６】
ＭＰＥＧシステムエンコーダ５０３は、以下の処理を行う。
（１） ビデオのビットストリーム５０１の最初の符号化フレームに対し、適切なＰＴＳ、ＤＴＳを多重し、この最初の符号化フレームに対するＰＴＳ、ＤＴＳのデータ５０６をＰＴＳ／ＤＴＳ算出回路５０４に出力する。
【００８７】
（２） 符号化されたオーディオのビットストリーム５０９に対し、適切なＰＴＳを多重する。
（３） ビデオとオーディオのビットストリームを多重することにより、ＭＰＥＧシステムのビットストリーム５０８を出力する。
【００８８】
ＰＴＳ／ＤＴＳ算出回路５０４では、図２、図３に示したフローチャートに従って、２番目の符号化フレームのＰＴＳおよびＤＴＳを算出し、これらデータ５０７をＭＰＥＧシステムエンコーダ５０３に出力する。
【００８９】
ＭＰＥＧシステムエンコーダ５０３では、２番目の符号化フレームに対し、これらの値を参考にして、多重タイミングを制御する。また、必要に応じて、ＰＴＳ／ＤＴＳ算出回路５０４で算出されたＰＴＳ、ＤＴＳを多重してＭＰＥＧシステムのビットストリーム５０８を出力する。
【００９０】
多重化ビットストリーム５０８は、例えば、蓄積メディアに蓄積されたり、ネットワークを介してユーザ宅に配信されたりするようになっている。
以上説明したように、上記実施形態に係るＭＰＥＧシステムの復号化装置によれば、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できるので、
（１） ビデオとオーディオを正確に同期再生できる。
（２） ビデオのビットストリームを受信して一時蓄積する受信バッファの復号開始時におけるオーバーフローまたはアンダーフローを未然に防止できる。
【００９１】
また、上記実施形態に係るＭＰＥＧシステムの符号化装置によれば、
（１） ビデオとオーディオを正確に同期多重することができる。
（２） ビデオとオーディオを多重する際にこれらビットストリームを一時蓄積するバッファのオーバーフローまたはアンダーフローを未然に防止できる。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる動画像復号タイミング推定方法、および、それを用いた動画像符号化装置および動画像復号化装置を提供できる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のデータ構造の一例を示した図。
【図２】復号タイミング推定方法の処理手順を説明するためのフローチャート。
【図３】復号タイミング推定方法の処理手順を説明するためのフローチャート。
【図４】最初の符号化フレームの表示順が「２」であるときの２番目の符号化フレームの復号開始タイミングの推定方法を具体的に説明するための図。
【図５】最初の符号化フレームの表示順が「１」であるときの２番目の符号化フレームの復号開始タイミングの推定方法を具体的に説明するための図。
【図６】ＭＰＥＧシステムの復号化装置の要部の構成を概略的に示した図。
【図７】ＭＰＥＧシステムの符号化装置の要部の構成を概略的に示した図。
【図８】入力画像（原画像）、符号化画像、表示画像の関係を画面の処理順と原画面の順序の相違を含めて表した図。
【図９】順次走査方式とインタレース走査方式について説明するための図。
【符号の説明】
４０１…ＭＰＥＧシステムのビットストリーム、４０２…ＭＰＥＧシステムデコーダ、４０３…ＭＰＥＧビデオデコーダ、４０７…ビデオストリーム、４０８…復号開始タイミング制御回路、４１３…オーディオデコーダ、５０１…ビデオのビットストリーム、５０２…ビデオ文法解釈部、５０３…ＭＰＥＧシステムデコーダ、５０４…ＰＴＳ／ＤＴＳ算出回路、５０８…ＭＰＥＧシステムのビットストリーム、５０９…オーディオビデオストリーム。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to, for example, a method for estimating a decoding timing of a moving image in an MPEG system for synchronizing and multiplexing coded data strings such as individually coded moving images and audio, and a moving image encoding apparatus using the same. And a video decoding device.
[0002]
[Prior art]
The MPEG system for synchronizing and multiplexing individually coded data streams of moving images (video), audio (audio), etc. into one unit mainly supports applications of storage media such as CD-ROMs. There is an MPEG1 system and an MPEG2 system corresponding to a wide range of applications including the MPEG1 application.
[0003]
In such an MPEG system, separate data streams (streams) obtained by individually encoding video, audio, and the like are time-division multiplexed into one stream, which is recorded on a storage medium or transmitted via a communication network. To transmit. On the playback side, each individual stream is separated from the multiplexed stream read from the storage medium or received via the communication network and sent to each decoder, and the stream is individually decoded by each multiplexer. Output to an output device (video monitor, speaker, etc.). At this time, the individual streams are synchronously decoded, reproduced and output on the receiving side as intended on the transmitting side.
[0004]
By the way, an MPEG encoded image includes an intra-coded image (I picture) for intra-encoding the entire screen, an inter-frame forward prediction encoded image (P picture), and a forward prediction from a past reproduced image. There are three picture types, bidirectionally coded pictures (B pictures) that also use backward prediction from future playback pictures.
[0005]
When a B-picture of bidirectional predictive encoding is inserted, it is necessary to refer not only to past playback images but also to future playback images, so the processing order of the screen and the order of the original screen are different. is necessary.
[0006]
That is, the encoder skips the B picture, encodes the next I and P pictures first, and then encodes the B picture in between. The decoder immediately decodes and displays the B picture, but displays the I and P pictures after the processing of the interposed B picture is completed even after decoding. Therefore, when the signal passes through the encoder and the decoder, a delay corresponding to the period in which the I or P picture appears occurs.
[0007]
FIG. 8 specifically shows this state. FIG. 8 illustrates the relationship between the input image (original image), the encoded image, and the display image, including the difference between the processing order of the screen and the order of the original screen.
[0008]
In FIG. 8, b12 and b13 represent B pictures included in the (n-1) th GOP (Group of Picture: screen group structure including at least one I picture), and p14 is (n-1) Represents the last p-picture of the GOP.
[0009]
I2 represents the first I picture of the nth GOP, p5 represents the first p picture of the nth GOP, and B0, B1, B3, and B4 represent the B pictures included in the nth GOP. .
[0010]
The decoding interval Txx (xx = B0, B1, I2,..., P5,...) Between the pictures is the display time of the picture to be displayed during decoding. That is,
(1) If a B picture is currently being decoded, the interval until the start of decoding the next picture is a period during which the B picture is displayed.
[0011]
(2) If an I or P picture is currently being decoded, the interval until the start of decoding the next picture is a period in which the I or P picture that was just decoded is displayed.
[0012]
MPEG1 handles only progressively scanned (non-interlaced) images, whereas MPEG2 can handle not only progressively scanned images but also interlaced (interlaced) images. The difference between the progressive scanning method and the interlaced scanning method will be briefly described with reference to FIG.
[0013]
In FIG. 9, the 30 Hz (29.97 Hz in detail) progressive scanning method (see FIG. 9B) and the 30 Hz interlaced scanning method, that is, the case of a field frequency of 60 Hz (see FIG. 9A) are shown as examples. ing. In progressive scanning, images in one frame are all sampled at the same time, whereas in interlaced scanning, images in one frame are sampled at different times. It is repeated alternately for each line (that is, odd lines and even lines are alternated). The images sampled at different times are called a first field and a second field, respectively. In an interlaced scanning screen, one frame is usually composed of two field images (FIG. 9). (A)).
[0014]
In MPEG2, a frame or a field can be assigned to a picture (one image unit in MPEG). When a frame is allocated to a picture, this allocation method is called a frame structure. When a field is assigned to a picture, this assignment method is called a field structure. In one image sequence, a frame structure and a field structure may be mixed, or coding may be performed using only one of the structures.
[0015]
On the other hand, since the MPEG1 is a progressive scanning method, all are treated as frame images, and the display time of one frame is two field periods.
In MPEG2, the period for displaying one frame can be arbitrarily set to two fields or three fields. For example, when a movie source having a frame cycle of 24 Hz is displayed after being converted in frame rate by an interlaced image receiving apparatus having a frame cycle of 30 Hz in the NTSC system, flags (TFF, RFF) indicating information of telecine conversion called 2: 3 pull-down Are multiplexed for encoding.
[0016]
Here, in the case of a frame structure, the flag TFF (top field first) indicates whether the first displayed field is a top field or a bottom field (bottom field), and the flag REF (repeat field field) is 1 It indicates whether the picture display period is two fields or three fields. These two flags are data provided for each picture.
[0017]
Now, let us consider a case where an entry is made in the middle of encoded data, such as at the time of random access or channel hopping. For example, when decoding is started from the n-th GOP in FIG. 8, there is no image to be displayed when decoding the first I or P picture. In such a case, since the display time of the decoded image p14 in FIG. 8 is unknown, whether the interval until the start of decoding of the B0 picture to be decoded next to the I2 picture is two fields later or three fields later It can not be identified.
[0018]
Similarly, at the start-up of the sequence, if it is unclear whether the encoding side has performed encoding with the decoding interval of the I2 picture and the B0 picture as two fields or with three fields, the same problem as described above occurs. .
[0019]
Conventionally, there are the following methods for estimating the decoding start time of a B0 picture. That is, in the image data encoded by the MPEG method, the buffer residence time (VD: VBV Delay) from the time when the first byte of each encoded picture is input to the reception buffer to the time when it is used for decoding is added as additional information. ) Are multiplexed. This value of VD expresses the number of clocks measured with a clock of 90 Hz in 16 bits. The relationship between VD, the occupation amount Bn of the reception buffer, and the transmission rate R is as follows.
VD = 90000 × Bn / R
It becomes.
[0020]
Thus, decoding of the B0 picture can be started at the time when the occupation amount of the reception buffer becomes Bn.
However, in this method, since it is necessary to perform division to obtain Bn, there is a concern about the scale of hardware. When variable rate coding is performed, the transmission rate R may change in picture units, or the value of VD may be recorded as a special value “0xFFFF”. Becomes very difficult.
[0021]
On the other hand, in MPEG1, which is a conventional moving image coding technique, there is no flag (TFF, RFF) indicating information of telecine conversion called 2: 3 pulldown, and all are treated as frame images. Therefore, when decoding a moving image signal encoded by MPEG1, the decoding start time of the B0 picture may be one frame (two fields) after the decoding of the I2 picture.
[0022]
[Problems to be solved by the invention]
As described above, in MPEG2, there is a possibility that a 2: 3 pull-down image may be handled, so that the time at which decoding of the second input coded image (B0 picture) is started is determined by the first input coding time. There is a problem in that it is not easy to specify whether it is two or three fields after the decoding of the image (I2 picture).
[0023]
That is, conventionally, to estimate the decoding start time of the B picture to be decoded after the first I picture,
(1) In the case of a fixed transmission rate, an increase in hardware is expected.
(2) In the case of a variable transmission rate, it is impossible with the prior art.
There was a problem.
[0024]
If the decoding start time is not accurately estimated, overflow or underflow of the reception buffer storing the received compressed data may occur, and decoding may not be performed normally. Further, in the MPEG system, it becomes difficult to synchronously decode video and audio on the reproduction side. Similarly, on the encoding side of the MPEG system, if the start timing of decoding cannot be accurately grasped, other data such as audio cannot be multiplexed at an appropriate time.
[0025]
In view of the above, the present invention has been made in view of the above-described problems, and a moving image that can accurately estimate the decoding timing of an encoded frame to be decoded second when decoding an encoded frame of a moving image with a small amount of computation. It is an object of the present invention to provide an image decoding timing estimation method, and a video encoding device and a video decoding device using the same.
[0026]
[Means for Solving the Problems]
The present invention estimates a decoding timing when decoding an MPEG2-encoded frame of a moving image subjected to telecine conversion,
(1) When the display order of the first encoded frame is the first, the decoding start timing of the second encoded frame to be decoded next is estimated to be the display start time of the second encoded frame,
(2) When the display order of the first encoded frame is the second, and when the display period of the second encoded frame is two field periods, the decoding start timing of the second encoded frame is: It is estimated that two fields before the start of display of the first encoded frame, and when the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is: It is estimated three fields before the start of display of the first encoded frame,
(3) When the display order of the first encoded frame is the third, when the first encoded frame has a frame structure,
(3-1) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is two fields, the decoding start timing of the second encoded frame is estimated to be four fields before the display start of the first encoded frame,
(3-2) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is estimated to be six fields before the display start of the first encoded frame,
(3-3) when the second coded frame has a frame structure and the first displayed field of the second coded frame is different from the first displayed field of the first coded frame, The decoding start timing of the frame is estimated to be five fields before the display start of the first encoded frame,
(3-4) When the second encoded frame is an upper field in a field structure and a field displayed first of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(3-5) When the second encoded frame is an upper field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-6) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-7) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(4) When the display order of the first encoded frame is the third, when the first encoded frame is an upper field in the field structure,
(4-1) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(4-2) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is 3 fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(4-3) When the second coded frame has a frame structure and the lower field is displayed first, the decoding start timing of the second coded frame is set to the display start timing of the first coded frame. Estimated 5 fields before the time,
(4-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is four fields before the start of display of the first encoded frame. Presumed,
(4-5) When the second encoded frame is a lower field in the field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5) When the display order of the first encoded frame is the third, when the first encoded frame is a lower field in the field structure,
(5-1) When the second encoded frame has a frame structure and the upper field is displayed first, the decoding start timing of the second encoded frame is set to the display start timing of the first encoded frame. Estimated 5 fields before the time,
(5-2) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(5-3) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is three fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(5-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5-5) When the second encoded frame is a lower field in a field structure, the decoding start timing of the second encoded frame is four fields before the display start of the first encoded frame. It is characterized by estimating.
According to the present invention, when decoding an encoded frame of a moving image, the decoding timing of the encoded frame to be decoded second can be accurately estimated with a small amount of calculation.
[0027]
In addition, the moving picture decoding apparatus according to the present invention is configured such that a number indicating a display order of a coded frame to be decoded first, identification data of a frame structure / field structure, and a frame structure. Extraction of identification data of the display method of the screen, identification data of the frame structure / field structure of the encoded frame to be decoded secondly, identification data of the display method of the screen in the case of the frame structure, and data indicating the display period of the screen Extraction means, and estimation means for estimating the start of decoding of the second encoded frame based on the data extracted by the extraction means and the continuity of display on the screen. By decoding the coded frame based on the estimated decoding start time, the decoding timing of the coded frame to be decoded second when decoding the coded frame of the moving image It can be accurately estimated with a small amount of calculation and grayed.
[0028]
Further, the moving picture coding apparatus of the present invention provides, in the case of a frame structure, a number indicating the display order of a coded frame to be decoded first, identification data of a frame structure / field structure, and a frame structure. Extraction of identification data of the display method of the screen, identification data of the frame structure / field structure of the encoded frame to be decoded secondly, identification data of the display method of the screen in the case of the frame structure, and data indicating the display period of the screen Extracting means, and calculating means for calculating the decoding timing of the second encoded frame based on the data extracted by the extracting means and the continuity of the display of the screen. By adding the timing information to the coded frame, the decoding timing of the coded frame to be decoded second when decoding the coded frame of the moving image can be set. It can be accurately estimated without calculation amount.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 schematically shows an example of the data structure of MPEG2.
The image data encoded by MPEG2 has a hierarchical structure from the top to a sequence layer, a GOP layer, a picture layer,..., A block layer. FIG. 1 shows the sequence layer and the GOP layer.
[0030]
The data structure of the sequence layer includes, for example, a sequence header (SH) including a series of screen group (GOP) data (for example, PS (Progressive Sequence) indicating sequential scanning) having the same attribute, and a GOP. Consists of data.
[0031]
The data structure of the GOP layer includes a GOP header including data common to a plurality of screens constituting a screen group (GOP) as a unit of random access, and data of each screen (picture) constituting the GOP.
[0032]
The data structure of the picture layer includes, for each screen, a picture header including data of attributes common to one screen (for example, TR, TFF, REF, PSTR, etc.), and each screen (I picture, P picture, B picture).
[0033]
In the MPEG system, the MPEG2 data having such a structure is further decomposed into a plurality of packets and time-division multiplexed with audio packets and the like to generate one data string. At this time, in an MPEG system decoder including a decoder for video, audio, etc., an SCR which is information for setting and correcting an STC (base synchronization signal) value serving as a time reference to an intended value on the encoder side. (System Clock Reference), a PTS (Presentation Time Stamp), which is time management information of playback output, as required for each decoding / playback unit called an access unit (that is, one frame for video and one audio frame for audio). ) And DTS (Decoding Time Stamp) which is time management information for decoding.
[0034]
When the time reference STC in the decoder of the MPEG system matches the PTS, the access unit is reproduced and output. The PTS is represented, for example, by a value measured with a clock of 90 KHz.
[0035]
DTS is provided in MPEG in such a manner that an I picture and a P picture are transmitted in an encoded data sequence prior to a B picture, so that the order of decoding and the order of reproduction output are different. If the PTS and the DTS are different, both timestamps are attached, and if they match, only the PTS is attached.
[0036]
Next, a decoding timing estimation method according to the present embodiment will be described with reference to the flowcharts shown in FIGS.
In the following description, an encoded frame is encoded data of one screen to be encoded, and in interlaced scanning, one encoded frame is composed of two field images.
[0037]
First, data defined by MPEG2 used in the decoding timing estimation method, that is, TR, TFF, REF, and PSTR will be described. These are added to the picture layer in the MPEG2 data structure.
[0038]
TR (Temporal Reference) is a number indicating the display order of pictures. 2 and 3, TR0 of the encoded frame at the head of the GOP, that is, the first encoded frame in the order of the decoding process is indicated as TR0. 2 and 3 show, for example, the case of TR0 = 0, 1, 2 as the value of TR0.
[0039]
The PSTR (Picture Structure) indicates whether the coded frame has a frame structure or a field structure. In the case of a field structure, the PSTR also indicates an upper field (top) or a lower field (bottom). 2 and 3, the values of the PSTR are indicated as PSTR = “frame”, “top”, and “bottom”. 2 and 3, the PSTR of the first encoded frame in the decoding order is indicated as PSTR0, and the PSTR of the second encoded frame in the decoding order is indicated as PSTR1.
[0040]
TFF (Top Field First) indicates whether a field displayed first is an upper field (top) or a lower field (bottom) when an encoded frame has a frame structure. FIGS. 2 and 3 show that when TFF = 0, display is performed from top, and when TFF = 1, display is performed from bottom. 2 and 3, the TFF of the first coded frame is denoted by TFF0, and the TFF of the second coded frame is denoted by TFF1.
[0041]
REF (Repeat First Field) is used at the time of 2: 3 pull-down, and indicates whether the display period of one encoded frame is two fields or three fields. 2 and 3 show that when REF = 0, there are two fields, and when REF = 1, there are three fields. 2 and 3, the REF of the first encoded frame is indicated as REF0, and the REF of the second encoded frame is indicated as REF1.
[0042]
The value of one field period represented by the clock number of 90 KHz based on the reference time STC is shown as FPRD in FIGS. 2 and 3.
Assuming that PTS and DTS of the first coded frame are PTS0 and DTS0, respectively, in the decoding timing estimation method of the present invention, PST1 and TFF1 added to the second coded frame, and TR0 added to the first coded frame. , PSTR0, PTS0, TFF0, etc., to effectively estimate the decoding start time DTS1 of the second encoded frame at the time when the second encoded frame is obtained.
[0043]
The moving image data handled here includes a B picture (LD (low drain) = 0), and is assumed to be progressive scanning (PS (progressive sequence) = 0). LD and PS are data added to the sequence layer together with data FRC (frame rate code) for identifying a display cycle of the image (for example, 24 Hz / 29.97 Hz).
[0044]
First, the case where the first encoded frame is TR0 = 2, PSTR0 = “frame”, TFF0 = 1, and the second encoded frame is PSTR1 = “frame”, TFF1 = 0, REF1 = 0 will be described.
[0045]
In step S1, TR0 = 2, that is, since the display number of the first encoded frame is "2", the process proceeds to step S4.
In step S4, PSTR0 = "frame", that is, since the first encoded frame has a frame structure, the process proceeds to step S5.
[0046]
In step S5, PSTR1 = "frame", that is, since the second encoded frame has a frame structure, the process proceeds to step S8.
In step S8, TFF0 = 1 and TFF1 = 0, that is, since the upper field of the first encoded frame is displayed first and the lower field of the second frame is displayed first, the process proceeds to step S14 in FIG. .
[0047]
In this case, a specific description will be given with reference to FIG. Two encoded frames (B pictures) are inserted from TR0 = 2 until the first encoded frame (I2) is displayed. However, since I2 has a frame structure and TFF = 1, I2 The display starts from the top field.
[0048]
Since the second encoded frame B0 has a frame structure and TFF1 = 0, the display of B0 is started from the lower field (bottom). Since REF1 = 0, the display period of B0 is two fields.
[0049]
Therefore, as shown in FIG. 4, BO is displayed from bottom to top, and I2 is displayed from top.
At the time of screen display, the bottom field and the top field are always displayed alternately, and this is called "display continuity".
[0050]
In this example, the display period of the other encoded frame (B picture) B1 displayed before the display of I2 is unknown, but if the display period of B1 can be specified, the display time of I2 from the display time PST0 to B0 , B1 can be easily understood to be the decoding start time of B0 after subtracting the display period of B1.
[0051]
Now, from the display continuity, it can be seen that the B picture (B1) displayed second is an odd field period display as shown in FIG. Further, since each coded frame is allowed to be displayed only for two or three field periods, it can be determined that B1 is a display for three field periods.
[0052]
Therefore, it is estimated that the decoding start time DTS1 of B0 is five fields before the display start time of I2 (see FIG. 4).
That is, in step S14 of FIG. 3, the decoding start time DTS1 of the BO is obtained from the following equation (1).
[0053]
DTS1 = PTS0-5 × FPRD (1)
If TFF0 = TFF1 = 0 or TFF0 = TFF1 = 1 in step S8, that is, if both I2 and B0 are displayed first from the lower field or the upper field in FIG. 4, step S13 in FIG. Proceed to.
[0054]
In step S13, it is found that the decoding start time DTS1 of the second encoded frame B0 is obtained from the following equation (2) according to the value of RFF1, based on the same principle as described above.
DTS1 = PTS0−2 × (2 + RFF1) × FPRD (2)
In step S5, when the second encoded frame B0 has PSTR1 = "top", that is, when the display is started from the upper field, the process proceeds to step S9.
[0055]
In step S9, the display period of the encoded frames B0 and B1 displayed before I2 is estimated based on the value of TFF0 of the first encoded frame I2 and the display continuity. That is, when TFF0 = 1, the process proceeds to step S15, and when TFF1 = 0, the process proceeds to step S14.
[0056]
In step S15, since the display period of the encoded frames BO and B1 is estimated to be four fields, the decoding start time DTS1 of B1 can be obtained by the following equation (3).
[0057]
DTS1 = PTS0-4 × FPRD (3)
It becomes.
In step S14, the display period of the encoded frames B0 and B1 is estimated to be 5 fields, so that the decoding start time DTS1 of B1 can be obtained from the equation (1).
[0058]
In step S5, when the second coded frame B0 has PSTR1 = "bottom", that is, when display is started from the lower field, the process proceeds to step S10.
[0059]
In step S10, the display period of the encoded frames B0 and B1 displayed before I2 is estimated based on the value of TFF0 of the first encoded frame I2 and the display continuity. That is, when TFF0 = 1, the display period of the encoded frames B0 and B1 can be estimated to be 5 fields, so the process proceeds to step S14. When TFF1 = 0, the display period of the encoded frames B0 and B1 is estimated to be 4 fields. Since it is possible, the process proceeds to step S15.
[0060]
In step S4, when the first coded frame I2 is PSTR0 = "top", that is, when I2 has a field structure and is a high-order field, the process proceeds to step S6.
[0061]
In step S6, when the second encoded frame has PSTR1 = “frame”, that is, when B0 has a frame structure, the process proceeds to step S11.
In step S11, the display periods of BO and B1 are estimated based on the value of TFF1 of the second encoded frame B0 and the display continuity. That is, when TFF1 = 1, the process proceeds to step S13, and when TFF1 = 0, the process proceeds to step S14.
[0062]
In step S6, when the second encoded frame is PSTR1 = “top”, that is, when B0 has a field structure and the upper field, the display period of B0 and B1 can be estimated to be 4 fields. Proceed to S15.
[0063]
In step S6, when the second encoded frame is PSTR1 = “bottom”, that is, when B0 has a field structure and is a lower field, the display period of B0 and B1 can be estimated to be 5 fields. Proceed to S14.
[0064]
In step S4, if the first coded frame I2 is PSTR0 = "bottom", that is, if I2 has a field structure and is a lower field, the process proceeds to step S7.
[0065]
In step S7, when the second encoded frame has PSTR1 = “frame”, that is, when B0 has a frame structure, the process proceeds to step S12.
In step S12, the display periods of BO and B1 are estimated based on the value of TFF1 of the second encoded frame B0 and the display continuity. That is, when TFF1 = 1, the process proceeds to step S14, and when TFF1 = 0, the process proceeds to step S13.
[0066]
In step S7, when the second encoded frame has PSTR1 = “top”, that is, when B0 has a field structure and is a higher field, the display period of B0 and B1 can be estimated to be 5 fields. Proceed to S14.
[0067]
In step S7, when the second encoded frame is PSTR1 = “bottom”, that is, when B0 has a field structure and is a lower field, the display period of B0 and B1 can be estimated to be four fields. Proceed to S15.
[0068]
Next, the case where the first encoded image is TR0 = 1, PSTR0 = “frame”, the second encoded frame is PSTR1 = “frame”, and REF1 = 0 will be described.
[0069]
In step S1, when TR0 = 1, that is, when the display number of the first encoded frame is "1", the process proceeds to step S3.
In this case, a specific description will be given with reference to FIG. From TR0 = 1, one B-picture coded frame is inserted until the first coded frame I2 is displayed. However, the second coded frame B0 has a display period longer than REF1 = 0. Is a two-field period. That is, it is estimated that the decoding start time DTS1 of B0 is two fields before the display start time of the first encoded frame I2.
[0070]
If the second encoded frame B0 has REF1 = 1, its display period is three field periods. That is, it is estimated that the decoding start time DTS1 of B0 is three fields before the display start time of the first encoded frame I2.
[0071]
In summary, in step S3 of FIG. 3, the decoding start time DTS1 of B0 can be obtained from the following equation (4).
DTS1 = PTS0− (2 + REF1) × FRPD (4)
In step S1, when TR0 = 0, that is, when the display number of the first encoded frame is "0", it is possible that the image in that GOP can be reproduced independently from another GOP. At this time, proceeding to step S2, the decoding time DTS1 of the second encoded frame is the same as the display start time PTS0 of the first encoded frame.
[0072]
As described above, according to the video decoding timing estimation method, the number (TR0) indicating the display order of the encoded frame to be decoded first, the frame structure / field structure identification data (PSTR0), the frame structure In the case of, the identification data of the screen display method (TFF0), the identification data of the frame structure / field structure of the encoded frame to be decoded second (PSTR1), the identification data of the display method of the screen (TFF1), Based on the data indicating the display period (RFF1) and the display continuity of the screen, the decoding of the second encoded frame is started several field periods before the display start time (PTS0) of the encoded frame to be decoded first. That is, the decoding start time (DTS1) of the second encoded frame can be accurately estimated with a small amount of calculation.
[0073]
In addition. 2 and 3, the case where the value of TR is 0, 1, or 2 has been described. However, the present invention is not limited to this, and the decoding start time can be estimated according to the value of TR as described above.
[0074]
Next, consider applying this decoding timing estimation method to an encoder and a decoder of an MPEG system.
FIG. 6 schematically shows a configuration of a main part on the decoder side of the MPEG system. When a multiplexed bit stream (hereinafter, referred to as an MPEG bit stream) 401 of MPEG1 or MPEG2 video, audio, or the like is read from a storage medium or received via a network, first, an MPEG system decoder is used. 402 is input.
[0075]
The MPEG system decoder 402 performs the following processing.
(1) The
[0076]
(2) The
(3) The time management information (PTS) 405 of the reproduction output of the first encoded frame and the time management information (DTS) 406 of the decoding of the first encoded frame are separated from the MPEG bit stream 401 and output to the decoding start
[0077]
(4) The system time reference value (SCR) 404 is separated from the MPEG bit stream 401, output to the decoding start
[0078]
The decoding start timing control circuit 40 outputs a decoding start signal 410 to the MPEG video decoder when the value of the STC counter matches the value of DTS of the first encoded frame.
[0079]
Upon receiving the decoding start signal 410, the
The
[0080]
Next, when the decoding of the first coded frame is completed by the
[0081]
The decoding start
[0082]
The
On the other hand, the decoding start
[0083]
The audio decoder 413 receives the
[0084]
FIG. 7 schematically shows a configuration of a main part on the encoder side of the MPEG system.
The encoded
[0085]
The
[0086]
The
(1) Appropriate PTS and DTS are multiplexed with respect to the first encoded frame of the
[0087]
(2) An appropriate PTS is multiplexed on the encoded
(3) By multiplexing the video and audio bit streams, the MPEG
[0088]
The PTS / DTS calculation circuit 504 calculates the PTS and DTS of the second encoded frame according to the flowcharts shown in FIGS. 2 and 3, and outputs these data 507 to the
[0089]
The
[0090]
The multiplexed
As described above, according to the decoding device of the MPEG system according to the above embodiment, the decoding timing of the second coded frame to be decoded when decoding the coded frame of the moving image can be accurately calculated with a small amount of calculation. Can be estimated as
(1) Video and audio can be reproduced accurately synchronously.
(2) Overflow or underflow at the start of decoding of a reception buffer that receives and temporarily stores a video bit stream can be prevented beforehand.
[0091]
Further, according to the encoding device of the MPEG system according to the above embodiment,
(1) Video and audio can be accurately synchronized and multiplexed.
(2) When multiplexing video and audio, overflow or underflow of a buffer for temporarily storing these bit streams can be prevented.
[0092]
【The invention's effect】
As described above, according to the present invention, a moving picture decoding timing estimation method capable of accurately estimating the decoding timing of a second coded frame to be decoded when decoding a coded frame of a moving picture with a small amount of calculation , And a moving picture coding apparatus and a moving picture decoding apparatus using the same.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a data structure of MPEG2.
FIG. 2 is a flowchart for explaining a processing procedure of a decoding timing estimation method.
FIG. 3 is a flowchart illustrating a processing procedure of a decoding timing estimation method.
FIG. 4 is a diagram for specifically explaining a method of estimating the decoding start timing of a second encoded frame when the display order of the first encoded frame is “2”.
FIG. 5 is a diagram for specifically explaining a method of estimating the decoding start timing of a second encoded frame when the display order of the first encoded frame is “1”.
FIG. 6 is a diagram schematically showing a configuration of a main part of a decoding device of an MPEG system.
FIG. 7 is a diagram schematically showing a configuration of a main part of an encoding device of an MPEG system.
FIG. 8 is a diagram illustrating a relationship between an input image (original image), an encoded image, and a display image, including a difference between a processing order of screens and an order of original screens.
FIG. 9 is a diagram for explaining a progressive scanning method and an interlaced scanning method.
[Explanation of symbols]
401: MPEG system bit stream, 402: MPEG system decoder, 403: MPEG video decoder, 407: video stream, 408: decoding start timing control circuit, 413: audio decoder, 501: video bit stream, 502: video grammatical interpretation 503: MPEG system decoder, 504: PTS / DTS calculation circuit, 508: MPEG system bit stream, 509: audio video stream.
Claims (3)
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、当該第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする動画像復号タイミング推定方法。When decoding an MPEG2 encoded frame of a telecine-converted moving image, a moving image decoding timing estimation method for estimating a decoding timing of a second encoded frame to be decoded next to the first encoded frame ,
(1) When the display order of the first encoded frame of the first, the decoding start timing of the second encoded frame, estimates that at the start of displaying the first encoded frame,
(2) When the display order of the first encoded frame is the second, and when the display period of the second encoded frame is two field periods, the decoding start timing of the second encoded frame is: It is estimated that two fields before the display start of the first encoded frame, and when the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is Is estimated to be three fields before the start of display of the first encoded frame,
(3) When the display order of the first encoded frame is the third, when the first encoded frame has a frame structure,
(3-1) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is two fields, the decoding start timing of the second encoded frame is estimated to be four fields before the display start of the first encoded frame,
(3-2) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is estimated to be six fields before the display start of the first encoded frame,
(3-3) When the second encoded frame has a frame structure, and the first displayed field of the second encoded frame has a different phase from the first displayed field of the first encoded frame, The decoding start timing of the encoded frame is estimated to be 5 fields before the display start of the first encoded frame,
(3-4) When the second encoded frame is an upper field in a field structure and a field displayed first of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(3-5) When the second encoded frame is an upper field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-6) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-7) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(4) When the display order of the first encoded frame is the third, when the first encoded frame is an upper field in the field structure,
(4-1) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(4-2) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is 3 fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(4-3) When the second coded frame has a frame structure and the lower field is displayed first, the decoding start timing of the second coded frame is set to the display start timing of the first coded frame. Estimated 5 fields before the time,
(4-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is four fields before the start of display of the first encoded frame. Presumed,
(4-5) When the second encoded frame is a lower field in the field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5) When the display order of the first encoded frame is the third, when the first encoded frame is a lower field in the field structure,
(5-1) When the second encoded frame has a frame structure and the upper field is displayed first, the decoding start timing of the second encoded frame is set to the display start timing of the first encoded frame. Estimated 5 fields before the time,
(5-2) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(5-3) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is three fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(5-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5-5) When the second encoded frame is a lower field in a field structure, the decoding start timing of the second encoded frame is four fields before the display start of the first encoded frame. A moving image decoding timing estimation method.
前記復号手段で復号された前記符号化フレーム列のうちの第１の符号化フレームに付加されている、表示順を示す番号を識別するための第１の識別データと、フレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第２の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第３の識別データを抽出する手段と、
前記符号化フレーム列のうち、前記第１の符号化フレームの次に復号する第２の符号化フレームに付加されている、当該第２の符号化フレームのフレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第４の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第５の識別データと、画面の表示期間を識別するための第６の識別データを抽出する手段と、
前記第１乃至第６の識別データを基に、前記復号手段で前記第２の符号化フレームの復号を開始する復号開始時を推定する推定手段と、
を具備し、前記推定手段は、
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、前記第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする動画像復号化装置。 Decoding means for decoding an MPEG2-encoded frame sequence of a telecine-converted moving image;
A first identification data for identifying a number indicating a display order, which is added to a first encoded frame of the encoded frame sequence decoded by the decoding unit, and a frame structure / field structure. Second identification data for identifying and identifying whether a field first displayed in the case of a field structure is an upper field or a lower field, and an upper field or a lower field which is displayed first in the case of a frame structure Means for extracting third identification data for identifying
In the sequence of encoded frames, a frame structure / field structure of the second encoded frame added to a second encoded frame to be decoded after the first encoded frame is identified. Fourth identification data for identifying whether the first field displayed in the case of the structure is the upper field or the lower field, and identifying the first field displayed in the case of the frame structure is the upper field or the lower field Means for extracting the fifth identification data for identifying the display period of the screen, and the sixth identification data for identifying the display period of the screen.
Estimating means for estimating a decoding start time at which the decoding means starts decoding the second encoded frame based on the first to sixth identification data;
And the estimating means comprises:
(1) When the display order of the first encoded frame is the first, the decoding start timing of the second encoded frame is estimated to be the display start time of the first encoded frame,
(2) When the display order of the first encoded frame is the second, and when the display period of the second encoded frame is two field periods, the decoding start timing of the second encoded frame is: When it is estimated that the display period of the first encoded frame is two fields before the start of display of the first encoded frame, and when the display period of the second encoded frame is the three-field period, the decoding start timing of the second encoded frame is , Three field periods prior to the start of display of the first encoded frame,
(3) When the display order of the first encoded frame is the third, when the first encoded frame has a frame structure,
(3-1) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is two fields, the decoding start timing of the second encoded frame is estimated to be four fields before the display start of the first encoded frame,
(3-2) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is estimated to be six fields before the display start of the first encoded frame,
(3-3) When the second encoded frame has a frame structure, and the first displayed field of the second encoded frame has a different phase from the first displayed field of the first encoded frame, The decoding start timing of the encoded frame is estimated to be 5 fields before the display start of the first encoded frame,
(3-4) When the second encoded frame is an upper field in a field structure and a field displayed first of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(3-5) When the second encoded frame is an upper field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-6) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-7) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(4) When the display order of the first encoded frame is the third, when the first encoded frame is an upper field in the field structure,
(4-1) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(4-2) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is 3 fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(4-3) When the second coded frame has a frame structure and the lower field is displayed first, the decoding start timing of the second coded frame is set to the display start timing of the first coded frame. Estimated 5 fields before the time,
(4-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is four fields before the start of display of the first encoded frame. Presumed,
(4-5) When the second encoded frame is a lower field in the field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5) When the display order of the first encoded frame is the third, when the first encoded frame is a lower field in the field structure,
(5-1) When the second encoded frame has a frame structure and the upper field is displayed first, the decoding start timing of the second encoded frame is set to the display start timing of the first encoded frame. Estimated 5 fields before the time,
(5-2) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(5-3) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is three fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(5-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5-5) When the second encoded frame is a lower field in a field structure, the decoding start timing of the second encoded frame is four fields before the display start of the first encoded frame. A moving picture decoding apparatus characterized in that:
前記符号化フレーム列のうち、前記第１の符号化フレームの次に復号する第２の符号化フレームに付加されている、当該第２の符号化フレームのフレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第４の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第５の識別データと、画面の表示期間を識別するための第６の識別データを抽出する手段と、
前記第１乃至第６の識別データを基に、前記第２の符号化フレームの復号開始時を推定する推定手段と、
前記推定手段で推定された前記第２の符号化フレームの復号開始時を表す情報を当該第２の符号化フレームに付加する手段と、
前記復号開始時を表す情報の付加された前記第２の符号化フレームを含む前記ＭＰＥＧ２符号化フレーム列と、入力されたオーディオのビットストリームとを多重化する多重化手段と、
を具備し、前記推定手段は、
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、前記第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とするＭＰＥＧシステム多重化装置。 First identification data for identifying a number indicating a display order, which is added to a first encoded frame in an MPEG2 encoded frame sequence of an input telecine-converted moving image , and a frame structure / Second identification data for identifying the field structure and identifying whether the first field displayed in the case of the field structure is an upper field or a lower field, and the first field displayed in the case of the frame structure is the upper field Means for extracting third identification data for identifying whether the field is a lower field or a lower field;
In the sequence of encoded frames, a frame structure / field structure of the second encoded frame added to a second encoded frame to be decoded after the first encoded frame is identified. Fourth identification data for identifying whether a field displayed first in the case of a structure is an upper field or a lower field, and identifying whether a field displayed first in the case of a frame structure is an upper field or a lower field. Means for extracting the fifth identification data for identifying the display period of the screen, and the sixth identification data for identifying the display period of the screen.
Estimating means for estimating the start of decoding of the second encoded frame based on the first to sixth identification data;
Means for adding information representing the start of decoding of the second encoded frame estimated by the estimating means to the second encoded frame;
Multiplexing means for multiplexing the MPEG2 encoded frame sequence including the second encoded frame to which the information indicating the start of decoding is added, and an input audio bit stream;
And the estimating means comprises:
(1) When the display order of the first encoded frame is the first, the decoding start timing of the second encoded frame is estimated to be the display start time of the first encoded frame,
(2) When the display order of the first encoded frame is the second, and when the display period of the second encoded frame is two field periods, the decoding start timing of the second encoded frame is: When it is estimated that the display period of the first encoded frame is two fields before the start of display of the first encoded frame, and when the display period of the second encoded frame is the three-field period, the decoding start timing of the second encoded frame is , Three field periods prior to the start of display of the first encoded frame,
(3) When the display order of the first encoded frame is the third, when the first encoded frame has a frame structure,
(3-1) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is two fields, the decoding start timing of the second encoded frame is estimated to be four fields before the display start of the first encoded frame,
(3-2) The second encoded frame has a frame structure, and the first displayed field and the first displayed field of the first encoded frame have the same phase, and the second encoded frame has the same phase. When the display period of the second encoded frame is three fields, the decoding start timing of the second encoded frame is estimated to be six fields before the display start of the first encoded frame,
(3-3) When the second encoded frame has a frame structure, and the first displayed field of the second encoded frame has a different phase from the first displayed field of the first encoded frame, The decoding start timing of the encoded frame is estimated to be 5 fields before the display start of the first encoded frame,
(3-4) When the second encoded frame is an upper field in a field structure and a field displayed first of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(3-5) When the second encoded frame is an upper field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-6) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is an upper field, decoding of the second encoded frame is started. The timing is estimated to be five fields before the start of the display of the first encoded frame,
(3-7) When the second encoded frame is a lower field in a field structure and the first displayed field of the first encoded frame is a lower field, decoding of the second encoded frame is started. The timing is estimated to be four fields before the start of the display of the first encoded frame,
(4) When the display order of the first encoded frame is the third, when the first encoded frame is an upper field in the field structure,
(4-1) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(4-2) When the second encoded frame has a frame structure, the upper field is displayed first, and the display period of the second encoded frame is 3 fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(4-3) When the second coded frame has a frame structure and the lower field is displayed first, the decoding start timing of the second coded frame is set to the display start timing of the first coded frame. Estimated 5 fields before the time,
(4-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is four fields before the start of display of the first encoded frame. Presumed,
(4-5) When the second encoded frame is a lower field in the field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5) When the display order of the first encoded frame is the third, when the first encoded frame is a lower field in the field structure,
(5-1) When the second encoded frame has a frame structure and the upper field is displayed first, the decoding start timing of the second encoded frame is set to the display start timing of the first encoded frame. Estimated 5 fields before the time,
(5-2) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is two fields, the second encoded frame is Is estimated to be four fields before the start of display of the first encoded frame,
(5-3) When the second encoded frame has a frame structure, the lower field is displayed first, and the display period of the second encoded frame is three fields, the second encoded frame is Is estimated to be six fields before the display start of the first encoded frame.
(5-4) When the second encoded frame is an upper field in a field structure, the decoding start timing of the second encoded frame is five fields before the display start of the first encoded frame. Presumed,
(5-5) When the second encoded frame is a lower field in a field structure, the decoding start timing of the second encoded frame is four fields before the display start of the first encoded frame. An MPEG system multiplexing device , characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05640396A JP3556380B2 (en) | 1996-03-13 | 1996-03-13 | Video code timing estimation method, video decoding device, and MPEG system multiplexing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05640396A JP3556380B2 (en) | 1996-03-13 | 1996-03-13 | Video code timing estimation method, video decoding device, and MPEG system multiplexing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09247666A JPH09247666A (en) | 1997-09-19 |
| JP3556380B2 true JP3556380B2 (en) | 2004-08-18 |
Family
ID=13026221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05640396A Expired - Fee Related JP3556380B2 (en) | 1996-03-13 | 1996-03-13 | Video code timing estimation method, video decoding device, and MPEG system multiplexing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3556380B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6873368B1 (en) | 1997-12-23 | 2005-03-29 | Thomson Licensing Sa. | Low noise encoding and decoding method |
| US7551672B1 (en) | 1999-02-05 | 2009-06-23 | Sony Corporation | Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method |
| WO2001039504A1 (en) * | 1999-11-26 | 2001-05-31 | Koninklijke Philips Electronics N.V. | Device and method for advanced bayesian kalman time estimation |
| JP2003274370A (en) * | 2002-03-19 | 2003-09-26 | Matsushita Electric Ind Co Ltd | Method and device for time code signal transmission |
| CN100579223C (en) * | 2004-12-02 | 2010-01-06 | 索尼株式会社 | Encoding device and method |
| JP4724240B2 (en) * | 2009-07-02 | 2011-07-13 | トムソン ライセンシング | How to process a video signal |
-
1996
- 1996-03-13 JP JP05640396A patent/JP3556380B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09247666A (en) | 1997-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3364281B2 (en) | Time-division video and audio signal synchronization | |
| US7027713B1 (en) | Method for efficient MPEG-2 transport stream frame re-sequencing | |
| JP3103301B2 (en) | Multiplexing method of audio / video signal stream encoded according to MPEG1 standard | |
| US6658199B1 (en) | Method for temporally smooth, minimal memory MPEG-2 trick play transport stream construction | |
| US6529550B2 (en) | Coded stream splicing device and method, and coded stream generating device and method | |
| RU2137321C1 (en) | Device for generation of compressed line-scan video signal and device for decompression of compressed video signal | |
| KR100786925B1 (en) | Data multiplexer, data multiplexing method, and recording medium | |
| JP3809220B2 (en) | Transmission system and transmission method | |
| US20130188743A1 (en) | Decoding and presentation time stamps for mpeg-4 advanced video coding | |
| EP0618734A2 (en) | Picture signal processing | |
| US6295321B1 (en) | Video decoding method, video decoder and digital TV system using the video decoding method and video decoder | |
| JPH11252552A (en) | Compression coding method and compression coder for video signal, and multiplexing method and multiplexer for compression coded data | |
| US20050190833A1 (en) | Encoded data outputting apparatus and method | |
| US5677980A (en) | Decoder for compressed digital signal | |
| JP2001519992A (en) | Method for switching coded video sequence and apparatus corresponding thereto | |
| JPH1118083A (en) | Digital signal coding method and system, signal recording medium and signal transmission method | |
| JP3556380B2 (en) | Video code timing estimation method, video decoding device, and MPEG system multiplexing device | |
| US20100166080A1 (en) | Video display apparatus | |
| WO1998045959A1 (en) | A method for compressing an audio-visual signal | |
| JP3556381B2 (en) | Information multiplexing device | |
| KR101154743B1 (en) | Encoder apparatus, encoding method, decoder apparatus, decoding method, recording medium, and playback apparatus | |
| JP4242581B2 (en) | Data converter | |
| JPH08116532A (en) | Image decoding system and device therefor | |
| KR19980027646A (en) | Video and Audio Synchronization Method Using Timestamp Compensation and MPEG-2 Encoder Device Using It | |
| JPH1093841A (en) | Video synchronizing signal correction device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040512 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |