JP4193224B2 - Moving picture coding apparatus and method, and moving picture decoding apparatus and method - Google Patents

Moving picture coding apparatus and method, and moving picture decoding apparatus and method Download PDF

Info

Publication number
JP4193224B2
JP4193224B2 JP03628898A JP3628898A JP4193224B2 JP 4193224 B2 JP4193224 B2 JP 4193224B2 JP 03628898 A JP03628898 A JP 03628898A JP 3628898 A JP3628898 A JP 3628898A JP 4193224 B2 JP4193224 B2 JP 4193224B2
Authority
JP
Japan
Prior art keywords
image
encoded
encoded image
bit stream
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03628898A
Other languages
Japanese (ja)
Other versions
JPH11234675A (en
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP03628898A priority Critical patent/JP4193224B2/en
Publication of JPH11234675A publication Critical patent/JPH11234675A/en
Application granted granted Critical
Publication of JP4193224B2 publication Critical patent/JP4193224B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、入力されたビットストリームを復号して画像信号とする動画像復号化装置及び方法、並びにこの画像信号を再びビットストリームとして出力する動画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像信号の圧縮符号化に、動き補償（motion compensation;MC）及び離散余弦変換（descrete cosine transformation;DCT）等の直交変換による冗長度低減処理とを組み合わせたＭＰＥＧ（moving picture experts group）や、ＭＰＥＧ２が広く用いられるようになった。
【０００３】
非圧縮の映像データを上記ＭＰＥＧ等の手法により、フレーム内符号化画像（Ｉピクチャ）、フレーム間予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）のような符号化画像に圧縮して光磁気ディスク等の格納媒体に記録したり、あるいは通信回線を使用して伝送したりする。
【０００４】
ここで、ＭＰＥＧ方式にて画像圧縮された信号を再生する場合について説明する。
【０００５】
例えば、記録媒体には、図１０（ａ）に示すようなデータストリームの符号化データが記録されている。この図１０（ａ）に示すように記録されているデータストリームは復号されて、図１０（ｂ）に示すようなピクチャの順番で表示が行われる。ここで、各ピクチャに符号として付けている“Ｉ”，“Ｐ”，“Ｂ”は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの区別を示しており、各添字は、ＧＯＰ（Group of Pictures）内の表示順序を表すいわゆるテンポラリリファレンスを示している。
【０００６】
図１０（ａ）に示すようなデータストリームの符号化データを再生する為に、まず、Ｉ0の復号が行われる。Ｉピクチャは画面内で符号化が完結しているものであるので、他のピクチャを復号することなくＩ0を単独で復号することができる。続いて、復号したＩ0に基づき、順方向予測符号化がされたＰ2の復号を行う。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャから予測符号化がされるものであるので、従来の記録再生装置はこのＰ2を復号する前にＩ0を復号していなければならない。続いて、復号したＩ0及びＰ2に基づき、双方向予測符号化がされたＢ1の復号を行う。Ｂピクチャは時間的に前後のＩピクチャ又はＰピクチャから双方向符号化がされるものであるので、このＢ1を復号する前にＩ0とＰ2を復号していなければならない。このように、図１０（ａ）に示すようなデータストリームの符号化データを、Ｉ0→Ｐ2→Ｂ1→Ｐ4→Ｂ3→Ｐ6→Ｂ5→Ｉ8→Ｂ7→Ｐ10→Ｂ9→・・・といった順序で復号を行う。
【０００７】
そして、このような順序で復号した各ピクチャを表示する場合には、図１０（ｂ）に示すようにその順序を入れ換えて、Ｉ0→Ｂ1→Ｐ2→Ｂ3→Ｐ4→Ｂ5→Ｐ6→Ｂ7→Ｉ8→Ｂ9→Ｐ10→・・・といった順序で表示を行う。
【０００８】
ここで、ＭＰＥＧ方式によるデータストリームにおける、Ｉピクチャ又はＰピクチャの間隔をＭとする。次に、Ｍ＝３の場合のエンコーダとデコーダの入出力のタイミングを数１に示す。
【０００９】
【数１】

Figure 0004193224
【００１０】
エンコーダへのピクチャの入力（ａ）は、ビットストリームに符号化され、３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｂ）として出力されている。また、エンコーダからのビットストリームの出力（ｂ）は、デコーダへのビットストリームの入力（ｃ）となり、ピクチャに復号されて、デコーダへのビットストリームの入力（ｃ）より１フレーム時間だけおくれてデコーダからのピクチャ出力（ｄ）となっている。
【００１１】
記号“Ｉ”，“Ｐ”，“Ｂ”は、それぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを示しており、（ａ）又は（ｄ）のように画像を示している場合と、（ｂ）又は（ｄ）のように符号化されたビットストリームを示している場合がある。各記号の添字数字は、画像の表示順序である。
【００１２】
Ｍの値は、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量に関係しており、Ｍが大きいほど、この遅延量は大きくなる。これは、Ｂピクチャを符号化する前に、時間的に前にあるＰピクチャを先に符号化するので、（Ｍ−１）枚のＢピクチャをメモリにバッファリングする必要があるためである。したがって、Ｍが大きくなるにしたがって、エンコーダに必要なフレームメモリ量が増加する。
【００１３】
なお、上の例では、エンコーダからビットストリームが出力されるまでの遅延量を３フレーム時間としているが、この時間の大きさは、エンコードアルゴリズムに依存するものであり、特に動きベクトル予測（Motion Estimation ）のアルゴリズムに関係する。実際のエンコーダでは、この遅延量は、３フレーム時間よりも大きい場合が多い。
【００１４】
動きベクトル予測などのアルゴリズムが同じ条件の時に、Ｍが大きいほど、エンコーダからビットストリームが出力されるまでの遅延量が大きくなり、エンコーダに必要なフレームメモリ量が増加する関係がある。
【００１５】
続いて、再エンコードを効率よく行うための従来方法について説明する。
【００１６】
ＭＰＥＧビデオビットストリームを復号して、その復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化するときのピクチャコーディングタイプ（picture coding type ）を元のビットストリームの時と同じにすると有効であることが広く知られている。
【００１７】
すなわち、ビットストリームの構成要素であるＩピクチャ、Ｐピクチャ、Ｂピクチャを構成する画素の実質的な情報量はそれぞれ異なるので、画像信号をビットストリームに符号化するピクチャの種類を元のピクチャの種類と一致させることにより、画像信号符号化を効率よく行うことができる。
【００１８】
エンコーダへ入力された画像の元のピクチャコーディングタイプを知るための手段として、ディジタル画像のブランキング部分のビデオインデックスにピクチャコーディングタイプを記録する方法がある。ビデオインデックスの中におけるピクチャコーディングタイプの記録位置については、ＳＭＰＴＥ（Society of Motion Picture and Television Enginneers）のRecommended PracticesのRP 186-1995に書かれている。
【００１９】
ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合のデコーダとエンコーダの入出力のタイミングを次の数２に示す。
【００２０】
【数２】
Figure 0004193224
【００２１】
デコーダへのビットストリーム入力（ａ）においては、Ｍ＝３としている。デコーダへのビットストリーム入力（ａ）がピクチャに復号された、デコーダからのピクチャの出力（ｂ）は、デコーダへのビットストリームの入力（ａ）より１フレーム時間遅延している。デコーダからのピクチャ出力（ｂ）はエンコーダへのピクチャの入力（ｃ）となり、ビットストリームに符号化されて、エンコーダへのピクチャの入力より３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｄ）として出力される。
【００２２】
このようなビットストリームを出力する従来の動画像符号化装置の例を示す。
【００２３】
従来の動画像符号化装置の第１の例は、図１１に示すように、ビットストリームを復号して復号動画像とするデコーダ１０１と、復号動画増のビデオインデックスにピクチャコーディングタイプを書き込みビデオインデックス書き込み器１０４と、復号動画像からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、デコーダ１０１からの復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいて符号化行ったビットストリームを記録媒体１０に出力するエンコーダ１０２とから構成される。
【００２４】
ここで、デコーダ１０１へ入力するビットストリームは、上記デコーダへのビットストリームの入力（ａ）に、デコーダ１０１からエンコーダ１０２へ送られる復号動画像信号は上記デコーダからのピクチャの出力（ｂ）及び上記エンコーダへのピクチャの入力（ｃ）に、エンコーダ１０２出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２５】
従来の動画像符号化装置の第２の例は、図１２に示すように、復号動画像信号からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいてビットストリームを出力するエンコーダ１０２とから構成されている。
【００２６】
ここで、デコーダ１０１へ入力するビットストリームは、上記エンコーダへのピクチャ入力（ｃ）に、エンコーダ１０２から出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２７】
これら従来の動画像符号化装置の第１及び第２の例は、いずれもビデオインデックス読み出し器１０３から得られるピクチャコーディングタイプに基づいて、エンコーダ１０２における符号化の際のピクチャコーディングタイプを下のビットストリームと同じにすることにより、画像を高画質に符号化している。
【００２８】
【発明が解決しようとする課題】
ところで、上記図１１に示した従来の動画像符号化装置の第１の例及び図１２に示した従来の動画像符号化装置の第２の例では、再符号化を行うエンコーダ１０２には、Ｍ＝３に固定されたビットストリームが入力した。しかし、Ｍの値が入力画像の途中で３より大きく変わる場合には、問題が生じる。
【００２９】
すなわち、ＭＰＥＧビデオストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合において、デコーダに入力されるビットストリームのＭの値が途中で変化しているときには、次の数３に示すような問題が生じる。
【００３０】
【数３】
Figure 0004193224
【００３１】
すなわち、デコーダへのビットストリームの入力（ａ）においては、Ｉ０とＰ３の間ではＭ＝３であり、Ｐ３とＰ８の間はＭ＝５に変化している。デコーダへのビットストリームの入力（ａ）に対する動画像の出力を示すデコーダからのピクチャ出力（ｂ）の各画像のビデオインデックスに、その画像が符号化されていた時のピクチャコーディングタイプを記録しておく。
【００３２】
エンコーダへのピクチャの入力（ｃ）は、エンコーダへのデコーダからのピクチャの出力（ｂ）の入力を示している。エンコーダは、各画像のビデオインデックスから、その画像が圧縮されていた時のピクチャコーディングタイプを読み出し、その情報に基づいて入力画像を符号化する。これに応じて、エンコーダからのビットストリームの出力（ｄ）が出力される。
【００３３】
上述の例と同様に、エンコーダへのピクチャ入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に見られるように、エンコーダへ動画像信号が入力されてから、３フレーム時間遅延してから、ビットストリームを出力開始する。この時、エンコーダからのビットストリームの出力（ｄ）の”Ｘ”のところでエンコードが破錠している。具体的には、Ｐ８のＰピクチャの”Ｘ”のタイミングにＰ８のビットストリームが出力できない問題が発生する。
【００３４】
本発明は、上述の課題に鑑みてなされるものであって、Ｍの値が一定ではないビットストリームに対しても再符号化をするようにする動画像符号化装置及び方法並びに動画像復号化装置及び方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化手段を有する。
【００３６】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化工程を有する。
【００３７】
本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化手段を有し、上記符号化手段は、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００３８】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化工程を有し、上記符号化工程では、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００４０】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を符号化したビットストリームを出力する動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化すると共に、上記第１の符号化画像信号の間隔の最大値を特徴点情報として符号化する符号化工程を有する。
【００４３】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力手段とを有する。
【００４４】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４５】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記復号手段にて上記ビットストリームを復号する際に、復号に係る当該画像から表示順序に次の第１の符号化画像までの距離を特徴点情報として出力する特徴点情報手段とを有する。
【００４６】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４８】
【発明の実施の形態】
以下、本発明に係る動画像符号化装置及び方法並びに動画像復号化装置及び方法について、図面を参照して詳細に説明する。
【００４９】
最初に、本発明の第１の実施の形態について説明する。
【００５０】
第１の実施の形態は、ビットストリームが入力される場合に、ＭＰＥＧビデオビットストリームについて、Ｉピクチャ又はＰピクチャの現れる間隔であるＭの最大値をあらかじめストリームを解析して調べておき、ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００５１】
動画像符号化装置の第１の例は、図１に示すように、入力されるビットストリームを復号して復号動画像及びピクチャコーディングタイプを出力する復号手段であるデコーダ１と、デコーダ１からの復号動画像信号及びピクチャコーディングタイプ並びに外部からのビットストリーム特徴点情報を入力され、これらに基づいて再符号化を行ってビットストリームを出力する符号化手段であるエンコーダ２とから構成される。
【００５２】
デコーダ１は、ビットストリームを入力され、このビットストリームを復号して、復号動画像及びピクチャコーディングタイプを出力する。
【００５３】
ここで、ピクチャコーディングタイプ（picture-coding-type ）とは、当該フレームが画像内符号化画像であるＩピクチャ、順方向予測符号化画像であるＰピクチャ、双方向予測符号化画像であるＢピクチャのいずれであるかを同定する画像符号化型である。Ｉピクチャ及びＰピクチャは表示順序に従って後方を参照することなく復号する第１の符号化画像を構成し、Ｂピクチャは表示順序に従って後方を参照して復号する第２の符号化画像を構成する。
【００５４】
エンコーダ２は、デコーダ１からピクチャコーディングタイプ及び復号画像情報を、外部からビットストリームの特徴点情報を、それぞれ与えられ、これらに基づいて復号動画像を符号化してビットストリームを記録媒体１０に出力する。
【００５５】
Ｍの最大値は、ＭＰＥＧビットストリームの特徴点情報として用意する。この時、Ｍの最大値をＧＯＰ（group of pictures ）単位に計算して、ＧＯＰの特徴点情報として用意してもよい。
【００５６】
この特徴点情報は、ビットストリーム中に埋め込んだり、別ファイルとして用意したり、メモリインカセットに記録することができる。このような特徴点情報の記録形態については、以下の例についても同様である。
【００５７】
多重化器４により、復号動画像信号に特徴点情報を多重化する。例えば、画像信号の垂直部ランキングに特徴点情報を多重化する。ビデオインデックスは、垂直ブランキングに情報を書き込む方法の１つである。
【００５８】
続いて、デコーダ１及びエンコーダ２におけるビットストリーム及び復号動画像の具体的な処理について説明する。
【００５９】
この動画像符号化装置には、Ｍの最大値が５のビットストリームが入力されている。次の数４に示すように、デコーダへのビットストリームの入力（ａ）に対して、デコーダからのピクチャ出力（ｂ）は１フレーム時間だけ遅延している。そして、デコーダへのビットストリームの入力（ａ）のＭの最大値が５であるので、エンコーダへのピクチャの入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に示すように、エンコーダへピクチャの入力（ｃ）から、エンコーダからのビットストリームの出力（ｄ）までの遅延量を５フレーム時間にしている。
【００６０】
【数４】
Figure 0004193224
【００６１】
このようにビットストリームが出力されるまでの遅延量を５フレーム時間にする、すなわちＭの最大値に対応させてビットストリームが出力されるまでの遅延量やメモリ量を設定すると、Ｍの値が変わってもバッファリングのためのメモリが足りなくなったり、ビットストリームが出力できなくなったりすることはない。
【００６２】
続いて、動画像符号化装置にビットストリームをデコードした復号動画像信号が入力される場合について説明する。
【００６３】
動画像符号化装置の第２の例は、図２に示すように、復号動画像信号から画像に多重化されている情報のピクチャコーディングタイプと特徴点情報を分離する分離器３と動画像の特徴点情報、復号動画像信号、及び分離器３からのピクチャコーディングタイプに基づいて復号動画像信号を符号化してビットストリームを出力するエンコーダ２とから構成されている。特徴点情報が、画像信号に多重化されている場合は、それを使用する。外から入力しても、かまわない。
【００６４】
上述のように動画像符号化装置は、エンコーダへのピクチャの入力（ｃ）の復号動画像の各画像のピクチャコーディングタイプが復号画像の多重化情報等からわかる時、各画像のピクチャコーディングタイプをあらかじめ解析して、Ｍの最大値を調べておき、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御することによりＭの値が変わる場合に対応している。また、このＭの最大値をあらかじめ画像信号に多重化しておくとよい。
【００６５】
動画像符号化装置におけるエンコーダ２は、動画像の特徴点情報、復号動画像情報、及び分離器３からのピクチャコーディングタイプに基づいて、復号動画像信号を符号化したビットストリームを出力する。
【００６６】
Ｍの最大値は、エンコーダへのピクチャ入力（ｃ）の復号動画像の特徴点情報として用意する。Ｍの最大値は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。
【００６７】
この動画像符号化装置においては、上に示したように、エンコーダへのピクチャの入力（ｃ）からエンコーダからのビットストリームの入力（ｄ）までの遅延量を、Ｍの最大値に対応させて５フレーム時間とすることにより、エンコーダ２における符号化の破綻を防止している。
【００６８】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【００６９】
続いて、動画像符号化方法に係る一連の手順を図３に示すフローチャートを参照して説明する。
【００７０】
最初のステップＳ１においては、ＭＰＥＧ画像信号が符号化されたビットストリームを復号して画像信号すると共に、画像信号のピクチャコーディングタイプを取り出す。
【００７１】
ステップＳ１に続くステップＳ２においては、特徴点情報としてＭの最大値を入力され、このＭの最大値に応じてビットストリームへの遅延時間やメモリ量を設定して、ステップＳ１からの復号動画像信号及びピクチャコーディングタイプに基づいて上記復号動画像を符号化したビットストリームを出力する。
【００７２】
ステップＳ２においては、ビットストリームの特徴点情報として与えられるＭの最大値に応じて符号化の際の遅延時間やメモリ量を設定することにより、Ｍが変化する場合にも符号化が破綻しないようにしている。
【００７３】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に入力される画像信号について、ピクチャコーディングタイプに応じて上記画像信号のＭが所定の基準値を越えないように予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【００７４】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【００７５】
上述のように、本発明の第１の実施の形態は、エンコーダへ入力される復号動画像シーケンスのＭの最大値をあらかじめ調べておいて、エンコーダの入出力の遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００７６】
次に、本発明の第２の実施の形態について説明する。
【００７７】
本発明の第２の実施の形態は、Ｍの最大値が基準値を越えないように、ピクチャコーディングタイプに基づいて、画像信号をビットストリームに符号化する際に、ＢピクチャをＩピクチャ又はＰピクチャに変更するものである。
【００７８】
最初に、動画像符号化装置にビットストリームが入力される場合について説明する。
【００７９】
動画像符号化装置の第３の例は、図４に示すように、入力されるビットストリームを復号して復号動画像、ピクチャコーディングタイプ及びテンポラルレファレンス（temporal reference）をエンコーダ２に出力するデコーダ１と、ビットストリームの特徴点情報、及びデコーダ１からのピクチャコーディングタイプ及びテンポラルリファレンスに基づいて、復号動画像信号をビットストリームに符号化するエンコーダ２と、ビットストリームの特徴点情報並びにデコーダ１からのピクチャコーディングタイプ及び復号動画像信号を多重化する多重化部７とから構成される。
【００８０】
動画像符号化装置のエンコーダ２はＭ＝３を標準値又は基準値としており、最大Ｍ＝３までエンコード可能である。すなわち、次の数５に示すように、デコーダへのビットストリームの入力（ａ）の内のピクチャＰ８がデコーダ１に入力された時点で、デコーダは局所的なＭの値を計算して、デコーダからのピクチャの出力（ｂ）をエンコーダへのピクチャの入力（ｃ）としてその値をエンコーダ２へ入力する。
【００８１】
【数５】
Figure 0004193224
【００８２】
動画像符号化装置は、ビットストリームの中の局所的なＭの値が、エンコード可能な最大のＭの標準値を越える位置情報を、そのビットストリームの特徴点情報として用意しておいて、ＭＰＥＧビデオビットストリームを復号して、復号動画像を再びＭＰＥＧ符号化する時に使用する。
【００８３】
例えば、上のビットストリームにおいて、Ｐ３とＰ８の間の局所的なＭの値が、Ｍの標準値を越えることを特徴点情報として用意する。
【００８４】
また、ＭＰＥＧビデオビットストリームのＭの最大値を特徴点情報として用意しておくと、そのビットストリームの復号動画像を再エンコードする時に、ピクチャの予測構造の変更（Ｍの変更）が必要か否かを知ることができるので便利である。この時、Ｍの最大値をＧＯＰ単位に計算して、ＧＯＰの特徴点情報として用意しても良い。
【００８５】
多重化器７により復号動画像信号に特徴点情報を多重化する。ＧＯＰのＭの最大値の場合は、Ｉピクチャを復号した画像または、ＧＯＰの先表示順序で先頭の画像に多重化すると良い。例えば、画像の垂直ブランキングに特徴点情報を多重化する。
【００８６】
局所的なＭの値は、ＭＰＥＧのピクチャヘッダ（Picture header）にあるテンポラルリファレンス（temporal reference）のピクチャ間での差分値から計算できる。
【００８７】
ここで、ピクチャヘッダはＭＰＥＧ２規格のストリームのピクチャ層にあり、テンポラルリファレンスとはピクチャの表示順序を表す番号でＧＯＰの先頭でリセットされる１０２４の剰余値である。
【００８８】
これを受けて、エンコーダ２は、Ｐ３の画像からＰ８までのピクチャの予測構造がＭ＝５であることを、あらかじめ理解する。エンコーダ２は、入力される動画像であるエンコーダへのピクチャの入力（ｃ）のＰ３からＰ８までのＭ＝５の予測構造を、変更されたピクチャコーディングタイプ（ｄ）に示すようにエンコード可能なＭ＝３とＭ＝２の組み合わせに変更する。これにより、エンコーダ２における符号化の際の破綻を防止している。そして、エンコーダからのビットストリームの出力（ｅ）として出力する。
【００８９】
続いて、ビットストリームをデコードした動画像信号のみ存在する場合について説明する。
【００９０】
動画像符号化装置の第４の例は、図５に示すように、復号動画像から画像に多重化されているピクチャコーディングタイプを分離してメモリ５に出力する分離器３と、復号動画像信号を記憶するメモリ４と、分離器３からのピクチャコーディングタイプを記憶するメモリ５と、動画像信号の特徴点情報、メモリ４から読み出した復号動画像信号、及びメモリ５から読み出した復号動画像に基づいて、復号動画像を符号化したビットストリームを出力するエンコーダ２とを有している。
【００９１】
特徴点情報が画像に多重化されている時は、それを使用する。別に外から入力しても構わない。
【００９２】
動画像符号化装置は、エンコーダへのピクチャの出力（ｃ）の復号動画像の各画像のピクチャコーディングタイプがビデオインデックス等からわかる時、エンコード可能な最大のＭがＭｘであるところのエンコーダ２は、各ピクチャのピクチャコーディングタイプを未来のＭｘ枚について先読みしておく。
【００９３】
そして、エンコーダ２は未来に符号化するＭｘ枚のピクチャの中にＰピクチャまたはＩピクチャが存在しないことがわかった場合、ピクチャの予測構造をＭ＝Ｍｘ以下に変更する。
【００９４】
例えば、上述した例のＭｘ＝３であるエンコーダ２は、エンコーダへのピクチャの入力（ｃ）のＰ３の入力時点でそれより未来の３ピクチャ（Ｂ４，Ｂ５，Ｂ６）の中にＰピクチャまたはＢピクチャがないことがわかると、エンコーダからのビットストリームの出力（ｄ）に示すようにピクチャの予測構造を変更して、Ｂ６をＰピクチャにする。
【００９５】
動画像符号化装置は、このようにして、動画像の符号化の際に破綻が起こらないようにしている。
【００９６】
ここで、エンコーダへのピクチャの入力（ｃ）の復号動画像の特徴点情報として、各ピクチャのピクチャコーディングタイプと共に、そのピクチャから次のＰピクチャまたはＩピクチャまでのピクチャ数を記録しておくと良い。
【００９７】
こうすれば、上述したようにエンコーダが、未来のＭｘ枚のピクチャコーディングタイプを先読みする必要がなくなる。したがって、図６に示す動画像符号化装置の第５の例のように、図７に示した動画像符号化装置の第４の例におけるメモリ４及びメモリ５を省略することができる。
【００９８】
この特徴点情報は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。ブランキングに記録する場合には、ビデオインデックスが使用できる。
【００９９】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【０１００】
続いて、動画像符号化方法の一連の工程について、図７を参照して説明する。
【０１０１】
最初のステップＳ２１においては、入力されるＭＰＥＧビットストリームを復号動画像に復号すると共に、テンポラルリファレンス及びピクチャコーディングタイプを取り出す。
【０１０２】
ステップＳ２１に続くステップＳ２２においては、ビットストリームの特徴点情報としてのＭの最大値に符号化の予測構造の変更を行い、ステップ２１からの復号動画像、テンポラルリファレンス及びピクチャコーディングタイプに基づいて復号動画像を符号化したビットストリームを出力する。
【０１０３】
先に説明したように、予測構造を特徴点情報として与えられるＭの最大値に応じて変更することにより、標準のＭの値より大きいＭのビットストリームが入力されても、ステップＳ２における符号化は破綻することはない。
【０１０４】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に特徴点情報と共に入力される画像信号について、上記特徴点情報であるＭの最大値に応じて予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【０１０５】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【０１０６】
上述のように、第２の実施の形態は、入力される復号動画像のＭの値が基準値である標準のＭの値を越える時、その部分の画像のピクチャの予想構造を上記基準値以下に変更して符号化を行うものである。
【０１０７】
このことにより、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量が有限であるエンコーダ、特にＭ＝３を標準値とする現在のエンコーダにも対応することができる。
【０１０８】
第３の実施の形態は、ビデオエンコードフォーマットの中で、Ｍの値の上限を規定するものである。
【０１０９】
これにより、エンコーダは、その最大のＭでエンコードできる構成にしておき、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量を、上記Ｍの最大値に対応するように設定すれば良い。
【０１１０】
ビットストリームが入力される場合には、動画像符号化装置は、図１に示した動画像符号化装置と同様に、デコーダ１、エンコーダ２及び多重化器４の構成からなり、同様の動作をなす。ただし、エンコーダ２へ入力される特徴点情報がＭの値の上限となっている。
【０１１１】
この特徴点情報により、Ｍの値の上限で符号化ができるようにビットストリームへの遅延時間やメモリ量を設定しておくことにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１２】
復号動画像が入力される場合には、動画像符号化装置は、図２に示した動画像符号化装置と同様に、分離器３及びエンコーダ２の構成からなり、同様の動作をなす。ただし、エンコーダ１０２に入力される特徴点情報がＭの値の上限となっている。
【０１１３】
上記のように、この特徴点情報に応じて遅延時間やメモリ量を設定することにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１４】
上述のように、本発明の第３の実施の形態は、Ｍの上限を特徴点情報としてエンコーダに与え、この特徴点情報に応じてビットストリームへの遅延量やメモリ量を設定することにより、Ｍの値が変わった場合にも符号化が破綻しないようにするものである。
【０１１５】
なお、上記Ｍの上限は特徴点情報としてエンコーダに与える必要は必ずしもなく、ビットストリーム規格として予め規定しておくこともできる。
【０１１６】
次に、動画像符号化装置におけるデコーダ１及びエンコーダ２の構造及び機能について簡単に説明する。
【０１１７】
デコーダ１は、図８に示すように、入力されるビットストリームを一時的に蓄えるバッファ１１と、バッファ１１から読みだしたビットストリームを可変長復号する可変長復号回路１２と、可変長復号回路１２からの信号を逆ＤＣＴ変換する逆ＤＣＴ回路１３と、逆ＤＣＴ回路１３からの信号を逆量子化する逆量子化回路１４と、逆量子化回路１４及び動き補償回路１８からの信号を加算する加算回路１５とを有している。
【０１１８】
バッファ１１は、入力されるビットストリームを一時的に蓄え、可変長復号回路１２にて読み出される。可変長復号回路１２は、バッファ１１に蓄積されたビットストリームを読み出して可変長復号し、復号結果を逆ＤＣＴ回路１３に出力する。また可変長復号回路１２は、テンポラルレファレンスをＭ算出回路１８に与え、ピクチャタイプをこのデコーダ１全体及びＭ算出回路１８に与える。逆ＤＣＴ回路は、可変長復号回路１２にて復号された信号に対して逆ＤＣＴ変換を施して逆量子化回路１４に出力する。逆量子化回路１４は、逆ＤＣＴ回路１４にて逆ＤＣＴ変換された信号に対して逆量子化を行い加算器１５に出力する。加算回路１５は、逆量子化回路１４からの出力及び動き補償回路１８からの出力を加算し、その結果をピクチャ順序並べ替え回路１６及びフレームメモリ１７に出力する。
【０１１９】
また、デコーダ１は、加算回路１５からの信号を１フレーム蓄えるフレームメモリ１７と、フレームメモリからの画像に動き補償を施す動き補償回路１８と、加算回路１５からの信号についてピクチャを並び替えて出力するピクチャ並び替え回路１６とを有している。
【０１２０】
フレームメモリ１７は、１フレームの画像信号を記憶するメモリであり、ここでは加算回路１５からの出力を蓄え、動き補償回路１８にて読み出される。動き補償回路１８は、フレームメモリ１７に記憶された画像に対して動き補償を行い、動き補償された画像を加算回路１５に出力する。ピクチャ並べ替え回路は、加算回路１５からの信号に基づいて、ピクチャを所定順序に並び替えた出力画像を出力する。
【０１２１】
さらに、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出するＭ算出回路１８と、Ｍ算出回路１８からのＭ及びピクチャ並べ替え回路１６からの出力画像に基づいてＭを調整した画像信号を多重化して出力するマルチプレクサ１９とを有している。
【０１２２】
Ｍ算出回路１８は、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出し、算出したＭをマルチプレクサ１９に与える。マルチプレクサ１９では、Ｍ算出回路１８からのＭに応じて、ピクチャ並べ替え回路１６からの出力信号に埋め込みを行って出力する。この埋め込みとしては、例えば画像信号のブランキング部分に埋め込むことにより行う。
【０１２３】
エンコーダ２は、図９に示すように、入力画像を１フレーム単位で蓄えるフレームメモリ２１と、フレームメモリ２１からの画像を動き予測する動き予測する動き予測回路２２と、動き予測回路２２からの信号についてピクチャ順序並べ替えを行うピクチャ順序並べ替え回路２３と、ピクチャ順序並べ替え回路２３からの信号から動き舗装回路３３からの信号を減じる減算回路２４とを有している。
【０１２４】
フレームメモリ２１は入力信号を１フレーム毎に記憶し、動き予測回路２２はフレームメモリ２２から読みだしたピクチャについて動き予測を行い、ピクチャ並べ替え回路２３にピクチャを、動き補償回路３３に動きベクトル３３を出力する。ピクチャ並べ替え回路２３は動き予測回路２３からのピクチャに並べ替えを施し、減算回路２４に出力する。減算回路２４は、ピクチャ並べ替え回路２３からの出力から動き補償回路３３からの出力を減じてその結果をＤＣＴ回路２５に出力する。
【０１２５】
また、エンコーダ２は、減算回路２４からの信号にＤＣＴを施すＤＣＴ回路２５と、ＤＣＴ回路２５からの信号を量子化する量子化回路２６と、量子化回路からの信号を逆量子化する逆量子化回路２９と、逆量子化回路２９からの信号に逆ＤＣＴを施す逆ＤＣＴ回路３０と、逆ＤＣＴ回路３０からの信号及び動き補償回路３３からの信号を加算する加算回路３１と、加算回路３１からの出力をフレーム単位で蓄積するフレームメモリ３２と、フレームメモリ３２からの信号に動き補償を行う動き補償回路３３とを有している。
【０１２６】
ＤＣＴ回路２５は、減算回路２４からの出力にＤＣＴ変換を施して量子化回路２６に出力する。量子化回路２６は、ＤＣＴ回路２５からの出力に量子化を施してその結果を可変長符号化回路２７及び逆量子化回路２９に出力する。逆量子化回路２９は、量子化回路２６の出力に逆量子化を施して逆ＤＣＴ回路３０に出力する。逆ＤＣＴ回路３０は、逆量子化回路２９の出力に逆ＤＣＴ変換を施してその結果を加算回路３１に出力する。
【０１２７】
加算回路３１は、逆ＤＣＴ解度３０及び動き補償回路３３からの出力を加算し、その加算の結果をフレームメモリ３２に入力する。フレームメモリ３２は加算回路３１からの出力を１フレーム毎に記憶し、動き補償回路３３はフレームメモリ３２から読み出したピクチャに対して動き補償を施し、その結果を加算回路３１及び減算回路２４に出力する。
【０１２８】
さらに、エンコーダ２は、量子化回路２６からの信号を可変長符号化する可変長符号化回路２７と、可変長符号化回路２７からの信号を一時的に蓄積し、この蓄積されたビットストリームをビットストリームとして出力するバッファ２８とを有している。
【０１２９】
可変長符号化回路２７は、量子化回路２６からの出力に可変長符号化を施してバッファ２８に出力する。バッファ２８は、可変長符号化回路２７からの出力を一時的に記憶し、マルチプレクサ３７により読み出される。
【０１３０】
そして、エンコーダ２は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出するＭ算出回路３６と、Ｍ算出回路３６からのＭ及びバッファ２８からのビットストリームを多重化するマルチプレクサ３７とを有している。
【０１３１】
Ｍ算出回路３６は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出し、そのＭをマルチプレクサ３７に出力する。マルチプレクサ３７は、バッファ２８から読み出されたビットビットストリームについて、Ｍ算出回路３６からのＭを埋め込んで出力する。
【０１３２】
なお、本発明に係る動画像符号化装置及び方法は、上述のようなＩピクチャ、Ｐピクチャ及びＢピクチャからなるＭＰＥＧ２規格の画像信号には限定されず、表示順序に従って後方を参照することなく復号する第１の符号化画像及び表示順序に従って後方を参照して復号する第２の符号化画像から構成される画像信号に適用することができる。
【０１３３】
また、上述のデコーダにおいてはＭ算出回路にて算出したＭを画像信号に埋め込んだが、エンコーダにおいてはＭ算出回路にて算出してＭをビットストリームに埋め込んだが、本発明はこれに限定されない。例えば、算出したＭは別ファイルとして用意したり、メモリインカセットに記録することもできる。
【０１３４】
【発明の効果】
上述したように、本発明に係る動画像符号化装置は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３５】
また、本発明に係る動画像符号化方法は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３６】
上述したように、本発明に係る記録媒体は、第１の符号化画像の間隔が所定の基準値を越えないように画像信号が符号化されたビットストリームが記録されてなるので、上記間隔が標準値の装置に対しても適合する。
【図面の簡単な説明】
【図１】動画像符号化装置の第１の例のブロック図である。
【図２】動画像符号化装置の第２の例を示すブロック図である。
【図３】動画像符号化方法の一連の工程を示すフローチャートである。
【図４】動画像符号化装置の第３の例を示すブロック図である。
【図５】動画像符号化装置の第４の例を示すブロック図である。
【図６】動画像符号化装置の第５の例を示すブロック図である。
【図７】動画像符号化方法の一連の工程を示すフローチャートである。
【図８】デコーダの構造を概略的に示すブロック図である。
【図９】エンコーダの構造を概略的に示すブロック図である。
【図１０】符号化された各ピクチャを説明する図である。
【図１１】従来の動画像符号化装置の第１の例を示す図である。
【図１２】従来の動画像符号化装置の第２の例を示す図である。
【符号の説明】
１ デコーダ、２ エンコーダ、３ 分離器、７ 多重化器、１０ 記録媒体[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a moving picture decoding apparatus and method for decoding an input bit stream into an image signal,AndMoving picture coding apparatus and method for outputting this picture signal as a bit stream againInRelated.
[0002]
[Prior art]
In recent years, MPEG (moving picture experts group), which combines compression coding of image signals with redundancy reduction processing by orthogonal transformation such as motion compensation (MC) and discrete cosine transformation (DCT), etc. MPEG2 has come to be widely used.
[0003]
Non-compressed video data is encoded by a technique such as MPEG described above, such as an intra-frame encoded image (I picture), an inter-frame predictive encoded image (P picture), or a bi-directional predictive encoded image (B picture). And recorded on a storage medium such as a magneto-optical disk or transmitted using a communication line.
[0004]
Here, a case where a signal compressed by the MPEG method is reproduced will be described.
[0005]
For example, encoded data of a data stream as shown in FIG. 10A is recorded on the recording medium. The data stream recorded as shown in FIG. 10 (a) is decoded and displayed in the order of pictures as shown in FIG. 10 (b). Here, “I”, “P”, and “B” attached to each picture as codes indicate the distinction between I picture, P picture, and B picture, and each subscript is in GOP (Group of Pictures). A so-called temporary reference representing the display order of the images is shown.
[0006]
In order to reproduce the encoded data of the data stream as shown in FIG.0Is decrypted. Since the I picture is completely encoded within the screen, the I picture can be obtained without decoding other pictures.0Can be decoded alone. Subsequently, the decrypted I0P for which forward predictive coding was performed based on2Is decrypted. Since the P picture is predictively encoded from the previous I picture or P picture in time, the conventional recording / reproducing apparatus uses this P picture.2Before decoding0Must be decrypted. Subsequently, the decrypted I0And P2Based on the bi-directional predictive encoding B1Is decrypted. The B picture is bi-directionally encoded from the temporally preceding and following I pictures or P pictures.1Before decoding0And P2Must be decrypted. In this way, the encoded data of the data stream as shown in FIG.0→ P2→ B1→ PFour→ BThree→ P6→ BFive→ I8→ B7→ PTen→ B9Decoding is performed in the order of.
[0007]
Then, when displaying the pictures decoded in such an order, the order is changed as shown in FIG.0→ B1→ P2→ BThree→ PFour→ BFive→ P6→ B7→ I8→ B9→ PTenDisplay in the order of.
[0008]
Here, let M be the interval between I pictures or P pictures in a data stream based on the MPEG system. Next, the input / output timings of the encoder and decoder when M = 3 are shown in Equation 1.
[0009]
[Expression 1]
Figure 0004193224
[0010]
The picture input (a) to the encoder is encoded into a bit stream and output as an output (b) of the bit stream from the encoder with a delay of 3 frame times. The output (b) of the bit stream from the encoder becomes the input (c) of the bit stream to the decoder, is decoded into a picture, and is delayed by one frame time from the input (c) of the bit stream to the decoder. Picture output from (d).
[0011]
Symbols “I”, “P”, and “B” indicate an I picture, a P picture, and a B picture, respectively, and a case where an image is indicated as in (a) or (d), and (b) or In some cases, the encoded bitstream is shown as in (d). The subscript number of each symbol is the display order of images.
[0012]
The value of M is related to the delay amount from the input of the moving image signal to the encoder until the bit stream is output. The larger the M, the larger the delay amount. This is because before the B picture is encoded, the P picture that is temporally preceding is encoded first, and therefore (M−1) B pictures need to be buffered in the memory. Therefore, the amount of frame memory required for the encoder increases as M increases.
[0013]
In the above example, the amount of delay until the bit stream is output from the encoder is 3 frame times. The amount of time depends on the encoding algorithm, and in particular, motion vector prediction (Motion Estimation) ). In an actual encoder, this delay amount is often greater than 3 frame times.
[0014]
When the algorithm such as motion vector prediction has the same condition, there is a relationship that the larger the M is, the larger the delay amount until the bit stream is output from the encoder, and the amount of frame memory necessary for the encoder increases.
[0015]
Next, a conventional method for efficiently performing re-encoding will be described.
[0016]
In order to encode an image with high image quality when the MPEG video bitstream is decoded and the decoded image is MPEG-encoded again and the bitstream is output, the picture coding type when the image is encoded (Picture coding It is widely known that it is effective to make type) the same as in the original bitstream.
[0017]
That is, since the substantial amount of information of the pixels constituting the I-stream, P-picture, and B-picture that are constituent elements of the bitstream is different, the type of picture that encodes an image signal into a bitstream is the type of original picture. Therefore, the image signal encoding can be performed efficiently.
[0018]
As a means for knowing the original picture coding type of the image input to the encoder, there is a method of recording the picture coding type in the video index of the blanking portion of the digital image. The recording position of the picture coding type in the video index is described in RP 186-1995 of Recommended Practices of SMPTE (Society of Motion Picture and Television Enginneers).
[0019]
The input / output timing of the decoder and encoder when the MPEG video bitstream is decoded and the decoded image is MPEG-encoded again to output the bitstream is shown in the following equation (2).
[0020]
[Expression 2]
Figure 0004193224
[0021]
In the bit stream input (a) to the decoder, M = 3. The picture output (b) from the decoder in which the bit stream input (a) to the decoder is decoded into a picture is delayed by one frame time from the bit stream input (a) to the decoder. The picture output (b) from the decoder becomes the picture input (c) to the encoder, is encoded into a bit stream, and is output by the bit stream from the encoder (d) with a delay of 3 frame times from the picture input to the encoder. ) Is output.
[0022]
An example of a conventional video encoding apparatus that outputs such a bitstream will be described.
[0023]
As shown in FIG. 11, a first example of a conventional moving image coding apparatus includes a decoder 101 that decodes a bit stream to obtain a decoded moving image, and a video index in which a picture coding type is written in a video index with increased decoded video. A writer 104, a video index reader 103 that reads a picture coding type from a decoded moving image, a decoded moving image signal from the decoder 101, and a bitstream that is encoded based on the picture coding type from the video index reader 103 And an encoder 102 that outputs to the recording medium 10.
[0024]
Here, the bit stream input to the decoder 101 is the bit stream input (a) to the decoder, the decoded video signal sent from the decoder 101 to the encoder 102 is the picture output (b) from the decoder and the above The bit stream output from the encoder 102 to the picture input (c) to the encoder corresponds to the bit stream output (d) from the encoder.
[0025]
As shown in FIG. 12, the second example of the conventional moving image coding apparatus includes a video index reader 103 that reads out a picture coding type from a decoded moving image signal, and a decoded moving image signal and video index reader 103. The encoder 102 is configured to output a bit stream based on the picture coding type.
[0026]
Here, the bit stream input to the decoder 101 corresponds to the picture input (c) to the encoder, and the bit stream output from the encoder 102 corresponds to the bit stream output (d) from the encoder.
[0027]
In the first and second examples of these conventional moving image encoding apparatuses, the lower bit indicates the picture coding type at the time of encoding in the encoder 102 based on the picture coding type obtained from the video index reader 103. By making it the same as the stream, the image is encoded with high image quality.
[0028]
[Problems to be solved by the invention]
By the way, in the first example of the conventional moving picture encoding apparatus shown in FIG. 11 and the second example of the conventional moving picture encoding apparatus shown in FIG. A bitstream fixed at M = 3 was input. However, a problem arises when the value of M changes more than 3 in the middle of the input image.
[0029]
That is, when the MPEG video stream is decoded, the decoded image is MPEG-encoded again, and the bit stream is output, when the value of M of the bit stream input to the decoder changes midway, the following number The problem shown in FIG.
[0030]
[Equation 3]
Figure 0004193224
[0031]
That is, in the input (a) of the bit stream to the decoder, M = 3 between I0 and P3, and M = 5 between P3 and P8. Record the picture coding type when the picture was encoded in the video index of each picture of the picture output (b) from the decoder indicating the output of the moving picture to the input (a) of the bit stream to the decoder deep.
[0032]
The picture input (c) to the encoder indicates the picture output (b) input from the decoder to the encoder. The encoder reads the picture coding type when the image is compressed from the video index of each image, and encodes the input image based on the information. In response to this, an output (d) of the bit stream from the encoder is output.
[0033]
Similar to the above example, after the video signal is input to the encoder, as shown in the picture input to the encoder (c) and the output of the bit stream from the encoder (d), the frame is delayed for 3 frames. , Start outputting the bitstream. At this time, the encoding is broken at “X” in the output (d) of the bit stream from the encoder. Specifically, there is a problem that the bit stream of P8 cannot be output at the timing “X” of the P picture of P8.
[0034]
  The present invention has been made in view of the above-described problems, and is a moving image encoding apparatus and method that re-encodes a bitstream in which the value of M is not constant.Moving picture decoding apparatus and methodThe purpose is to provide.
[0035]
[Means for Solving the Problems]
  In order to solve the above-described problem, the video encoding apparatus according to the present invention refers to the first encoded image that is decoded without referring to the rear according to the display order and the rear according to the display order. An image signal obtained by decoding a bit stream composed of a second encoded image decoded in this manner, and an image for distinguishing whether the image in the bit stream is the first encoded image or the second encoded image A video encoding apparatus to which an encoding type is input, wherein the image signal is converted into the first code based on the image encoding type so as to match the encoding type of each encoded image in the bit stream. A bitstream consisting of a coded image and a second coded imageDoWhen,The interval of the first encoded image signal exceeds the reference valueAt a position within the range of the reference value from the immediately preceding first encoded image signal.Coding means for coding by changing the second coded image to the first coded image.
[0036]
  The moving image encoding method according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoding that is decoded with reference to the rear according to the display order. An image signal obtained by decoding an image signal obtained by decoding a bit stream consisting of an image and an image encoding type for distinguishing whether the image in the bit stream is the first encoded image or the second encoded image. In the encoding method, the image signal is converted into the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of each encoded image in the bit stream. A bitstream consisting ofDoWhen,The interval of the first encoded image signal exceeds the reference valueAt a position within the range of the reference value from the immediately preceding first encoded image signal.An encoding step of encoding by changing the second encoded image to the first encoded image;
[0037]
  The moving image encoding apparatus according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoding that is decoded with reference to the rear according to the display order. A bit stream consisting of images, characterized by the maximum value of the interval between the first encoded images in the bit streampointAn image encoding type for distinguishing whether the image signal obtained by decoding the bitstream having information, the feature point information, and the image in the bitstream is the first encoded image or the second encoded image An input moving image encoding apparatus, wherein the image signal is converted into the first encoded image and the second encoded image signal based on the image encoding type so as to coincide with the encoding type of the encoded image in the bit stream. Encoding into a bitstream consisting of encoded imagesEncoding means for determining the delay amount from the input of the image signal to the output of the bitstream and the memory amount required for encoding, as the maximum of the feature point information. Control according to the value.
[0038]
  The moving image encoding method according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoding that is decoded with reference to the rear according to the display order. An image signal obtained by decoding a bit stream having a maximum value of the interval between the first encoded images in the bit stream as feature point information, the feature point information, and an image in the bit stream. A video encoding method for inputting an image encoding type for distinguishing between the first encoded image and the second encoded image, wherein the encoded image is encoded in the bitstream. The image signal is encoded into a bit stream composed of the first encoded image and the second encoded image based on the image encoding type so as to match the typeThe encoding step, and in the encoding step, the delay amount from the input of the image signal to the output of the bit stream and the memory amount necessary for encoding are set to the maximum of the feature point information. Control according to the value.
[0040]
  The moving image encoding method according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoding that is decoded with reference to the rear according to the display order. An image signal obtained by decoding a bit stream composed of images, and a bit stream encoded with an image encoding type for distinguishing whether the image in the bit stream is the first encoded image or the second encoded image. A video encoding method for outputting a first encoded image and a second encoded image signal based on the image encoding type so as to match the encoding type of the encoded image in the bitstream. Encoding into a bitstream consisting of encoded imagesAs well as, The maximum value of the interval between the first encoded image signals and the feature point informationEncodingEncoding step.
[0043]
The moving image decoding apparatus according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order. And a decoding means for decoding the bit stream into an image signal, and the maximum value of the interval between the first encoded images in the bit stream as feature point information. And feature point information output means for outputting.
[0044]
The moving image decoding method according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order. A decoding process for decoding the bit stream into an image signal, and the maximum value of the interval between the first encoded images in the bit stream as feature point information And a feature point information output step for outputting.
[0045]
The moving image decoding apparatus according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order. A video decoding apparatus to which a bit stream consisting of: a decoding unit that decodes the bit stream into an image signal, and a display from the image related to decoding when the bit stream is decoded by the decoding unit And feature point information means for outputting the distance to the next first encoded image as feature point information in order.
[0046]
The moving image decoding method according to the present invention includes a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order. A decoding process for decoding the bit stream into an image signal, and the maximum value of the interval between the first encoded images in the bit stream as feature point information And a feature point information output step for outputting.
[0048]
DETAILED DESCRIPTION OF THE INVENTION
  Hereinafter, according to the present inventionVideo encoding apparatus and methodAndMoving picture decoding apparatus and methodWill be described in detail with reference to the drawings.
[0049]
First, a first embodiment of the present invention will be described.
[0050]
In the first embodiment, when a bit stream is input, the MPEG video bit stream is analyzed in advance for the maximum value of M, which is the interval at which an I picture or P picture appears, and MPEG video is analyzed. When decoding the bitstream, MPEG-decoding the decoded image again, and outputting the bitstream, the amount of delay until the bitstream is output after the moving image signal is input to the encoder The amount of memory is controlled based on the maximum value of M.
[0051]
As shown in FIG. 1, the first example of the moving image encoding apparatus includes a decoder 1 that is a decoding unit that decodes an input bit stream and outputs a decoded moving image and a picture coding type. A decoding moving image signal, a picture coding type, and external bit stream feature point information are input, and the encoder 2 is an encoding unit that performs re-encoding based on these and outputs a bit stream.
[0052]
The decoder 1 receives a bit stream, decodes the bit stream, and outputs a decoded moving image and a picture coding type.
[0053]
Here, the picture coding type (picture-coding-type) is an I picture that is an intra-picture encoded image, a P picture that is a forward predictive encoded picture, and a B picture that is a bidirectional predictive encoded picture. It is an image coding type that identifies which one is. The I picture and the P picture constitute a first encoded image that is decoded without referring to the rear according to the display order, and the B picture constitutes a second encoded image that is decoded with reference to the rear according to the display order.
[0054]
The encoder 2 is supplied with the picture coding type and the decoded image information from the decoder 1 and the feature point information of the bit stream from the outside, and encodes the decoded moving image based on these and outputs the bit stream to the recording medium 10. .
[0055]
The maximum value of M is prepared as feature point information of the MPEG bit stream. At this time, the maximum value of M may be calculated in GOP (group of pictures) units and prepared as GOP feature point information.
[0056]
This feature point information can be embedded in the bitstream, prepared as a separate file, or recorded in a memory in cassette. The recording mode of such feature point information is the same in the following examples.
[0057]
The multiplexer 4 multiplexes the feature point information on the decoded moving image signal. For example, feature point information is multiplexed in the vertical part ranking of the image signal. The video index is one method for writing information to vertical blanking.
[0058]
Subsequently, specific processing of the bit stream and the decoded moving image in the decoder 1 and the encoder 2 will be described.
[0059]
A bit stream whose maximum value of M is 5 is input to this moving image encoding apparatus. As shown in the following Equation 4, the picture output (b) from the decoder is delayed by one frame time with respect to the input (a) of the bit stream to the decoder. Since the maximum value of M of the input (a) of the bit stream to the decoder is 5, as shown in the input (c) of the picture to the encoder and the output (d) of the bit stream from the encoder, The delay amount from the picture input (c) to the bit stream output (d) from the encoder is 5 frame times.
[0060]
[Expression 4]
Figure 0004193224
[0061]
Thus, when the delay amount until the bit stream is output is set to 5 frame times, that is, when the delay amount and the memory amount until the bit stream is output corresponding to the maximum value of M is set, the value of M becomes Even if it changes, there is no need to run out of memory for buffering or to output a bitstream.
[0062]
Next, a case where a decoded moving image signal obtained by decoding a bit stream is input to the moving image encoding device will be described.
[0063]
As shown in FIG. 2, the second example of the moving image coding apparatus includes a separator 3 for separating the picture coding type and feature point information of information multiplexed in the image from the decoded moving image signal, and the moving image It comprises an encoder 2 that encodes the decoded video signal based on the feature point information, the decoded video signal, and the picture coding type from the separator 3 and outputs a bit stream. When the feature point information is multiplexed in the image signal, it is used. You can enter from outside.
[0064]
As described above, when the picture coding type of each picture of the decoded moving picture at the input of the picture to the encoder (c) is known from the multiplexing information of the decoded picture, the moving picture coding apparatus determines the picture coding type of each picture. Analyzing in advance and checking the maximum value of M. When a decoded image is MPEG-encoded again and a bit stream is output, a video signal is input to the encoder until a bit stream is output. This corresponds to the case where the value of M changes by controlling the delay amount and the memory amount necessary for the encoder based on the maximum value of M. The maximum value of M may be multiplexed with the image signal in advance.
[0065]
The encoder 2 in the moving image encoding apparatus outputs a bit stream obtained by encoding the decoded moving image signal based on the feature point information of the moving image, the decoded moving image information, and the picture coding type from the separator 3.
[0066]
The maximum value of M is prepared as feature point information of a decoded moving image for picture input (c) to the encoder. The maximum value of M may be embedded in, for example, the header information of a moving image signal or embedded in an empty area of an image signal such as blanking, that is, an area that is not an effective image signal.
[0067]
In this moving image encoding apparatus, as shown above, the delay amount from the picture input (c) to the encoder to the bit stream input (d) from the encoder is made to correspond to the maximum value of M. Encoding failure in the encoder 2 is prevented by setting the time to 5 frames.
[0068]
The bit stream output from the encoder 2 is recorded on the recording medium 10. The recording medium 10 will be described later.
[0069]
Next, a series of procedures related to the moving image encoding method will be described with reference to the flowchart shown in FIG.
[0070]
In the first step S1, the bit stream encoded with the MPEG image signal is decoded to produce an image signal, and the picture coding type of the image signal is taken out.
[0071]
In step S2 following step S1, the maximum value of M is input as the feature point information, the delay time to the bit stream and the amount of memory are set according to the maximum value of M, and the decoded moving image from step S1 A bit stream obtained by encoding the decoded moving image based on the signal and the picture coding type is output.
[0072]
In step S2, by setting a delay time and a memory amount at the time of encoding according to the maximum value of M given as the feature point information of the bit stream, the encoding does not fail even when M changes. I have to.
[0073]
Next, the recording medium 10 will be described.
The recording medium 10 is encoded with an image signal whose prediction structure is changed so that M of the image signal does not exceed a predetermined reference value according to the picture coding type for the image signal input to the encoder 2 described above. The bit stream is recorded.
[0074]
The recording medium 10 is provided as an optical disc such as a CD-ROM, but may be provided via a so-called multimedia communication line.
[0075]
As described above, in the first embodiment of the present invention, the maximum value of M of the decoded moving image sequence input to the encoder is checked in advance, the input / output delay amount of the encoder, and the memory necessary for the encoder The amount is controlled based on the maximum value of M.
[0076]
Next, a second embodiment of the present invention will be described.
[0077]
In the second embodiment of the present invention, when an image signal is encoded into a bitstream based on a picture coding type so that the maximum value of M does not exceed a reference value, a B picture is converted into an I picture or a P picture. Change to picture.
[0078]
First, a case where a bit stream is input to the video encoding device will be described.
[0079]
As shown in FIG. 4, the third example of the moving picture coding apparatus is a decoder 1 that decodes an input bit stream and outputs a decoded moving picture, a picture coding type, and a temporal reference to an encoder 2. And an encoder 2 that encodes a decoded moving image signal into a bit stream based on the bit stream feature point information and the picture coding type and temporal reference from the decoder 1, and the bit stream feature point information and the decoder 1 And a multiplexing unit 7 for multiplexing the picture coding type and the decoded moving image signal.
[0080]
The encoder 2 of the moving image encoding apparatus uses M = 3 as a standard value or a reference value, and can encode up to a maximum M = 3. That is, as shown in the following equation 5, when the picture P8 in the input (a) of the bit stream to the decoder is input to the decoder 1, the decoder calculates a local M value and The picture output from (b) is input to the encoder 2 as the picture input (c) to the encoder.
[0081]
[Equation 5]
Figure 0004193224
[0082]
The moving image encoding apparatus prepares position information where the local M value in the bitstream exceeds the maximum M standard value that can be encoded as the feature point information of the bitstream. This is used when the video bitstream is decoded and the decoded moving image is MPEG-encoded again.
[0083]
For example, in the upper bitstream, it is prepared as feature point information that the local value of M between P3 and P8 exceeds the standard value of M.
[0084]
Also, if the maximum value of M of the MPEG video bitstream is prepared as feature point information, it is necessary to change the prediction structure of the picture (change of M) when re-encoding the decoded moving image of the bitstream. It is convenient because you can know. At this time, the maximum value of M may be calculated for each GOP and prepared as GOP feature point information.
[0085]
The multiplexer 7 multiplexes the feature point information on the decoded moving image signal. In the case of the maximum value of M in the GOP, it is preferable to multiplex the I picture with the decoded image or the first image in the GOP destination display order. For example, feature point information is multiplexed with vertical blanking of an image.
[0086]
The local value of M is the MPEG picture header (Picture temporal reference in header It can be calculated from the difference value between the reference) pictures.
[0087]
Here, the picture header is in the picture layer of the MPEG2 standard stream, and the temporal reference is a remainder value of 1024 which is a number indicating the display order of pictures and is reset at the head of the GOP.
[0088]
In response to this, the encoder 2 understands in advance that the prediction structure of the pictures from the picture P3 to P8 is M = 5. The encoder 2 can encode the prediction structure of M = 5 from P3 to P8 of the input (c) of the picture to the encoder which is the input moving picture as shown in the changed picture coding type (d) Change to a combination of M = 3 and M = 2. Thereby, the failure in the encoding in the encoder 2 is prevented. And it outputs as the output (e) of the bit stream from an encoder.
[0089]
Next, a case where only a moving image signal obtained by decoding a bit stream exists will be described.
[0090]
As shown in FIG. 5, the fourth example of the moving image encoding apparatus includes a separator 3 that separates the picture coding type multiplexed in the image from the decoded moving image and outputs the separated picture coding type to the memory 5, and the decoded moving image. A memory 4 for storing the signal, a memory 5 for storing the picture coding type from the separator 3, feature point information of the moving image signal, a decoded moving image signal read from the memory 4, and a decoded moving image read from the memory 5 And an encoder 2 that outputs a bit stream obtained by encoding a decoded moving image.
[0091]
When feature point information is multiplexed in an image, it is used. You may input from the outside separately.
[0092]
When the picture coding type of each picture of the decoded moving picture in the picture output (c) to the encoder is known from the video index or the like, the moving picture coding apparatus is the encoder 2 where the maximum M that can be encoded is Mx. The picture coding type of each picture is pre-read for future Mx sheets.
[0093]
Then, when it is found that there is no P picture or I picture in Mx pictures to be encoded in the future, the encoder 2 changes the picture prediction structure to M = Mx or less.
[0094]
For example, the encoder 2 with Mx = 3 in the above-described example has a P picture or B in the future three pictures (B4, B5, B6) at the input time point P3 of the picture input (c) to the encoder. If it is found that there is no picture, the prediction structure of the picture is changed as shown in the output (d) of the bit stream from the encoder, and B6 is changed to a P picture.
[0095]
In this way, the moving image encoding apparatus prevents a failure from occurring when encoding a moving image.
[0096]
Here, if the picture coding type of each picture and the number of pictures from the picture to the next P picture or I picture are recorded as the feature point information of the decoded moving picture of the picture input to the encoder (c) good.
[0097]
This eliminates the need for the encoder to prefetch the future Mx picture coding types as described above. Therefore, like the fifth example of the moving picture coding apparatus shown in FIG. 6, the memory 4 and the memory 5 in the fourth example of the moving picture coding apparatus shown in FIG. 7 can be omitted.
[0098]
This feature point information may be embedded in, for example, header information of a moving image signal or embedded in an empty area of an image signal such as blanking, that is, an area that is not an effective image signal. When recording in blanking, a video index can be used.
[0099]
The bit stream output from the encoder 2 is recorded on the recording medium 10. The recording medium 10 will be described later.
[0100]
Subsequently, a series of steps of the moving image encoding method will be described with reference to FIG.
[0101]
In the first step S21, the input MPEG bit stream is decoded into a decoded moving image, and a temporal reference and a picture coding type are extracted.
[0102]
In step S22 following step S21, the encoding prediction structure is changed to the maximum value of M as the feature point information of the bitstream, and decoding is performed based on the decoded moving image, temporal reference, and picture coding type from step 21. A bit stream obtained by encoding a moving image is output.
[0103]
As described above, even if M bit streams larger than the standard M value are input by changing the prediction structure according to the maximum value of M given as feature point information, the encoding in step S2 is performed. Will not fail.
[0104]
Next, the recording medium 10 will be described.
The recording medium 10 includes a bitstream obtained by encoding an image signal whose prediction structure is changed according to the maximum value of M, which is the feature point information, for the image signal input to the encoder 2 together with the feature point information. It is recorded.
[0105]
The recording medium 10 is provided as an optical disc such as a CD-ROM, but may be provided via a so-called multimedia communication line.
[0106]
As described above, in the second embodiment, when the value of M of the input decoded moving image exceeds the standard value of M, which is the reference value, the predicted structure of the picture of that portion of the picture is changed to the reference value. The encoding is changed as follows.
[0107]
Thus, it is possible to cope with an encoder having a finite amount of delay until the bit stream is output and a memory amount necessary for the encoder, particularly a current encoder having M = 3 as a standard value.
[0108]
The third embodiment defines the upper limit of the value of M in the video encoding format.
[0109]
Thus, the encoder is configured to be able to encode with the maximum M, and the delay amount from when the moving image signal is input to the encoder until the bit stream is output corresponds to the maximum value of M. Should be set.
[0110]
When a bit stream is input, the moving picture coding apparatus is composed of a decoder 1, an encoder 2 and a multiplexer 4 in the same manner as the moving picture coding apparatus shown in FIG. Eggplant. However, the feature point information input to the encoder 2 is the upper limit of the value of M.
[0111]
By setting the delay time to the bitstream and the amount of memory so that encoding can be performed with the upper limit of the value of M by this feature point information, even when the value of M changes, the encoding does not fail. can do.
[0112]
When a decoded moving image is input, the moving image encoding device has the configuration of the separator 3 and the encoder 2 as in the moving image encoding device shown in FIG. 2, and performs the same operation. However, the feature point information input to the encoder 102 is the upper limit of the value of M.
[0113]
As described above, by setting the delay time and the memory amount according to the feature point information, it is possible to prevent the encoding from failing even when the value of M changes.
[0114]
As described above, in the third embodiment of the present invention, the upper limit of M is given to the encoder as feature point information, and by setting the delay amount and the memory amount to the bitstream according to this feature point information, This prevents the encoding from failing when the value of M changes.
[0115]
The upper limit of M does not necessarily have to be given to the encoder as feature point information, and can be defined in advance as a bitstream standard.
[0116]
Next, the structure and function of the decoder 1 and the encoder 2 in the moving picture coding apparatus will be briefly described.
[0117]
As shown in FIG. 8, the decoder 1 includes a buffer 11 that temporarily stores an input bitstream, a variable-length decoding circuit 12 that performs variable-length decoding on the bitstream read from the buffer 11, and a variable-length decoding circuit 12. An inverse DCT circuit 13 for inverse DCT transforming the signal from the signal, an inverse quantization circuit 14 for inversely quantizing the signal from the inverse DCT circuit 13, and an addition for adding the signals from the inverse quantization circuit 14 and the motion compensation circuit 18 Circuit 15.
[0118]
The buffer 11 temporarily stores the input bit stream and is read by the variable length decoding circuit 12. The variable length decoding circuit 12 reads the bit stream stored in the buffer 11 and performs variable length decoding, and outputs the decoding result to the inverse DCT circuit 13. The variable length decoding circuit 12 provides the temporal reference to the M calculation circuit 18 and the picture type to the entire decoder 1 and the M calculation circuit 18. The inverse DCT circuit performs inverse DCT transformation on the signal decoded by the variable length decoding circuit 12 and outputs the result to the inverse quantization circuit 14. The inverse quantization circuit 14 performs inverse quantization on the signal subjected to inverse DCT conversion by the inverse DCT circuit 14 and outputs the result to the adder 15. The adder circuit 15 adds the output from the inverse quantization circuit 14 and the output from the motion compensation circuit 18, and outputs the result to the picture order rearrangement circuit 16 and the frame memory 17.
[0119]
Further, the decoder 1 rearranges the pictures of the frame memory 17 that stores one frame of the signal from the adder circuit 15, the motion compensation circuit 18 that performs motion compensation on the image from the frame memory, and outputs the signal from the adder circuit 15. And a picture rearrangement circuit 16.
[0120]
The frame memory 17 is a memory that stores an image signal of one frame. Here, the output from the adder circuit 15 is stored and read by the motion compensation circuit 18. The motion compensation circuit 18 performs motion compensation on the image stored in the frame memory 17 and outputs the motion compensated image to the adder circuit 15. The picture rearrangement circuit outputs an output image in which the pictures are rearranged in a predetermined order based on the signal from the addition circuit 15.
[0121]
Further, M is calculated based on the temporal reference and picture type given from the variable length decoding circuit 12, and M is calculated based on M from the M calculation circuit 18 and an output image from the picture rearrangement circuit 16. And a multiplexer 19 for multiplexing and outputting the adjusted image signal.
[0122]
The M calculation circuit 18 calculates M based on the temporal reference and the picture type given from the variable length decoding circuit 12 and gives the calculated M to the multiplexer 19. In the multiplexer 19, the output signal from the picture rearrangement circuit 16 is embedded and output according to M from the M calculation circuit 18. This embedding is performed by embedding in the blanking portion of the image signal, for example.
[0123]
As shown in FIG. 9, the encoder 2 includes a frame memory 21 that stores input images in units of frames, a motion prediction circuit 22 that predicts motion of an image from the frame memory 21, and a signal from the motion prediction circuit 22. A picture order rearrangement circuit 23 that performs picture order rearrangement, and a subtraction circuit 24 that subtracts a signal from the motion pavement circuit 33 from a signal from the picture order rearrangement circuit 23.
[0124]
The frame memory 21 stores the input signal for each frame, the motion prediction circuit 22 performs motion prediction on the picture read from the frame memory 22, the picture is rearranged in the picture rearrangement circuit 23, and the motion vector 33 is stored in the motion compensation circuit 33. Is output. The picture rearrangement circuit 23 rearranges the pictures from the motion prediction circuit 23 and outputs the result to the subtraction circuit 24. The subtraction circuit 24 subtracts the output from the motion compensation circuit 33 from the output from the picture rearrangement circuit 23 and outputs the result to the DCT circuit 25.
[0125]
The encoder 2 also includes a DCT circuit 25 that performs DCT on the signal from the subtraction circuit 24, a quantization circuit 26 that quantizes the signal from the DCT circuit 25, and an inverse quantum that inversely quantizes the signal from the quantization circuit. Circuit 29, inverse DCT circuit 30 that performs inverse DCT on the signal from inverse quantization circuit 29, addition circuit 31 that adds the signal from inverse DCT circuit 30 and the signal from motion compensation circuit 33, and addition circuit 31 The frame memory 32 stores the output from the frame memory 32, and the motion compensation circuit 33 performs motion compensation on the signal from the frame memory 32.
[0126]
The DCT circuit 25 performs DCT conversion on the output from the subtraction circuit 24 and outputs the result to the quantization circuit 26. The quantization circuit 26 quantizes the output from the DCT circuit 25 and outputs the result to the variable length coding circuit 27 and the inverse quantization circuit 29. The inverse quantization circuit 29 performs inverse quantization on the output of the quantization circuit 26 and outputs the result to the inverse DCT circuit 30. The inverse DCT circuit 30 performs inverse DCT transformation on the output of the inverse quantization circuit 29 and outputs the result to the adder circuit 31.
[0127]
The adder circuit 31 adds the inverse DCT resolution 30 and the output from the motion compensation circuit 33 and inputs the result of the addition to the frame memory 32. The frame memory 32 stores the output from the addition circuit 31 for each frame, and the motion compensation circuit 33 performs motion compensation on the picture read from the frame memory 32 and outputs the result to the addition circuit 31 and the subtraction circuit 24. To do.
[0128]
Furthermore, the encoder 2 temporarily accumulates the variable length coding circuit 27 for variable length coding the signal from the quantization circuit 26, and the signal from the variable length coding circuit 27, and stores the accumulated bit stream. And a buffer 28 for outputting as a bit stream.
[0129]
The variable length coding circuit 27 performs variable length coding on the output from the quantization circuit 26 and outputs the result to the buffer 28. The buffer 28 temporarily stores the output from the variable length coding circuit 27 and is read out by the multiplexer 37.
[0130]
The encoder 2 includes an M calculation circuit 36 that calculates M based on temporal reference and feature point information, and a multiplexer 37 that multiplexes M from the M calculation circuit 36 and a bit stream from the buffer 28. Yes.
[0131]
The M calculation circuit 36 calculates M based on the temporal reference and the feature point information, and outputs the M to the multiplexer 37. The multiplexer 37 embeds M from the M calculation circuit 36 and outputs the bit bit stream read from the buffer 28.
[0132]
Note that the moving picture coding apparatus and method according to the present invention are not limited to the MPEG2 standard picture signal composed of the I picture, P picture, and B picture as described above, and can be decoded without referring to the back according to the display order. The present invention can be applied to an image signal composed of a first encoded image and a second encoded image that is decoded with reference to the rear according to the display order.
[0133]
In the decoder described above, M calculated by the M calculation circuit is embedded in the image signal. In the encoder, M is calculated by the M calculation circuit and embedded in the bitstream. However, the present invention is not limited to this. For example, the calculated M can be prepared as a separate file or recorded in a memory in cassette.
[0134]
【The invention's effect】
As described above, the moving picture coding apparatus according to the present invention decodes an MPEG video bitstream and MPEG-decodes the decoded moving picture again, and the moving picture signal is sent to the encoder that performs the MPEG coding. This is useful for determining the amount of delay from the input to the output of the bit stream, determining the amount of frame memory required for the encoder, and controlling the inter-picture predictive encoding method for pictures.
[0135]
Also, the moving picture encoding method according to the present invention is such that when a MPEG video bit stream is decoded and the decoded moving picture is MPEG encoded again, a moving picture signal is input to the encoder that performs the MPEG encoding. This is useful for determining the amount of delay until the bit stream is output from, determining the amount of frame memory required for the encoder, and controlling the inter-picture predictive encoding method for pictures.
[0136]
As described above, the recording medium according to the present invention records the bit stream in which the image signal is encoded so that the interval between the first encoded images does not exceed the predetermined reference value. It is compatible with standard value devices.
[Brief description of the drawings]
FIG. 1 is a block diagram of a first example of a video encoding apparatus.
FIG. 2 is a block diagram illustrating a second example of the moving image encoding device.
FIG. 3 is a flowchart showing a series of steps of a moving image encoding method.
FIG. 4 is a block diagram illustrating a third example of the moving image encoding apparatus.
FIG. 5 is a block diagram illustrating a fourth example of the moving image encoding device.
FIG. 6 is a block diagram illustrating a fifth example of the moving image encoding device.
FIG. 7 is a flowchart showing a series of steps of a moving image encoding method.
FIG. 8 is a block diagram schematically showing the structure of a decoder.
FIG. 9 is a block diagram schematically showing the structure of an encoder.
FIG. 10 is a diagram illustrating each encoded picture.
FIG. 11 is a diagram illustrating a first example of a conventional video encoding device.
FIG. 12 is a diagram illustrating a second example of a conventional video encoding device.
[Explanation of symbols]
1 Decoder, 2 Encoder, 3 Separator, 7 Multiplexer, 10 Recording medium

Claims (18)

表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、
上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化手段
を有することを特徴とする動画像符号化装置。An image signal obtained by decoding a bit stream including a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order, and A video encoding device to which an image encoding type for distinguishing whether the image in the bitstream is the first encoded image or the second encoded image is input,
The image signal is encoded into a bit stream consisting of the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of each encoded image in the bit stream. When the interval between the first encoded image signals exceeds a reference value, the second encoded image at a position within the range of the reference value from the immediately preceding first encoded image signal is A moving picture coding apparatus comprising coding means for coding by changing to a first coded picture. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを画像信号に復号すると共に、上記ビットストリームにおける画像が上記第１の符号化画像又は第２の符号化画像のいずれであるかを区別する画像符号化型を取り出す復号手段を有し、
上記符号化手段は上記復号手段からの画像信号及び画像符号化型に基づいて上記画像信号をビットストリームに符号化すること
を特徴とする請求項１記載の動画像符号化装置。A bit stream including a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order is decoded into an image signal. And a decoding means for extracting an image coding type for distinguishing whether the image in the bitstream is the first coded image or the second coded image,
The moving image encoding apparatus according to claim 1, wherein the encoding unit encodes the image signal into a bit stream based on the image signal from the decoding unit and the image encoding type. 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向予測符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であり、上記画像符号化型はピクチャコーディングタイプであることを特徴とする請求項１記載の動画像符号化装置。  The first encoded image is an intra-image encoded image and a forward prediction encoded image according to the display order, and the second encoded image is a bidirectional predictive encoded image according to the display order, 2. The moving picture coding apparatus according to claim 1, wherein the picture coding type is a picture coding type. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、
上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化工程
を有することを特徴とする動画像符号化方法。An image signal obtained by decoding a bit stream including a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order, and A video encoding method in which an image encoding type for distinguishing whether the image in the bitstream is the first encoded image or the second encoded image is input,
The image signal is encoded into a bit stream consisting of the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of each encoded image in the bit stream. When the interval between the first encoded image signals exceeds a reference value, the second encoded image at a position within the range of the reference value from the immediately preceding first encoded image signal is A moving picture coding method comprising: a coding step of coding by changing to a first coded picture. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化手段を有し、
上記符号化手段は、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御すること
を特徴とする動画像符号化装置。A bit stream consisting of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order, and this bit An image signal obtained by decoding a bit stream having the maximum value of the interval between the first encoded images in the stream as feature point information, the feature point information, and an image in the bit stream are the first encoded image or the second encoded image. A video encoding device to which an image encoding type for distinguishing which of the encoded images is input,
The image signal is encoded into a bit stream consisting of the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of the encoded image in the bit stream. Encoding means,
The encoding means controls a delay amount from the input of the image signal to the output of the bit stream and a memory amount necessary for encoding corresponding to the maximum value of the feature point information. A video encoding apparatus characterized by the above. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号して画像信号及び特徴点情報とすると共に、上記ビットストリームにおける画像が上記第１の符号化画像又は第２の符号化画像のいずれであるかを区別する画像符号化型を取り出す復号手段を有し、
上記符号化手段は上記復号手段からの画像信号及び特徴点情報並びに画像符号化型に基づいて上記画像信号をビットストリームに符号化すること
を特徴とする請求項５記載の動画像符号化装置。A bit stream consisting of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order, and this bit A bit stream having the maximum value of the interval of the first encoded images in the stream as feature point information is decoded into an image signal and feature point information, and the image in the bit stream is the first encoded image or Decoding means for taking out an image coding type for distinguishing which one of the second coded images,
6. The moving image encoding apparatus according to claim 5, wherein the encoding unit encodes the image signal into a bit stream based on the image signal and the feature point information from the decoding unit and an image encoding type. 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向予測符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であり、上記画像符号化型はピクチャコーディングタイプであることを特徴とする請求項５記載の動画像符号化装置。  The first encoded image is an intra-image encoded image and a forward prediction encoded image according to the display order, and the second encoded image is a bidirectional predictive encoded image according to the display order, 6. The moving picture coding apparatus according to claim 5, wherein the picture coding type is a picture coding type. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化工程を有し、
上記符号化工程では、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御すること
を特徴とする動画像符号化方法。A bit stream consisting of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order, and this bit An image signal obtained by decoding a bit stream having the maximum value of the interval between the first encoded images in the stream as feature point information, the feature point information, and an image in the bit stream are the first encoded image or the second encoded image. A video encoding method for inputting an image encoding type for distinguishing which one of the encoded images is,
The image signal is encoded into a bit stream consisting of the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of the encoded image in the bit stream. An encoding step,
In the encoding step, a delay amount until the bit stream is output after the image signal is input and a memory amount necessary for encoding are controlled in correspondence with the maximum value of the feature point information. A video encoding method characterized by the above. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を符号化したビットストリームを出力する動画像符号化方法であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化すると共に、上記第１の符号化画像信号の間隔の最大値を特徴点情報として符号化する符号化工程
を有することを特徴とする動画像符号化方法。An image signal obtained by decoding a bit stream including a first encoded image that is decoded without referring to the rear according to the display order, and a second encoded image that is decoded with reference to the rear according to the display order, and A moving picture coding method for outputting a bit stream obtained by coding an image coding type for distinguishing whether an image in the bit stream is the first coded image or the second coded image. ,
The image signal is encoded into a bit stream consisting of the first encoded image and the second encoded image based on the image encoding type so as to match the encoding type of the encoded image in the bit stream. with, video encoding method characterized by having an encoding step of encoding the feature point information the maximum spacing of the first coded picture signal. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、
上記ビットストリームを画像信号に復号する復号手段と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力手段と
を有することを特徴とする動画像復号装置。A moving image to which a bit stream composed of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order is input A decoding device,
Decoding means for decoding the bitstream into an image signal;
And a feature point information output means for outputting, as feature point information, a maximum value of the interval between the first encoded images in the bit stream. 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であることを特徴とする請求項１０記載の動画像復号装置。The first encoded image is an intra-image encoded image and a forward encoded image according to the display order, and the second encoded image is a bidirectional predictive encoded image according to the display order. The moving picture decoding apparatus according to claim 10, characterized in that: 上記特徴点情報は、画像信号に多重化してあることを特徴とする請求項１０の動画像復号装置。11. The moving picture decoding apparatus according to claim 10 , wherein the feature point information is multiplexed with an image signal. 上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する符号化型は、上記画像信号の垂直ブランキングに記録されることを特徴とする請求項１２記載の動画像復号装置。The moving image according to claim 12 , wherein an encoding type for distinguishing between the first encoded image and the second encoded image is recorded in vertical blanking of the image signal. Image decoding device. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、
上記ビットストリームを画像信号に復号する復号工程と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程と
を有することを特徴とする動画像復号方法。A moving image to which a bit stream composed of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order is input A decryption method,
A decoding step of decoding the bitstream into an image signal;
And a feature point information output step of outputting, as feature point information, a maximum value of the interval between the first encoded images in the bitstream. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、
上記ビットストリームを画像信号に復号する復号手段と、
上記復号手段にて上記ビットストリームを復号する際に、復号に係る当該画像から表示順序に次の第１の符号化画像までの距離を特徴点情報として出力する特徴点情報手段と
を有することを特徴とする動画像復号装置。A moving image to which a bit stream composed of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order is input A decoding device,
Decoding means for decoding the bitstream into an image signal;
And a feature point information means for outputting, as feature point information, a distance from the image related to decoding to the next encoded image in the display order when the bit stream is decoded by the decoding means. A moving image decoding apparatus. 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であることを特徴とする請求項１５記載の動画像復号装置。The first encoded image is an intra-image encoded image and a forward encoded image according to the display order, and the second encoded image is a bidirectional predictive encoded image according to the display order. The moving picture decoding apparatus according to claim 15, characterized in that: 上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する符号化型は、上記画像信号の垂直ブランキングに記録されることを特徴とする請求項１５記載の動画像復号装置。 16. The moving image according to claim 15 , wherein an encoding type for distinguishing between the first encoded image and the second encoded image is recorded in vertical blanking of the image signal. Image decoding device. 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、
上記ビットストリームを画像信号に復号する復号工程と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程と
を有することを特徴とする動画像復号方法。A moving image to which a bit stream composed of a first encoded image that is decoded without referring to the rear according to the display order and a second encoded image that is decoded with reference to the rear according to the display order is input A decryption method,
A decoding step of decoding the bitstream into an image signal;
And a feature point information output step of outputting, as feature point information, a maximum value of the interval between the first encoded images in the bitstream.
JP03628898A 1998-02-18 1998-02-18 Moving picture coding apparatus and method, and moving picture decoding apparatus and method Expired - Lifetime JP4193224B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03628898A JP4193224B2 (en) 1998-02-18 1998-02-18 Moving picture coding apparatus and method, and moving picture decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03628898A JP4193224B2 (en) 1998-02-18 1998-02-18 Moving picture coding apparatus and method, and moving picture decoding apparatus and method

Publications (2)

Publication Number Publication Date
JPH11234675A JPH11234675A (en) 1999-08-27
JP4193224B2 true JP4193224B2 (en) 2008-12-10

Family

ID=12465616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03628898A Expired - Lifetime JP4193224B2 (en) 1998-02-18 1998-02-18 Moving picture coding apparatus and method, and moving picture decoding apparatus and method

Country Status (1)

Country Link
JP (1) JP4193224B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus
JP5188033B2 (en) * 2006-04-24 2013-04-24 株式会社日立製作所 Recording / reproducing apparatus, sending apparatus and transmission system.
WO2012115434A2 (en) * 2011-02-21 2012-08-30 한국전자통신연구원 Method for encoding and decoding images using plurality of reference images and device using method

Also Published As

Publication number Publication date
JPH11234675A (en) 1999-08-27

Similar Documents

Publication Publication Date Title
KR100272817B1 (en) Image decoing device
KR100571307B1 (en) Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method
KR100766740B1 (en) Apparatus and method for converting data using encoding history information
KR100604631B1 (en) Editing device, editing method, re-encoding device, re-encoding method, splicing device, and splicing method
US5786858A (en) Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
CN100521791C (en) Image processing device and image processing method
JP2000278692A (en) Compressed data processing method, processor and recording and reproducing system
JP2001285861A (en) Device for encoding picture signal
KR100826751B1 (en) Transmitting apparatus of image information, transmission system, and transmitting method
KR100860661B1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP2002199392A (en) Method and device for encoding image
JP3487205B2 (en) Image data editing device
JP4193224B2 (en) Moving picture coding apparatus and method, and moving picture decoding apparatus and method
JPH08251582A (en) Encoded data editing device
JP3748234B2 (en) MPEG data recording method
JP4462559B2 (en) Trick playback content creation method and device, trick playback compressed video data transmission method and device, and trick playback content creation program
JP2008042660A (en) Video signal reencoding device and video signal reencoding method
JP4178521B2 (en) Encoded video signal recording method and video signal encoding apparatus
JP2004179683A (en) Picture recording system
KR100252810B1 (en) Mpeg decoder
JP3748243B2 (en) MPEG data recording device
JP3748244B2 (en) MPEG data recording device
JP3748240B2 (en) MPEG data recording method
JP3748241B2 (en) MPEG data recording method
JP3748242B2 (en) MPEG data recording method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4