JP3572819B2 - ディジタル画像圧縮符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、高能率符号化によりディジタル画像信号をデータ圧縮して符号化データを生成するディジタル画像圧縮符号化装置、特にインターレース走査されたディジタル画像信号を符号化するディジタル画像圧縮符号化装置に関する。
【０００２】
【従来の技術】
ディジタル画像信号のデータ圧縮を行う高能率符号化方式としては、従来、フレーム内符号化方式とフレーム間符号化方式とが知られている。フレーム内符号化方式は、前のフレームからの予測を行わずに、フレーム内の画像データそのものの相関を利用して符号化を行う方式であって、ランダムアクセスや編集などの実現が容易となるという特徴がある。また、フレーム間符号化方式は、参照フレームとなる前のフレームからの予測を行い、フレーム間の画像データの相関を利用して符号化を行う方式であって、高いデータ圧縮率を達成することができるという特徴がある。このフレーム間符号化方式としては、動き補償フレーム間予測符号化方式がよく用いられる。
【０００３】
この動き補償フレーム間予測符号化方式は、まず参照フレームとなる前のフレームと現在のフレームから所定サイズのブロック単位で動きベクトルを検出し、次にその動きベクトルに応じてシフトさせたブロック位置から前のフレームの再生画像データを読み出して予測画像データとし、さらに符号化すべき現在のフレームの画像データからその予測画像データを減算して動き補償予測誤差データを求めた後、所定の方式により符号化を行う方式である。
【０００４】
ディジタル画像信号を符号化によりデータ圧縮するディジタル画像圧縮符号化装置においては、以上のフレーム内符号化方式とフレーム間符号化方式とが組み合わされた符号化方式が用いられることが多い。これは、高いデータ圧縮率の達成とランダムアクセスや編集などの機能の実現を両立させるためである。
【０００５】
このようなディジタル画像信号の高能率符号化方式としては、例えば、テレビジョン学会編「総合マルチメディア選書ＭＰＥＧ」オーム社出版局発行（１９９６年４月２０日）ｐｐ．６９−１３２や、安田，渡辺共著「ディジタル画像圧縮の基礎」日経ＢＰ出版センター発行（１９９６年１月２０日）ｐｐ．１３５−２００などに概説されているが、ここに開示される高能率符号化方式は、ＩＳＯ／ＩＥＣで標準化されたＭＰＥＧ−１方式とＭＰＥＧ−２方式である。いずれも動き補償（ＭＣ）によるフレーム間予測と離散コサイン変換（ＤＣＴ）とを組み合わせたＭＣ−ＤＣＴ方式となっている。
【０００６】
ＭＰＥＧ−１方式とＭＰＥＧ−２方式のどちらの場合も、フレーム内符号化するフレーム（以下、Ｉフレームという）、前のフレームを利用して片方向動き補償フレーム間予測符号化するフレーム（以下、Ｐフレームという）、および前のフレームと後のフレームを利用して双方向動き補償フレーム間予測符号化するフレーム（以下、Ｂフレームと呼ぶ）とを適宜切り換えながら、ディジタル画像信号を符号化する。これら３種類の画像符号化タイプの中で、ＩフレームとＰフレームとは、引き続く動き補償フレーム間予測のための参照フレームとして用いられることになる。また、いずれの方式の場合も、符号化するフレームをマクロブロックと呼ばれるブロックに分割して、マクロブロック単位で符号化を行う。なお、マクロブロックのサイズは、輝度信号に関して１６×１６画素（２種類の色差信号に関しては８×８画素）である。
【０００７】
さて、通常のＴＶ信号はインターレース走査の画像信号となっている。このようなインターレース走査のディジタル画像信号においては、時刻が異なりかつ画面上でのライン位置がずれた２フィールドから１フレームが構成され、各フィールドごとにラスタ走査が行われる。ＭＰＥＧ−１方式は、インターレース走査でないプログレッシブ走査の画像信号を対象としている方式であるため、インターレース走査のディジタル画像信号を符号化する場合には、まず片方のフィールドを捨て、さらに水平方向の解像度を半分にすることにより、解像度を落としたプログレッシブ走査の画像信号に変換した後で符号化することになる。これに対して、ＭＰＥＧ−２方式は、インターレース走査の画像信号に対応できるようにＭＰＥＧ−１方式が拡張されている方式であるため、インターレース走査のディジタル画像信号を符号化する場合には、そのディジタル画像信号の解像度を落とすことなく直接符号化することができる。その場合に、ＭＰＥＧ−２方式では、フレームごとにマクロブロック単位で符号化を行うフレーム構造と、フレームを構成する各フィールドごとにマクロブロック単位で符号化を行うフィールド構造のどちらかを選択可能であり、かつ符号化途中で任意に切り換え可能である。近年、高画質を実現できるＭＰＥＧ−２方式を適用する場合が多くなってきている。
【０００８】
ＭＰＥＧ−１方式とＭＰＥＧ−２方式のどちらの場合も、双方向動き補償フレーム間予測符号化を行うＢフレームを織り混ぜて符号化を行うために、入力順序から符号化順序へフレームの並び換え、すなわちフレーム順序の変換が必要となる。また、フレームごとにマクロブロック単位で符号化を行うために、ラスタ走査からマクロブロック走査へ走査の変換も必要となる。したがって、ディジタル画像圧縮符号化装置は、このようなフレーム順序変換と走査変換を行った後、マクロブロック単位で符号化を行うことになる。データ圧縮された符号化データを復号してディジタル画像信号を再生するディジタル圧縮画像復号装置は、符号化データの復号の後、符号化の際に行われるフレーム順序変換と走査変換のそれぞれの逆処理を行う。
【０００９】
また、ＭＰＥＧ−２方式においてフレーム構造で符号化を行う場合には、前述したフレーム順序変換と走査変換に加え、さらに、フィールド単位の入力形式からフレーム単位の入力形式へフィールド／フレームの変換を行う必要がある。ＭＰＥＧ−２方式においてフィールド構造で符号化を行う場合には、このフィールド／フレーム変換は必要ない。なお、符号化途中でフレーム構造とフィールド構造とを切り換える場合には、フィールド／フレーム変換を行うか行わないかの切り換えが必要となる。
【００１０】
ＭＰＥＧ−１方式によりプログレッシブ走査のディジタル画像信号を符号化するディジタル画像圧縮符号化装置としては、例えば、特開平５−２３６４６６号公報にその例が記載されている。
【００１１】
これは、マクロブロック単位でディジタル画像信号の符号化を行う符号化回路の前に、入力された画像信号の入力順序を符号化順序に変換するフレーム順序変換回路と、フレーム順序変換の後にラスタ走査をマクロブロック走査に変換する走査変換回路とを備えるものである。
【００１２】
フレーム順序変換回路は、ＩまたはＰフレームのフレーム間隔がＭ（Ｍは１よりも大きい整数であって、例えば３）固定である場合に対応するもので、隣接するＩまたはＰフレームの間にある（Ｍ−１）フレーム分のＢフレームの画像を保持するフレームメモリを備えている。フレーム順序変換回路は、ＩまたはＰフレームは入力された画像をそのまま直ちに出力し、Ｂフレームは入力された画像をフレームメモリに一旦格納してＭフレーム期間だけ遅延させて出力することにより、入力順序から符号化順序へフレーム順序を変換する。このフレームメモリは、（Ｍ−１）フレーム分のデータ容量を持つＦＩＦＯメモリとして動作する。また、走査変換回路は、プログレッシブ走査の画像に対応するもので、ラスタ走査からマクロブロック走査へ走査を変換する。
【００１３】
また、画像符号化回路は、ＩまたはＰフレームの入力画像を格納する２面のフレームメモリＦＭと、ＩまたはＰフレームの局部復号画像を格納する別の２面のフレームメモリＦＭ’とを備えている。２面あるフレームメモリＦＭの各面が交互に選択され、選択された面に符号化順序で最新のＩまたはＰフレームの入力画像が書き込まれることにより、参照フレームとなる最新の２フレーム分のＩまたはＰフレームの入力画像がフレームメモリＦＭには常に保持される。同様にして、符号化順序で最新の２フレーム分のＩまたはＰフレームの局部復号画像がフレームメモリＦＭ’には常に保持される。画像符号化回路は、例えば、Ｂフレームを符号化する場合には、符号化する現在のＢフレームの入力画像と、フレームメモリＦＭに保持されている符号化順序で前となる２フレーム分のＩまたはＰフレームの入力画像とから、表示順序で前方向と後方向の２種類の動きベクトルを検出し、求められた動きベクトルに従って、フレームメモリＦＭ’に保持されている２フレーム分のＩまたはＰフレームの局部復号画像から動き補償された予測画像を生成する。なお、動きベクトル検出を局部復号画像を用いて行う方法もあり、その場合にはフレームメモリＦＭは不要となる。
【００１４】
動きベクトル検出回路は、Ｋ段（Ｋは１よりも大きい整数であって、例えば２）の多段階探索を行ってマクロブロックごとの動きベクトルを検出するものであり、最終段以外の各段の探索においては、参照フレームの画像データをサブサンプリングしてフレームメモリＦＭあるいはフレームメモリＦＭ’から読み出して使用する。入力画像から動きベクトル検出を行う方法の場合には、フレームメモリＦＭを使用し、局部復号画像から動きベクトル検出を行う方法の場合には、フレームメモリＦＭ’を使用する。例えば、Ｋが２の場合、第１段では、水平方向および垂直方向のそれぞれについて１／２サブサンプリングしながら１６×１６画素の画像データを読み出すことにより、３２×３２画素の領域内における２画素精度の探索を行って動きベクトル候補を決定する。そして、第２段（最終段）では、第１段探索で決定された動きベクトル候補の周りの１８×１８画素の画像データをサブサンプリングせずに読み出すことにより、１画素精度および０．５画素精度の探索を行って実際の動きベクトルを検出する。なお、第１段の探索においては、１６×１６画素のマクロブロックの入力画像データから、水平方向および垂直方向のそれぞれについて１／２サブサンプリングした８×８画素の画像データを生成し、その生成された画像データを探索のために使用する。
【００１５】
動き補償予測画像生成回路は、動きベクトル検出回路で検出された動きベクトルに従って、フレームメモリＦＭ’から参照フレームの画像データを読み出してマクロブロックごとの予測画像データを生成する。入力画像から動きベクトル検出を行う方法の場合には、動きベクトル検出回路が最終段の探索のためにフレームメモリＦＭから画像データを読み出すためのアドレスと、動き補償予測画像生成回路がフレームメモリＦＭ’から画像データを読み出すためのアドレスとを共通化し、同一のアドレス制御回路で両方の画像データの読み出しを同時に行う。
【００１６】
また、局部復号画像から動きベクトル検出を行う方法の場合には、動きベクトル検出回路が最終段の探索のためにフレームメモリＦＭ’から画像データを読み出す際に、同時にその画像データを動き補償予測画像生成回路にも取り込んで使用する。動き補償予測画像生成回路では、入力画像データに対する最適な予測方式を判定し、最適な予測画像データと入力画像データとの差分である予測誤差データを生成する。
【００１７】
なお、入力画像のＩまたはＰフレームを保持するフレームメモリＦＭと、局部復号画像のＩまたはＰフレームを保持するフレームメモリＦＭ’として、別の記憶回路を用いるのではなく、同一記憶回路の別のアドレス空間にマッピングしてもよい。また、動きベクトル検出回路における第１段の探索の探索精度改善のために、サブサンプリングの前段に低域通過フィルタを施してもよい。
【００１８】
以上説明したディジタル画像圧縮符号化装置は、解像度を落としたプログレッシブ走査のディジタル画像信号をＭＰＥＧ−１方式により符号化するものである。インターレース走査のディジタル画像信号を解像度を落とすことなくＭＰＥＧ−２方式により符号化するディジタル画像符号化装置を構成するためには、この従来技術によるフレーム順序変換回路の前にフィールド／フレーム変換回路を設ければよい。このフィールド／フレーム変換回路としては、例えば、２面のフレームメモリを備え、インターレース走査によりフィールド単位で入力される現在のフレームの画像を一方の面のフレームメモリに書き込みながら、他方のフレームメモリに保持されている前のフレームの画像をプログレッシブ走査によりフレーム単位で読み出して出力するものとすればよい。なお、この２面のフレームメモリに関しては、入力される画像を書き込む面と出力する画像を読み出す面とが常に異なり、フレーム期間ごとに書き込みと読み出しの選択面が交互に切り換えられる。
【００１９】
【発明が解決しようとする課題】
ところで、上記従来技術は、フィールド／フレーム変換、フレーム順序変換、および走査変換のそれぞれを個別の処理回路で実現するものであったので、これらの処理の全てを実現するために必要な処理回路の回路規模、フレームメモリのデータ容量、およびフレームメモリに対するメモリアクセスのバンド幅が大きくなっていた。なお、メモリアクセスのバンド幅とは、例えば、フレーム期間あたりに書き込みと読み出しが行われる画像データのデータ量のことである。具体的には、フレームメモリのデータ容量に関しては、フィールド／フレーム変換回路に２面のフレームメモリとフレーム順序変換回路に（Ｍ−１）面のフレームメモリが、すなわち合計（Ｍ＋１）面のフレームメモリが必要となっていた。また、フレームメモリに対するメモリアクセスのバンド幅に関しては、ＩまたはＰフレームの場合にはフィールド／フレーム変換回路のフレームメモリに対する画像データの書き込みと読み出しが、Ｂフレームの場合にはそれらに加えてフレーム順序変換回路のフレームメモリに対する画像データの書き込みと読み出しも必要となっていた。特に、これらのフレームメモリを一体化して同一のメモリ素子で実現しようとすると問題になる場合がある。
【００２０】
また、上記従来技術は、フレーム順序変換回路における（Ｍ−１）面のフレームメモリが、Ｂフレームの画像データをＭフレーム時間だけ遅延させるためのＦＩＦＯメモリとして動作するものであったので、ＩまたはＰフレームのフレーム間隔Ｍが固定である場合にだけ対応するものであった。すなわち、符号化の途中でＩまたはＰフレームのフレーム間隔を変えてＭを可変とする場合には対応していなかった。例えば、基本的にはＩまたはＰフレームのフレーム間隔Ｍを３とするが、ランダムアクセスのために必要となるＩフレームを１０フレームごとに設けたい場合には、ときどきＩまたはＰフレームのフレーム間隔Ｍを１にする必要がある。また、シーンチェンジ直後のフレームや動き補償予測の効率が良くないフレームはＰまたはＢフレームではなくＩフレームにしたい場合や、さらにシーンチェンジ前のフレームや双方向動き補償予測の効率が良くないフレームはＢフレームではなくＰフレームにしたい場合もあり、符号化の途中でＩまたはＰフレームのフレーム間隔を変えてＭを可変とする必要がある。
【００２１】
さらに、上記従来技術は、動きベクトル検出のために使用するフレームメモリを、フィールド／フレーム変換やフレーム順序変換のために使用するフレームメモリとは別に設けていたので、これらの処理の全てを実現するために必要なフレームメモリに対するメモリアクセスのバンド幅が大きくなっていた。具体的には、動きベクトル検出のために使用するフレームメモリに対するメモリアクセスとして、Ｉフレームの場合には画像データの書き込みが、Ｐフレームの場合には画像データの書き込みと読み出しが、またＢフレームの場合には画像データの読み出しが、前記したフィールド／フレーム変換回路のフレームメモリとフレーム順序変換回路のフレームメモリに対するメモリアクセスに加えて必要となっていた。特に、これらのフレームメモリを一体化して同一のメモリ素子で実現しようとすると問題になる場合がある。
【００２２】
本発明の目的は、かかる問題を解消し、フィールド／フレーム変換、フレーム順序変換、および走査変換の処理を実現するために必要な処理回路の回路規模、フレームメモリのデータ容量、およびフレームメモリに対するメモリアクセスのバンド幅が小さな、簡易な構成のディジタル画像圧縮符号化装置を提供することにある。
【００２３】
また、本発明の別の目的は、符号化するＩまたはＰフレームのフレーム間隔Ｍを固定でなく可変とする場合にも対応可能としたディジタル画像圧縮符号化装置を提供することにある。
【００２４】
さらに、本発明の別の目的は、動きベクトル検出、フィールド／フレーム変換、およびフレーム順序変換の処理を実現するために必要なフレームメモリのデータ容量、およびフレームメモリに対するメモリアクセスのバンド幅が小さなディジタル画像圧縮符号化装置を提供することにある。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本発明では、ＩフレームまたはＰフレームの最大フレーム間隔Ｍに対応したＭ面のフレームメモリから成る入力フレームメモリ手段と、以下の書き込み規則に従って、前記入力フレームメモリ手段の所定面のフレームメモリに、入力された各フレームの画像データを書き込み、以下の読み出し規則に従って、前記入力フレームメモリ手段の所定面のフレームメモリから、符号化するフレームの画像データを読み出す画像入力変換手段とを備え、該画像入力変換手段において、前記読み出しは、前記書き込みを行っているフレームの先頭の１水平走査分の符号化単位ブロックの画像データが全て書き込まれてから開始する。
【００２６】
ここで上記書き込み規則は、（１）先頭のＭフレームは、順に第１面から第Ｍ面のフレームメモリに書き込む。（２）（Ｍ＋１）番目のフレームは、先頭のＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面に書き込む。（３）（Ｍ＋２）番目以降のフレームは、その（Ｍ＋１）フレーム前に書き込んだフレームの画像タイプがＢフレームであった場合には、（Ｍ＋１）フレーム前のフレームが書き込まれた面に書き込み、（Ｍ＋１）フレーム前に書き込んだフレームの画像タイプがＩフレームまたはＰフレームであった場合には、Ｍフレーム前に書き込んだフレームから１フレーム前に書き込んだフレームまでのＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面に書き込む、とする。
【００２７】
ここで上記読み出し規則は、（１）Ｍ番目のフレームの書き込み中に最初のフレームの読み出しを開始し、最初の読み出しフレームの場合、およびＭフレーム前に書き込んだフレームの画像タイプがＩフレームまたはＰフレームであった場合には、（Ｍ−１）フレーム前に書き込んだフレームから現在書き込み中のフレームまでのＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面から読み出し、Ｍフレーム前に書き込んだフレームの画像タイプがＢフレームであった場合には、Ｍフレーム前のフレームが書き込まれた面から読み出す、とする。
【００２８】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
【００２９】
図１は本発明によるディジタル画像圧縮符号化装置の第一の実施形態を示すブロック図であって、１は画像データの入力端子、２は画像入力変換回路、３は動きベクトル検出回路、４は減算回路、５はＤＣＴ（離散コサイン変換）回路、６は量子化回路、７は逆量子化回路、８は逆ＤＣＴ回路、９は加算回路、１０は動き補償回路、１１は可変長符号化回路、１２は出力制御回路、１３は符号化制御回路、１４は選択面制御回路、１５は画像タイプ生成回路、１６は符号化データの出力端子、１７はフレーム間隔情報の入力端子、２１は入力フレームメモリ、２２は動き検出フレームメモリ、２３は局部復号フレームメモリ、２４はバッファメモリである。本実施形態のディジタル画像圧縮符号化装置は、５２５／６０方式によるディジタル画像信号を符号化によりデータ圧縮して符号化データを生成するものである。５２５／６０方式とは、フレームの画素数が７２０×４８０画素でフレームレートが毎秒約３０フレームでインターレース走査された画像信号の形式のことである。
【００３０】
同図において、符号化するインターレース走査の画像データが、フィールド単位のラスタ走査に従って入力端子１から入力される。４：２：２フォーマットの画像データとして入力される。４：２：２フォーマットにおける輝度データの画素数はフィールドあたり７２０×２４０画素、色差データの画素数はフィールドあたり３６０×２４０画素である。画像入力変換回路２は、入力された画像データを４：２：０フォーマットに変換して入力フレームメモリ２１に一旦記憶保持することにより、画像データのフレーム入力順序をフレーム符号化順序に変換した後で、フレーム単位のマクロブロック走査に従って画像データを出力する。４：２：０フォーマットにおける輝度データの画素数はフレームあたり７２０×４８０画素、色差データの画素数はフレームあたり３６０×２４０画素である。２種類の色差データのそれぞれについて、フィールド単位で垂直方向にＬＰＦを利用した１／２サブサンプリングを行うことにより、４：２：２フォーマットから４：２：０フォーマットへの変換を行う。入力フレームメモリ２１は、３フレーム分の画像データを保持可能な３面のフレームメモリである。各画素の画像データが８ビットで表現される４：２：０フォーマットの場合、１フレーム分の画像データのデータ量は、
（７２０×４８０＋２×３６０×２４０）×８＝４１４７２００
ビットであるので、１面のフレームメモリのデータ容量は約４Ｍｂｉｔ（ここで１Ｍｂｉｔ＝１０４８５７６ビット）である。したがって、入力フレームメモリ２１のデータ容量は１２Ｍｂｉｔである。
【００３１】
まず、画像入力変換回路２は、入力された現在のフレーム（２フィールドから成る）の画像データを、入力フレームメモリ２１のいずれかの面に書き込む。現在のフレームの画像データをどの面に書き込むかを示す書き込み選択面情報は、選択面制御回路１４で生成され、画像入力変換回路２に供給される。各フレームごとにその時点で使用可能な面が書き込み選択面となる。次に、画像入力変換回路２は、符号化するフレームの画像データとして、入力フレームメモリ２１のいずれか適切な面からそこに保持されているフレームの画像データを読み出す。符号化するフレームの画像データをどの面から読み出すかを示す読み出し選択面情報は、選択面制御回路１４で生成され、画像入力変換回路２に供給される。フレーム単位のマクロブロック走査に従って画像入力変換回路２から出力された画像データは、動きベクトル検出回路３と減算回路４に供給される。なお、本実施形態のディジタル画像圧縮符号化装置は固定タイムスロットに従ってマクロブロック単位で符号化を進めるものであり、入力フレームメモリ２１に対して画像入力変換回路２が行う画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【００３２】
画像タイプ生成回路１５は、入力端子１から入力される各フレームの画像データを３種類のＩ，Ｐ，Ｂフレームという画像符号化タイプのいずれにより符号化するかを示す画像タイプ情報を生成するものである。画像タイプ生成回路１５には、参照フレームとなるＩまたはＰフレームのフレーム間隔Ｍ（１，２，３のいずれかの値）、およびＩフレームのフレーム間隔Ｎ（Ｍの倍数）という２種類のフレーム間隔情報が入力端子１７を通して設定される。画像タイプ生成回路１５は、これら２種類のフレーム間隔情報に応じて、フレーム入力順序による画像タイプ情報とフレーム符号化順序による画像タイプ情報という２種類の画像タイプ情報をフレーム期間ごとに規則的に生成して出力する。例えば、Ｍが３でＮが１２と設定された場合には、フレーム入力順序による画像タイプ情報を、
Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，…
の順で生成出力し、フレーム符号化順序による画像タイプ情報を、
Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，…
の順で生成出力する。ただし、このようにＭが３の場合には、フレーム入力順序による各フレームの画像タイプ情報は、入力端子１から入力開始された先頭フレームの画像データに同期したタイミングで生成出力を開始するが、フレーム符号化順序による各フレームの画像タイプ情報は、符号化が開始されるまでの遅延時間である２．５フレーム期間経過した後に生成出力を開始する。
【００３３】
動きベクトル検出回路３は、画像入力変換回路２からフレーム符号化順序によりフレーム単位のマクロブロック走査で出力される画像データについて、動き検出フレームメモリ２２に記憶保持されている既に符号化された最新の２フレーム分のＩまたはＰフレームの画像データを利用して、マクロブロック単位で動きベクトルを検出する。動き検出フレームメモリ２２は、２フレーム分の画像データを保持可能な２面のフレームメモリである。動き検出フレームメモリ２２のデータ容量は８Ｍｂｉｔである。まず、動きベクトル検出回路３は、入力されるフレームの画像データがＩまたはＰフレームである場合には、２面ある動き検出フレームメモリ２２の一方の面にそのフレームの画像データを書き込む。常にフレーム符号化順序で最新の２フレーム分のＩまたはＰフレームの画像データが動き検出フレームメモリ２２に保持されるように、入力されるＩまたはＰフレームの画像データを書き込むフレームメモリの選択面は交互に切り換えられる。なお、動き検出フレームメモリ２２に対して動きベクトル検出回路３が行う画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【００３４】
動きベクトル検出回路３は、入力された画像データがＩフレームである場合には、動きベクトル検出処理を行わない。入力された画像データがＰフレームである場合には、その符号化するフレームの画像データの各マクロブロックについて、フレームメモリ２２のどちらかの面に保持されている最新の１フレーム分のＩまたはＰフレームの画像データを参照フレームとして、全探索ブロックマッチング手法により１種類の動きベクトルを検出する。これは、片方向動き補償フレーム間予測のために用いる順方向の動きベクトルを検出する片方向ベクトル検出モードである。なお、全探索ブロックマッチング手法とは、入力されたマクロブロック内の画像データの並びのパターンと最も良く似ている画像データの並びのパターンを、参照フレームにおける所定探索範囲内の全てのマクロブロックシフト位置について検索するものである。
【００３５】
１６×１６画素のマクロブロックを構成する輝度データの４ブロックと２種類の色差データの各１ブロックの合計６ブロック（ブロックサイズは８×８画素）の全ての画像データ、すなわち合計で３８４画素分の画像データについて、画素単位で符号化するフレームの画像データと参照フレームの画像データとの差分絶対値を生成しマクロブロック全体にわたって重み付け加算することにより差分絶対値和を生成する。そして、所定探索範囲内の各マクロブロックシフト位置について得られた差分絶対値和を比較して最小値を検出し、差分絶対値和が最小となるマクロブロックシフト位置に対応したシフト量を検出された動きベクトルとして出力する。なお、差分絶対値和を生成する際の重み付け加算とは、２種類の色差データの各画素の差分絶対値について所定の１以下の重み付け係数を乗算した後に加算する処理であり、２種類の色差データのそれぞれについて予め定められた異なる値が用いられる。輝度データの各画素の差分絶対値については重み付け係数は常に１である。
【００３６】
また、動きベクトル検出回路３は、入力された画像データがＢフレームである場合には、その符号化するフレームの画像データの各マクロブロックについて、動き検出フレームメモリ２２の両方の面に保持されている最新の２フレーム分のＩまたはＰフレームの画像データを参照フレームとして、全探索ブロックマッチング手法により２種類の動きベクトルを検出する。これは、双方向動き補償フレーム間予測のために用いる順方向と逆方向の動きベクトルを検出する双方向ベクトル検出モードである。すなわち、動き検出フレームメモリ２２のどちらかの面に保持されている古い方のフレームのＩまたはＰフレームの画像データを参照フレームとして順方向の動きベクトルを検出し、別の面に保持されている新しい方のフレームのＩまたはＰフレームの画像データを参照フレームとして逆方向の動きベクトルを検出する。ただし、フレーム入力順序で一番先頭に位置する一連のＢフレームの場合には、動き検出フレームメモリ２２の片面にフレーム入力順序では後になるＩフレームの画像データが保持されているだけであるので、そのＩフレームの画像データを参照フレームとして逆方向の動きベクトルのみを検出する。すなわち、この場合には順方向の動きベクトルの検出は行わない。
【００３７】
動きベクトル検出回路３には、動きベクトル検出を行わない、順方向のみの動きベクトルを検出する、逆方向のみの動きベクトルを検出する、あるいは順方向と逆方向の両方の動きベクトルを検出するという４種類のモードのいずれかを指示するベクトル検出モード情報が符号化制御回路１３から供給され、このベクトル検出モードに応じて動きベクトル検出回路３の動作が切り換えられる。符号化するフレームがＩフレームである場合には第１のモードが、Ｐフレームである場合には第２のモードが、Ｂフレームである場合には第３または第４のモードが用いられる。動きベクトル検出回路３は、マクロブロックごとに検出された動きベクトル（Ｐフレームでは１種類、Ｂフレームでは通常２種類）に加えて、各動きベクトルに対応したマクロブロックの画像データの差分絶対値和の値も、同時に動き補償回路１０に出力する。なお、Ｉフレームについては、動きベクトルもそれに対応した差分絶対値和の値も出力されない。
【００３８】
動き補償回路１０は、動きベクトル検出回路３から供給される動きベクトルに従って、局部復号フレームメモリ２３に保持されている２フレーム分のＩまたはＰフレームの局部復号された再生画像データから、マクロブロックごとの予測画像データを生成し、減算回路４と加算回路９に出力する。局部復号フレームメモリ２３は符号化された後に局部復号されたＩまたはＰフレームの最新の２フレーム分を保持可能な２面のフレームメモリである。局部復号フレームメモリ２３のデータ容量は８Ｍｂｉｔである。Ｉフレームの場合には、動きベクトル検出回路３から動きベクトルは供給されないので、動き補償回路１０は全てのマクロブロックについてフレーム内符号化のための予測データとして値０を常時出力する。Ｐフレームの場合には、動きベクトル検出回路３から供給される１種類の動きベクトルに従って、局部復号フレームメモリ２３のどちらかの面に保持されている最新の１フレーム分のＩまたはＰフレームの局部復号された再生画像データから、片方向動き補償フレーム間予測のための予測画像データを生成する。ただし、動きベクトルと同時に動きベクトル検出回路３から供給される差分絶対値和の値が所定のしきい値よりも大きいマクロブロックについては、そのマクロブロックにおける片方向動き補償フレーム間予測の効率が良くないと判断し、予測画像データとしてフレーム内符号化のための値０を出力する。すなわち、予測モードとしてマクロブロック単位で片方向動き補償フレーム間予測モードとフレーム内符号化モードとを切り換える。
【００３９】
Ｂフレームの場合には、動きベクトル検出回路３から供給される通常２種類の動きベクトルに従って、局部復号フレームメモリ２３のいずれかの面に保持されている古い方のフレームのＩまたはＰフレームの局部復号された再生画像データから順方向の予測画像データを生成し、また逆の面に保持されている新しい方のフレームのＩまたはＰフレームの局部復号された再生画像データから逆方向の予測画像データを生成する。そして、これら２種類の予測画像データの平均値を求めて、双方向動き補償フレーム間予測のための予測画像データを生成する。ただし、フレーム入力順序で先頭に一番位置する一連のＢフレームの場合には、動きベクトル検出回路３から逆方向の動きベクトルのみが供給されるので、局部復号フレームメモリ２３のいずれかの面に保持されている新しい方のフレームのＩまたはＰフレームの局部復号された再生画像データから逆方向の予測画像データを生成する処理だけが行われる。なお、通常、順方向動きベクトルと同時に動きベクトル検出回路３から供給される順方向動きベクトルに関する差分絶対値和の値が所定のしきい値よりも大きいマクロブロックについては、そのマクロブロックにおける順方向動き補償フレーム間予測の効率が良くないと判断し、順方向の予測画像データを値０に置き換えることにより逆方向動き補償フレーム間予測のための予測画像データを出力する。また、逆方向動きベクトルと同時に動きベクトル検出回路３から供給される逆方向動きベクトルに関する差分絶対値和の値が所定のしきい値よりも大きいマクロブロックについては、そのマクロブロックにおける逆方向動き補償フレーム間予測の効率が良くないと判断し、逆方向の予測画像データを値０に置き換えることにより順方向動き補償フレーム間予測のための予測画像データを生成する。さらに、２種類の動きベクトルに関する差分絶対値和の値が両方とも所定のしきい値よりも大きいマクロブロックについては、そのマクロブロックにおける双方向、順方向、および逆方向のいずれの動き補償フレーム間予測の効率も良くないと判断し、予測画像データとしてフレーム内符号化のための値０を出力する。すなわち、予測モードとしてマクロブロック単位で双方向動き補償フレーム間予測モード、順方向動き補償フレーム間予測モード、逆方向動き補償フレーム間予測モード、およびフレーム内符号化モードとを切り換える。
【００４０】
減算回路４は、画像入力変換回路２から供給される画像データの値に対して、動き補償回路１０から供給される予測画像データの値を減算して、予測誤差データを生成しＤＣＴ回路５に出力する。ＤＣＴ回路５は、８×８画素のブロック単位で離散コサイン変換を行って、変換係数データを生成し量子化回路６に出力する。ＤＣＴ回路５では、フレームで１６×１６画素のマクロブロックの輝度データを４個のブロックに分割する方法として、フレームＤＣＴモードとフィールドＤＣＴモードの２種類の動作をサポートしている。フレームＤＣＴモードではフレーム内で１６×１６画素のマクロブロックを田の字型に４ブロックに分割する。それに対して、フィールドＤＣＴモードではフレーム内で１６×１６画素のマクロブロックをまず第１フィールドの画像データを含む１６×８画素のグループと第２フィールドの画像データを含む１６×８画素のグループとに２分割し、さらに１６×８画素の各グループを水平２分割して各２ブロックに分割することにより、合計で４ブロックに分割する。このフレームＤＣＴモードとフィールドＤＣＴモードを切り換えるＤＣＴモード情報は符号化制御回路１３で生成されＤＣＴ回路５に供給される。
【００４１】
量子化回路６は、ＤＣＴ回路５から供給されるブロックの変換係数データの値を所定の量子化ステップサイズで除算することにより量子化を行い、量子化係数データを生成して可変長符号化回路１１と逆量子化回路７に出力する。符号化制御回路１３で生成され量子化回路６に供給される量子化パラメータ情報に応じて、変換係数データの周波数ごとに異なる基準量子化ステップサイズがスケーリングされ、各変換係数データのための量子化ステップサイズが決定される。これにより、人間の視覚特性を考慮した重み付け量子化が行われることになる。可変長符号化回路１１では、ブロックごとに量子化回路６から供給される量子化係数データをジグザグ走査順序により１次元のデータ列とし、値０の続く個数であるラン長とその次の値０でないデータの値であるレベルとのペアを生成し、そのペアに対して所定の可変長符号化テーブルを用いて可変長符号の割り当てを行って符号化データを生成する。可変長符号化テーブルとしては、フレーム内符号化の場合に適したイントラ用符号化テーブルと、動き補償フレーム間符号化の場合に適したノンイントラ用符号化テーブルとの２種類があり、符号化制御回路１３で生成され供給される可変長符号化モード情報に応じて、フレームごとにどちらかの可変長符号化テーブルが用いられる。
【００４２】
出力制御回路１２は、可変長符号化回路１１から供給される符号化データを一旦バッファメモリ２４に書き込んだ後、順次バッファメモリ２４に蓄えられている符号化データを読み出して出力端子１６から一定ビットレートで出力する。マクロブロックごとに変動する可変長符号化回路１１から出力された符号化データのビットレートを、この出力制御回路１２とバッファメモリ２４により一定ビットレートに平滑化することになる。バッファメモリ２４は４Ｍｂｉｔのデータ容量を持つ。出力制御回路１２はバッファメモリ２４がリングバッファ構成のＦＩＦＯメモリとして動作するように、バッファメモリ２４に対する符号化データの書き込みアドレスと読み出しアドレスの両方を管理する。なお、バッファメモリ２４に対して出力制御回路１２が行う符号化データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【００４３】
さて、量子化回路６から出力された量子化係数データは、逆量子化回路７、逆ＤＣＴ回路８、および加算回路９という一連の回路で局部復号処理される。ただし、Ｂフレームについては局部復号処理は行われず、後の参照フレームとして用いられるＩフレームとＰフレームについてのみ局部復号処理が行われる。本実施形態のディジタル画像圧縮符号化装置で生成した符号化データを復号処理するディジタル圧縮画像復号装置における再生画像データと同じ再生画像データが、この局部復号処理により本実施形態のディジタル画像圧縮符号化装置においても生成される。逆量子化回路７は、量子化回路６で行われる量子化処理の逆処理を行うもので、量子化回路６から供給されるブロックの量子化係数データの値に所定の量子化ステップサイズを乗算することにより逆量子化を行い、変換係数データを再生して逆ＤＣＴ回路８に出力する。量子化と逆量子化により量子化歪みが変換係数データに加わるため、逆量子化回路７の出力である再生変換係数データと、量子化回路６の入力である元の変換係数データの値は同一ではない。なお、符号化制御回路１３で生成された量子化パラメータ情報は逆量子化回路７にも供給される。逆量子化回路７においても量子化回路６と同様にして、この量子化パラメータ情報に応じて、変換係数データの周波数ごとに異なる基準量子化ステップサイズがスケーリングされ、各変換係数データのための量子化ステップサイズが決定される。
【００４４】
逆ＤＣＴ回路８は、逆量子化回路８から供給されたブロックの再生変換係数データに対して逆離散コサイン変換を行い、予測誤差データを再生して加算回路９に出力する。なお、符号化制御回路１３で生成されたＤＣＴモード情報は逆ＤＣＴ回路８にも供給され、逆ＤＣＴ回路８はこのＤＣＴモード情報に応じてフレームＤＣＴモードとフィールドＤＣＴモードとを切り換える。加算回路９は、動き補償回路１０から減算回路４に供給された予測画像データを取り込んで所定時間遅延させた後、その遅延させた予測画像データと逆ＤＣＴ回路８から供給された再生予測誤差データとを加算し、局部復号された再生画像データを生成して動き補償回路１０に出力する。ここで、所定時間の遅延は、減算回路４、ＤＣＴ回路５、量子化回路６、逆量子化回路７、および逆ＤＣＴ回路８という一連の回路における処理遅延時間を補償するためのものである。動き補償回路１０は、加算回路９から供給される再生画像データの中で、後の参照フレームとして用いられるＩまたはＰフレームの画像データについてのみ、局部復号フレームメモリ２３に書き込む。２面ある局部復号フレームメモリ２３のどちらかの面にそのフレームの再生画像データを書き込む。常にフレーム符号化順序で最新の２フレーム分のＩまたはＰフレームの再生画像データが局部復号フレームメモリ２３に保持されるように、ＩまたはＰフレームの再生画像データを書き込むフレームメモリの選択面は交互に切り換えられる。なお、前述した通り、局部復号フレームメモリ２３のデータ容量は８Ｍｂｉｔであり、局部復号フレームメモリ２３に対して動き補償回路１０が行う再生画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【００４５】
さて、符号化制御回路１３は、既に説明した様々な符号化パラメータ情報を生成するものである。符号化パラメータ情報としては、ベクトル検出モード情報、ＤＣＴモード情報、量子化パラメータ情報、および可変長符号化モード情報がある。符号化制御回路１３は、画像タイプ生成回路１５で生成されたフレーム符号化順での画像タイプ情報に応じて、動きベクトル検出のための４種類のモードのいずれかをフレームごとに選択しベクトル検出モード情報として出力する。画像タイプがＩフレームの場合には動きベクトル検出なしモード、Ｐフレームの場合には順方向動きベクトル検出モード、フレーム入力順序で一番先頭に位置する一連のＢフレームの場合には逆方向動きベクトル検出モード、それ以外の通常のＢフレームの場合には双方向動きベクトル検出モードを選択する。また、符号化制御回路１３は、減算回路４で生成された予測画像データのフレーム内とフィールド内のそれぞれのライン相関をマクロブロックごとに計算して比較し、ＤＣＴのための２種類のモードのいずれかをマクロブロックごとに選択しＤＣＴモード情報として出力する。マクロブロックにおけるフレーム内ライン相関の方が小さい場合にはフレームＤＣＴモードを、フィールド内ライン相関の方が小さい場合にはフィールドＤＣＴモードを選択する。さらに、符号化制御回路１３は、画像タイプ生成回路１５で生成されたフレーム符号化順での画像タイプ情報に応じて、可変長符号化のための２種類のモードのいずれかをフレームごとに選択し可変長符号化モード情報として出力する。画像タイプがＩフレームの場合にはイントラ用符号化テーブルを、ＰフレームまたはＢフレームの場合にはノンイントラ用符号化テーブルを選択する。
【００４６】
符号化制御回路１３の最も重要な働きは、可変長符号化回路１１から出力される符号化データの平均ビットレートを、出力端子１６から出力される符号化データの一定ビットレートに一致させるように、量子化回路６および逆量子化回路７に供給する量子化パラメータを決定することである。出力制御回路１２から供給されるバッファメモリ２４内の符号化データのデータ占有率に応じて、このバッファメモリ２４がオーバーフローやアンダーフローしないようにフィードバック制御を行う。すなわち、データ占有率が高くなった場合には、量子化を粗くして符号化データの発生データ量を小さくするために量子化パラメータの値を大きくする。逆に、データ占有率が低くなった場合には、量子化を細かくして符号化データの発生データ量を大きくするために量子化パラメータの値を小さくする。また、このフィードバック制御に加えて、符号化するフレームの画像符号化タイプの種類や絵柄の細かさに応じて量子化パラメータを調整するフィードフォワード制御も併用する。画像タイプ生成回路１５から供給される画像タイプ情報に応じて、相対的にＩフレームではＰフレームよりも量子化を細かくするように、また相対的にＢフレームではＰフレームよりも量子化を粗くするように量子化パラメータを調整する。また、画像入力変換回路２から出力される符号化するフレームの画像データから、マクロブロック内の絵柄の細かさを示すアクティビティを求め、求めたマクロブロックごとのアクティビティに応じてそれぞれの調整量を変化させる。
【００４７】
なお、以上の通り符号化制御回路１３で生成されるＤＣＴモード情報と量子化パラメータ情報と可変長符号化モード情報、画像タイプ生成回路１５で生成される画像タイプ情報、動きベクトル検出回路３で生成され動き補償回路１０で用いられる動きベクトルの情報、および動き補償回路１０で決定される予測モードの情報については、図中では明示していないが、可変長符号化回路１１において付加情報として符号化データに多重される。これらの付加情報の中で、画像タイプ情報と可変長符号化モード情報はフレームごとに付加され、それ以外の付加情報はマクロブロックことに付加される。ただし、量子化パラメータ情報については、その値が変化した場合にのみ変化後の値が付加される。なお、量子化変換係数データの値がマクロブロック内で全て０となっている無効マクロブロックにおいては、ＤＣＴモード情報と量子化パラメータ情報を符号化データ付加する必要がないので、符号化制御回路１３は、量子化回路６の出力である量子化変換係数データの値を常に監視することにより無効マクロブロックを判定し、無効マクロブロックにおいてはＤＣＴモード情報と量子化パラメータ情報を符号化データに付加しないように制御する。
【００４８】
図２は、図１に示した本発明の第一の実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ−１）は入力フレームメモリ２１（以下、入力ＦＭという）を構成する３面のフレームメモリのそれぞれのメモリイメージを、（ｂ−２）は動き検出フレームメモリ２２（以下、動き検出ＦＭという）を構成する２面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｄ）は局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｅ）は局部復号フレームメモリ２３（以下、局部復号ＦＭという）を構成する２面のフレームメモリのそれぞれのメモリイメージを示している。ただし、実際には各フレームメモリは輝度データを格納する輝度データ領域と２種類の色差データを格納する色差データ領域とから成るが、説明を簡単にするために輝度データ領域のメモリイメージのみを示している。各フレームメモリでは、上から下に向かって、フレーム単位でのラスタ走査の順にアドレスが増加するメモリイメージとなっている。なお、この図２は、ＩまたはＰフレームのフレーム間隔Ｍが３、Ｉフレームのフレーム間隔Ｎが１２と、２種類のフレーム間隔情報が入力端子１７から設定された場合の例である。図２（ａ）〜（ｅ）に示してあるＢ０，Ｉ２，Ｐ５などの記号が各フレームの画像符号化タイプとフレーム入力順序を示している。すなわち、先頭の英大文字Ｉ，Ｐ，Ｂはそれぞれそのフレームの画像タイプがＩフレーム，Ｐフレーム，Ｂフレームであることを示し、０から始まる末尾の数字はそのフレームの入力順序を示している。
【００４９】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図２（ｂ−１）に示す入力ＦＭに対しては、画像入力変換回路２が入力端子１から入力された画像データをフィールド単位でラスタ走査に従って書き込む「画像入力書き込み」と、画像入力変換回路２が符号化のために画像データをフレーム単位でマクロブロック走査に従って読み出す「画像入力読み出し」が行われる。図２（ｂ−２）に示す動き検出ＦＭに対しては、動きベクトル検出回路３が画像入力変換回路２から出力された画像データの中でＩまたはＰフレームの画像データのみを書き込む「動き検出書き込み」と、動きベクトル検出回路３が動きベクトル検出のために参照フレームの画像データを読み出す「動き検出読み出し」が行われる。また、図２（ｅ）に示す局部復号ＦＭに対しては、動き補償回路１０が加算回路９からの出力である局部復号されたＩまたはＰフレームの再生画像データを書き込む「復号書き込み」と、動き補償回路１０が動き補償フレーム間予測のために参照フレームの画像データを読み出す「参照読み出し」が行われる。なお、図２（ａ）から図２（ｂ−１）に向かう下向きの矢印は画像入力書き込みの様子を、図２（ｂ−１）から図２（ｃ）に向かう下向きの矢印は画像入力読み出しの様子を、図２（ｂ−１）から図２（ｂ−２）に向かう下向きの矢印（画像入力読み出しの様子を示す下向きの矢印と重なっている）は動き検出書き込みの様子を、図２（ｄ）から図２（ｅ）に向かう下向きの矢印は復号書き込みの様子を、図２（ｅ）から図２（ｃ）と図２（ｄ）に向かう重なった２本の上向きの矢印は参照読み出しの様子をそれぞれ示している。ここで、動き検出読み出しの様子を示す矢印は省略し図示していない。また、図２（ｃ）から図２（ｄ）に向かう矢印は局部復号されるフレームの符号化データの対応を示すものである。
【００５０】
まず、入力端子１から入力された各フレームの画像データは、３面構成の入力ＦＭのいずれかの面のフレームメモリに対して書き込まれる（画像入力書き込み）。図２（ｂ−１）における右下がりで傾きの大きな破線と実線が、この画像入力書き込みにおける書き込みの進み方を示している。フレームを構成する第１フィールドの画像データの書き込みの進み方を破線で、第２フィールドの画像データの書き込みの進み方を実線で示している。画像データはフィールド単位でラスタ走査に従って画像入力変換回路２に入力されるため、画像入力書き込みにおける書き込みアドレスの変化の様子としては、フィールドの各ライン内では１画素分ずつ連続的にアドレスが増加するが、フィールドの各ライン間では１画素分のアドレスの増加に加えてアドレスの飛び（１ライン分のアドレスだけ増加）が生じる。したがって、フィールド内の画像入力書き込みに関しては、途中にアドレスの飛び（不連続な進み）は発生するがアドレスが戻ることはなく、書き込みアドレスは増加していく。なお、第１フィールドの画像入力書き込みの書き込みアドレスは値０から開始され、第２フィールドの画像入力の書き込みアドレスは１ライン分のアドレスに相当する値から開始される。
【００５１】
次に、画像入力書き込みが開始された時点から２．５フレーム期間経過した時点で、３面構成の入力ＦＭのいずれか適切な面のフレームメモリから、その面に保持されていたフレームの画像データの読み出し（画像入力読み出し）が開始される。図２（ｂ−１）における右下がりで傾きの小さな太実線が、この画像入力読み出しにおける読み出しの進み方を示している。画像データはフレーム単位でマクロブロック走査に従って画像入力変換回路２から出力されるため、画像入力読み出しにおける読み出しアドレスの変化の様子としては、１６×１６画素（輝度データの場合）のマクロブロックの各ライン内では１画素分ずつ連続的にアドレスが増加し、マクロブロックの各ライン間では１画素分のアドレスの増加に加えてアドレスの飛び（１ライン分のアドレスから１６画素分のアドレスを引いたアドレスだけ増加）が生じる。また、マクロブロックライン（マクロブロックの水平並び全体）の各マクロブロック間、すなわちマクロブロックの最下ラインから右隣のマクロブロックの最上ラインに移行する場合には１画素分のアドレスの増加に加えてアドレスの飛び（１５ライン分のアドレスだけ減少）が生じ、フレームの各マクロブロックライン間、すなわちマクロブロックラインの最右端マクロブロックの最下ラインから下隣のマクロブロックラインの最左端マクロブロックの最上ラインに移行する場合にはアドレスの飛びはなく１画素分のアドレス増加となる。したがって、マクロブロック内の画像入力読み出しに関しては、途中にアドレスの飛び（不連続な進みと戻り）が発生し、複雑な書き込みアドレスの変化となるが、フレーム内の画像入力読み出しの全体をマクロブロックライン単位でみれば、順次書き込みアドレスは増加していく。
【００５２】
フィールド単位で行われる画像入力書き込みのアドレスの進み方を示す破線と実線の傾きは、フレーム単位で行われる画像入力読み出しのアドレスの進み方を示す太実線の傾きの約２倍となっている。なお、各フレームの画像データが画像入力書き込みされてから画像入力読み出しされるまでの間、その画像データが書き込まれたフレームメモリは占有されていることになる。図２では、その占有されているアドレス領域の時間遷移を網かけで示している。
【００５３】
さて、画像タイプ生成回路１５は、図２（ａ）に示すように、入力端子１７から設定されたＩまたはＰフレームのフレーム間隔Ｍが３の場合には、Ｂ，Ｂ，Ｉ、またはＢ，Ｂ，Ｐという３フレーム単位のパターンを規則的に繰り返すことにより、フレーム入力順序での画像タイプ情報を順次生成する。ただし、入力端子１７から設定されたＩフレームのフレーム間隔Ｎに応じて、Ｎフレームごとに先頭のパターン中のＩまたはＰはＩとし、それ以外におけるパターン中のＩまたはＰはＰとする。なお、Ｍが２と設定された場合には、Ｂ，Ｉ、またはＢ，Ｐという２フレーム単位のパターンを規則的に繰り返し、Ｍが１と設定された場合には、ＩまたはＰという１フレーム単位のパターンを規則的に繰り返す。さらに、画像タイプ生成回路１５は、図２（ｃ）に示すように、入力端子１７から設定されたＭが３の場合には、Ｉ，Ｂ，Ｂ、またはＰ，Ｂ，Ｂという３フレーム単位のパターンを規則的に繰り返すことにより、フレーム符号化順序での画像タイプ情報を順次生成し、フレーム入力順序での画像タイプ情報に対して２．５フレーム遅延させて出力する。ただし、入力端子１７から設定されたＮに応じて、Ｎフレームごとに先頭のパターン中のＩまたはＰはＩとし、それ以外におけるパターン中のＩまたはＰはＰとする。なお、Ｍが２と設定された場合には、Ｉ，Ｂ、またはＰ，Ｂという２フレーム単位のパターンを規則的に繰り返し、Ｍが１と設定された場合には、ＩまたはＰという１フレーム単位のパターンを規則的に繰り返す。
【００５４】
選択面制御回路１４は、画像タイプ生成回路１５から供給される各フレームの画像タイプ情報により、入力ＦＭに関して、どの面のフレームメモリに画像入力書き込みを行うかを示す書き込み選択面情報と、どの面のフレームメモリから画像入力読み出しを行うかを示す読み出し選択面情報を生成する。書き込み選択面情報（Ｍが３の場合には、１，２，３のいずれか）は、以下の手順に基づいて各フレームごとに順次生成する。
【００５５】
（１）書き込み選択面レジスタを設け、その初期値を１とする。
【００５６】
（２）現在の書き込み選択面レジスタの値を、現在のフレームの書き込み選択面情報として出力する。
【００５７】
（３）フレーム入力順序での画像タイプがＢフレームである場合には、書き込み選択面レジスタの値を１から２に、２から３に、３（＝Ｍ）から１に変更する。
【００５８】
（４）フレーム入力順での画像タイプがＩまたはＰフレームである場合には、書き込み選択面レジスタの値は変更しない。
【００５９】
（５）上記（２）に戻り、（２）から（４）を繰り返す。
【００６０】
また、同様にして、読み出し選択面情報（Ｍが３の場合には、１，２，３のいずれか）は、以下の手順に基づいて各フレームごとに順次生成する。
【００６１】
（１）読み出し選択面レジスタを設け、その初期値を３（＝Ｍ）とする。
【００６２】
（２）フレーム符号化順序での画像タイプがＩまたはＰフレームである場合には、読み出し選択面レジスタの値は変更しない。
【００６３】
（３）フレーム符号化順序での画像タイプがＢフレームである場合には、読み出し選択面レジスタの値を３（＝Ｍ）から１に、１から２に、２から３に変更する。
【００６４】
（４）現在の読み出し選択面レジスタの値を、現在のフレームの読み出し選択面情報として出力する。
【００６５】
（５）上記（２）に戻り、（２）から（４）を繰り返す。
【００６６】
選択面制御回路１４は、このようにして入力ＦＭの書き込み選択面情報と読み出し選択面情報を生成するため、Ｍが３でＮが１２と設定された場合には、図２（ｂ−１）に示す通りに入力ＦＭのそれぞれの面に対する画像入力書き込みと画像入力読み出しが行われることになる。
【００６７】
ここで、図２（ｂ−１）に示した入力ＦＭによるフレーム順序変換の処理動作を、時間の経過に沿って簡単に説明する。
【００６８】
まず、画像データの入力が開始されると同時に、画像タイプ生成回路１５からフレーム入力順序での画像タイプ情報の出力と選択面制御回路１４での書き込み選択面情報の出力が開始される。先頭のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ０）を出力し、選択面制御回路１４は書き込み選択面情報として１を出力するため、入力された画像データは入力ＦＭの第１面のフレームメモリにフィールド単位のラスタ走査により書き込まれる（画像入力書き込み）。次に、２番目のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ１）を出力し、選択面制御回路１４は書き込み選択面情報として２を出力するため、入力された画像データは入力ＦＭの第２面のフレームメモリに書き込まれる。３番目のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＩフレーム（Ｉ２）を出力し、選択面制御回路１４は書き込み選択面情報として３を出力するため、入力された画像データは入力ＦＭの第３面のフレームメモリに書き込まれる。
【００６９】
４番目のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ３）を出力し、選択面制御回路１４は書き込み選択面情報として３を出力するため、入力された画像データは入力ＦＭの第３面のフレームメモリに書き込まれる。５番目のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ４）を出力し、選択面制御回路１４は書き込み選択面情報として１を出力するため、入力された画像データは入力ＦＭの第１面のフレームメモリに書き込まれる。６番目のフレーム期間では、画像タイプ生成回路１５はフレーム入力順序での画像タイプ情報としてＰフレーム（Ｐ５）を出力し、選択面制御回路１４は書き込み選択面情報として２を出力するため、入力された画像データは入力ＦＭの第２面のフレームメモリに書き込まれる。以下、同様にして画像入力書き込みが続く。
【００７０】
また、上記３番目のフレーム期間の途中（第１フィールド期間と第２フィールド期間の切り替わり時）で、画像タイプ生成回路１５からフレーム符号化順序での画像タイプ情報の出力と選択面制御回路１４での読み出し選択面情報の出力が開始される。この３番目から４番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＩフレーム（Ｉ２）を出力し、選択面制御回路１４は読み出し選択面情報として３を出力するため、入力ＦＭの第３面のフレームメモリからフレーム単位のマクロブロック走査により符号化する画像データが読み出される（画像入力読み出し）。次に、４番目から５番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ０）を出力し、選択面制御回路１４は読み出し選択面情報として１を出力するため、入力ＦＭの第１面のフレームメモリから画像データが読み出される。５番目から６番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ１）を出力し、選択面制御回路１４は読み出し選択面情報として２を出力するため、入力ＦＭの第２面のフレームメモリから画像データが読み出される。
【００７１】
６番目から７番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＰフレーム（Ｐ５）を出力し、選択面制御回路１４は読み出し選択面情報として２を出力するため、入力ＦＭの第２面のフレームメモリから画像データが読み出される。７番目から８番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ３）を出力し、選択面制御回路１４は読み出し選択面情報として３を出力するため、入力ＦＭの第３面のフレームメモリから画像データが読み出される。８番目から９番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５はフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ４）を出力し、選択面制御回路１４は読み出し選択面情報として１を出力するため、入力ＦＭの第１面のフレームメモリから画像データが読み出される。以下、同様にして画像入力読み出しが続く。
【００７２】
図３は、入力ＦＭに対する画像入力書き込みと画像入力読み出しのタイミングを詳しく示す説明図であって、図２（ｂ−１）に示した入力ＦＭの第２面のフレームメモリのメモリイメージを拡大して示すものである。ただし、この図３においては、フレームメモリを上下２枚のフィールドメモリのメモリイメージに分けて図示している。２−１と記してある上半分が第１フィールド用のフィールドメモリを、２−２と記してある下半分が第２フィールド用のフィールドメモリにそれぞれ相当する。また、それぞれのフィールドメモリでは、上から下に向かって、フィールド単位でのラスタ走査の順にアドレスが増加するメモリイメージとなっている。
【００７３】
太実線が、画像入力書き込み（Ｂ１，Ｐ５，Ｂ６といった各フレームの画像データの書き込み）における書き込みの進み方を示している。各フィールドの画像入力書き込みにおいて書き込みアドレスは連続的に増加していくが、各フィールドの間に存在する垂直帰線期間において書き込みは停止される。小さな矩形が左上から右下に向かって階段状に連なっている様子が、画像入力読み出し（Ｂ１，Ｐ５といった各フレームの画像データの読み出し）における読み出しの進み方を示している。各フィールドの画像入力読み出しにおいて読み出しアドレスは途中にアドレスの飛びが発生し複雑な変化となるが、マクロブロックライン（フィールドでは８ラインが含まれる）単位でみれば、順次読み出しアドレスは増加していく。小さな矩形はこのマクロブロックラインに含まれる８ライン分のアドレス領域を示している。なお、各フレームの画像データにより占有されているフレームメモリのアドレス領域の時間遷移を網かけで示している。
【００７４】
この図３に示すように、フレームＢ１の符号化による画像入力読み出し、フレームＰ５の入力による画像入力書き込み、フレームＰ５の符号化による画像入力読み出し、およびフレームＢ６の入力による画像入力書き込みという順番で、入力ＦＭの同一面のフレームメモリに対する書き込みと読み出しが連続する場合がある。この場合には、例えば、フレームＢ１の画像入力読み出しはフレームＰ５の第１フィールドの画像入力書き込みよりも前に行う必要があり、また、次のフレームＰ５の画像入力読み出しはフレームＰ５の第２フィールドの画像入力書き込みよりも後に行う必要がある。すなわち、フレームＢ１とフレームＰ５の画像入力読み出しを示す小さな矩形の連なりと、フレームＰ５の画像入力書き込みを示す太実線とが交差してはいけない。そのため、本実施形態においては、各フレームの画像データの入力（画像入力書き込み）期間と画像データの符号化（画像入力読み出し）期間との間にずれ時間δを設け、かつ画像入力書き込みが停止する第１フィールドと第２フィールドの間の垂直帰線期間を含む所定期間は、画像入力読み出しを停止する符号化停止期間としている。ここで、ずれ時間δは１フィールド期間とし、符号化停止期間は垂直帰線期間に８ライン期間の２倍（前後に８ライン期間ずつ）を加えた時間よりも長く設定している。
【００７５】
以上、図２と図３を用いて、入力ＦＭを利用して行われるフレーム順序変換、フィールド／フレーム変換、走査変換の処理について説明した。以下、図２に戻って符号化の処理についての説明を続ける。
【００７６】
符号化するために入力ＦＭから読み出された各フレームの画像データは、図２（ｃ）に示す通りのフレーム符号化順序で、減算回路４、ＤＣＴ回路５、量子化回路６、可変長符号化１１、逆量子化回路７、逆ＤＣＴ回路８、加算回路９、および動き補償回路１０で構成される一連の回路により符号化処理される。また、同時に、入力ＦＭから読み出された各フレームの画像データは動きベクトル検出回路３にも供給され、参照フレームとなるＩまたはＰフレームの画像データは、図２（ｂ−２）に示す通りに２面構成の動き検出ＦＭのどちらかのフレームメモリに書き込まれる（動き検出書き込み）。このＩまたはＰフレームの画像データの動き検出書き込みは２面のフレームメモリに対して交互に行われる。図２（ｂ−２）における太実線が動き検出書き込みの様子を示している。動き検出ＦＭに保持された最新の２フレーム分のＩまたはＰフレームの画像データは、ＰフレームやＢフレームの符号化の際に、動きベクトル検出回路３によって動きベクトル検出のための参照フレームの画像データとして読み出される（動き検出読み出し）。図２（ｂ−２）における幅の広い薄い網かけの線がこの動き検出読み出しの様子を示している。所定の動き検出範囲に応じて、１６×１６画素のマクロブロックよりも広い領域の画像データを読み出すため、動き検出書き込みの場合よりも幅が広がっている。
【００７７】
なお、符号化された各フレームの中で、図２（ｄ）に示す通りにＩまたはＰフレームに対しては局部復号処理が行われて再生画像データが生成され、図２（ｅ）に示す通りに２面構成の局部復号ＦＭのどちらかのフレームメモリに書き込まれる（復号書き込み）。このＩまたはＰフレームの再生画像データの復号書き込みは２面のフレームメモリに対して交互に行われる。図２（ｅ）における太実線がこの復号書き込みの様子を示している。局部復号ＦＭに保持された最新の２フレーム分のＩまたはＰフレームの再生画像データは、ＰフレームやＢフレームの符号化の際に、動き補償回路１０によって動き補償のための参照フレームの画像データとして読み出される（参照読み出し）。図２（ｅ）における幅の広い薄い網かけの線がこの参照読み出しの様子を示している。マクロブロックのシフト量を示す動きベクトルの値に応じて、正または負のオフセット値が読み出しアドレスに加わるため、復号書き込みの場合よりも幅が広がっている。
【００７８】
図４は、図１に示した本発明の第一の実施形態における符号化処理の流れとタイミングを示す別の説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ−１）は入力ＦＭを構成する３面のフレームメモリの第１面のフレームメモリのメモリイメージを、（ｂ−２）は動き検出ＦＭを構成する２面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で示したものである。図２においては、局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で（ｄ）に、局部復号ＦＭを構成する２面のフレームメモリのそれぞれのメモリイメージを（ｅ）に示していたが、この図４においては省略している。なお、この図４は、ＩまたはＰフレームのフレーム間隔Ｍが１、Ｉフレームのフレーム間隔Ｎが５と、２種類のフレーム間隔情報が入力端子１７から設定された場合の例である。図２（ａ）〜（ｃ）に示してあるＩ０，Ｐ１などの記号が各フレームの画像符号化タイプとフレーム入力順序を示している。
【００７９】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図４（ｂ−１）に示す入力ＦＭに対しては、右下がりで傾きの大きな破線と実線で示される画像入力書き込みと、右下がりで傾きの小さな太実線で示される画像入力読み出しが行われる。また、図４（ｂ−２）に示す動き検出ＦＭに対しては、太実線で示される動き検出書き込みと、幅の広い薄い網かけの線で示される動き検出読み出しが行われる。さらに、図示していないが、局部復号ＦＭに対しては、復号書き込みと参照読み出しが行われる。これらのメモリアクセスの中で、画像入力読み出し、動き検出書き込み、動き検出読み出し、復号書き込み、および参照読み出しはフレーム単位で行われるので、それぞれのアドレスの進み方を示す太実線や幅の広い薄い網かけの線の傾きは同じであるが、画像入力書き込みはフィールド単位で行われるので、そのアドレスの進み方を示す破線と実線の傾きは太実線や幅の広い薄い網かけの線の傾きの約２倍となっている。
【００８０】
画像タイプ生成回路１５は、図４（ａ）に示すように、入力端子１７から設定されたＭが１の場合には、常にＩまたはＰフレームをフレーム入力順序での画像タイプ情報として生成するが、入力端子１７から設定されたＮに応じて、Ｎフレームごとに先頭フレームはＩフレームとし、それ以降のフレームはＰフレームとする。さらに、画像タイプ生成回路１５は、図４（ｃ）に示すように、入力端子１７から設定されたＭが１の場合には、フレーム入力順序での画像タイプ情報と同じ情報をフレーム符号化順序での画像タイプ情報として順次生成するが、フレーム入力順序での画像タイプ情報に対して０．５フレーム遅延させて出力する。選択面制御回路１４は、画像タイプ生成回路１５から供給される各フレームの画像タイプ情報により、前述した通りの手順で、入力ＦＭの書き込み選択面情報と読み出し選択面情報とを生成する。Ｍが１の場合には、選択面制御回路１４の中に設けられている書き込み選択面レジスタの値は常に１のままとなるため、書き込み選択面情報としては常に１が出力される。
【００８１】
また、同様にして、選択面制御回路１４の中に設けられている読み出し選択面レジスタの値は常にＭ（ここでは１）のままとなるため、読み出し選択面情報としても常に１が出力される。したがって、このようにＭが１でＮが５と設定された場合には、図４（ｂ−１）に示す通りに入力ＦＭの第１面のフレームメモリに対してのみ画像入力書き込みと画像入力読み出しが行われることになる。入力ＦＭの第２面と第３面のフレームメモリは使用されない。何らかの別の画像データを記憶保持するワーク領域として使用することが可能である。
【００８２】
画像データの入力が開始されると同時に、画像タイプ生成回路１５からフレーム入力順序での画像タイプ情報の出力と選択面制御回路１４での書き込み選択面情報の出力（常に１となる）が開始される。先頭フレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＩフレーム（Ｉ０）を出力し、入力された画像データは入力ＦＭの第１面のフレームメモリにフィールド単位のラスタ走査により書き込まれる（画像入力書き込み）。次に、２番目のフレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＰフレーム（Ｐ１）を出力し、入力された画像データは同様にして入力ＦＭの第１面のフレームメモリに書き込まれる。３番目のフレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＰフレーム（Ｐ２）を出力し、入力された画像データは同様にして入力ＦＭの第１面のフレームメモリに書き込まれる。以下同様にして画像入力書き込みが続く。
【００８３】
また、上記１番目のフレーム期間の途中（第１フィールド期間と第２フィールド期間の切り替わり時）で、画像タイプ生成回路１５からフレーム符号化順序での画像タイプ情報の出力と選択面制御回路１４での読み出し選択面情報の出力（常に１となる）が開始される。この１番目から２番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＩフレーム（Ｉ０）を出力し、入力ＦＭの第１面のフレームメモリからフレーム単位のマクロブロック走査により符号化する画像データが読み出される（画像入力読み出し）。次に、２番目から３番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＰフレーム（Ｐ１）を出力し、同様にして入力ＦＭの第１面のフレームメモリから画像データが読み出される。３番目から４番目のフレーム期間にまたがる１フレーム期間では、画像タイプ生成回路１５は画像タイプ情報としてＰフレーム（Ｐ２）を出力し、同様にして入力ＦＭの第１面のフレームメモリから画像データが読み出される。以下、同様にして画像入力読み出しが続く。
【００８４】
なお、入力ＦＭの第１面のフレームメモリに対する各フレームの画像データの書き込みと読み出しが連続して行われるが、各フレームの画像入力書き込みの期間と画像入力読み出しの期間との間にずれ時間δを設け、かつ画像入力書き込みが停止する第１フィールドと第２フィールドの間の垂直帰線期間を含む所定期間は、画像入力読み出しを停止する符号化停止期間としているため、画像入力書き込みと画像入力読み出しの競合は発生しない。
【００８５】
以上の通りに入力ＦＭを利用してフィールド／フレーム変換と走査変換の処理が行われた後、符号化するために入力ＦＭから読み出された各フレームの画像データは、図４（ｃ）に示す通りのフレーム符号化順序（フレーム入力順序と同じ）で符号化処理される。また、同時に、入力ＦＭから読み出された各フレーム（全て参照フレームとなるＩまたはＰフレーム）の画像データは動きベクトル検出回路３にも供給され、図２（ｂ−２）に太実線で示す通りに２面構成の動き検出ＦＭのどちらかの面に書き込まれる（動き検出書き込み）。この動き検出書き込みは２面のフレームメモリに対して交互に行われる。動き検出ＦＭのどちらかの面のフレームメモリに保持された最新の１フレーム分のＩまたはＰフレームは、引き続くＰフレームの符号化の際に、図２（ｂ−２）に幅の広い薄い網かけの線で示す通りに動きベクトル検出回路３によって動きベクトル検出のための参照フレームの画像データとして読み出される（動き検出読み出し）。なお、符号化された各フレームに対しては局部復号処理が行われて再生画像データが生成され、２面構成の局部復号ＦＭのどちらかのフレームメモリに書き込まれる（復号書き込み）。この復号書き込みは２面のフレームメモリに対して交互に行われる。局部復号ＦＭのどちらかの面のフレームメモリに保持された最新の１フレーム分のＩまたはＰフレームは、引き続くＰフレームの符号化の際に、動き補償回路１０によって動き補償のための参照フレームの画像データとして読み出される（参照読み出し）。
【００８６】
以上、本発明の第一の実施形態について詳しく説明した。本実施形態は５２５／６０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。３面構成で１２Ｍｂｉｔのデータ容量の入力フレームメモリ、２面構成で８Ｍｂｉｔのデータ容量の動き検出フレームメモリ、２面構成で８Ｍｂｉｔのデータ容量の局部復号フレームメモリ、および４Ｍｂｉｔのデータ容量のバッファメモリを備え、合計３２Ｍｂｉｔのデータ容量のメモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームのフレーム間隔Ｍ、およびＩフレームのフレーム間隔Ｎという２種類のフレーム間隔情報に応じて、規則的なパターンで各フレームの画像タイプ情報を生成しながら符号化処理が行われる。Ｍの値としては１，２，３のいずれかの値の設定が可能であり、画像データの入力が開始されてから符号化が開始されるまでの遅延時間は、それぞれの場合について０．５フレーム期間，１．５フレーム期間，２．５フレーム期間となる。Ｎの値としてはＭの倍数が設定される必要がある。
【００８７】
次に、本発明によるディジタル画像圧縮符号化装置の第二の実施形態について説明する。
【００８８】
図５は本発明の第二の実施形態を示すブロック図であって、１は画像データの入力端子、２は画像入力変換回路、３ａは動きベクトル検出回路、４は減算回路、５はＤＣＴ回路、６は量子化回路、７は逆量子化回路、８は逆ＤＣＴ回路、９は加算回路、１０は動き補償回路、１１は可変長符号化回路、１２は出力制御回路、１３は符号化制御回路、１４ａは選択面制御回路、１６は符号化データの出力端子、１８は切り換え回路、１７ａは最大フレーム間隔情報の入力端子、１９は画像タイプ情報の入力端子、２３は局部復号フレームメモリ、２４はバッファメモリ、２５は入力統合フレームメモリである。なお、本発明の第一の実施形態を示した図１と対応する部分については同一符号を付け、同一動作となる場合には重複する説明を省略する。本実施形態のディジタル画像圧縮符号化装置は、第一の実施形態と同じく、５２５／６０方式によるディジタル画像信号を符号化によりデータ圧縮して符号化データを生成するものである。
【００８９】
同図において、符号化するインターレース走査の画像データが、フィールド単位のラスタ走査に従って入力端子１から４：２：２フォーマットで入力される。画像入力変換回路２は、入力された画像データを４：２：０フォーマットに変換して入力統合フレームメモリ２５に一旦記憶保持することにより、画像データのフレーム入力順序をフレーム符号化順序に変換した後で、フレーム単位のマクロブロック走査に従って画像データを出力する。２種類の色差データのそれぞれについて、フィールド単位で垂直方向にＬＰＦを利用した１／２サンプリングを行うことにより、４：２：２フォーマットから４：２：０フォーマットへの変換を行う。入力統合フレームメモリ２５は、５フレーム分の画像データを保持可能な５面のフレームメモリである。１面のフレームメモリのデータ容量は約４Ｍｂｉｔであるので、入力統合フレームメモリ２５のデータ容量は２０Ｍｂｉｔである。
【００９０】
まず、画像入力変換回路２は、入力された現在のフレームの画像データを、入力統合フレームメモリ２５のいずれかの面に書き込む。選択面制御回路１４ａで生成され画像入力変換回路２に供給される書き込み選択面情報で指定される面のフレームメモリに書き込みを行う。次に、画像入力変換回路２は、符号化するフレームの画像データとして、入力統合フレームメモリ２５のいずれか適切な面からそこに保持されている画像データを読み出す。選択面制御回路１４ａで生成され画像入力変換回路２に供給される読み出し選択面情報で指定される面のフレームメモリから読み出しを行う。フレーム単位のマクロブロック走査に従って画像入力変換回路２から出力された画像データは、動きベクトル検出回路３ａと減算回路４に供給される。
【００９１】
動きベクトル検出回路３ａは、画像入力変換回路２からフレーム符号化順序によりフレーム単位のマクロブロック走査で出力される画像データについて、入力統合フレームメモリ２５に記憶保持されている既に符号化された最新の２フレーム分のＩまたはＰフレームの画像データを利用して、マクロブロック単位で動きベクトルを検出する。第一の実施形態における動きベクトル検出回路３と異なり、本実施形態における動きベクトル検出回路３ａは、動き補償フレーム間予測のために、フレーム予測用のフレームベクトルを検出するフレーム予測モードとフィールド予測用のフィールドベクトルを検出するフィールド予測モードを備える。このどちらかを指定する動き補償予測モード情報は符号化制御回路１３から供給される。なお、本実施形態のディジタル画像圧縮符号化装置は固定タイムスロットに従ってマクロブロック単位で符号化を進めるものであり、入力統合フレームメモリ２５に対して画像入力変換回路２が行う画像データの書き込みと読み出し、および動きベクトル検出回路３ａが行う画像データの読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。また、画像入力変換回路２と動きベクトル検出回路３ａの入力統合フレームメモリ２５に対する接続は、切り換え回路１８によって適切なタイミングで切り換えられる。
【００９２】
動きベクトル検出回路３ａは、どちらの動き補償予測モードにおいても、入力された画像データがＩフレームである場合には、動きベクトル検出処理を行わない。また、フレーム予測モードにおいて、入力された画像データがＰフレームである場合には、各マクロブロックについて、入力統合フレームメモリ２５のいずれかの面に保持されている最新の１フレーム分のＩまたはＰフレームの画像データを参照フレームとして、全探索ブロックマッチング手法により１種類（順方向）のフレームベクトルを検出する。さらに、フレーム予測モードにおいて、入力された画像データがＢフレームである場合には、各マクロブロックについて、入力統合フレームメモリ２５のいずれか２面に保持されている最新の２フレーム分のＩまたはＰフレームの画像データを参照フレームとして、全探索ブロッマッチング手法により２種類（順方向と逆方向のそれぞれ）のフレームベクトルを検出する。
【００９３】
フィールド予測モードにおいては、符号化するマクロブロックの画像データが、第１フィールドに属する画像データと第２フィールドに属する画像データの２グループに分類され、各グループごとに参照フレームの第１フィールドおよび第２フィールドを参照フィールドとしてフィールドベクトルが検出される。動きベクトル検出回路３ａは、全探索ブロックマッチング手法により動きベクトル検出を行うが、参照フレームの第１フィールドを参照フィールドとして検出した動きベクトルと、参照フレームの第２フィールドを参照フィールドとして検出した動きベクトルとについて、マクロブロックの差分絶対値和を比較して差分絶対値和が小さくなる方の動きベクトルを実際のフィールドベクトルとして選択し出力する。なお、フィールド予測モードにおいては、参照フレームの第１フィールドと第２フィールドのどちらを参照フィールドとするかという参照フィールド選択フラグが、検出されたフィールドベクトルに付加されて出力される。フィールドベクトルの場合には、マクロブロックあたりの動きベクトルの個数はフレームベクトルと比べて２倍となる。したがって、Ｐフレームの場合には順方向の動きベクトルとして２個のフィールドベクトルが生成出力され、Ｂフレームの場合には順方向の動きベクトルと逆方向の動きベクトルとして各２個、すなわち合計４個のフィールドベクトルが生成出力される。
【００９４】
なお、動きベクトル検出回路３ａは、マクロブロックごとに検出された動きベクトルに加えて、各動きベクトルに対応したマクロブロックの画像データの差分絶対値和の値も、同時に動き補償回路１０に出力する。また、フレーム入力順序で一番先頭に位置する一連のＢフレームの場合には、順方向の動きベクトルの検出を行わない。
【００９５】
動き補償回路１０は、動きベクトル検出回路３ａから供給される動きベクトル（フレームベクトルまたはフィールドベクトル）に従って、局部復号フレームメモリ２３に保持されている２フレーム分のＩまたはＰフレームの局部復号された再生画像データから、マクロブロックごとの予測画像データを生成し、減算回路４と加算回路９に出力する。局部復号フレームメモリ２３は符号化された後に局部復号されたＩまたはＰフレームの最新の２フレーム分を保持可能な２面のフレームメモリである。局部復号フレームメモリ２３のデータ容量は８Ｍｂｉｔである。また、動き補償回路１０は、加算回路９から供給され、後の参照フレームとして用いられるＩまたはＰフレームの再生画像データを、局部復号メモリ２３に書き込む。なお、動き補償回路１０には、符号化するマクロブロックのための動き補償フレーム間予測としてフレーム予測を用いるかフィールド予測を用いるかという動き補償予測モード情報が、符号化制御回路１３から供給される。この動き補償予測モード情報は、動きベクトル検出回路３ａに供給される動き補償予測モード情報と同じ情報である。また、動き補償回路１０は、マクロブロック単位で双方向動き補償フレーム間予測モード、順方向動き補償フレーム間予測モード、逆方向動き補償フレーム間予測モード、およびフレーム内符号化モードとを切り換えながら、第一の実施形態の場合と同様にして、マクロブロックごとの予測画像データを生成する。なお、局部復号フレームメモリ２３に対して動き補償回路１０が行う再生画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【００９６】
減算回路４、ＤＣＴ回路５、量子化回路６、可変長符号化回路１１、逆量子化回路７、逆ＤＣＴ回路８、加算回路９という一連の回路で行われる符号化処理と局部復号処理については、第一の実施形態の場合と同様である。また、出力制御回路１２は、可変長符号化回路１１から供給される符号化データを一旦バッファメモリ２４に書き込んだ後、順次バッファメモリ２４に蓄えられている符号化データを読み出して出力端子１６から一定ビットレートで出力する。バッファメモリ２４は４Ｍｂｉｔのデータ容量を持つ。この出力制御回路１２とバッファメモリ２４の動作も第一の実施形態の場合と同様である。符号化制御回路１３は、第一の実施形態の場合と同様の処理で、ベクトル検出モード情報、ＤＣＴモード情報、量子化パラメータ情報、および可変長符号化モード情報という様々な符号化パラメータ情報を生成し出力する。さらに、符号化制御回路１３は、画像入力変換回路２からの出力である画像データのフレーム内とフィールド内のそれぞれのライン相関をマクロブロックごとに計算して比較し、フレーム予測モードとフィールド予測モードのどちらを次のマクロブロックに適用するかを選択して動き補償予測モード情報として出力する。
【００９７】
図６は、図５に示した本発明の第二の実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ）は入力統合フレームメモリ２５（以下、入力統合ＦＭという）を構成する５面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｄ）は局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｅ）は局部復号ＦＭを構成する２面のフレームメモリのメモリイメージを示している。ただし、説明を簡単にするために輝度データ領域のメモリイメージのみを示している。各フレームメモリでは、上から下に向かって、フレーム単位でのラスタ走査の順にアドレスが増加するメモリイメージとなっている。なお、この図６は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが３と、入力端子１７ａから設定された場合の例である。
【００９８】
また、この図６は、各フレームのフレーム入力順序での画像タイプ情報が、
Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５，Ｂ６，Ｐ７，Ｐ８，Ｂ９，Ｐ１０，Ｂ１１，Ｂ１２，…
と図６（ａ）に示す通りに入力端子１９から指定された場合の例である。このとき、各フレームのフレーム符号化順序での画像タイプ情報は、
Ｉ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ７，Ｂ６，Ｐ８，Ｐ１０，…
と図６（ｃ）に示す通りに入力端子１９から指定されている。この場合には、図２に示した本発明の第一の実施形態の場合とは異なり、ＩまたはＰフレームのフレーム間隔ＭとＩフレームのフレーム間隔Ｎに対応して生成されるような固定のパターンとはなっていない。なお、フレーム符号化順序での画像タイプ情報の入力は、フレーム入力順序での画像タイプ情報の入力に対して２．５フレーム期間遅延されたタイミングで入力される。
【００９９】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図６（ｂ）に示す入力統合ＦＭに対しては、画像入力変換回路２が入力端子１から入力された画像データをフィールド単位でラスタ走査に従って書き込む「画像入力書き込み」、画像入力変換回路２が符号化のために画像データをフレーム単位でマクロブロック走査に従って読み出す「画像入力読み出し」、および動きベクトル検出回路３ａが動きベクトル検出のために参照フレームの画像データを読み出す「動き検出読み出し」が行われる。また、図６（ｅ）に示す局部復号ＦＭに対しては、動き補償回路１０が加算回路９からの出力である局部復号されたＩまたはＰフレームの再生画像データを書き込む「復号書き込み」と、動き補償回路１０が動き補償フレーム間予測のために参照フレームの画像データを読み出す「参照読み出し」が行われる。なお、図６（ａ）から図６（ｂ）に向かう下向きの矢印は画像入力書き込みの様子を、図６（ｂ）から図６（ｃ）に向かう下向きの矢印は画像入力読み出しの様子を、図６（ｅ）から図６（ｃ）と図６（ｄ）に向かう重なった２本の上向きの矢印は参照読み出しの様子をそれぞれ示している。ここで、動き検出読み出しの様子を示す矢印は省略し図示していない。また、図６（ｃ）から図６（ｄ）に向かう矢印は局部復号されるフレームの符号化データの対応を示すものである。
【０１００】
まず、入力端子１から入力された各フレームの画像データは、５面構成の入力統合ＦＭのいずれかの面のフレームメモリに対して書き込まれる（画像入力書き込み）。図６（ｂ）における右下がりで傾きの大きな破線（第１フィールドを示す）と実線（第２フィールドを示す）が、この画像入力書き込みにおける書き込みの進み方を示している。フィールド内の画像入力書き込みに関しては、途中にアドレスの飛び（不連続な進み）は発生するがアドレスが戻ることはなく、書き込みアドレスは増加していく。次に、画像入力書き込みが開始された時点から２．５フレーム期間経過した時点で、５面構成の入力統合ＦＭのいずれか適切な面のフレームメモリから、その面に保持されていたフレームの画像データの読み出し（画像入力読み出し）が開始される。図６（ｂ）における右下がりで傾きの小さな太実線が、この画像入力読み出しにおける読み出しの進み方を示している。マクロブロック内の画像入力読み出しに関しては、途中にアドレスの飛び（不連続な進みと戻り）が発生し、複雑な書き込みアドレスの変化となるが、フレーム内の画像入力読み出しの全体をマクロブロックライン単位でみれば、順次書き込みアドレスは増加していく。
【０１０１】
選択面制御回路１４ａは、入力端子１９から入力される各フレームの画像タイプ情報により、入力統合ＦＭに関して、どの面のフレームメモリに画像入力書き込みを行うかを示す書き込み選択面情報、どの面のフレームメモリから画像入力読み出しを行うかを示す読み出し選択面情報、およびどの面のフレームメモリから動き検出読み出しを行うかを示す動き検出読み出し選択面情報を生成する。なお、選択面制御回路１４ａには、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが入力端子１７ａから設定されている。書き込み選択面情報（Ｍｍａｘが３の場合には、１から５のいずれか）は、以下の手順に基づいて各フレームごとに順次生成する。
【０１０２】
（１）入力統合ＦＭの各面に対応した５個の状態レジスタ（１〜５の番号）を設け、全ての状態レジスタの初期値を０とする。
【０１０３】
（２）フレーム入力順序での画像タイプがＢフレームである場合、５個の状態レジスタのそれぞれについて、値が１以上であるならば１を減算する。
【０１０４】
（３）フレーム入力順序での画像タイプがＩまたはＰフレームである場合、５個の状態レジスタのそれぞれについて、値が５（＝Ｍｍａｘ＋２）以上であるならば値を４（＝Ｍｍａｘ＋１）に変更し、値が１以上４（＝Ｍｍａｘ＋１）以下であるならば１を減算する。
【０１０５】
（４）５個の状態レジスタの値を順番にチェックして値が０となっている状態レジスタを１個選択し、その番号を現在のフレームの書き込み選択面情報として出力する。
【０１０６】
（５）フレーム入力順序での画像タイプがＢフレームである場合は、選択した状態レジスタの値として新たに４（＝Ｍｍａｘ＋１）を設定する。
【０１０７】
（６）フレーム入力順序での画像タイプがＩまたはＰフレームである場合は、選択した状態レジスタの値として新たに７（＝２×Ｍｍａｘ＋１）を設定する。
【０１０８】
（７）上記（２）に戻り、（２）から（６）を繰り返す。
【０１０９】
また、同様にして、読み出し選択面情報と動き検出読み出し選択面情報（どちらも、Ｍｍａｘが３の場合には、１から５のいずれか）は、以下の手順に基づいて各フレームごとに順次生成する。
【０１１０】
（１）入力統合ＦＭの各面に対応した５個の遅延レジスタ（１〜５の番号）を設け、全ての遅延レジスタの初期値を０とする。
【０１１１】
（２）初期値レジスタを設け、その値を３（＝Ｍｍａｘ）に設定する。
【０１１２】
（３）フレーム入力順序での画像タイプがＢフレームである場合は、上記した手順で生成された書き込み選択面情報に対応する遅延レジスタの値として新たに４（＝Ｍｍａｘ＋１）を設定し、初期値レジスタの値から１を減算する。
【０１１３】
（４）フレーム入力順序での画像タイプがＩまたはＰフレームである場合は、上記した手順で生成された書き込み選択面情報に対応する遅延レジスタの値として初期値レジスタの値を設定し、初期値レジスタの値を３（＝Ｍｍａｘ）に再設定する。
【０１１４】
（５）０．５フレーム期間遅延した時点で有効なフレーム符号化順序での画像タイプが入力されている場合は、５個の遅延レジスタの値を順番にチェックして値が（−１）となっている遅延レジスタ（通常２個存在する）を選択し、それぞれの番号を現在のフレームの動き検出読み出し選択面情報として出力する。
【０１１５】
（６）また、その際に、５個の遅延レジスタの値を順番にチェックして値が１となっている遅延レジスタを１個選択し、その番号を現在のフレームの読み出し選択面情報として出力し、選択した遅延レジスタの値を（−１）に設定する。
【０１１６】
（７）５個の遅延レジスタのそれぞれについて、値が２以上であるならば１を減算する。
【０１１７】
（８）上記（３）に戻り、（３）から（７）を繰り返す。
【０１１８】
選択面制御回路１４ａは、このようにして入力統合ＦＭの書き込み選択面情報、読み出し選択面情報、および動き検出読み出し選択面情報を生成するため、図６（ｂ）に示す通りに入力統合ＦＭのそれぞれの面に対する画像入力書き込み、画像入力読み出し、動き検出読み出しが行われることになる。
【０１１９】
ここで、図６（ｂ）に示した入力統合ＦＭによるフレーム順序変換の処理動作を、時間の経過に沿って簡単に説明する。
【０１２０】
まず、画像データの入力が開始されると同時に、入力単位１９からはフレーム入力順序での画像タイプ情報が開始され、選択面制御回路１４ａでの書き込み選択面情報の出力が開始される。先頭のフレーム期間では、フレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ０）が入力され、選択面制御回路１４ａは、全ての状態レジスタが値０に初期設定されたままなので１番目の状態レジスタを選択してその値を４に変更し、選択した状態レジスタの番号１を書き込み選択面情報として出力する。このとき、入力された画像データは入力統合ＦＭの第１面のフレームメモリにフィールド単位のラスタ走査により書き込まれる（画像入力書き込み）。以降も同様にして、書き込み選択面情報で指定される面のフレームメモリに、入力された画像データは書き込まれる。次に、２番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ１）が入力され、選択面制御回路１４ａは、１番目の状態レジスタの値から１を減算して３とした後、値０に初期設定されたままの２番目の状態レジスタを選択してその値を４に変更し、選択した状態レジスタの番号２を書き込み選択面情報として出力する。３番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＩフレーム（Ｉ２）が入力され、選択面制御回路１４ａは、１番目、および２番目の状態レジスタの値からそれぞれ１を減算して２、および３とした後、値０に初期設定されたままの３番目の状態レジスタを選択してその値を７に変更し、選択した状態レジスタの番号３を書き込み選択面情報として出力する。
【０１２１】
４番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ３）が入力され、選択面制御回路１４ａは、１番目、２番目、および３番目の状態レジスタの値からそれぞれ１を減算して１、２、および６とした後、値０に初期設定されたままの４番目の状態レジスタを選択してその値を４に変更し、選択した状態レジスタの番号４を書き込み選択面情報として出力する。５番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ４）が入力され、選択面制御回路１４ａは、１番目、２番目、３番目、および４番目の状態レジスタの値からそれぞれ１を減算して０、１、５、および３とした後、値０に戻った１番目の状態レジスタを選択してその値を４に変更し、選択した状態レジスタの番号１を書き込み選択面情報として出力する。６番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＰフレーム（Ｐ５）が入力され、選択面制御回路１４ａは、２番目、３番目、４番目、および１番目の状態レジスタの値からそれぞれ１を減算して０、４、２、および３とした後、値０に戻った２番目の状態レジスタを選択してその値を７に変更し、選択した状態レジスタの番号２を書き込み選択面情報として出力する。
【０１２２】
７番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＢフレーム（Ｂ６）が入力され、選択面制御回路１４ａは、３番目、４番目、１番目、および２番目の状態レジスタの値からそれぞれ１を減算して３、１、２、および６とした後、値０に初期設定されたままの５番目の状態レジスタを選択してその値を４に変更し、選択した状態レジスタの番号５を書き込み選択面情報として出力する。８番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＰフレーム（Ｐ７）が入力され、選択面制御回路１４ａは、３番目、４番目、１番目、および５番目の状態レジスタの値からそれぞれ１を減算して２、０、１、および３とし、かつ２番目の状態レジスタの値を６から４に変更した後、値０に戻った４番目の状態レジスタを選択してその値を７に変更し、選択した状態レジスタの番号４を書き込み選択面情報として出力する。９番目のフレーム期間では、フレーム入力順序での画像タイプ情報としてＰフレーム（Ｐ８）が入力され、選択面制御回路１４ａは、３番目、１番目、２番目、および５番目の状態レジスタの値からそれぞれ１を減算して１、０、３、および２とし、かつ４番目の状態レジスタの値を７から４に変更した後、値０に戻った１番目の状態レジスタを選択してその値を７に変更し、選択した状態レジスタの番号１を書き込み選択面情報として出力する。以下、同様にして画像入力書き込みが続く。
【０１２３】
また、１番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＢフレーム（Ｂ０）で書き込み選択面情報として値１を生成したため、あらかじめ値０に初期設定された５個の遅延レジスタの中で１番目の遅延レジスタを選択してその値を４に変更すると共に、あらかじめ値３に初期設定された初期値レジスタの値から１を減算して２とする。０．５フレーム期間遅延した時点で、まだ有効なフレーム符号化順序での画像タイプ情報が入力されていないので読み出し選択面情報は生成出力しない。この時点で、１番目の遅延レジスタの値から１を減算して３とする。次に、２番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＢフレーム（Ｂ１）で書き込み選択面情報として値２を生成したため、２番目の遅延レジスタを選択してその値を４に変更すると共に、初期値レジスタの値から１を減算して１とする。０．５フレーム期間遅延した時点で、まだ有効なフレーム符号化順序での画像タイプ情報が入力されていないので読み出し選択面情報は生成出力しない。この時点で、１番目、および２番目の遅延レジスタの値からそれぞれ１を減算して２、および３とする。
【０１２４】
３番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＩフレーム（Ｉ２）で書き込み選択面情報として値３を生成したため、３番目の遅延レジスタを選択してその値を初期値レジスタの値１に変更すると共に、初期値レジスタの値を３に再設定する。０．５フレーム期間遅延した時点で、有効なフレーム符号化順序での画像タイプ情報としてＩフレーム（Ｉ２）が入力されるため、５個の遅延レジスタの中で値が１となっている３番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号３を読み出し選択面情報として出力する。このとき、入力統合ＦＭの第３面のフレームメモリからフレーム単位のマクロブロック走査により符号化する画像データが読み出される（画像入力読み出し）。以降も同様にして、読み出し選択面情報で指定される面のフレームメモリから、符号化する画像データは読み出される。この時点で、１番目、および２番目の遅延レジスタの値からそれぞれ１を減算して１、および２とする。
【０１２５】
４番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＢフレーム（Ｂ３）で書き込み選択面情報として値４を生成したため、４番目の遅延レジスタを選択してその値を４に変更すると共に、初期値レジスタの値から１を減算して２とする。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目の遅延レジスタを選択し、選択した遅延レジスタの番号３を動き検出読み出し選択面情報として出力する。このとき、入力統合ＦＭの第３面のフレームメモリから動きベクトル検出回路３ａによって動きベクトル検出のために参照フレームの画像データが読み出される（動き検出読み出し）。以降も同様にして、動き検出読み出し選択面情報で指定される面のフレームメモリから、参照フレームの画像データは読み出される。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ０）が入力されるため、５個の遅延レジスタの中で値が１となっている１番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号１を読み出し選択面情報として出力する。この時点で、２番目、および４番目の遅延レジスタの値から１を減算して１、および３とする。
【０１２６】
５番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＢフレーム（Ｂ４）で書き込み選択面情報として値１を生成したため、１番目の遅延レジスタを選択してその値を４に変更すると共に、初期値レジスタの値から１を減算して１とする。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目の遅延レジスタを選択し、選択した遅延レジスタの番号３を動き検出読み出し選択面情報として出力する。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ１）が入力されるため、５個の遅延レジスタの中で値が１となっている２番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号２を読み出し選択面情報として出力する。この時点で、４番目、および１番目の遅延レジスタの値からそれぞれ１を減算して２、および３とする。
【０１２７】
６番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＰフレーム（Ｐ５）で書き込み選択面情報として値２を生成したため、２番目の遅延レジスタを選択してその値を初期値レジスタの値１に変更すると共に、初期値レジスタの値を３に再設定する。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目の遅延レジスタを選択し、選択した遅延レジスタの番号３を動き検出読み出し選択面情報として出力する。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＰフレーム（Ｐ５）が入力されるため、５個の遅延レジスタの中で値が１となっている２番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号２を読み出し選択面情報として出力する。この時点で、４番目、および１番目の遅延レジスタの値からそれぞれ１を減算して１、および２とする。
【０１２８】
７番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＢフレーム（Ｂ６）で書き込み選択面情報として値５を生成したため、５番目の遅延レジスタを選択してその値を４に変更すると共に、初期値レジスタの値から１を減算して２とする。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目と２番目の遅延レジスタを選択し、選択した遅延レジスタの番号３と２を動き検出読み出し選択面情報として出力する。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ３）が入力されるため、５個の遅延レジスタの中で値が１となっている４番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号４を読み出し選択面情報として出力する。この時点で１番目、および５番目の遅延レジスタの値からそれぞれ１を減算して１、および３とする。
【０１２９】
８番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＰフレーム（Ｐ７）で書き込み選択面情報として値４を生成したため、４番目の遅延レジスタを選択してその値を初期値レジスタの値２に変更すると共に、初期値レジスタの値を３に再設定とする。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目と２番目の遅延レジスタを選択し、選択した遅延レジスタの番号３と２を動き検出読み出し選択面情報として出力する。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＢフレーム（Ｂ４）が入力されるため、５個の遅延レジスタの中で値が１となっている１番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号１を読み出し選択面情報として出力する。この時点で５番目、および４番目の遅延レジスタの値からそれぞれ１を減算して２、および１とする。
【０１３０】
９番目のフレーム期間では、選択面制御回路１４ａは、フレーム入力順序での画像タイプ情報がＰフレーム（Ｐ８）で書き込み選択面情報として値１を生成したため、１番目の遅延レジスタを選択してその値を初期値レジスタの値３に変更すると共に、初期値レジスタの値を３に再設定する。０．５フレーム期間遅延した時点で、５個の遅延レジスタの中で値が（−１）となっている３番目と２番目の遅延レジスタを選択し、選択した遅延レジスタの番号３と２を動き検出読み出し選択面情報として出力する。なお、動き検出読み出し選択面情報として値３と２が生成出力されるが、動きベクトル検出回路３ａはこのＰフレームの符号化の際には値３を使用しない。また、同時に、有効なフレーム符号化順序での画像タイプ情報としてＰフレーム（Ｐ７）が入力されるため、５個の遅延レジスタの中で値が１となっている４番目の遅延レジスタを選択してその値を（−１）に変更し、選択した遅延レジスタの番号４を読み出し選択面情報として出力する。この時点で５番目、および１番目の遅延レジスタの値からそれぞれ１を減算して１、および２とする。以下、同様にして画像入力読み出しと動きベクトル検出読み出しが続く。
【０１３１】
図７は、入力統合ＦＭに対する画像入力書き込み、画像入力読み出し、および動き検出読み出しのタイミングを詳しく示す説明図であって、図６（ｂ）に示した入力統合ＦＭの第２面のフレームメモリのメモリイメージを拡大して示すものである。ただし、この図７においては、フレームメモリを上下２枚のフィールドメモリのメモリイメージに分けて図示している。それぞれのフィールドメモリでは、上から下に向かって、フィールド単位でのラスタ走査の順にアドレスが増加するメモリイメージとなっている。太実線が、画像入力書き込み（Ｂ１，Ｐ５といった各フレームの画像データの書き込み）における書き込みの進み方を示している。小さな矩形が左上から右下に向かって階段状に連なっている様子が、画像入力読み出し（Ｂ１，Ｐ５といった各フレームの画像データの読み出し）における読み出しの進み方を示している。小さな矩形はマクロブロックラインに含まれる８ライン分のアドレス領域を示している。また、左上から右下に延びている幅の広い網かけ線が、動き検出読み出し（Ｐ５といったＩまたはＰフレームの画像データの読み出し）における読み出しの進み方を示している。なお、各フレームの画像データにより占有されているフレームメモリのアドレス領域の時間遷移を網かけで示している。
【０１３２】
この図７に示すように、フレームＢ１の符号化による画像入力読み出し、フレームＰ５の入力による画像入力書き込み、およびフレームＰ５の符号化による画像入力読み出しという順番で、入力統合ＦＭの同一面のフレームメモリに対する書き込みと読み出しが連続する場合がある。そのため、本実施形態においても、図３に示した本発明の第一の実施形態の場合と同じく、各フレームの画像データの入力（画像入力書き込み）期間と画像データの符号化（画像入力読み出し）期間との間にずれ時間δを設け、かつ画像入力書き込みが停止する第１フィールドと第２フィールドの間の垂直帰線期間を含む所定期間は、画像入力読み出しを停止する符号化停止期間としている。ここで、ずれ時間δは１フィールド期間とし、符号化停止期間は垂直帰線期間に８ライン期間の２倍（前後に８ライン期間ずつ）を加えた時間よりも長く設定している。なお、このように符号化停止期間を設定すれば、動き検出読み出しと画像入力書き込みがぶつかることもない。
【０１３３】
図８は、図５に示した本発明の第二の実施形態における符号化処理の流れとタイミングを示す別の説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ）は入力統合ＦＭを構成する５面のフレームメモリの第１面から第３面のフレームメモリのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像タイプをフレーム符号化順序で示したものである。図６においては、局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で（ｄ）に、局部復号ＦＭを構成する２面のフレームメモリのそれぞれのメモリイメージを（ｅ）に示していたが、この図８においては省略している。なお、この図８は、入力端子１７ａからＩまたはＰフレームの最大フレーム間隔Ｍｍａｘとして１が設定され、各フレームのフレーム入力順序での画像タイプ情報が、
Ｉ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｉ５，Ｐ６，Ｐ７，Ｐ８，Ｉ９，…
と図８（ａ）に示す通りに入力端子１９から指定された場合の例である。また、このとき、各フレームのフレーム符号化順序での画像タイプ情報も、フレーム入力順序での画像タイプ情報と同じ情報が、図８（ｃ）に示す通りに入力端子１９から指定されている。この場合には、図４に示した本発明の第一の実施形態の場合とは異なり、ＩまたはＰフレームのフレーム間隔Ｍが１でＩフレームのフレーム間隔Ｎに対応して生成されるような固定のパターンとはなっていない。
【０１３４】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図４（ｂ）に示す入力統合ＦＭに対しては、右下がりで傾きの大きな破線と実線で示される画像入力書き込み、右下がりで傾きの小さな太実線で示される画像入力読み出し、および幅の広い薄い網かけの線で示される動き検出読み出しが行われる。さらに、図示していないが、局部復号ＦＭに対しては、復号書き込みと参照読み出しが行われる。
【０１３５】
選択面制御回路１４ａは、入力端子１９から入力される各フレームの画像タイプ情報により、前述した通りの手順で、入力統合ＦＭの書き込み選択面情報、読み出し選択面情報、および動き検出読み出し選択面情報とを生成する。ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが１の場合には、各フレームの画像タイプ情報としてＢフレームが指定されることはないので、書き込み選択面情報を生成する手順は以下に示す通りに簡単化される。
【０１３６】
（１）入力統合ＦＭの各面に対応した５個の状態レジスタ（１〜５の番号）を設け、全ての状態レジスタの初期値を０とする。
【０１３７】
（２）５個の状態レジスタのそれぞれについて、値１以上であるならば１を減算する。
【０１３８】
（３）５個の状態レジスタの値を順番にチェックして値が０となっている状態レジスタを１個選択し、その番号を現在のフレームの書き込み選択面情報として出力する。
【０１３９】
（４）選択した状態レジスタの値として新たに３を設定する。
【０１４０】
（５）上記（２）に戻り、（２）から（４）を繰り返す。
【０１４１】
また、同様にして、読み出し選択面情報と動き検出読み出し選択面情報を生成する手順は以下に示す通りに簡単化される。
【０１４２】
（１）入力統合ＦＭの各面に対応した５個の遅延レジスタ（１〜５の番号）を設け、全ての遅延レジスタの初期値を０とする。
【０１４３】
（２）上記した手順で生成された書き込み選択面情報に対応する遅延レジスタの値として新たに１を設定する。
【０１４４】
（３）０．５フレーム期間遅延した時点で有効なフレーム符号化順序での画像タイプが入力されている場合は、５個の遅延レジスタの値を順番にチェックして値が（−１）となっている遅延レジスタ（通常２個存在する）を選択し、その番号を現在のフレームの動き検出読み出し選択面情報として出力する。
【０１４５】
（４）また、その際に、５個の遅延レジスタの値を順番にチェックして値が１となっている遅延レジスタ（結局上記（２）で１を設定したものとなる）を１個選択し、その番号を現在のフレームの読み出し選択面情報として出力し、選択した遅延レジスタの値として（−１）を設定する。
【０１４６】
（５）上記（２）に戻り、（２）から（４）を繰り返す。
【０１４７】
選択面制御回路１４ａは、このようにして入力統合ＦＭの書き込み選択面情報、読み出し選択面情報、および動き検出読み出し選択面情報と生成するため、図８（ｂ）に示す通りに入力統合ＦＭの第１面から第３面のフレームメモリが巡回的に使用されることになる。入力統合ＦＭの第４面と第５面のフレームメモリは使用されない。何らかの別の画像データを記憶保持するワーク領域として使用することが可能である。
【０１４８】
以上、本発明の第二の実施形態について詳しく説明した。本実施形態は５２５／６０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。５面構成で２０Ｍｂｉｔのデータ容量の入力統合フレームメモリ、２面構成で８Ｍｂｉｔのデータ容量の局部復号フレームメモリ、および４Ｍｂｉｔのデータ容量のバッファメモリを備え、合計３２Ｍｂｉｔのデータ容量のメモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームの最大フレーム間隔Ｍｍａｘと各フレームの画像タイプ情報に応じて符号化処理が行われる。Ｍｍａｘの値としては１，２，３のいずれかの値の設定が可能であり、画像データの入力が開始されてから符号化が開始されるまでの遅延時間は、それぞれの場合について０．５フレーム期間，１．５フレーム期間，２．５フレーム期間となる。
【０１４９】
次に、本発明によるディジタル画像圧縮符号化装置の第三の実施形態について説明する。
【０１５０】
図９は本発明の第三の実施形態を示すブロック図であって、１は画像データの入力端子、２は画像入力変換回路、３ａは動きベクトル検出回路、４は減算回路、５はＤＣＴ回路、６は量子化回路、７は逆量子化回路、８は逆ＤＣＴ回路、９は加算回路、１０ａは動き補償回路、１１は可変長符号化回路、１２は出力制御回路、１３は符号化制御回路、１４ａは選択面制御回路、１５は画像タイプ生成回路、１６は符号化データの出力端子、１８ａは切り換え回路、１７はフレーム間隔情報の入力端子、１７ａは最大フレーム間隔情報の入力端子、２４はバッファメモリ、２６は統合フレームメモリである。なお、本発明の第一の実施形態を示した図１、および第二の実施形態を示した図５と対応する部分については同一符号を付け、同一動作となる場合には重複する説明を省略する。本実施形態のディジタル画像圧縮符号化装置は、６２５／５０方式によるディジタル画像信号を符号化によりデータ圧縮して符号化データを生成するものである。６２５／５０方式とは、フレームの画素数が７２０×５７６画素でフレームレートが毎秒２５フレームでインターレース走査された画像信号の形式のことである。
【０１５１】
同図において、符号化するインターレース走査の画像データが、フィールド単位のラスタ走査に従って入力端子１から４：２：２フォーマットで入力される。４：２：２フォーマットにおける輝度データの画素数はフィールドあたり７２０×２８８画素、色差データの画素数はフィールドあたり３６０×２８８画素である。画像入力変換回路２は、入力された画像データを４：２：０フォーマットに変換して統合フレームメモリ２６に一旦記憶保持することにより、画像データのフレーム入力順序をフレーム符号化順序に変換した後で、フレーム単位のマクロブロック走査に従って画像データを出力する。４：２：０フォーマットにおける輝度データの画素数はフレームあたり７２０×５７６画素、色差データの画素数はフレームあたり３６０×２８８画素である。統合フレームメモリ２６は５フレーム分の画像データを保持可能な５面のフレームメモリである。各画素の画像データが８ビットで表現される４：２：０フォーマットの場合、１フレーム分の画像データのデータ量は、
（７２０×５７６＋２×３６０×２８８）×８＝４９７６６４０
ビットであるので、１面のフレームメモリのデータ容量は約４．７５Ｍｂｉｔである。したがって、統合フレームメモリ２６のデータ容量を２４Ｍｂｉｔとしている。
【０１５２】
まず、画像入力変換回路２は、５面構成の統合フレームメモリ２６において書き込み選択面情報で指定される面のフレームメモリに、入力された現在のフレームの画像データを書き込む。次に、画像入力変換回路２は、統合フレームメモリ２６において読み出し選択面情報で指定される面のフレームメモリから、そこに保持されているフレームの画像データを読み出す。書き込み選択面情報と読み出し選択面情報は、選択面制御回路１４ａで生成され画像入力変換回路２に供給される。
【０１５３】
画像タイプ生成回路１５の動作は、図１に示した本発明の第一の実施形態の場合と基本的に同じであるが、ＩまたはＰフレームのフレーム間隔Ｍ、およびＩフレーム間隔Ｎという２種類のフレーム間隔情報を、入力端子１から入力される各フレームの画像データに対応した画像タイプ情報の生成途中においても、入力端子１７を通して設定し直す場合に対応した動作を行う。また、選択面制御回路１４ａの動作は、図５に示した本発明の第二の実施形態の場合と同じである。
【０１５４】
フレーム単位のマクロブロック走査に従って画像入力変換回路２から出力された画像データは、動きベクトル検出回路３ａと減算回路４に供給される。動きベクトル検出回路３ａは、統合フレームメモリ２６に対して、動き検出読み出し選択面情報で指定される面のフレームメモリから、そこに保持されている最新の２フレーム分のＩまたはＰフレームの画像データ（後述する通り、この時点では既に入力された画像データではなく局部復号された再生画像データに書き換えられている）を読み出し、画像入力変換回路２から出力された画像データについて、マクロブロック単位で動きベクトルを検出する。動きベクトル検出回路３ａの動作は、図５に示した本発明の第二の実施形態の場合と同じである。動き補償回路１０ａは、統合フレームメモリ２６に対して、前記読み出し選択面情報で指定される面のフレームメモリに、加算回路９から供給されるＩまたはＰフレームの局部復号された再生画像データを上書きすると共に、前記動き検出読み出し選択面情報で指定される面のフレームメモリから、そこに保持されている最新の２フレーム分のＩまたはＰフレームの局部復号された再生画像データを読み出し、動きベクトル検出回路３ａから供給される動きベクトルに従って、マクロブロックごとの予測画像データを生成し減算回路４と加算回路９に出力する。なお、本実施形態のディジタル画像圧縮符号化装置は固定タイムスロットに従ってマクロブロック単位で符号化を進めるものであり、統合フレームメモリ２６に対して画像入力変換回路２が行う画像データの書き込みと読み出し、動きベクトル検出回路３ａが行う再生画像データの読み出し、および動き補償回路１０ａが行う再生画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。また、画像入力変換回路２、動きベクトル検出回路３ａ、および動き補償回路１０ａの入力統合フレームメモリ２５に対する接続は、切り換え回路１８ａによって適切なタイミングで切り換えられる。
【０１５５】
減算回路４、ＤＣＴ回路５、量子化回路６、可変長符号化回路１１、逆量子化回路７、逆ＤＣＴ回路８、加算回路９という一連の回路で行われる符号化処理と局部復号処理については、第一の実施形態、および第二の実施形態の場合と同様である。また、出力制御回路１２は、可変長符号化回路１１から供給される符号化データを一旦バッファメモリ２４に書き込んだ後、順次バッファメモリ２４に蓄えられている符号化データを読み出して出力端子１６から一定ビットレートで出力する。バッファメモリ２４は約８Ｍｂｉｔのデータ容量を持つ。なお、符号化制御回路１３は、第二の実施形態の場合と同様の処理を行う。
【０１５６】
図１０は、図９に示した本発明の第三の実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ）は統合フレームメモリ２６（以下、統合ＦＭという）を構成する５面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｄ）は局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で示している。なお、この図１０は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが３と最初に設定され、ＩまたはＰフレームのフレーム間隔Ｍとしては初期値として３が、６番目のフレーム期間で２が、８番目のフレーム期間で１が、９番目のフレーム期間で２が、１１番目のフレーム期間で３が設定され、かつ、Ｉフレームのフレーム間隔Ｎとしては１５が設定された場合の例である。このとき、画像タイプ生成回路１５は、図６に示した本発明の第二の実施形態の場合と同じ画像タイプ情報を各フレームで生成することになる。すなわち、各フレームのフレーム入力順序での画像タイプ情報は図１０（ａ）に示す通りに、各フレームのフレーム符号化順序での画像タイプ情報は図１０（ｃ）に示す通りとなる。
【０１５７】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図１０（ｂ）に示す統合ＦＭに対しては、画像入力変換回路２による「画像入力書き込み」、画像入力変換回路２による「画像入力読み出し」、動きベクトル検出回路３ａによる「動き検出読み出し」、動き補償回路１０ａによる「復号書き込み」、および動き補償回路１０ａによる「参照読み出し」が行われる。なお、図１０（ａ）から図１０（ｂ）に向かう下向きの矢印は画像入力書き込みの様子を、図１０（ｂ）から図１０（ｃ）に向かう下向きの矢印は画像入力読み出しと参照読み出しの様子を、図１０（ｄ）から図１０（ｃ）に向かう上向きの矢印は復号書き込みの様子をそれぞれ示している。図１０（ｂ）から図１０（ｄ）に向かう下向きの矢印も参照読み出しの様子を示している。ここで、動き検出読み出しの様子を示す矢印は省略し図示していないが、図示するならば参照読み出しの様子を示す矢印と重なる。
【０１５８】
なお、この図１０では、各フレームの画像データにより占有されているフレームメモリのアドレス領域の時間遷移を網かけで示しているが、入力された画像データが局部復号された再生画像データで上書きされる時点までを薄い網かけで、それ以降を濃い網かけで示している。
【０１５９】
以上、本発明の第三の実施形態について詳しく説明した、本実施形態は６２５／５０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。５面構成で２４Ｍｂｉｔのデータ容量の統合フレームメモリと８Ｍｂｉｔのデータ容量のバッファメモリを備え、合計３２Ｍｂｉｔのデータ容量のメモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームの最大フレーム間隔Ｍｍａｘ、途中で変更可能なＩまたはＰフレームのフレーム間隔Ｍ、および途中で変更可能なＩフレームのフレーム間隔Ｎに応じて符号化処理が行われる。Ｍｍａｘの値としては１，２，３のいずれかの値の設定が可能であり、画像データの入力が開始されてから符号化が開始されるまでの遅延時間は、それぞれの場合について０．５フレーム期間，１．５フレーム期間，２．５フレーム期間となる。また、Ｍの値としてはＭｍａｘ以下の値の設定が可能である。
【０１６０】
なお、本実施形態を本発明の第二の実施形態の場合と比べると、２面構成の局部復号フレームメモリを５面構成の統合フレームメモリで兼用することにより、２面構成の局部復号フレームメモリを省いているため、合計のフレームメモリの面数が７面から５面に削減されている。そのため、合計３２Ｍｂｉｔのデータ容量のメモリを備えている点は同じであるが、５２５／６０方式ではなくフレームあたりの画素数が多い６２５／５０方式への対応が可能となっている。ただし、動きベクトル検出に用いられる参照フレームは、入力された画像データではなく局部復号された再生画像データとなる。
【０１６１】
次に、本発明によるディジタル画像圧縮符号化装置の第四の実施形態について説明する。
【０１６２】
本発明の第四の実施形態のブロック図は、図９に示した本発明の第三の実施形態の場合と同じであるが、一部動作が異なる部分がある。図１１は、本実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）から（ｄ）が示す内容は図１０と同じである。ただし、動き検出読み出しと参照読み出しの進み方を示す幅の広い薄い網かけの線は、一部を除いて省略している。動き検出と参照読み出しの様子を示す矢印も省略している。なお、この図１１は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが３と最初に設定され、かつＩまたはＰフレームのフレーム間隔ＭとＩフレームのフレーム間隔Ｎが図１０の場合と同様に設定された場合の例である。本実施形態が図１０に示した本発明の第三の実施形態の場合と異なる点は、５面のフレームメモリで構成される統合フレームメモリ２６の各フレームメモリに対して適用するメモリマップを２種類設け、そのフレームメモリに保持されるフレームが更新される毎にメモリマップを交互に切り換えていることである。統合フレームメモリ２６に対するメモリアクセスを行う画像入力変換回路２、動きベクトル検出回路３ａ、および動き補償回路１０ａにおけるアドレス生成方法が切り換えられることになる。
【０１６３】
第１のメモリマップは図１０に示した本発明の第三の実施形態の場合と同じであるが、第２のメモリマップが異なる。第１のメモリマップでは、第１フィールドの画像データが第１のフィールドメモリに格納され、第２フィールドの画像データが第２のフィールドメモリに格納される。それに対して、第２のメモリマップでは、第１フィールドの画像データの前半部分と第２フィールドの画像データの前半部分が第１のフィールドメモリに格納され、第１フィールドの画像データの後半部分と第２フィールドの画像データの後半部分が第２のフィールドメモリに格納されるように、アドレス変換処理が加えられる。そのため、第２のメモリマップでは、画像入力書き込みや画像入力読み出しのアドレスの進み方を示す線が、図１１に示すように複数本に分かれる。
【０１６４】
なお、この図１１では、各フレームの画像データにより占有されているフレームメモリの第１のフィールドメモリのアドレス領域の時間遷移を網かけで示している。また、第１のメモリマップに従って格納されている画像データは濃い網かけで、第２のメモリマップに従って格納されている画像データは薄い網かけで示している。画像入力書き込みや画像入力読み出しのアドレスの進み方を示す線が交差しているように見えるところでも、実際には占有アドレス領域の重なりはないことが分かる。
【０１６５】
図１２と図１３は、統合ＦＭに対する画像入力書き込み、画像入力読み出し、および動き検出読み出しのタイミングを詳しく示す説明図である。それぞれ、図１１（ｂ）に示した統合ＦＭの第２面と第１面のフレームメモリのメモリイメージを拡大して示すものである。ただし、フレームメモリを上下２枚のフィールドメモリのメモリイメージに分けて図示している。なお、各フレームの画像データにより占有されているフレームメモリのアドレス領域の時間遷移を網かけで示しているが、図１１の場合と同様に、第１のメモリマップに従って格納されている画像データは濃い網かけで、第２のメモリマップに従って格納されている画像データは薄い網かけで示している。
【０１６６】
例えば、図１２に示すように、フレームＢ１の符号化による画像入力読み出し、フレームＰ５の入力による画像入力書き込み、およびフレームＰ５の符号化による画像入力読み出しという順番で、統合ＦＭの同一面のフレームメモリに対する書き込みと読み出しが連続する場合がある。図１３においても同様の場合が示されている。そのため、本実施形態においては、第一から第三の実施形態の場合と異なり、新たなフレームの画像データの画像入力書き込みを開始する時点でフレームメモリのメモリマップを切り換え、かつ各フレームの画像データの入力（画像入力書き込み）期間と画像データの符号化（画像入力読み出し）期間との間にずれ時間δ’を設けている。ここで、ずれ時間δ’は１フィールド期間よりも数十ライン期間だけ長く設定している。こうすることにより、画像入力書き込みと画像入力読み出しがぶつかることはなく、さらに、第一から第三の実施形態において必要であった垂直帰線期間を含む所定期間の符号化停止期間を設ける必要がなくなっている。なお、動き検出読み出しと画像入力書き込みがぶつかることもない。
【０１６７】
図１４は、本実施形態における符号化処理の流れとタイミングを示す別の説明図であって、（ａ）から（ｃ）が示す内容は図１１と同じである。ただし、図１１では局部復号された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で（ｄ）に示していたが、この図１４では省略している。なお、この図１４は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが１と最初に設定され、かつＩまたはＰフレームのフレーム間隔Ｍとしては１が、Ｉフレームのフレーム間隔Ｎとしては初期値として５が、５番目のフレーム期間で４が設定された場合の例である。本実施形態が第三の実施形態の場合と異なる点は、このようにＭｍａｘの値が１に設定された場合に、統合フレームメモリ２６の第１面と第２面のフレームメモリのみを使用することである。図９に示した本発明の第三の実施形態では３面のフレームメモリを使用するが、本実施形態では２面のフレームメモリを使用する。Ｍｍａｘが１と設定された場合に、選択面制御回路１４ａにおいて生成される統合フレームメモリ２６の書き込み選択面情報、読み出し選択面情報、および動き検出読み出し選択面情報が異なることになる。
【０１６８】
選択面制御回路１４ａは、画像タイプ生成回路１５から供給される各フレームの画像タイプ情報により、統合ＦＭの書き込み選択面情報を、以下の手順に基づいて各フレームごとに順次生成する。
【０１６９】
（１）入力統合ＦＭの各面に対応した５個の状態レジスタ（１〜５の番号）を設け、全ての状態レジスタの初期値を０とする。
【０１７０】
（２）５個の状態レジスタのそれぞれについて、値１以上であるならば１を減算する。
【０１７１】
（３）５個の状態レジスタの値を順番にチェックして値が０となっている状態レジスタを１個選択し、その番号を現在のフレームの書き込み選択面情報として出力する。
【０１７２】
（４）選択した状態レジスタの値として新たに２を設定する。
【０１７３】
（５）上記（２）に戻り、（２）から（４）を繰り返す。
【０１７４】
この（４）のステップにおいて、第三の実施形態の場合では３を設定するが、本実施形態では２を設定するという違いがある。また、統合ＦＭの読み出し選択面情報と動き検出読み出し選択面情報は、第三の実施形態の場合と同じ手順に基づいて各フレームごとに順次生成する。
【０１７５】
図１５は、統合ＦＭに対する画像入力書き込み、画像入力読み出し、および動き検出読み出しのタイミングを詳しく示す説明図であって、図１４（ｂ）に示した統合ＦＭの第１面のフレームメモリのメモリイメージを拡大して示すものである。ただし、フレームメモリを上下２枚のフィールドメモリのメモリイメージに分けて図示している。なお、図１２および図１３の場合と同様に、各フレームの画像データにより占有されているフレームメモリのアドレス領域の時間遷移を網かけで示している。
【０１７６】
この図１５に示すように、フレームＩ０の画像データの動き検出読み出しと参照読み出し、フレームＰ２の入力による画像入力書き込み、フレームＰ２の符号化による画像入力読み出しという順番で、統合ＦＭの同一面のフレームメモリに対する書き込みと読み出しが連続する場合がある。本実施形態においては、新たなフレームの画像データの画像入力書き込みを開始する時点でフレームメモリのメモリマップを切り換え、かつ各フレームの画像データの入力期間と画像データの符号化期間との間に、１フィールド期間よりも数十ライン期間だけ長いずれ時間δ’を設けているため、動き検出読み出しや参照読み出しと画像入力書き込みがぶつかることはなく、画像入力書き込みと画像入力読み出しがぶつかることもない。また、第一から第三の実施形態において必要であった符号化停止期間を設ける必要がなくなっている。
【０１７７】
以上、本発明の第四の実施形態について詳しく説明した、本実施形態は６２５／５０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。５面構成で２４Ｍｂｉｔのデータ容量の統合フレームメモリと８Ｍｂｉｔのデータ容量のバッファメモリを備え、合計３２Ｍｂｉｔのデータ容量のメモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームの最大フレーム間隔Ｍｍａｘ、途中で変更可能なＩまたはＰフレームのフレーム間隔Ｍ、および途中で変更可能なＩフレームのフレーム間隔Ｎに応じて符号化処理が行われる。Ｍｍａｘの値としては１，２，３のいずれかの値、Ｍの値としてはＭｍａｘ以下の値の設定が可能である。
【０１７８】
なお、本実施形態を本発明の第三の実施形態の場合と比べると、垂直帰線期間を含む所定期間の符号化停止期間を設ける必要をなくし、各フレームの符号化処理の割り当て時間を長くしているため、符号化処理を行う一連の回路の動作速度を遅くすることにより、回路規模や消費電力が低減されている。
【０１７９】
次に、本発明によるディジタル画像圧縮符号化装置の第五の実施形態について説明する。
【０１８０】
図１６は本発明の第五の実施形態を示すブロック図であって、１は画像データの入力端子、２は画像入力変換回路、２０は動きベクトル検出・動き補償回路、４は減算回路、５はＤＣＴ回路、６は量子化回路、７は逆量子化回路、８は逆ＤＣＴ回路、９は加算回路、１１は可変長符号化回路、１２は出力制御回路、１３は符号化制御回路、１４ｂは選択面制御回路、１６は符号化データの出力端子、１７ａは最大フレーム間隔情報の入力端子、１９は画像タイプ情報の入力端子、２１は入力フレームメモリ、２３は局部復号フレームメモリ、２４はバッファメモリである。なお、本発明の第一の実施形態を示した図１、および第二の実施形態を示した図５と対応する部分については同一符号を付け、同一動作となる場合には重複する説明を省略する。本実施形態のディジタル画像圧縮符号化装置は、６２５／５０方式によるディジタル画像信号を符号化によりデータ圧縮して符号化データを生成するものである。入力フレームメモリ２１は３フレーム分の画像データを保持可能な３面のフレームメモリで、そのデータ容量を１５Ｍｂｉｔとしている。局部復号フレームメモリ２３は２フレーム分の画像データを保持可能な２面のフレームメモリで、そのデータ容量を１０Ｍｂｉｔとしている。また、バッファメモリ２４は８Ｍｂｉｔのデータ容量を持つ。
【０１８１】
選択面制御回路１４ｂは、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが入力端子１７ａから設定された後、入力端子１９から入力される各フレームの画像タイプ情報情報により、入力フレームメモリ２１の書き込み選択面情報と読み出し選択面情報を生成する。例えば、３個ずつの状態レジスタと遅延レジスタを設け、それぞれのレジスタを用いて書き込み選択面情報と読み出し選択面情報を生成する手順、すなわち図５に示した本発明の第二の実施形態における選択面制御回路１４ａの場合と類似した生成手順（ただし、動き検出読み出し選択面情報は出力しない）も使用可能であるが、本実施形態では別の生成手順を用いている。入力フレームメモリ２１の書き込み選択面情報と読み出し選択面情報（それぞれ、Ｍｍａｘが３の場合には、１，２，３のいずれか）は、以下の手順に基づいて各フレームごとに順次生成する。
【０１８２】
（１）先頭の３（＝Ｍｍａｘ）フレームについては、書き込み選択面情報として順番に１，２，３（＝Ｍｍａｘ）の番号を生成して出力する。
【０１８３】
（２）また、３（＝Ｍｍａｘ）番目のフレーム期間においては、先頭の３（＝Ｍｍａｘ）フレームの中で、フレーム入力順序での画像タイプがＩまたはＰフレームであった最初のフレームの書き込み選択面情報と同じ番号を、読み出し選択面情報として０．５フレーム期間遅延した時点で出力する。
【０１８４】
（３）次のフレーム期間では、書き込み選択面情報として、出力している読み出し選択面情報と同じ番号を書き込み選択面情報として出力する。
【０１８５】
（４）また、３（＝Ｍｍａｘ）フレーム前のフレームのフレーム入力順序での画像タイプがＢフレームであった場合には、その３（＝Ｍｍａｘ）フレーム前のフレームの書き込み選択面情報と同じ番号を、読み出し選択面情報として０．５フレーム期間遅延した時点で出力する。
【０１８６】
（５）あるいは、上記（４）は成り立たない場合には、２（＝Ｍｍａｘ−１）フレーム前のフレームから現在のフレームまでの３（＝Ｍｍａｘ）フレームの中で、フレーム入力順序での画像タイプがＩまたはＰフレームであった最初のフレームの書き込み選択面情報と同じ番号を、読み出し選択面情報として０．５フレーム期間遅延した時点で出力する。
【０１８７】
（６）上記（３）に戻り、（３）から（５）を繰り返す。
【０１８８】
なお、画像入力変換回路２の動作は第一の実施形態の場合と同じである。
【０１８９】
フレーム単位のマクロブロック走査に従って画像入力変換回路２から出力された画像データは、動きベクトル検出・動き補償回路２０と減算回路４に供給される。まず、動きベクトル検出・動き補償回路２０は、局部復号フレームメモリ２３から、そこに保持されている参照フレームのＩまたはＰフレームの再生画像データを読み出して内部に保持し、全探索ブロックマッチング手法によりマクロブロック単位で動きベクトルを検出する。そして、次に、求めた動きベクトルに従って、内部に保持していた参照フレームの再生画像データの一部分を抜き出すことにより、マクロブロックごとの予測画像データを生成し減算回路４と加算回路９に出力する。また、動きベクトル検出・動き補償回路２０は、加算回路９から供給されるＩまたはＰフレームの局部復号された再生画像データを局部復号フレームメモリ２３に書き込む。このとき、局部復号フレームメモリ２３のフレームメモリの選択面は、常にフレーム符号化順序で最新の２フレーム分のＩまたはＰフレームの再生画像データが保持されるように交互に切り換えられる。なお、本実施形態のディジタル画像圧縮符号化装置は固定タイムスロットに従ってマクロブロック単位で符号化を進めるものであり、局部復号フレームメモリ２３に対して動きベクトル検出・動き補償回路２０が行う再生画像データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【０１９０】
なお、動きベクトル検出・動き補償回路２０で行われる動きベクトル検出処理は、図５に示した本発明の第二の実施形態における動きベクトル検出回路３ａで行われる処理と基本的に同じであるが、フレーム予測モードとフィールド予測モードの切り換えは、符号化制御回路１３で生成され供給される動き補償予測モード情報に従って切り換えるのではなく、内部で判定しながら適宜切り換えるようになっている。減算回路４、ＤＣＴ回路５、量子化回路６、可変長符号化回路１１、逆量子化回路７、逆ＤＣＴ回路８、加算回路９という一連の回路で行われる符号化処理と局部復号処理については、第一から第四の実施形態の場合と同様である。
【０１９１】
図１７は、本実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ−１）は入力フレームメモリ２１（入力ＦＭ）を構成する３面のフレームメモリのそれぞれのメモリイメージを、（ｂ−２）は局部復号フレームメモリ２３（局部復号ＦＭ）を構成する２面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｄ）は局部復号された各フレームの画像符号化タイプを示している。なお、この図１７は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが３と入力端子１７ａから設定され、各フレームの画像タイプ情報が図６と同じ通りに入力端子１９から指定された場合の例である。
【０１９２】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図１７（ｂ−１）に示す入力ＦＭに対しては、画像入力変換回路２による「画像入力書き込み」と「画像入力読み出し」が行われ、図１７（ｂ−２）に示す局部復号ＦＭに対しては、動きベクトル検出・動き補償回路２０による「動き検出読み出し」と「復号書き込み」が行われる。なお、図１７（ａ）から図１７（ｂ−１）に向かう下向きの矢印は画像入力書き込みの様子を、図１７（ｂ−１）から図１７（ｃ）に向かう下向きの矢印は画像入力読み出しの様子を、図１７（ｂ−２）から図１７（ｃ）に向かう下向きの矢印は動き検出読み出しの様子を、図１７（ｃ）から図１７（ｂ−２）に向かう上向きの矢印は復号書き込みの様子をそれぞれ示している。
【０１９３】
以上、本発明の第五の実施形態について詳しく説明した。本実施形態は６２５／５０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。３面構成で１５Ｍｂｉｔのデータ容量の入力フレームメモリ、２面構成で１０Ｍｂｉｔのデータ容量の局部復号フレームメモリ、および８Ｍｂｉｔのデータ容量のバッファメモリを備え、合計３２Ｍｂｉｔのデータ容量のメモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームの最大フレーム間隔Ｍｍａｘと各フレームの画像タイプ情報に応じて符号化処理が行われる。Ｍｍａｘの値としては１，２，３のいずれかの値の設定が可能である。
【０１９４】
なお、本実施形態を本発明の第一の実施形態の場合と比べると、ＩまたはＰフレーム間隔Ｍが固定でなく可変の場合にも対応しているだけでなく、２面構成の動き検出フレームメモリを２面構成の局部復号フレームメモリで兼用することにより、２面構成の動き検出フレームメモリを省いているため、合計のフレームメモリの面数が７面から５面に削減されている。そのため、合計３２Ｍｂｉｔのデータ容量のメモリを備えている点は同じであるが、５２５／６０方式ではなくフレームあたりの画素数が多い６２５／５０方式への対応が可能となっている。ただし、動きベクトル検出に用いられる参照フレームは、入力された画像データではなく局部復号された再生画像データとなる。また、符号化されるＩまたはＰフレームの画像データを動き検出フレームメモリに書き込む必要がなくなるため、さらに、動きベクトル検出回路と動き補償回路を統合して一体化することにより、ＩまたはＰフレームを局部復号するために局部復号メモリから再生画像データを読み出す必要をなくしているため、フレームメモリに対するメモリアクセスのバンド幅の合計が低減されている。
【０１９５】
次に、本発明によるディジタル画像圧縮符号化装置の第六の実施形態について説明する。
【０１９６】
図１８は本発明の第六の実施形態を示すブロック図であって、１は画像データの入力端子、２は画像入力変換回路、２８はベクトル粗探索回路、２９はベクトル密探索・動き補償回路、４は減算回路、５はＤＣＴ回路、６は量子化回路、７は逆量子化回路、８は逆ＤＣＴ回路、９は加算回路、１１は可変長符号化回路、１２は出力制御回路、１３は符号化制御回路、１４ｂは選択面制御回路、１５は画像タイプ生成回路、１６は符号化データの出力端子、１８ｂは切り換え回路、１７はフレーム間隔情報の入力端子、１７ａは最大フレーム間隔情報の入力端子、３０は一体化メモリである。なお、本発明の第一の実施形態を示した図１、第二の実施形態を示した図５、第三と第四の実施形態を示した図１、および第五の実施形態を示した図１６と対応する部分については同一符号を付け、同一動作となる場合には重複する説明を省略する。本実施形態のディジタル画像圧縮符号化装置は、６２５／５０方式によるディジタル画像信号を符号化によりデータ圧縮して符号化データを生成するものである。一体化メモリ３０は３２Ｍｂｉｔのデータ容量を持ち、そのアドレス空間は４種類のメモリ領域に分割されている。
【０１９７】
図２１に一体化メモリ３０のメモリマップを示す。３２Ｍｂｉｔのアドレス空間が、入力フレームメモリ領域、動き検出フレームメモリ領域、局部復号フレームメモリ領域、およびバッファメモリ領域に分割されている。入力フレームメモリ領域（以下、入力ＦＭという）は、３フレーム分の画像データを保持可能な３面のフレームメモリとして使用されるメモリ領域であり、その割り当てデータ容量は約１４．３Ｍｂｉｔである。同様に、局部復号フレームメモリ領域（以下、局部復号ＦＭという）は、２フレーム分の画像データを保持可能な２面のフレームメモリとして使用されるメモリ領域であり、その割り当てデータ容量は約９．５Ｍｂｉｔである。それに対して、動き検出フレームメモリ領域（以下、動き検出ＦＭという）は、水平方向に１／２サブサンプリングされた輝度データを２フレーム分だけ保持可能な２面のフレームメモリとして使用されるメモリ領域であり、その割り当てデータ容量は約３．２Ｍｂｉｔである。バッファメモリ領域（以下、ＢＭという）の割り当てデータ容量は残りの約５Ｍｂｉｔである。
【０１９８】
画像タイプ生成回路１５の動作は、図９に示した本発明の第三と第四の実施形態の場合と同じであり、選択面制御回路１４ｂの動作は、図１６に示した本発明の第五の実施形態の場合と同じである。また、画像入力変換回路２の動作は第四の実施形態の場合と基本的に同じである。すなわち、３面のフレームメモリで構成される入力ＦＭの各フレームメモリに対して適用するメモリマップを２種類設け、そのフレームメモリに保持されるフレームが更新される毎にメモリマップを交互に切り換えている。入力ＦＭに対するメモリアクセスを行う画像入力変換回路２におけるアドレス生成方法が切り換えられることになる。
【０１９９】
フレーム単位のマクロブロック走査に従って画像入力変換回路２から出力された画像データは、ベクトル粗探索回路２８、ベクトル密探索回路２９、および減算回路４に供給される。まず、ベクトル粗探索回路２８は、動き検出ＦＭから参照フレームのＩまたはＰフレームの画像データ（水平方向に１／２サブサンプリングされた輝度データ）を読み出して（動き検出読み出し１）、全探索ブロックマッチング手法によりマクロブロック単位で２画素精度の動きベクトルを検出する。さらに、ベクトル粗探索回路２８は、入力される画像データがＩまたはＰフレームである場合には、輝度データを水平方向に１／２サブサンプリングして動き検出ＦＭに書き込む（動き検出書き込み）。動き検出ＦＭのフレームメモリの選択面は、新たなフレームの輝度データを書き込み始める毎に交互に切り換えられる。
【０２００】
次に、ベクトル密探索・動き補償回路２９は、ベクトル粗探索回路２８から供給される２画素精度の動きベクトルの周りの所定探索範囲内に関して、局部復号ＦＭから参照フレームのＩまたはＰフレームの再生画像データ（サブサンプリングされていない輝度データ）を読み出して（動き検出読み出し２）内部に保持し、全探索ブロックマッチング手法により最終的に用いる動きベクトルをマクロブロック単位で検出する。そして、求めた動きベクトルに従って、輝度データについては内部に保持していた参照フレームの再生画像データの一部分を抜き出すことにより、色差データについては局部復号ＦＭから参照フレームのＩまたはＰフレームの再生画像データを読み出すことにより、マクロブロックごとの予測画像データを生成し減算回路４と加算回路９に出力する。さらに、ベクトル密探索・動き補償回路２９は、加算回路９から供給されるＩまたはＰフレームの局部復号された再生画像データを局部復号ＦＭに書き込む（復号書き込み）。局部復号ＦＭのフレームメモリの選択面は、新たなフレームの再生画像データを書き込み始める毎に交互に切り換えられる。
【０２０１】
なお、ベクトル粗探索回路２８で行われる動きベクトル検出処理は、図１６に示した本発明の第五の実施形態における動きベクトル検出・動き補償回路２０で行われる処理と基本的に同じであるが、水平方向に１／２サブサンプリングされた輝度データを参照フレームとして２画素精度で動きベクトル検出を行うようになっている。ベクトル密探索・動き補償回路２９で行われる動きベクトル検出処理は、第五の実施形態における動きベクトル検出・動き補償回路２０で行われる処理と同じである。また、動き検出ＦＭと局部復号ＦＭに関しては、入力ＦＭの場合と異なり、フレームが更新される毎に２種類のメモリマップを交互に切り換える処理は行われない。減算回路４、ＤＣＴ回路５、量子化回路６、可変長符号化回路１１、逆量子化回路７、逆ＤＣＴ回路８、加算回路９という一連の回路で行われる符号化処理と局部復号処理については、第一から第五の実施形態の場合と同様である。出力制御回路１２は、可変長符号化から供給される符号化データを一旦ＢＭに書き込んだ後、順次ＢＭに蓄えられている符号化データを読み出して出力端子１６から一定ビットレートで出力する。なお、本実施形態のディジタル画像圧縮符号化装置は固定タイムスロットに従ってマクロブロック単位で符号化を進めるものであり、一体化メモリ３０に対して画像入力変換回路２が行う画像データの書き込みと読み出し、ベクトル粗探索回路２８が行う画像データの書き込みと読み出し、ベクトル密探索・動き補償回路２９が行う再生画像データの書き込みと読み出し、および出力制御回路１２が行う符号化データの書き込みと読み出しは、所定の割り当てタイムスロットに従って時分割で行われる。
【０２０２】
図１９は、本実施形態における符号化処理の流れとタイミングを示す説明図であって、（ａ）は入力された画像データについて各フレームの画像符号化タイプをフレーム入力順序で、（ｂ−１）は入力ＦＭを構成する３面のフレームメモリのそれぞれのメモリイメージを、（ｂ−２）は動き検出ＦＭを構成する２面のフレームメモリのそれぞれのメモリイメージを、（ｂ−３）は局部復号ＦＭを構成する２面のフレームメモリのそれぞれのメモリイメージを、（ｃ）は生成された符号化データについて各フレームの画像符号化タイプをフレーム符号化順序で、（ｄ）は局部復号された各フレームの画像符号化タイプを示している。ただし、（ｂ−１）の入力ＦＭと（ｂ−３）の局部復号ＦＭについては、輝度データ領域のメモリイメージのみを示している。（ｂ−２）の動き検出ＦＭの各フレームメモリのデータ容量は、入力ＦＭと局部復号ＦＭの各フレームメモリの輝度データ領域と比べると１／２の大きさであるが、この図１９では同じサイズで図示してある。なお、この図１９は、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが３と最初に設定され、かつＩまたはＰフレームのフレーム間隔ＭとＩフレームのフレーム間隔Ｎが図１０の場合と同様に設定された場合の例である。
【０２０３】
固定タイムスロットに従ってマクロブロック単位で符号化が進められ、それに伴って様々なメモリアクセスが発生する。図１９（ｂ−１）に示す入力ＦＭに対しては、画像入力変換回路２による「画像入力書き込み」と「画像入力読み出し」が行われ、図１９（ｂ−２）に示す動き検出ＦＭに対しては、ベクトル粗探索回路２８による「動き検出読み出し１」と「動き検出書き込み」が行われ、図１９（ｂ−３）に示す局部復号ＦＭに対しては、ベクトル密探索・動き補償回路２９による「動き検出読み出し２」と「復号書き込み」が行われる。なお、図１９（ａ）から図１９（ｂ−１）に向かう下向きの矢印は画像入力書き込みの様子を、図１９（ｂ−１）から図１９（ｃ）に向かう下向きの矢印は画像入力読み出しの様子を、図１９（ｂ−１）から図１９（ｂ−２）に向かう下向きの矢印（画像入力読み出しの様子を示す下向きの矢印と重なっている）は動き検出書き込みの様子を、図１９（ｄ）から図１９（ｂ−３）に向かう上向きの矢印は復号書き込みの様子を、図１９（ｂ−３）から図１９（ｃ）と図１９（ｄ）に向かう下向きの矢印は動き検出読み出し２の様子をそれぞれ示している。ここで、動き検出読み出し１の様子を示す矢印は省略し図示していない。
【０２０４】
図２０は、入力ＦＭに対する画像入力書き込みと画像入力読み出しのタイミングを詳しく示す説明図であって、図１９（ｂ−１）に示した入力ＦＭの第２面のフレームメモリのメモリイメージを拡大して示すものである。ただし、フレームメモリを上下２枚のフィールドメモリのメモリイメージに分けて図示している。フレームＢ１の符号化による画像入力読み出し、フレームＰ５の入力による画像入力書き込み、フレームＰ５の符号化による画像入力読み出し、およびフレームＢ６の入力による画像入力書き込みという順番で、入力ＦＭの同一面のフレームメモリに対する書き込みと読み出しが連続する場合がある。そのため、本実施形態においては、第四の実施形態の場合と同じく、新たなフレームの画像データの画像入力書き込みを開始する時点でフレームメモリのメモリマップを切り換え、かつ各フレームの画像データの入力期間と画像データの符号化期間との間に、１フィールド期間よりも長いずれ時間δ’を設けている。そのため、画像入力書き込みと画像入力読み出しがぶつかることはなく、さらに、第一から第三の実施形態において必要であった符号化停止期間を設ける必要がなくなっている。
【０２０５】
以上、本発明の第六の実施形態について詳しく説明した、本実施形態は６２５／５０方式によるディジタル画像信号を４：２：０フォーマットで符号化するものである。３面構成で１４．３Ｍｂｉｔのデータ容量の入力フレームメモリ領域、２面構成で９．５Ｍｂｉｔのデータ容量の局部復号フレームメモリ領域、水平方向に１／２サブサンプリングされた輝度データを格納する２面構成で３．２Ｍｂｉｔのデータ容量の動き検出フレームメモリ領域、および５Ｍｂｉｔのデータ容量のバッファメモリ領域から成る、３２Ｍｂｉｔのデータ容量の一体化メモリで符号化処理を実現している。入力端子を通して設定されるＩまたはＰフレームの最大フレーム間隔Ｍｍａｘ、ＩまたはＰフレームのフレーム間隔Ｍ、およびＩフレームのフレーム間隔Ｎに応じて符号化処理が行われる。Ｍｍａｘの値としては１，２，３のいずれかの値の設定が可能であり、画像データの入力が開始されてから符号化が開始されるまでの遅延時間は、それぞれの場合について０．５フレーム期間，１．５フレーム期間，２．５フレーム期間となる。また、Ｍの値としてはＭｍａｘ以下の値の設定が可能である。
【０２０６】
なお、本実施形態を本発明の第一の実施形態の場合と比べると、ＩまたはＰフレーム間隔Ｍが固定でなく可変の場合にも対応しているだけでなく、２面構成の動き検出フレームメモリには水平方向に１／２サブサンプリングされた輝度データを保持するようにしているため、動き検出フレームメモリのデータ容量が低減されている。そのため、一体化メモリのデータ容量を３２Ｍｂｉｔに抑えることができ、合計３２Ｍｂｉｔのデータ容量のメモリを備えている点は同じであるが、５２５／６０方式ではなくフレームあたりの画素数が多い６２５／５０方式への対応が可能となっている。また、２段の多段階探索により動きベクトル検出を行い、参照フレームとして、粗探索では動き検出フレームメモリに保持されている画像データを用い、密探索では局部復号メモリに保持されている再生画像データを用いているため、動きベクトルの探索範囲を拡大することが可能となっている。なお、３２Ｍｂｉｔのデータ容量を持つ一体化メモリは、例えば、２個の１６Ｍｂｉｔメモリ素子で実現できる。
【０２０７】
以上、本発明の六つの実施形態について詳細に説明したが、本発明はこれらのみに限定されるものではなく、様々な変形例もありえる。
【０２０８】
例えば、選択面制御回路が、入力フレームメモリの書き込み選択面情報と読み出し選択面情報を生成する方法、あるいは入力統合フレームメモリの書き込み選択面情報、読み出し選択面情報、および動き検出読み出し選択面情報を生成する方法としては、他にも様々なものが考えられる。入力フレームメモリ、あるいは入力統合フレームメモリの各面のフレームメモリの占有状況を管理しながら、各フレームにおける書き込み選択面情報としてはその時点で占有されていない面を選択するように動作する方法であればよい。また、フレーム入力順序による画像タイプ情報のみが画像タイプ生成回路で生成される、あるいは外部から入力されるようにし、そのフレーム入力順序による画像タイプ情報をフレーム符号化順序による画像タイプ情報に変換する画像タイプ変換回路を別に設けるようにしてもよい。
【０２０９】
さらに、フレーム構造に固定された符号化を行うのではなく、フィールド構造を符号化途中に混在させながら符号化するディジタル画像圧縮符号化装置を実現することもできる。表示出力回路を付加し、ＩまたはＰフレームだけでなくＢフレームも含めた全てのフレームの局部復号処理を行って再生画像データを表示出力するようにしてもよい。なお、この場合には、再生画像データを記憶保持する局部復号フレームメモリとして、２面よりも多くのフレームメモリが必要となる。また、一定ビットレートの符号化だけでなく、可変ビットレートの符号化に対応する場合にも、本発明が適用できることは明らかである。
【０２１０】
５２５／６０方式によるディジタル画像信号と６２５／５０方式によるディジタル画像信号のどちらか一方だけでなく、両方に対応できるよう２種類の動作モードを備えたディジタル画像圧縮符号化装置を実現することもできる。また、解像度が異なるＨＤＴＶ信号に対応する場合にも、本発明が適用できることは明らかである。
【０２１１】
さらに、以上説明した実施形態では、フレームの画像データの入力期間と符号化期間との間に固定のずれ時間δやδ’を設けていたが、ずれ許容時間範囲内であるならば、このずれ時間を可変としてもよい。このずれ時間を略１フィールド期間とみなせば、画像データの入力が開始されてから符号化が開始されるまでの遅延時間は、例えば、Ｍｍａｘの値が３の場合には２．５フレーム期間とみなせる。なお、ディジタル画像圧縮符号化装置の遅延時間としては、さらに、一連の処理回路における遅延時間、特にバッファメモリにより符号化データのビットレートを平滑化する際に生じる遅延時間が加わる。また、以上説明した実施形態では、画像データの入力タイミングに同期した所定の固定タイムスロットに従って各フレームの画像データの符号化が行われるものとしたが、必ずしも固定タイムスロット割り当てとなっていなくてもよい。ただし、この場合には、１フレームの画像データの符号化処理が略１フレーム期間で終了するように符号化の進み具合を制御する回路を設ける必要がある。
【０２１２】
最後に、本発明の実施形態を用いたシステム構成例である圧縮符号化システムについて、図面を用いて説明する。
【０２１３】
図２２は、ビデオ信号とオーディオ信号のそれぞれを高能率符号化によりデータ圧縮して符号化データを生成し、データ圧縮されたそれぞれの符号化データと付随データとを時分割多重して所定形式のストリーム信号に変換し出力する圧縮符号化システムのブロック図である。同図において、５１はディジタル形式のビデオ信号の入力端子、５２はアナログ形式のビデオ信号の入力端子、５３はディジタル形式のオーディオ信号の入力端子、５４はアナログ形式のオーディオ信号の入力端子、５５は付随データの入力端子、５６はビデオ信号の出力端子、５７はオーディオ信号の出力端子、５８は付随データの出力端子、５９はストリーム信号の出力端子、６０はストリーム信号の入力端子、６１はＣＰＵ（中央演算処理回路）、６２はビデオ入力インターフェース回路、６３は画像圧縮符号化回路、６４は画像圧縮符号化回路に接続されたメモリ、６５はオーディオ入力インターフェース回路、６６は音響圧縮符号化回路、６７は符号化データ多重回路、６８はストリーム出力インターフェース回路、６９はストリーム入力インターフェース回路、７０は符号化データの切り換え回路、７１は圧縮画像・音響復号回路である。
【０２１４】
入力端子５１からディジタル形式のビデオ信号が、あるいは入力端子５２からアナログ形式のビデオ信号が、ビデオ入力インターフェース回路６２に入力される。入力端子５１や入力端子５２には、例えば、ＶＴＲやテレビカメラのビデオ信号の出力端子からの信号線が接続される。図中では明示していないが、ビデオ入力インターフェース回路６２には、操作パネル等での切り換え操作により変化する入力切り換え信号が供給されている。ビデオ入力インターフェース回路６２は、その入力切り換え信号に応じてディジタル形式のビデオ信号とアナログ形式のビデオ信号のどちらかを入力として選択し、ノイズ低減のためのプリフィルタ処理を行った後に、４：２：２フォーマットのディジタル画像データとして出力する。アナログ形式のビデオ信号が入力される場合には、Ａ／Ｄ変換を行ってディジタル形式に変換してからプリフィルタ処理を行う。なお、入力切り換えと同様に、操作パネル等での切り換え操作により、５２５／６０方式と６２５／５０方式の切り換えも可能となっている。さらに、ビデオ入力インターフェース回路６２は、入力ビデオ信号の画像内容が大幅に変化するシーンチェンジ点を検出する機能を備え、シーンチェンジ点の情報をＣＰＵバスを介してＣＰＵ６１に逐次伝える。このシーンチェンジ点検出機能を無効にすることも可能であり、有効にするか無効にするかの指令はＣＰＵバスを介してＣＰＵ６１から与えられる。
【０２１５】
画像圧縮符号化回路６３とそれに接続されたメモリ６４が、本発明の実施形態として詳しく説明したディジタル画像圧縮符号化装置に相当する。このメモリ６４は、入力フレームメモリや局部復号フレームメモリ等の全てを一体化した、本発明の第六の実施形態における一体化メモリ３０に相当するものである。メモリ６４は、データ幅が１６ｂｉｔの１６Ｍｂｉｔ素子が２個の構成であり、データ幅を２倍の３２ｂｉｔに拡張する形で画像圧縮符号化回路６３に接続されている。画像圧縮符号化回路６３は、本発明の第六の実施形態における一体化メモリ３０を除いた一連の処理回路に相当するものであり、ビデオ入力インターフェース回路６２から供給されるインターレース走査のディジタル画像データを高能率符号化によりデータ圧縮して符号化データを生成する。その詳細な動作は基本的に本発明の第六の実施形態として詳しく説明した通りである。ただし、本発明の第二の実施形態や第五の実施形態の場合と同じく、ＩまたはＰフレームの最大フレーム間隔Ｍｍａｘが予め設定された後、各フレームのフレーム入力順序、およびフレーム符号化順序での画像タイプ情報が逐次指定されて動作するようになっている。これらの情報や、データ圧縮する指定ビットレート等は、ＣＰＵバスを介してＣＰＵ６１から設定される。ＣＰＵ６１は、ビデオ入力インターフェース回路６２で検出されたシーンチェンジ点の直後のフレームはＩフレームとするように、各フレームのフレーム入力順序、およびフレーム符号化順序での画像タイプ情報を逐次生成する。なお、画像圧縮符号化回路６３からは、各フレームの符号化データのデータ量や、符号化処理により生じた遅延時間に関する情報が、ＣＰＵバスを介してＣＰＵ６１に与えられる。
【０２１６】
また、入力端子５３からディジタル形式のオーディオ信号が、あるいは入力端子５４からアナログ形式のオーディオ信号が、オーディオ入力インターフェース回路６５に入力される。入力端子５３や入力端子５４には、例えば、ＶＴＲやマイクロホンのオーディオ信号の出力端子からの信号線が接続される。図中では明示していないが、オーディオ入力インターフェース回路６５には操作パネル等での切り換え操作により変化する入力切り換え信号が供給されている。オーディオ入力インターフェース回路６５は、その入力切り換え信号に応じてディジタル形式のオーディオ信号とアナログ形式のオーディオ信号のどちらかを入力として選択し、アナログ形式のオーディオ信号が入力される場合にはＡ／Ｄ変換を行ってディジタル形式に変換してから、ディジタル音響データとして出力する。なお、オーディオ信号は２チャンネルから成るステレオ信号であり、アナログのオーディオ信号は各チャンネルが２本の信号線で別々に入力される。音響圧縮符号化回路６６は、オーディオ入力インターフェース回路６５から供給されるディジタル音響データを高能率符号化によりデータ圧縮して符号化データを生成する。データ圧縮する指定ビットレート等は、ＣＰＵバスを介してＣＰＵ６１から設定される。また、符号化処理により生じた遅延時間に関する情報が、ＣＰＵバスを介してＣＰＵ６１に与えられる。
【０２１７】
符号化データ多重回路６７は、画像圧縮符号化回路６３と音響圧縮符号化回路６６でデータ圧縮されたそれぞれの符号化データと、入力端子５５から入力される付随データとを時分割多重し、単一の多重された符号化データを生成して出力する。符号化データ多重回路６７は、画像データと音響データのそれぞれの符号化処理により生じた遅延時間の違いを補償し、復号処理が不都合なく行えるようなタイミングにより、所定サイズのパケット単位でそれぞれの符号化データを多重する。画像データと音響データのそれぞれの符号化処理により生じた遅延時間に関する情報は、ＣＰＵバスを介してＣＰＵ６１から設定される。また、付随データの多重機能を無効にすることも可能であり、有効にするか無効にするかの指令はＣＰＵバスを介してＣＰＵ６１から与えられる。なお、各種の状態信号が、ＣＰＵバスを介してＣＰＵ６１に渡される。
【０２１８】
ストリーム出力インターフェース回路６８は、符号化データ多重回路６７で多重された符号化データを所定の形式のストリーム信号に変換し、出力端子５９から外部に出力する。出力端子５９から出力されたストリーム信号は、例えば、光ディスク記録再生装置に供給されて光ディスクに記録される。あるいは、例えば、ネットワーク送受信装置に供給されてネットワークに送信される。
【０２１９】
なお、符号化データ多重回路６７で多重された符号化データ、または入力端子６０から入力されたストリーム信号がストリーム入力インターフェース回路６９で形式変換された後の符号化データのどちらかが、符号化データの切り換え回路７０で選択され、圧縮画像・音響復号回路７１に供給される。圧縮画像・音響復号回路７１は、まず、多重された符号化データを個別の符号化データと付随データに分離して、付随データは出力端子５８から出力する。次に、それぞれの符号化データを再生画像データと再生音響データに復号した後に、アナログ形式のビデオ信号とアナログ形式のオーディオ信号に変換し、それぞれ出力端子５６と出力端子５７から出力する。各種の制御信号や状態信号が、ＣＰＵバスを介して圧縮画像・音響復号回路７１とＣＰＵ６１との間で受け渡しされる。図中では明示していないが、符号化データの切り換え回路７０には、操作パネル等での切り換え操作により変化するモード切り換え信号が供給されている。通常の符号化動作モードの場合、切り換え回路７０では符号化データ多重回路６７の出力である符号化データが選択され、圧縮符号化システムにおけるデータ圧縮の結果生じる品質劣化を常に確認できる。また、復号動作モードの場合、切り換え回路７０では入力端子６０から入力されたストリーム信号がストリーム入力インターフェース回路６９で形式変換された後の符号化データが選択され、外部入力のストリーム信号を復号再生することができる。入力端子６０から入力されるストリーム信号は、例えば、光ディスク記録再生装置で光ディスクから再生されて供給される。あるいは、例えば、ネットワーク送受信装置でネットワークから受信されて供給される。
【０２２０】
【発明の効果】
以上説明したように、本発明によれば、Ｍ（ＭはＩまたはＰフレームのフレーム間隔を示す固定値）フレーム分の入力画像を保持可能なＭ面のフレームメモリを備える入力フレームメモリと、該入力フレームメモリのＭ面のいずれかの面をフレーム期間ごとに第一の所定の順番で選択して、選択した面に入力画像の各フレームをフレーム入力順序でフィールド単位のラスタ走査に従って書き込み、かつ、書き込みとは略１フィールド期間ずれたタイミングで、該入力フレームメモリのＭ面のいずれかの面をフレーム期間ごとに第二の所定の順番で選択しながら、選択した面に格納されている入力画像の各フレームをフレーム符号化順序でフレーム単位のマクロブロック走査に従って読み出す画像入力変換手段を備えているため、フィールド／フレーム変換、フレーム順序変換、および走査変換の処理を実現するために必要な処理回路の回路規模、フレームメモリのデータ容量、およびフレームメモリに対するメモリアクセスのバンド幅が小さな、簡易な構成のディジタル画像圧縮符号化装置を実現することができる。
【０２２１】
また、Ｍｍａｘ（Ｍｍａｘは可変されるＩまたはＰフレームのフレーム間隔Ｍの最大値）フレーム分の入力画像を保持可能なＭｍａｘ面のフレームメモリを備える入力フレームメモリと、該入力フレームメモリのＭｍａｘ面のいずれかの面をフレーム期間ごとに第一の所定の順番で選択して、選択した面に入力画像の各フレームをフレーム入力順序でフィールド単位のラスタ走査に従って書き込み、かつ、書き込みとは略１フィールド期間ずれたタイミングで、該入力フレームメモリのＭｍａｘ面のいずれかの面をフレーム期間ごとに第二の所定の順番で選択しながら、選択した面に格納されている入力画像の各フレームをフレーム符号化順序でフレーム単位のマクロブロック走査に従って読み出す画像入力変換手段と、Ｍｍａｘを上限として任意の値をとるＩまたはＰフレームのフレーム間隔Ｍに関する指定を受け入れる外部指定入力手段を備えるため、符号化するＩまたはＰフレームのフレーム間隔Ｍを固定でなく可変とする場合にも対応可能としたディジタル画像圧縮符号化装置を実現することができる。
【０２２２】
さらに、Ｍ’（Ｍ’はＭが固定である場合にはその固定値Ｍ、Ｍが可変される場合にはその最大値Ｍｍａｘ）フレーム分の入力画像を保持可能なＭ’面のフレームメモリと、動きベクトル検出のための参照フレームとなる最新の２フレーム分のＩまたはＰフレームの入力画像を保持可能な２面のフレームメモリを統合して一体化した、（Ｍ’＋２）面のフレームメモリを備える入力統合フレームメモリと、該入力統合フレームメモリの（Ｍ’＋２）面のいずれかの面をフレーム期間ごとに第一の所定の順番で選択して、選択した面に入力画像の各フレームをフレーム入力順序でフィールド単位のラスタ走査に従って書き込み、かつ、書き込みとは略１フィールド期間ずれたタイミングで、該入力統合フレームメモリの（Ｍ’＋２）面のいずれかの面をフレーム期間ごとに第二の所定の順番で選択しながら、選択した面に格納されている入力画像の各フレームをフレーム符号化順序でフレーム単位のマクロブロック走査に従って読み出す画像入力変換手段と、Ｍが可変される場合にはそれに関する指定を受け入れる外部指定入力手段を備え、さらに動きベクトル検出のための参照フレームの画像データの読み出しは該入力統合フレームメモリから行うため、動きベクトル検出、フィールド／フレーム変換、およびフレーム順序変換の処理を実現するために必要なフレームメモリのデータ容量、およびフレームメモリに対するメモリアクセスのバンド幅が小さなディジタル画像圧縮符号化装置を実現することができる。
【図面の簡単な説明】
【図１】本発明によるディジタル画像圧縮符号化装置の第一の実施形態を示すブロック図である。
【図２】図１に示した本発明によるディジタル画像圧縮符号化装置の第一の実施形態における符号化処理の流れを示すタイミング図である。
【図３】図２における一部分を拡大してフレームメモリに対する画像入力書き込みと画像入力読み出しの関係を詳細に示すタイミング図である。
【図４】図１に示した本発明によるディジタル画像圧縮符号化装置の第一の実施形態の別動作状態における符号化処理の流れを示すタイミング図である。
【図５】本発明によるディジタル画像圧縮符号化装置の第二の実施形態を示すブロック図である。
【図６】図５に示した本発明によるディジタル画像圧縮符号化装置の第二の実施形態における符号化処理の流れを示すタイミング図である。
【図７】図６における一部分を拡大してフレームメモリに対する画像入力書き込みと画像入力読み出しの関係を詳細に示すタイミング図である。
【図８】図５に示した本発明によるディジタル画像圧縮符号化装置の第二の実施形態の別動作状態における符号化処理の流れを示すタイミング図である。
【図９】本発明によるディジタル画像圧縮符号化装置の第三の実施形態を示すブロック図である。
【図１０】図９に示した本発明によるディジタル画像圧縮符号化装置の第三の実施形態における符号化処理の流れを示すタイミング図である。
【図１１】本発明によるディジタル画像圧縮符号化装置の第四の実施形態における符号化処理の流れを示すタイミング図である。
【図１２】図１１における一部分を拡大してフレームメモリに対する画像入力書き込みと画像入力読み出しの関係を詳細に示す第一のタイミング図である。
【図１３】図１１における別の一部分を拡大してフレームメモリに対する画像入力書き込みと画像入力読み出しの関係を詳細に示す第二のタイミング図である。
【図１４】本発明によるディジタル画像圧縮符号化装置の第四の実施形態の別動作状態における符号化処理の流れを示すタイミング図である。
【図１５】図１４における一部分を拡大してフレームメモリに対する画像入力書き込みと画像入力読み出しと動き検出読み出しの関係を詳細に示すタイミング図である。
【図１６】本発明によるディジタル画像圧縮符号化装置の第五の実施形態を示すブロック図である。
【図１７】図１６に示した本発明によるディジタル画像圧縮符号化装置の第五の実施形態における符号化処理の流れを示すタイミング図である。
【図１８】本発明によるディジタル画像圧縮符号化装置の第六の実施形態を示すブロック図である。
【図１９】図１８に示した本発明によるディジタル画像圧縮符号化装置の第六の実施形態における符号化処理の流れを示すタイミング図である。
【図２０】図１９における一部分を拡大して一体化メモリのフレームメモリ領域に対する画像入力書き込みと画像入力読み出しの関係を詳細に示すタイミング図である。
【図２１】図１８に示した本発明によるディジタル画像圧縮符号化装置の第六の実施形態における一体化メモリのメモリマップを示す説明図である。
【図２２】本発明の実施形態を用いたシステム構成例である圧縮符号化システムのブロック図である。
【符号の説明】
２ 画像入力変換回路
３，３ａ 動きベクトル検出回路
１０，１０ａ 動き補償回路
１４，１４ａ，１４ｂ 選択面制御回路
１５ 画像タイプ生成回路
２０ 動きベクトル検出・動き補償回路
２１ 入力フレームメモリ
２２ 動き検出フレームメモリ
２３ 局部復号フレームメモリ
２５ 入力統合フレームメモリ
２６ 統合フレームメモリ
３０ 一体化メモリ
２８ ベクトル粗検索回路
２９ ベクトル密検索回路

Claims (6)

1. ディジタル画像信号の画像データの各フレームを、フレーム内符号化するフレーム（以下Ｉフレーム）と、片方向フレーム間予測符号化するフレーム（以下Ｐフレーム）と、双方向フレーム間予測符号化するフレーム（以下Ｂフレーム）により、それぞれのフレームを複数の符号化単位ブロックに分割して該符号化単位ブロックを水平走査順に順次符号化し符号化データを生成するディジタル画像圧縮符号化装置であって、
   ＩフレームまたはＰフレームの最大フレーム間隔Ｍに対応したＭ面のフレームメモリから成る入力フレームメモリ手段と、
   以下の書き込み規則に従って、前記入力フレームメモリ手段の所定面のフレームメモリに、入力された各フレームの画像データを書き込み、以下の読み出し規則に従って、前記入力フレームメモリ手段の所定面のフレームメモリから、符号化するフレームの画像データを読み出す画像入力変換手段とを備え、
   該画像入力変換手段において、前記読み出しは、前記書き込みを行っているフレームの先頭の１水平走査分の符号化単位ブロックの画像データが全て書き込まれてから開始することを特徴とするディジタル画像圧縮符号化装置。
   書き込み規則：
   （１）先頭のＭフレームは、順に第１面から第Ｍ面のフレームメモリに書き込む。
   （２）（Ｍ＋１）番目のフレームは、先頭のＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面に書き込む。
   （３）（Ｍ＋２）番目以降のフレームは、その（Ｍ＋１）フレーム前に書き込んだフレームの画像タイプがＢフレームであった場合には、（Ｍ＋１）フレーム前のフレームが書き込まれた面に書き込み、（Ｍ＋１）フレーム前に書き込んだフレームの画像タイプがＩフレームまたはＰフレームであった場合には、Ｍフレーム前に書き込んだフレームから１フレーム前に書き込んだフレームまでのＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面に書き込む。
   読み出し規則：
   （１）Ｍ番目のフレームの書き込み中に最初のフレームの読み出しを開始し、最初の読み出しフレームの場合、およびＭフレーム前に書き込んだフレームの画像タイプがＩフレームまたはＰフレームであった場合には、（Ｍ−１）フレーム前に書き込んだフレームから現在書き込み中のフレームまでのＭフレームの中で、画像タイプがＩフレームまたはＰフレームであった最初のフレームが書き込まれた面から読み出し、Ｍフレーム前に書き込んだフレームの画像タイプがＢフレームであった場合には、Ｍフレーム前のフレームが書き込まれた面から読み出す。
2. 請求項１記載のディジタル画像圧縮符号化装置において、
   ＩフレームまたはＰフレームの画像データを記憶保持する２面のフレームメモリから成る動き検出フレームメモリ手段と、
   前記入力フレームメモリ手段から読み出された各フレームの画像データの中で、動きベクトル検出のために必要となるＩフレームまたはＰフレームの画像データを、前記動き検出フレームメモリ手段に選択的に書き込む画像選択書込み制御手段と、
   を備えることを特徴とするディジタル画像圧縮符号化装置。
3. 請求項２記載のディジタル画像圧縮符号化装置において、
   前記動き検出フレームメモリ手段は、ＩフレームまたはＰフレームの画像データの中で輝度データのみを記憶保持することを特徴とするディジタル画像圧縮符号化装置。
4. 請求項３記載のディジタル画像圧縮符号化装置において、
   前記動き検出フレームメモリ手段は、サブサンプリングされたＩフレームまたはＰフレームの画像データを記憶保持することを特徴とするディジタル画像圧縮符号化装置。
5. 請求項１記載のディジタル画像圧縮符号化装置において、
   符号化データを局部復号して生成した再生画像データを記憶保持する少なくとも２面のフレームメモリから成る局部復号フレームメモリ手段と、
   ＩフレームまたはＰフレームの再生画像データを、前記局部復号フレームメモリ手段に書き込む局部復号書き込み制御手段と、
   を備えることを特徴とするディジタル画像圧縮符号化装置。
6. 請求項５記載のディジタル画像圧縮符号化装置において、
   ＩフレームまたはＰフレームのフレーム間隔が最大３であって、
   前記入力フレームメモリ手段は３面のフレームメモリからなり、
   前記入力フレームメモリ手段と前記局部復号フレームメモリ手段とは、３２Ｍｂｉｔのデータ容量の一体化メモリで構成されていることを特徴とするディジタル画像圧縮符号化装置。

Images