JPWO2011089798A1 - 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減すること。動画像符号化方法は、符号化処理装置を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロックＭＢを符号化する。符号化に際して、符号化ＭＢの周辺の複数の符号化済みの複数のＭＢの情報が内蔵の情報格納メモリ２０４に格納される。符号化に際して、最初に横長画面の横幅の左端で垂直方向に配列された複数のＭＢが順次に符号化され、その符号化情報が２０４に格納される。その後、次に横長画面の横幅の左端の水平方向右隣で垂直方向に配列された複数のＭＢが順次に符号化される。

Description

本発明は、動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置に関し、特に周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減するのに有効な技術に関する。

ＭＰＥＧ−２と呼ばれる動画像の一般的な圧縮方式は、ＩＳＯ／ＩＥＣ １３８１８−２で標準化された規格である。ＭＰＥＧ−２は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。

ＭＰＥＧ−２の規格はビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)およびデコードプロセスのみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。

ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素のカラーと輝度との成分を規定するために、ビデオ信号はサンプルされ量子化される。カラーと輝度との成分を示す値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度とカラーで異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。

ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、フレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。

このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)はフレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も適合するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では１６画素×１６画素／１６画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックであり、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。

上述した符号化処理は映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧではマクロブロック(ＭＢ)と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に既に符号化された参照画像から最も類似したブロック(予測画像)が選択されて、符号化画像(ブロック)と予測画像の差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が動きベクトルと呼ばれるものである。

下記非特許文献１には、勧告Ｈ．２４６／ＡＶＣに準拠したビデオ符号化技術が記載されている。勧告Ｈ．２４６／ＡＶＣによるビデオコーディングは、ビデオコンテキストを有効に表現するように設計されたビデオコーディング層(ＶＣＬ：Video Coding Layer)と、ビデオのＶＣＬ表現をフォーマットするとともに種々の転送層や記憶媒体による転送のために適切な方法でのヘッダ情報を与えるネットワーク抽象層(ＮＣＬ：Network Abstraction Layer)とから構成されている。

また、下記非特許文献２には、Ｈ．２４６／ＡＶＣによるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載している。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは輝度成分で１６×１６サンプルの四角形ピクチャー領域とそれに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。１つのピクチャーは１つまたはそれ以上のスライスを含むことができ、各スライスはアクティブシーケンスとピクチャーパラメータセットとを与えると言う意味で自己包含的であり、スライス表現は基本的には他のスライスからの情報を使用することなくデコードされることができるので、シンタックスエレメントはビットストリームとピクチャーの領域のサンプルの値とから解析できる。しかしながら、より完全なデコーディングのために、スライス境界にわたってデブロッキングフィルタを適応するためには、他のスライスからのいくつかの情報が必要となる。また。各スライスはピクチャーの他のスライスと独立にエンコードされデコードされるので、スライスは並列処理に使用できることも、下記非特許文献２に記載されている。

尚、ＭＰＥＧ−２は、国際電気通信連合(ＩＴＵ：International Telecommunication Union)においてＨ．２６２として規格化され、またＩＳＯ／ＩＥＣにより国際標準ＩＳＯ／ＩＥＣ １３８１８−２として承認されている。更に、ＭＰＥＧ−４は、ＩＳＯ／ＩＥＣにより国際標準ＩＳＯ／ＩＥＣ １４４９６−２として承認されている。また更に、ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)は、国際電気通信連合(ＩＴＵ)においてＨ．２６４として規格化され、またＩＳＯ／ＩＥＣにより国際標準ＩＳＯ／ＩＥＣ １４４９６−１０として承認されている。

Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ ｅｔ ａｌ， "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ， ＪＵＬＹ ２００３， ＰＰ．１−１９． ＧＡＲＹ Ｊ． ＳＵＬＬＩＶＡＮ ｅｔ ａｌ，"Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ Ｃｏｎｃｅｐｔ ｔｏ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｓｔａｎｄａｒｄ" ， ＰＲＯＣＥＥＤＩＮＧ ＯＦ ＴＨＥ ＩＥＥＥ， ＶＯＬ．９３、 Ｎｏ．１， ＪＡＮＵＡＲＹ ２００５、ＰＰ．１８−３１．

本発明者等は本発明に先立って、次世代の国際標準動画像符号化方式に関して研究・開発を行ったものである。

一方、上述したように符号化処理ではＩフレーム、ＰフレームまたはＢフレームの１枚の映像画面は複数のマクロブロック(ＭＢ)と呼ばれる小領域に分割され、１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され表示のラスタスキャンの順序に従って右方向および下方向の複数のマクロブロック(ＭＢ)へ順次に符号化処理が実行される。動画像符号化では、動画像画面内のマクロブロック(ＭＢ)の空間的な相関関係を利用して動画像情報が圧縮される。すなわち、１個のマクロブロック(ＭＢ)を処理する際には、その周辺のマクロブロック(１枚の映像画面の上方向および左方向のマクロブロック)の情報から処理される１個のマクロブロック(ＭＢ)の情報が予測され、動画像符号化処理では予測情報との差分のみが符号化される。

例えば、ＭＰＥＧ−４のイントラ符号化処理では、ブロックの画素情報としてのＤＣＴ係数のＤＣ成分およびＡＣ成分でブロック間予測が実行される。またＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４／ＡＶＣ)のブロック間予測では、ＤＣＴ変換処理後のブロックの画素値のＤＣ成分およびＡＣ成分でブロック間予測が実行される。

またＭＰＥＧ−４とＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４／ＡＶＣ)の符号化処理の動きベクトル検出のための動き予測では、被符号化フレームの符号化対照ブロックと参照フレームの複数のブロックとのブロックマッチングが実行される。ブロックマッチングの際に、最初に探索された４画素精度動きベクトルの１個のマクロブロック(ＭＢ)の周辺の複数のマクロブロック(ＭＢ)で、２画素精度動きベクトルの探索と１画素精度動きベクトルの探索とが実行され、最終的な動きベクトルが検出される。

また更に、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４／ＡＶＣ)に準拠して画像復号時に生じるブロック歪を減少するためのデブロッキングフィルタ処理では、ブロック境界の左右合計８画素および上下合計８画素を所定の演算式に従ったフィルタ処理を実行して、左右合計８画素と上下合計８画素とを書き換える必要がある。

一方、テレビ放送や映像記録等に使用される動画像の画像サイズは拡大の傾向を続けており、近年では、高精細ＨＤ(High Definition)サイズの１９２０画素×１０８０画素が、主流となっている。従って、今後の動画像の画像サイズは４Ｋ×２Ｋサイズの４０９６画素×２０４８画素や８Ｋ×４Ｋサイズの８１９２画素×４０９６画素等の超高精細画像も次第に普及するものと推測される。

このような画像サイズの拡大の傾向にある次世代の動画像符号化方式は、上述の超高精細画像に対応することが必要となっている。ところで、動画像符号化処理と動画像復号化処理とにおいては、上述したように被処理マクロブロック(ＭＢ)の周辺の複数のマクロブロック(ＭＢ)の情報が必要である。従って、システム大規模半導体集積回路(システムＬＳＩ)で構成された動画像符号化／復号処理装置の半導体チップには、周辺マクロブロック情報を格納する内蔵メモリ(オンチップＳＲＡＭ)が集積化される必要がある。一般的に、システムＬＳＩで構成された動画像符号化／復号処理装置の半導体チップには、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)等によって構成された外部メモリが接続される。この外部メモリには、符号化処理または復号化処理の前の動画像データおよび符号化処理または復号化処理の後の動画像データが格納可能とされている。しかし、この外部メモリは周辺マクロブロック情報を格納するにはアクセス速度が遅くなるので、周辺マクロブロック情報は内蔵メモリ(オンチップＳＲＡＭ)に格納されるものである。一方、内蔵メモリ(オンチップＳＲＡＭ)に格納される必要のある周辺マクロブロック情報量は、画像サイズの増大に対応して増加するものであるのに対して、内蔵メモリ(オンチップＳＲＡＭ)の記憶容量には限界があると言う問題が、本発明者等による検討によって明らかとされた。

本発明は、以上のような本発明に先立った本発明者等による検討の結果、なされたものである。

従って本発明の目的とするところは、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。

すなわち、本発明の代表的な実施の形態は、符号化処理装置(２０１)を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロック(ＭＢ)を符号化する動画像符号化方法である。

前記複数のマクロブロックの符号化に際して、符号化されるべきマクロブロック(ＭＢ)の周辺の複数の符号化済みの複数のマクロブロック(ＭＢ)の情報が前記符号化処理装置に内蔵された情報格納メモリ(２０４)に格納される。

前記複数のマクロブロックの前記符号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に符号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の符号化情報が前記情報格納メモリ(２０４)に格納される。

前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に符号化されることを特徴とする(図３、図４、図５参照)。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。

すなわち、本発明によれば、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することができる。

図１は、本発明の実施の形態１による動画像符号化／復号処理方式における階層構造を説明する図である。 図２は、図１に示した本発明の実施の形態１による動画符号化方式により符号化された符号化ビデオストリームの構成を示す図である。 図３は、本発明の実施の形態１による動画像の符号化／復号処理の処理手順を示すフローチャートである。 図４は、図３のフローチャートに示す本発明の実施の形態１による動画像の符号化／復号処理の処理手順によって１枚の映像画面の２次元マクロブロック座標(ｘ、 ｙ)に配置された複数のマクロブロック(ＭＢ)が順次に処理される様子を示す図である。 図５は、図３のフローチャートに示す本発明の実施の形態１による動画像の符号化／復号処理の処理手順を実行可能な本発明の実施の形態１による動画像符号化／復号処理装置の構成を示す図である。 図６は、図５に示す本発明の実施の形態１による動画像符号化／復号処理装置が復号処理装置として動作する際に供給される動画像符号化ビットストリームのデータ配列を示す図である。 図７は、本発明と異なる従来の符号化処理が実行される場合の処理対象マクロブロック(ＭＢ)４０１と処理対象マクロブロック(ＭＢ)４０１の予測に使用される４個の周辺マクロブロック(ＭＢ)４０２〜４０５との関係を示す図である。 図８は、図１乃至図６にて説明した本発明の実施の形態１による動画像の符号化／復号処理の処理手順が実行される場合の処理対象マクロブロック(ＭＢ)４０１と処理対象マクロブロック(ＭＢ)４０１の予測に使用される４個の周辺マクロブロック(ＭＢ)４０６〜４０９との関係を示す図である。 図９は、従来の符号化処理に従って１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され表示のラスタスキャンの順序で最初に右方向へ次に下方向へ順次複数のマクロブロック(ＭＢ)の符号化処理が実行される様子を示す図である。 図１０は、図１乃至図６で説明した本発明の実施の形態１による符号化処理に従って１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され最初に下方向へ次に右方向へ順次複数のマクロブロック(ＭＢ)の符号化処理が実行される様子を示す図である。 図１１は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方式に導入されたマクロブロック適応型のフレーム・フィールド予測モードの２本の列のマクロブロック(ＭＢ)のペアを従来の符号化処理に従って符号化する様子を示す図である。 図１２は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方式に導入されたマクロブロック適応型のフレーム・フィールド予測モードのマクロブロック(ＭＢ)のペアを図１乃至図６で説明した本発明の実施の形態１による符号化処理に従って符号化する様子を示す図である。 図１３は、本発明の実施の形態２による動画像符号化／復号処理装置の構成を示す図である。 図１４は、本発明の実施の形態３による動画像符号化／復号処理装置の構成を示す図である。 図１５は、本発明の実施の形態４による動画像符号化／復号処理装置の構成を示す図である。 図１６は、図５に示した本発明の実施の形態１による動画像符号化／復号処理装置２０１のマクロブロック符号化／復号処理部２０３または図１３に示した本発明の実施の形態２による符号化装置７０１の符号化処理部７０４と復号装置７１１の復号処理部７１４または図１４に示した本発明の実施の形態３による符号化装置９０１の符号化処理部９０４と復号装置１９１１の復号処理部１９１４または図１５に示した本発明の実施の形態４による符号化装置１３０１の符号化処理部１３０４と復号装置１３１１の復号処理部１９１４として使用可能な本発明の実施の形態５による動画像処理装置１７５０の構成を示す図である。

１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態は、符号化処理装置(２０１)を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロック(ＭＢ)を符号化する動画像符号化方法である。

前記複数のマクロブロックの符号化に際して、符号化されるべきマクロブロック(ＭＢ)の周辺の複数の符号化済みの複数のマクロブロック(ＭＢ)の情報が前記符号化処理装置に内蔵された情報格納メモリ(２０４)に格納される。

前記複数のマクロブロックの前記符号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に符号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の符号化情報が前記情報格納メモリ(２０４)に格納される。

前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に符号化されることを特徴とする(図３、図４、図５参照)。

前記実施の形態によれば、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することができる。

好適な実施の形態では、前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が順次に符号化される際に、前記情報格納メモリ(２０４)に格納された前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の前記符号化情報が使用されることを特徴とする(図３、図４、図５参照)。

他の好適な実施の形態では、前記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが符号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記符号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０４参照)。

より好適な実施の形態は、前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が符号化された後に、符号化された前記複数のマクロブロック(ＭＢ)が前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記符号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０６参照)。

他のより好適な実施の形態では、前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記符号化処理装置(２０１)によって判定された場合は、前記左端の前記垂直方向で次に符号化されるマクロブロックの位置を表示する垂直方向カウンタ(２０５)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０５参照)。

具体的な実施の形態は、符号化された前記複数のマクロブロック(ＭＢ)が前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記符号化処理装置(２０１)によって判定された場合は、前記横長画面の前記横幅の前記水平方向で次に符号化される複数のマクロブロックの位置を表示する水平方向カウンタ(２０７)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０７参照)。

〔２〕本発明の別の観点の代表的な実施の形態は、復号化処理装置(２０１)を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロック(ＭＢ)を復号化する動画像復号化方法である。

前記複数のマクロブロックの復号化に際して、復号化されるべきマクロブロック(ＭＢ)の周辺の複数の復号化済みの複数のマクロブロック(ＭＢ)の情報が前記復号化処理装置に内蔵された情報格納メモリ(２０４)に格納される。

前記複数のマクロブロックの前記復号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に復号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の復号化情報が前記情報格納メモリ(２０４)に格納される。

前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が順次に復号化されることを特徴とする(図３、図４、図５参照)。

前記実施の形態によれば、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することができる。

好適な実施の形態では、前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が順次に復号化される際に、前記情報格納メモリ(２０４)に格納された前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の前記復号化情報が使用されることを特徴とする(図３、図４、図５参照)。

他の好適な実施の形態では、前記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが復号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記復号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０４参照)。

より好適な実施の形態は、前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が復号化された後に、復号化された前記複数のマクロブロック(ＭＢ)が前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記復号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０６参照)。

他のより好適な実施の形態では、前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記復号化処理装置(２０１)によって判定された場合は、前記左端の前記垂直方向で次に復号化されるマクロブロックの位置を表示する垂直方向カウンタ(２０５)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０５参照)。

具体的な実施の形態は、復号化された前記複数のマクロブロック(ＭＢ)が前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記復号化処理装置(２０１)によって判定された場合は、前記横長画面の前記横幅の前記水平方向で次に復号化される複数のマクロブロックの位置を表示する水平方向カウンタ(２０７)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０７参照)。

〔３〕本発明の代表的な他の実施の形態は、水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロック(ＭＢ)を符号化するために符号化処理部(２０３)と情報格納メモリ(２０４)とを具備する動画像符号化処理装置(２０１)である。

前記符号化処理部(２０３)による前記複数のマクロブロックの符号化に際して、符号化されるべきマクロブロック(ＭＢ)の周辺の複数の符号化済みの複数のマクロブロック(ＭＢ)の情報が前記情報格納メモリ(２０４)に格納される。

前記複数のマクロブロックの前記符号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が前記符号化処理部(２０３)によって順次に符号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の符号化情報が前記符号化処理部(２０３)によって前記情報格納メモリ(２０４)に格納される。

前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が前記符号化処理部(２０３)によって順次に符号化されることを特徴とする(図３、図４、図５参照)。

前記実施の形態によれば、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することができる。

好適な実施の形態では、前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が前記符号化処理部(２０３)によって順次に符号化される際に、前記情報格納メモリ(２０４)に格納された前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の前記符号化情報が使用されることを特徴とする(図３、図４、図５参照)。

他の好適な実施の形態では、前記垂直方向に配列された前記複数のマクロブロックの各マクロブロック(ＭＢ)が符号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記動画像符号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０４参照)。

更に他の好適な実施の形態は、前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が符号化された後に、符号化された前記複数のマクロブロック(ＭＢ)が前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記動画像符号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０６参照)。

また更に他の好適な実施の形態による前記動画像符号化処理装置(２０１)は、前記垂直方向で次に符号化されるマクロブロックの位置を表示する垂直方向カウンタ(２０５)を更に具備する(図５参照)。

前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記動画像符号化処理装置(２０１)によって判定された場合は、前記垂直方向カウンタ(２０５)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０５参照)。

また更に別の好適な実施の形態による前記動画像符号化処理装置(２０１)は、前記水平方向で次に符号化される複数のマクロブロックの位置を表示す水平方向カウンタ(２０７)を更に具備する(図５参照)。

符号化された前記複数のマクロブロック(ＭＢ)が前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記動画像符号化処理装置(２０１)によって判定された場合は、前水平方向カウンタ(２０７)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０７参照)。

より好適な実施の形態による前記動画像符号化処理装置(２０１)は、前記横長画面の前記動画像に含まれる前記複数のマクロブロックを格納可能な画像メモリ(７０２、９０２、１３０２)と接続可能とされる。

前記画像メモリに前記横長画面の前記縦幅の前記上端で前記水平方向に配列された複数のマクロブロック(１、２、３、４)が格納された後に、次に前記画像メモリに前記横長画面の前記縦幅の前記上端の垂直方向下隣で前記水平方向に配列された複数のマクロブロックが前記画像メモリ(５、６、７、８)に格納可能とされたことを特徴とする(図１３、図１４、図１５参照)。

他のより好適な実施の形態では、前記動画像符号化処理装置(７０１)は、前記画像メモリから前記横長画面を読み出して画像を９０°回転した後に、前記画像メモリに生成した回転画像を書き込む画像回転部(７０３)を更に具備し、前記画像メモリに格納された回転画像を読み出して前記符号化処理部(７０４)に供給可能とされたことを特徴とする(図１３参照)。

更に他のより好適な実施の形態では、前記動画像符号化処理装置(２０１)は、前記画像メモリに接続可能とされた画像メモリインターフェース(９０３、９０６、１３０３、１３０６、１３０９)を更に具備する。

前記画像メモリインターフェースは、前記画像メモリから前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロック(９、５、１)を読み出して前記符号化処理部(９０４、１３０４)に供給した後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(１０、６、２)を読み出して前記符号化処理部(９０４、１３０４)に供給可能とされたことを特徴とする(図１４、図１５参照)。

また別の他のより好適な実施の形態による前記動画像符号化処理装置は、前記画像メモリから前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロック(９、５、１)を読み出して前記符号化処理部(９０４、１３０４)に供給した後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(１０、６、２)を読み出して前記符号化処理部(９０４、１３０４)に供給可能とする画像リードアドレス生成部(９０６、１３０６)を更に具備することを特徴とする(図１４、図１５参照)。

具体的な実施の形態による前記動画像符号化処理装置は、前記画像リードアドレス生成部から生成されるアドレスに従って前記画像メモリから読み出される前記複数のマクロブロックの各マクロブロックを略９０°回転した回転画像を生成して前記符号化処理部に供給可能とする画像回転部(９０３、１３０３)を更に具備することを特徴とする(図１４、図１５参照)。

最も具体的な実施の形態による前記動画像符号化処理装置では、前記符号化処理部(７０４、９０４、１３０４)は可変長符号化部と直交変換器・量子化器と動き予測部の各動作機能を含むことを特徴とする(図１６参照)。

〔４〕本発明の代表的な更に他の実施の形態は、水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロック(ＭＢ)を復号化するために復号化処理部(２０３)と情報格納メモリ(２０４)とを具備する動画像復号化処理装置(２０１)である。

前記復号化処理部(２０３)による前記複数のマクロブロックの復号化に際して、復号化されるべきマクロブロック(ＭＢ)の周辺の複数の復号化済みの複数のマクロブロック(ＭＢ)の情報が前記情報格納メモリ(２０４)に格納される。

前記複数のマクロブロックの前記復号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が前記復号化処理部(２０３)によって順次に復号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の復号化情報が前記復号化処理部(２０３)によって前記情報格納メモリ(２０４)に格納される。

前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(ＭＢ)が前記復号化処理部(２０３)によって順次に復号化されることを特徴とする(図３、図４、図５参照)。

前記実施の形態によれば、周辺マクロブロック情報を格納するためのメモリの記憶容量の増大を軽減することができる。

好適な実施の形態では、前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が前記復号化処理部(２０３)によって順次に復号化される際に、前記情報格納メモリ(２０４)に格納された前記左端で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)の前記復号化情報が使用されることを特徴とする(図３、図４、図５参照)。

他の好適な実施の形態では、前記垂直方向に配列された前記複数のマクロブロックの各マクロブロック(ＭＢ)が復号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記動画像復号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０４参照)。

更に他の好適な実施の形態は、前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロック(ＭＢ)が復号化された後に、復号化された前記複数のマクロブロック(ＭＢ)が前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記動画像復号化処理装置(２０１)によって判定されることを特徴とする(図３：ステップ１０６参照)。

また更に他の好適な実施の形態による前記動画像復号化処理装置(２０１)は、前記垂直方向で次に復号化されるマクロブロックの位置を表示する垂直方向カウンタ(２０５)を更に具備する(図５参照)。

前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記動画像復号化処理装置(２０１)によって判定された場合は、前記垂直方向カウンタ(２０５)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０５参照)。

また更に別の好適な実施の形態による前記動画像復号化処理装置(２０１)は、前記水平方向で次に復号化される複数のマクロブロックの位置を表示す水平方向カウンタ(２０７)を更に具備する(図５参照)。

復号化された前記複数のマクロブロック(ＭＢ)が前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記動画像復号化処理装置(２０１)によって判定された場合は、前水平方向カウンタ(２０７)のカウント値が１つインクリメントされることを特徴とする(図３：ステップ１０７参照)。

また更に別の好適な実施の形態による前記動画像復号化処理装置(７１１、９１１、１３１１)は、前記複数のマクロブロックを格納可能な画像メモリ(７１２、９１２、１３１２)と接続可能とされたことを特徴とする。

また更に別の好適な実施の形態では、前記動画像符号化処理装置(７１１)は、前記画像メモリから前記横長画面を読み出して画像を９０°回転した後に、前記画像メモリに生成した回転画像を書き込む画像回転部(７１３)を更に具備することを特徴とする(図１３参照)。

より好適な実施の形態による前記動画像符号化処理装置(９１１、１３１１)は、動画像符号化信号が供給可能な外部インターフェース(９１３、９１６、９１８、１３１３、１３１６、１３１８)を更に具備する。

前記外部インターフェースは、前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロック(９、５、１)を前記復号化処理部(９１４、１３１４)に供給した後に、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロック(１０、６、２)を前記復号化処理部に供給可能とされる。

前記動画像復号化処理装置は、前記外部インターフェースから供給される前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックを復号処理した後に、次に前記外部インターフェースから供給される前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックを復号処理する。

前記動画像復号化処理装置は、水平方向の横幅が垂直方向の縦幅よりも大きな復号動画像情報を格納可能な画像メモリ(９１２、１３１２)と接続可能とされる。

前記動画像復号化処理装置は、前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの第１記憶領域(９、５、１)に格納した後、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの第２記憶領域(１０、６、２)に格納可能とされる。

前記画像メモリの前記第１記憶領域と前記第２記憶領域とは、水平方向の表示横幅が垂直方向の表示縦幅よりも大きな横長の動画像表示画面の前記表示横幅の左端で前記垂直方向に配列された複数の画像情報と前記表示横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数の画像情報とにそれぞれ対応することを特徴とする(図１４、図１５参照)。

他のより好適な実施の形態では、前記動画像復号化処理装置は前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの前記第１記憶領域に格納した後、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの前記第２記憶領域に格納可能とする画像ライトアドレス生成部(９１８、１３１８)を更に具備することを特徴とする(図１４、図１５参照)。

具体的な実施の形態では、前記外部インターフェースは、前記動画像符号化信号中に含まれる前記複数のマクロブロックを略９０°回転した回転画像を生成して前記復号化処理部に供給可能とされたことを特徴とする(図１４、図１５参照)。

最も具体的な実施の形態による前記動画像復号化処理装置では、前記復号化処理部(７１４、９１４、１３１４)は可変長復号部と逆量子化器・逆直交変換器と動き補償部の各動作機能を含むことを特徴とする(図１６参照)。

２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
《動画像符号化／復号処理方式における階層構造》
図１は、本発明の実施の形態１による動画像符号化／復号処理方式における階層構造を説明する図である。

図１に示すように、本発明の実施の形態１による動画符号化方式は動画像の全体に対応するシーケンス(Sequence)１０から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)１５、１６、１７までの６階層の構造を有している。すなわち、第１階層はシーケンス(Sequence)１０、第２階層はグループオブピクチャ(ＧＯＰ)１１、第３階層はピクチャー(Picture)１２、第４階層はスライス(Slice)１３、第５階層はマクロブロック(Macro-block)１４、第６階層はブロック(Block)１５、１６、１７である。グループオブピクチャ(ＧＯＰ)１１に含まれるピクチャー(Picture)１２の数もしくはスライス(Slice)１３に含まれるマクロブロック(Macro-block)１４の数は比較的柔軟となっている。

図１に示すように、第３階層のピクチャー(Picture)１２の動画像の画面縦幅は、動画像の画面横幅分よりも、短い横長の画面となっている。従来のＭＰＥＧ−２の動画符号化方式／復号処理方式においては、第４階層はスライス(Slice)１３は第３階層のピクチャー(Picture)１２の横幅方向に配置され、第５階層のマクロブロック(ＭＢ)１４も横幅方向に配置された第４階層のスライス１３の内部で横幅方向に順次符号化または復号の処理がなされるものであった。それに対して、本発明の実施の形態１による動画符号化方式においては、第４階層はスライス(Slice)１３は第３階層のピクチャー(Picture)１２の縦幅方向に配置され、第５階層のマクロブロック(ＭＢ)１４も縦幅方向に配置された第４階層のスライス１３の内部で破線の矢印に示したように縦幅方向に順次符号化または復号の処理がなされるものでる。

《符号化ビデオストリームの構成》
図２は、図１に示した本発明の実施の形態１による動画符号化方式により符号化された符号化ビデオストリームの構成を示す図である。

図２に示すビデオストリームは、シーケンスレベル２１１、グループオブピクチャ(ＧＯＰ)レベル２２１、ピクチャーレベル２３１、スライスレベル２４１、マクロブロック(ＭＢ)レベル２５１の異なったレベルの重ね合った階層となっている。従って、次の各レベルは、以前の各レベルの一部となっている。シーケンスレベル２１１はシーケンスの連続で、各シーケンスは複数のグループオブピクチャー(ＧＯＰ)のグループを含んでいる。グループオブピクチャ(ＧＯＰ)レベル２２１のグループはピクチャーのグループの連続で、各ＧＯＰは１つまたは多数のピクチャーを含んでいる。ピクチャーレベル２３１はピクチャー(Ｉフレーム、Ｐフレーム、Ｂフレームを含む)の連続で、各ピクチャー２３０は１つまたは多数のスライス２４０を含んでいる。スライスレベル２４２はスライス２４０の連続で、各スライス２４０は１つまたは多数のマクロブロック２５０を含んでいる。マクロブロック(ＭＢ)レベル２５１は、マクロブロックの連続である。

図２に示すビデオストリームをデコードするためにはビデオストリームに関する確実な情報が必要であり、しばしばこの情報はビデオストリームに含まれるヘッダーに含まれている。従って、ビデオストリームの各レベルのデータの各ブロックは、一般にビデオストリームのエンコーディングとデコーディングに関係する関連情報を含むヘッダーを有している。例えば、シーケンスレベル２１１でシーケンス２１０はシーケンスヘッダー２１２を有し、ＧＯＰレベル２２１でＧＯＰ２２０はＧＯＰヘッダー２２２を有し、ピクチャーレベル２３１でピクチャー２３０はピクチャーヘッダー２３２を有し、スライスレベル２４１でスライス２４０はスライスヘッダー２４２を有し、ＭＢレベル２５１ではマクロブロック(ＭＢ)２５０はマクロブロック(ＭＢ)ヘッダー２５２を有している。

シーケンスヘッダー２１２は、水平サイズ(horizontal_size)と呼ばれるピクチャー１２の幅、垂直サイズ(vertical_size)と呼ばれるピクチャー１２の高さ、アスペクトレシオ情報(aspect_ratio_information)と呼ばれる画素のアスペクト比等の情報を含んでいる。

ＧＯＰヘッダー２２２は、タイムコード(time_code)と呼ばれるパラメータとクローズドＧＯＰ(closed_gop)やブロークン・リンク(broken_link)と呼ばれるＧＯＰの構造を記述するパラメータの情報を含んでいる。

ピクチャーヘッダー２３２は、ピクチャーがＩピクチャーとＰピクチャーとＢピクチャーとのいずれかを示すピクチャー・コーディングタイプ(picture_coding_type)と呼ばれるパラメータ等の情報を含んでいる。ピクチャーヘッダー２３２は、更に動きベクトルがどのピクチャーから符号化されたかを示すエフコード(f_code)と呼ばれるパラメータを含んでいる。

スライスヘッダー２４２は、スライス開始を示すスライススタートコード(slice_start_code)と、スライスの最初のマクロブロック(ＭＢ)の垂直位置・水平位置を示すパラメータ等の情報を含んでいる。

マクロブロック(ＭＢ)ヘッダー２５２は、マクロブロックアドレスと、マクロブロックのタイプと、マクロブロック２５０が動きベクトルと動きベクトルのタイプ(順方向、逆方向)を含むか否と、マクロブロック単位で指定する量子化器スケール等との情報を含んでいる。更にマクロブロック(ＭＢ)ヘッダー２５２は、離散コサイン変換(ＤＣＴ)のタイプと、ＤＣＴ係数等とを決定する。

《動画像符号化処理／復号処理の処理手順》
図３は、本発明の実施の形態１による動画像の符号化／復号処理の処理手順を示すフローチャートである。

図３に示した本発明の実施の形態１の動画符号化方式によるビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)は、図１と図２とを使用して説明した規則に基づいている。

図３のステップ１０１に先立って、本発明の実施の形態１による動画像の符号化／復号処理の処理を実行する動画像符号化／復号処理装置は、上述したシンタックスを解析することによって、本発明の実施の形態１によるシンタックスに従って動画像の符号化／復号処理の処理を実行すべきことを判断する。

この判断の後に図３において、ステップ１０１によって１枚の映像画面(ピクチャー１２)の動画像符号化処理または動画像復号処理の処理が開始され、ステップ１０２によってマクロブロック(ＭＢ)の座標(ｘ、ｙ)が原点(０、０)へ初期化される。ステップ１０３によってマクロブロック座標(ｘ、ｙ)に位置する１つのマクロブロック(ＭＢ)が符号化処理または復号処理される。ステップ１０４によって、ステップ１０３にて処理されたマクロブロック(ＭＢ)が画面下端であるか否かが判定される。ステップ１０４にて、処理されたマクロブロック(ＭＢ)が画面下端でないと判定された場合には、ステップ１０５にてマクロブロック座標(ｘ、ｙ)の縦方向の座標ｙを１つインクリメントした後に、ステップ１０３のマクロブロック(ＭＢ)の符号化処理または復号処理が反復される。ステップ１０４にて、処理されたマクロブロック(ＭＢ)が画面下端であると判定された場合には、ステップ１０６にて処理されたマクロブロック(ＭＢ)が画面右端であるか否かが判定される。ステップ１０６で処理されたマクロブロック(ＭＢ)が画面右端でないと判定された場合には、ステップ１０７にてマクロブロック座標(ｘ、 ｙ)の横方向の座標ｘを１つインクリメントして縦方向の座標ｙを初期値(０)にリセットした後に、ステップ１０３のマクロブロック(ＭＢ)の符号化処理または復号処理が反復される。ステップ１０６で処理されたマクロブロック(ＭＢ)が画面右端であると判定された場合には、ステップ１０８にて１枚の映像画面の動画像符号化処理または動画像復号処理の処理が終了される。

図４は、図３のフローチャートに示す本発明の実施の形態１による動画像の符号化／復号処理の処理手順によって１枚の映像画面の２次元マクロブロック座標(ｘ、ｙ)に配置された複数のマクロブロック(ＭＢ)が順次に処理される様子を示す図である。

図４に示すように、１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され、最初の処理の移動方向が、表示のラスタスキャンの順序に従って画面の横右方向とされるのではなく、画面の縦下方向とされる。画面の縦下方向への処理の移動方向によって処理済みのマクロブロック(ＭＢ)が映像画面下端まで到達すると、一個右側のマクロブロック(ＭＢ)の列の上端に位置するマクロブロック(ＭＢ)に処理が移動され(処理が繰り返され)、また処理の移動方向が画面の縦下方向とされる。

《動画像符号化／復号処理装置の構成》
図５は、図３のフローチャートに示す本発明の実施の形態１による動画像の符号化／復号処理の処理手順を実行可能な本発明の実施の形態１による動画像符号化／復号処理装置の構成を示す図である。

図５に示すように、システムＬＳＩで構成された動画像符号化／復号処理装置２０１には、同期型ダイナミックランダムアクセスメモリによって構成された外部メモリ２０２が接続される。動画像符号化／復号処理装置２０１の半導体チップは、マクロブロック符号化／復号処理部２０３、周辺マクロブロック情報格納メモリ２０４、垂直方向マクロブロックカウンタ２０５、画面下端判定部２０６、水平方向マクロブロックカウンタ２０７、画面右端判定部２０８、ＡＮＤ論理ゲート回路２０９を含む。

動画像符号化処理時には、動画像符号化／復号処理装置２０１は、外部メモリ２０２に格納された原画像と参照画像とを使用して動画像符号化処理を実行して外部メモリ２０２に動画像符号化ビットストリームおよび参照画像を出力するものである。また、動画像復号処理時に動画像符号化／復号処理装置２０１は、外部メモリ２０２に格納された動画像符号化ビットストリームと参照画像とを使用して動画像復号処理を実行して外部メモリ２０２に復号動画像を出力するものである。

マクロブロック符号化／復号処理部２０３は、垂直方向マクロブロックカウンタ２０５と水平方向マクロブロックカウンタ２０７とによって示されるマクロブロック座標に位置するマクロブロック(ＭＢ)の符号化処理または復号処理を実行するものである。

周辺マクロブロック情報格納メモリ２０４は、マクロブロック符号化／復号処理部２０３から出力される画面の縦下方向(垂直方向)の複数のマクロブロック(ＭＢ)の情報を格納する。従って、マクロブロック符号化／復号処理部２０３は、左側列のマクロブロック(ＭＢ)の情報を周辺マクロブロック情報格納メモリ２０４から読み出して、符号化または復号の処理を実行する。垂直方向マクロブロックカウンタ２０５は、マクロブロック符号化／復号処理部２０３から出力されるマクロブロック処理終了信号によってカウント値が1つインクリメントされる。垂直方向マクロブロックカウンタ２０５の出力信号の垂直方向マクロブロック位置信号は、画面下端判定部２０６に供給される。画面下端判定部２０６によるマクロブロック位置の判定結果によってマクロブロック位置が画面下端と判定された場合には、垂直方向マクロブロックカウンタ２０５は初期値(０)にクリア(リセット)され、水平方向マクロブロックカウンタ２０７のカウント値が1つインクリメントされる。また水平方向マクロブロックカウンタ２０７の出力信号の水平方向マクロブロック位置信号は、画面右端判定部２０８に供給される。画面右端判定部２０８によるマクロブロック位置の判定結果によってマクロブロック位置が画面右端と判定され、同時に画面下端判定部２０６によるマクロブロック位置の判定結果によってマクロブロック位置が画面下端と判定された場合には、ＡＮＤ論理ゲート回路２０９には画面下端判定部２０６の判定結果と画面右端判定部２０８の判定結果が供給される。従って、ＡＮＤ論理ゲート回路２０９の出力から生成されるハイレベル(“１”)の画面処理終了信号が、マクロブロック符号化／復号処理部２０３へ供給される。

《動画像符号化ビットストリームのデータ配列》
図６は、図５に示す本発明の実施の形態１による動画像符号化／復号処理装置が復号処理装置として動作する際に供給される動画像符号化ビットストリームのデータ配列を示す図である。

図６に示すように、動画像符号化ビットストリームのデータ配列ではピクチャヘッダ３０１に続き、最初に画面左上端のマクロブロック座標(０、０)のマクロブロック(ＭＢ(０、０))が符号化された情報３０２が配置される。続いて、垂直下方向のマクロブロック座標(０、１)のマクロブロック(ＭＢ(０、１))が符号化された情報３０３から垂直下方向に順番にマクロブロック(ＭＢ)の符号化された情報が配置される。画面左下端のマクロブロック座標(０、ｈ−１)のマクロブロック(ＭＢ(０、ｈ−１))が符号化された情報３０４の後に、画面左から２列目のマクロブロック座標(１、０)のマクロブロック(ＭＢ(１、０))が符号化された情報３０５が配置される。以降同様に、画面右下端のマクロブロック座標(ｗ−１、ｈ−１)のマクロブロック(ＭＢ(ｗ−１、ｈ−１))まで符号化された情報が配置される。尚、図６に示すピクチャヘッダ３０１には、実際には図２に示したシーケンスヘッダー２１２、ＧＯＰヘッダー２２２、ピクチャーヘッダー２３２、スライスレベル２４２、マクロブロック(ＭＢ)ヘッダー２５２を含むものである。その結果、図６に示すピクチャヘッダ３０１を解析することによって、本発明の実施の形態１によるシンタックスに従って動画像の符号化／復号処理の処理を実行すべきことが判断されることが可能となる。まは、図２に示すシーケンスヘッダー２１２に含まれる水平サイズと呼ばれるピクチャー１２の幅と垂直サイズと呼ばれるピクチャー１２の高さを解析することによって、図３の処理手順のステップ１０４で判断される画面下端とステップ１０６で判断される画面右端とを知ることが可能となる。

《周辺マクロブロック》
図７は、本発明と異なる従来の符号化処理が実行される場合の処理対象マクロブロック(ＭＢ)４０１と処理対象マクロブロック(ＭＢ)４０１の予測に使用される４個の周辺マクロブロック(ＭＢ)４０２〜４０５との関係を示す図である。

図８は、図１乃至図６にて説明した本発明の実施の形態１による動画像の符号化／復号処理の処理手順が実行される場合の処理対象マクロブロック(ＭＢ)４０１と処理対象マクロブロック(ＭＢ)４０１の予測に使用される４個の周辺マクロブロック(ＭＢ)４０６〜４０９との関係を示す図である。

図７では、処理対象マクロブロック(ＭＢ)４０１の右上に位置するマクロブロック(ＭＢ)４０４が未処理の状態で処理対象マクロブロック(ＭＢ)４０１を処理しなければならないため、参照情報が減少して予測精度が劣化してしまう。それに対して、本発明の実施の形態１による図８では、処理対象マクロブロック(ＭＢ)４０１の処理タイミングでは４個の周辺マクロブロック(ＭＢ)４０６〜４０９の全ては処理済みであるので、参照情報の減少による予測精度の劣化が回避されることが可能となる。

《周辺マクロブロック情報の格納メモリ》
図９は、従来の符号化処理に従って１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され表示のラスタスキャンの順序で最初に右方向へ次に下方向へ順次複数のマクロブロック(ＭＢ)の符号化処理が実行される様子を示す図である。

図９に示した従来の符号化処理では、周辺マクロブロック情報の格納メモリの記憶容量は、画面横幅分のマクロブロック(ＭＢ)情報５０２を格納する大きな記憶容量を持つ必要が有る。

図１０は、図１乃至図６で説明した本発明の実施の形態１による符号化処理に従って１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され最初に下方向へ次に右方向へ順次複数のマクロブロック(ＭＢ)の符号化処理が実行される様子を示す図である。

図１０に示した本発明の実施の形態１による符号化処理では、周辺マクロブロック情報の格納メモリの記憶容量は画面縦幅分のマクロブロック(ＭＢ)情報５０４を格納する小さな記憶容量を持つことで十分となる。

一般的に、動画像の画面縦幅は、動画像の画面横幅分よりも、短い横長である。例えば、ＱＶＧＡ(Quarter Video Graphic Array)サイズでは３２０画素×２４０画素、標準(Standard)サイズでは７２０画素×４８０画素、高精細ＨＤ(High Definition)サイズでは１９２０画素×１０８０画素、４Ｋ×２Ｋサイズでは４０９６画素×２０４８画素、８Ｋ×４Ｋサイズでは８１９２画素×４０９６画素である。従って、図９に示した従来の符号化処理で必要な画面横幅分の大きな容量と比較して、図１０に示した本発明の実施の形態１による符号化処理で必要な周辺マクロブロック情報の格納メモリの記憶容量は画面縦幅分の小さな容量となる。

《マクロブロック適応型のフレーム・フィールド予測モード》
図１１は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方式に導入されたマクロブロック適応型のフレーム・フィールド予測モードの２本の列のマクロブロック(ＭＢ)のペアを従来の符号化処理に従って符号化する様子を示す図である。

図１１に示した従来の符号化処理では、周辺マクロブロック情報の格納メモリの記憶容量は、画面横幅分の２倍のマクロブロック(ＭＢ)情報６０２を格納する大きな記憶容量を持つ必要が有る。

図１２は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方式に導入されたマクロブロック適応型のフレーム・フィールド予測モードのマクロブロック(ＭＢ)のペアを図１乃至図６で説明した本発明の実施の形態１による符号化処理に従って符号化する様子を示す図である。

図１２に示す図１乃至図６で説明した本発明の実施の形態１による符号化処理では、周辺マクロブロック情報の格納メモリの記憶容量は、画面縦幅分のマクロブロック(ＭＢ)情報６０４を格納する小さな記憶容量を持つことで十分となる。

［実施の形態２］
《実施の形態２による動画像符号化／復号処理装置》
図１３は、本発明の実施の形態２による動画像符号化／復号処理装置の構成を示す図である。

図１３の上部には本発明の実施の形態２による動画像符号化の処理を実行する符号化装置７０１が示され、図１３の下部には本発明の実施の形態２による動画像復号の処理を実行する復号装置７１１が示されている。

符号化装置７０１は、画像回転部７０３と符号化処理部７０４と周辺マクロブロック情報格納メモリ７０５とを含んでいる。符号化装置７０１は、外部メモリ７０２に格納された原画像の動画像符号化処理を実行することによって外部メモリ７０２に動画像符号化ビットストリームと参照画像とを出力する。

外部メモリ７０２に格納された原画像は符号化装置７０１の画像回転部７０３に供給され、画像回転部７０３は原画像を＋９０°右回転して回転画像を外部メモリ７０２に供給する。従って、外部メモリ７０２に格納された原画像の横幅は縦幅よりも長い横長となっており、画面表示のラスタスキャンの順序で右水平方向に複数のマクロブロック(ＭＢ)１、２、３、４が配列され、下垂直方向に複数のマクロブロック(ＭＢ)１、５、９が配列されている。すなわち、外部メモリ７０２に格納された原画像の横幅の右水平方向に配列される複数のマクロブロック(ＭＢ)１、２、３、４の個数は、原画像の縦幅の下垂直方向に配列される複数のマクロブロック(ＭＢ)１、５、９の個数よりも大きな値となっている。

一方、画像回転部７０３によって＋９０°右回転され外部メモリ７０２に供給された回転画像は、横幅の水平方向には小さな個数の複数のマクロブロック(ＭＢ)１、５、９を含み、縦幅の垂直方向には大きな個数の複数のマクロブロック(ＭＢ)１、２、３、４を含んでいる。また外部メモリ７０２に格納された参照画像も回転画像と同様に、横幅の水平方向には小さな個数の複数のマクロブロック(ＭＢ)１、５、９を含み、縦幅の垂直方向には大きな個数の複数のマクロブロック(ＭＢ)１、２、３、４を含んでいる。

符号化処理部７０４は、最初に外部メモリ７０２に格納された回転画像の横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１と外部メモリ７０２に格納された参照画像の横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１とを順次読み出して、動画像符号化処理を実行する。次に、符号化処理部７０４は、外部メモリ７０２に格納された回転画像および参照画像の各横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)１０、６、２を順次読み出して、動画像符号化処理を実行する。また動画像符号化処理によって生成される動画像符号化ビットストリームは、外部メモリ７０２に格納される。この動画像符号化処理に必要な周辺マクロブロック情報格納メモリ７０５の記憶容量は、外部メモリ７０２に格納された原画像の縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)９、５、１の個数で十分となる。

従って、符号化装置７０１をシステムＬＳＩで構成する際、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ７０５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また、原画像と回転画像と動画像符号化ビットストリームとを格納する外部メモリ７０２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。

復号装置７１１は、復号処理部７１４と周辺マクロブロック情報格納メモリ７１５と画像回転部７１３とを含んでいる。

復号処理部７１４は、最初に外部メモリ７１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１と外部メモリ７１２に格納された参照画像の横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１とを順次読み出して、動画像復号処理を実行する。次に、復号処理部７１４は、外部メモリ７１２に格納された動画像符号化ビットストリームおよび参照画像の各横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)１０、６、２を順次読み出して動画像復号処理を実行する。また動画像復号処理によって生成される動画像復号ビットストリームは、外部メモリ７１２に格納される。更に、画像回転部７１３は、外部メモリ７１２に格納された動画像復号ビットストリームを９０°左回転して最終的な動画像復号ビットストリームとして外部メモリ７１２に再度供給する。この動画像復号処理に必要な周辺マクロブロック情報格納メモリ７１５の記憶容量は、外部メモリ７１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された複数のマクロブロック(ＭＢ)９、５、１の個数で十分となる。

従って、復号装置７１１をシステムＬＳＩで構成する際に、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ７１５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また、動画像符号化ビットストリームと回転画像と動画像復号ビットストリームとを格納する外部メモリ７１２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。

図１３に示した本発明の実施の形態２による動画像の符号化装置７０１と復号装置７１１とは、システムＬＳＩ)で構成された動画像符号化／復号処理装置の半導体チップへの集積化が可能である。その際に、符号化処理部７０４と復号処理部７１４は共通ハードウェアリソースで構成可能であり、周辺マクロブロック情報格納メモリ７０５と周辺マクロブロック情報格納メモリ７１５は共通ハードウェアリソースで構成可能であり、画像回転部７０３と画像回転部７１３は共通ハードウェアリソースで構成可能である。電源投入時等の初期化シーケンスに供給される動作モード設定情報に従って、システムＬＳＩで構成される動画像符号化／復号処理装置を符号化装置７０１と復号装置７１１とのいずれにも任意に動作させることが可能となる。

［実施の形態３］
《実施の形態３による動画像符号化／復号処理装置》
図１４は、本発明の実施の形態３による動画像符号化／復号処理装置の構成を示す図である。

図１３に示した本発明の実施の形態２による動画像符号化／復号処理装置と比較すると、図１４に示す本発明の実施の形態３による動画像符号化／復号処理装置では、外部メモリ９０２へのアクセス頻度の低減が可能となる。

図１４の上部には本発明の実施の形態３による動画像符号化の処理を実行する符号化装置９０１が示され、図１４の下部には本発明の実施の形態３による動画像復号の処理を実行する復号装置９１１が示されている。

符号化装置９０１は、右９０°回転部９０３と符号化処理部９０４と周辺マクロブロック情報格納メモリ９０５と画像リードアドレス生成部９０６とを含んでいる。符号化装置９０１は、外部メモリ９０２に格納された原画像の動画像符号化処理を実行することによって外部メモリ９０２に動画像符号化ビットストリームと参照画像とを出力する。

外部メモリ９０２に格納された原画像の複数のマクロブロック(ＭＢ)は画像リードアドレス生成部９０６から生成されるアドレスに従って符号化装置９０１の右９０°回転部９０３に供給されて、右９０°回転部９０３は供給されたマクロブロック(ＭＢ)を＋９０°右回転した回転画像を符号化処理部９０４に供給する。すなわち、外部メモリ９０２に格納される原画像の横幅は縦幅よりも長い横長であって、画面表示のラスタスキャンの順序で右水平方向に複数のマクロブロック(ＭＢ)１、２、３、４が配列され、下垂直方向に複数のマクロブロック(ＭＢ)１、５、９が配列されている。その結果、外部メモリ９０２に格納された原画像の横幅の右水平方向に配列される複数のマクロブロック(ＭＢ)１、２、３、４の個数は、原画像の縦幅の下垂直方向に配列される複数のマクロブロック(ＭＢ)１、５、９の個数よりも大きな値となっている。

一方、画像回転部７０３によって＋９０°右回転され符号化処理部９０４に供給された回転画像は、横幅の水平方向に小さな個数の複数のマクロブロック(ＭＢ)９、５、１を含み、縦幅の垂直方向に大きな個数の複数のマクロブロック(ＭＢ)１、２、３、４を含んでいる。また外部メモリ９０２に格納された参照画像も回転画像と同様に、横幅の水平方向には小さな個数の複数のマクロブロック(ＭＢ)９、５、１を含み、縦幅の垂直方向には大きな個数の複数のマクロブロック(ＭＢ)１、２、３、４を含んでいる。

符号化処理部９０４は、最初に、右９０°回転部９０３から供給される回転画像の横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１と外部メモリ９０２に格納された参照画像の横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ) ９、５、１を順次読み出して、動画像符号化処理を実行する。次に符号化処理部９０４は、右９０°回転部９０３から供給される回転画像および外部メモリ９０２に格納された参照画像の各横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)１０、６、２を順次読み出して、動画像符号化処理を実行する。また動画像符号化処理によって生成される動画像符号化ビットストリームは、外部メモリ９０２に格納される。上述した動画像符号化処理に必要な周辺マクロブロック情報格納メモリ９０５の記憶容量は、外部メモリ９０２に格納された原画像の縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)１、５、９の個数で十分となる。

従って、符号化装置９０１をシステムＬＳＩで構成する際、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ９０５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また、原画像と動画像符号化ビットストリームを格納する外部メモリ９０２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。また、符号化装置９０１の動画像符号化処理によって符号化された動きベクトルＭＶ１も、外部メモリ９０２に格納された原画像での動きベクトルと比較して右９０°回転部９０３によって＋９０°右回転されたものとなるものである。

復号装置９１１は、復号処理部９１４と周辺マクロブロック情報格納メモリ９１５と左９０°回転部９１３と画像リードアドレス生成部９１６と差分画像生成部９１７と画像ライトアドレス生成部９１８とを含んでいる。

復号処理部９１４は、最初に外部メモリ９１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１を順次読み出す。外部メモリ９１２から順次に読み出された動画像符号化ビットストリームの横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１は、差分画像生成部９１７を介して左９０°回転部９１３に供給される。左９０°回転部９１３は、縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)９、５、１を生成して復号処理部９１４へ供給する。

また画像リードアドレス生成部９１６は外部メモリ７１２に格納された参照画像の縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)９、５、１を順次読み出すので、復号処理部９１４は動画像符号化ビットストリームの複数のマクロブロック(ＭＢ)９、５、１と参照画像の複数のマクロブロック(ＭＢ)９、５、１とを使用して動画像復号処理を実行する。動画像復号処理によって復号処理部９１４から生成される動画像復号ビットストリームは、画像ライトアドレス生成部９１８から生成されるアドレスに従って外部メモリ７１２に格納される。この動画像復号処理に必要な周辺マクロブロック情報格納メモリ９１５の記憶容量は、外部メモリ９１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された複数のマクロブロック(ＭＢ)９、５、１の個数で十分となる。

従って、復号装置９１１をシステムＬＳＩで構成する際に、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ９１５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また、動画像符号化ビットストリームと参照画像と動画像復号ビットストリームとを格納する外部メモリ９１２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。また、復号装置９１１での動画像復号処理によって復号される動きベクトルＭＶ２は、符号化装置９０１の動画像符号化処理によって符号化された動きベクトルＭＶ１のｘ座標を動きベクトルＭＶ２のｙ座標とする一方、動きベクトルＭＶ１のｙ座標を動きベクトルＭＶ２のｘ座標(ただし、マイナス符号)とする座標変換されたものである。

図１４に示した本発明の実施の形態３による動画像の符号化装置９０１と復号装置９１１とは、システムＬＳＩで構成された動画像符号化／復号処理装置の半導体チップへの集積化が可能である。その際に、符号化処理部９０４と復号処理部９１４とは共通ハードウェアリソースで構成可能であり、周辺マクロブロック情報格納メモリ９０５と周辺マクロブロック情報格納メモリ９１５は共通ハードウェアリソースで構成可能であり、右９０°回転部９０３と左９０°回転部９１３は共通ハードウェアリソースで構成可能である。電源投入時等の初期化シーケンスに供給される動作モード設定情報に従って、システムＬＳＩで構成される動画像符号化／復号処理装置を符号化装置９０１と復号装置９１１とのいずれにも任意に動作させることが可能となる。

［実施の形態４］
《実施の形態４による動画像符号化／復号処理装置》
図１５は、本発明の実施の形態４による動画像符号化／復号処理装置の構成を示す図である。

図１４に示した本発明の実施の形態３による動画像符号化／復号処理装置と比較すると、図１５に示す本発明の実施の形態４による動画像符号化／復号処理装置では、外部メモリ１３０２に格納される参照画像の複数のマクロブロック(ＭＢ)の配列を原画像の複数のマクロブロック(ＭＢ)の配列と同一とすることが可能となる。

図１５の上部には本発明の実施の形態４による動画像符号化の処理を実行する符号化装置１３０１が示され、図１５の下部には本発明の実施の形態４による動画像復号の処理を実行する復号装置１３１１が示されている。

符号化装置１３０１は、右９０°回転部１３０３と符号化処理部１３０４と周辺マクロブロック情報格納メモリ１３０５と画像リードアドレス生成部１３０６と差分画像生成部１３０７と参照画像アドレス生成部１３０８と左９０°回転部１３０９を含んでいる。符号化装置１３０１は、外部メモリ１３０２に格納された原画像の動画像符号化処理を実行することによって外部メモリ１３０２に動画像符号化ビットストリームと参照画像とを出力する。

画像リードアドレス生成部１３０６から生成されるアドレスに従って、外部メモリ１３０２からは原画像および参照画面の縦幅の垂直方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１が順次に読み出されて差分画像生成部１３０７に供給される。差分画像生成部１３０７の出力信号は右９０°回転部１３０３に供給され、右９０°回転部１３０３は供給されたマクロブロック(ＭＢ)を＋９０°右回転した回転画像を符号化処理部１３０４に供給する。すなわち、外部メモリ１３０２に格納される原画像の横幅は縦幅よりも長い横長であって、画面表示のラスタスキャンの順序で右水平方向に複数のマクロブロック(ＭＢ)１、２、３、４が配列されて、下垂直方向に複数のマクロブロック(ＭＢ)１、５、９が配列されている。その結果、外部メモリ１３０２に格納された原画像の横幅の右水平方向に配列される複数のマクロブロック(ＭＢ)１、２、３、４の個数は、原画像の縦幅の下垂直方向に配列される複数のマクロブロック(ＭＢ)１、５、９の個数よりも大きな値となっている。

一方、右９０°回転部１３０３によって＋９０°右回転され符号化処理部１３０４に供給される回転画像は横幅の水平方向に小さな個数の複数のマクロブロック(ＭＢ)９、５、１を含み、縦幅の垂直方向に大きな個数の複数のマクロブロック(ＭＢ)１、２、３、４を含んでいる。

符号化処理部１３０４は、右９０°回転部１３０３から供給される差分画像生成部１３０７の出力信号のマクロブロック(ＭＢ)９、５、１を順次処理して、動画像符号化処理を実行する。次に符号化処理部１３０４は、右９０°回転部１３０３から供給される差分画像生成部１３０７の出力信号のマクロブロック(ＭＢ)１０、６、２を順次処理して、動画像符号化処理を実行する。この動画像符号化処理によって符号化処理部１３０４の出力から生成される動画像符号化ビットストリームは、外部メモリ１３０２に格納される。また符号化処理部１３０４の出力は左９０°回転部１３０９に供給され、左９０°回転部１３０９の出力は参照画像アドレス生成部１３０８から生成される参照画像アドレスに従って参照画像として外部メモリ１３０２に格納される。この動画像符号化処理に必要な周辺マクロブロック情報格納メモリ１３０５の記憶容量は、外部メモリ１３０２に格納された原画像の縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)１、５、９の個数で十分となる。

従って、符号化装置１３０１をシステムＬＳＩで構成する際に、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ１３０５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また原画像と参照画像と動画像符号化ビットストリームを格納する外部メモリ１３０２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。また、符号化装置１３０１の動画像符号化処理によって符号化された動きベクトルＭＶ１も、外部メモリ１３０２に格納された原画像での動きベクトルと比較して右９０°回転部１３０３によって＋９０°右回転されたものとなるものである。

復号装置１３１１は、復号処理部１３１４と周辺マクロブロック情報格納メモリ１３１５と左９０°回転部１３１３と画像リードアドレス生成部１３１６と差分画像生成部１３１７と画像ライトアドレス生成部１３１８とを含んでいる。

復号処理部１３１４は、最初に外部メモリ１３１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１を順次読み出す。外部メモリ１３１２から順次に読み出された動画像符号化ビットストリームの横幅の水平方向に配列された小さな個数の複数のマクロブロック(ＭＢ)９、５、１は、差分画像生成部１３１７を介して、左９０°回転部１３１３に供給される。左９０°回転部１３１３は、縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)９、５、１を生成して復号処理部１３１４へ供給する。

また画像リードアドレス生成部１３１６は外部メモリ１３１２に格納された参照画像の縦幅の垂直方向に配列された複数のマクロブロック(ＭＢ)９、５、１を順次読み出すので、復号処理部１３１４は動画像符号化ビットストリームの複数のマクロブロック(ＭＢ)９、５、１と参照画像の複数のマクロブロック(ＭＢ)９、５、１を使用して動画像復号処理を実行する。動画像復号処理によって復号処理部１３１４から生成される動画像復号ビットストリームは、画像ライトアドレス生成部１３１８から生成されるアドレスに従って外部メモリ１３１２に格納される。この動画像復号処理に必要となる周辺マクロブロック情報格納メモリ９１５の記憶容量は、外部メモリ１３１２に格納された動画像符号化ビットストリームの横幅の水平方向に配列された複数のマクロブロック(ＭＢ)９、５、１の個数で十分となる。

その結果、復号装置１３１１をシステムＬＳＩで構成する際に、比較的小さな記憶容量の周辺マクロブロック情報格納メモリ１３１５をシステムＬＳＩの内蔵メモリ(オンチップＳＲＡＭ)とすることが容易となる。また動画像符号化ビットストリームと参照画像と動画像復号ビットストリームとを格納する外部メモリ１３１２は、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される。また復号装置１３１１の動画像復号処理によって復号される動きベクトルＭＶ２は、符号化装置１３０１の動画像符号化処理によって符号化された動きベクトルＭＶ１のｘ座標を動きベクトルＭＶ２のｙ座標とする一方、動きベクトルＭＶ１のｙ座標を動きベクトルＭＶ２のｘ座標(ただし、マイナス符号)とする座標変換されたものである。

図１５に示した本発明の実施の形態４による動画像の符号化装置１３０１と復号装置１３１１とは、システムＬＳＩで構成された動画像符号化／復号処理装置の半導体チップへの集積化が可能である。その際に、符号化処理部１３０４と復号処理部１３１４とは共通ハードウェアリソースで構成可能であり、周辺マクロブロック情報格納メモリ１３０５と周辺マクロブロック情報格納メモリ１３１５は共通ハードウェアリソースで構成可能であり、右９０°回転部１３０３と左９０°回転部１３１３は共通ハードウェアリソースで構成可能である。電源投入時等の初期化シーケンスに供給される動作モード設定情報に従って、システムＬＳＩで構成される動画像符号化／復号処理装置を符号化装置１３０１と復号装置１３１１とのいずれにも任意に動作させることが可能となる。

［実施の形態５］
《実施の形態５による動画像処理装置》
図１６は、図５に示した本発明の実施の形態１による動画像符号化／復号処理装置２０１のマクロブロック符号化／復号処理部２０３または図１３に示した本発明の実施の形態２による符号化装置７０１の符号化処理部７０４と復号装置７１１の復号処理部７１４または図１４に示した本発明の実施の形態３による符号化装置９０１の符号化処理部９０４と復号装置１９１１の復号処理部１９１４または図１５に示した本発明の実施の形態４による符号化装置１３０１の符号化処理部１３０４と復号装置１３１１の復号処理部１９１４として使用可能な本発明の実施の形態５による動画像処理装置１７５０の構成を示す図である。

図１６に示す本発明の実施の形態５による動画像処理装置１７５０は、可変長符号化復号部(ＶＬＣＳ)１７０３、第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９、第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９、メモリ制御部(ＭＥＣ)１７１４、ローカルメモリコントローラ(ＬＭＣ)１７２４、全体制御部(ＣＴＲＬ)１７１５、ＤＭＡコントローラ(ＤＭＡＣ)１７２５、外部バス１７０１、内部バス１７０２を具備している。好ましい実施の形態によれば、動画像処理装置１７５０は、例えば単結晶シリコン基板等の一つの半導体基板に形成された大規模半導体集積回路(ＬＳＩ：Large Scale Integrated Circuits)の形態で構成されている。また 図１６に示す本発明の実施の形態５による動画像処理装置１７５０は、電源投入時の初期化シーケンスに供給される動作モード設定情報に従って符号化装置と復号装置とのいずれにも任意に動作させることが可能となる。

《可変長符号化復号部》
可変長符号化復号部(ＶＬＣＳ)１７０３には、ハードディスクドライブ(ＨＤＤ)、光ディスクドライブ、大容量不揮発性フラッシュメモリ、無線ＬＡＮ(ローカルエリアネットワーク)等のメディアからＤＭＡコントローラ１７２５を介して動画符号化データがビットストリーム(ＢＳ)の形態で供給される。可変長符号化復号部(ＶＬＣＳ)１７０３の内部にストリーム解析部が内蔵され、このストリーム解析部によって奇数行である１行目、３行目…に配列されたマクロブロックが第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９に供給される一方、偶数行である２行目、４行目…に配列されたマクロブロックが第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９に供給される。

可変長符号化復号部(ＶＬＣＳ)１７０３の内部にパイプライン制御部が内蔵され、このパイプライン制御部によってマクロブロックに関する第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９と第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９との並列動作のためのパイプライン動作が制御される。すなわち、第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９の内部回路である第１の可変長符号化復号部(ＶＬＣＦ１)１７１０と第１の周波数変換部(ＴＲＦ１)１７１１と第１の動き補償部(ＦＭＥ１)１７１２と第１のデブロッキングフィルタ(ＤＥＢ１)１７１３とは、可変長符号化復号部(ＶＬＣＳ)１７０３のパイプライン制御部によって制御されることによってパイプライン動作を実行するものである。また、第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９の内部回路である第２の可変長符号化復号部(ＶＬＣＦ２)１７２０と第２の周波数変換部(ＴＲＦ２)１７２１と第２の動き補償部(ＦＭＥ２)１７２２と第２のデブロッキングフィルタ(ＤＥＢ２)１７２３とは、可変長符号化復号部(ＶＬＣＳ)１７０３のパイプライン制御部によって制御されることによってパイプライン動作を実行するものである。従って、パイプライン動作を実行する第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９と第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９との並列動作は、図１２に示した本発明の実施の形態１によるマクロブロック適応型のフレーム・フィールド予測モードのマクロブロック(ＭＢ)のペアの符号化処理もしくは復号処理に好適なものとなる。

このように、可変長符号化復号部(ＶＬＣＳ)１７０３は、供給されるビットストリームを可変長復号することによって、マクロブロックタイプと動きベクトルを抽出して、後段の第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９と第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９とで必要なパラメータ群の値を求める機能を有するものである。

《可変長符号化復号部》
可変長符号化復号部(ＶＬＣＳ)１７０３から奇数行と偶数行のマクロブロックがそれぞれ供給される第１の可変長符号化復号部(ＶＬＣＦ１)１７１０と第２の可変長符号化復号部(ＶＬＣＦ２)１７２０は、コンテキストベース適応可変長符号化復号を実行することによって、動きベクトル情報やマクロブロックパラメータや周波数変換情報の復号処理を実行するものである。

《周波数変換部》
第１の周波数変換部(ＴＲＦ１)１７１１と第２の周波数変換部(ＴＲＦ２)１７２１とは、第１の可変長符号化復号部(ＶＬＣＦ１)７１０と第２の可変長符号化復号部(ＶＬＣＦ２)１７２０から周波数変換情報が供給されることによって、逆量子化(ＩＱ：Inverse Quantization)と逆ディスクリートコサイン変換(ＩＤＣＴ：Inverse Discrete Cosine Transformation)とを実行する。すなわち、第１の周波数変換部(ＴＲＦ１)１７１１、第２の周波数変換部(ＴＲＦ２)１７２１は、第１の可変長符号化復号部(ＶＬＣＦ１)１７１０、第２の可変長符号化復号部(ＶＬＣＦ２)１７２０から供給される周波数変換情報としての量子化変換係数と量子化パラメータとを処理して、逆量子化変換して変換係数を算出して、算出された変換係数を逆直交変換して画素値又はフレーム間予測残差を求め、第１の動き補償部(ＦＭＥ１)１７１２、第２の動き補償部(ＦＭＥ２)１７２２から供給される参照画像とフレーム間予測残差を加算して画素値を算出して、算出された画像を出力する。

《動き補償部》
第１の動き補償部(ＦＭＥ１)１７１２と第２の動き補償部(ＦＭＥ２)１７２２とは、動き補償処理を実行する。すなわち、第１の動き補償部(ＦＭＥ１)１７１２、第２の動き補償部(ＦＭＥ２)１７２２は、メモリ制御部(ＭＥＣ)１７１４と内部バス１７０２とＤＭＡコントローラ(ＤＭＡＣ)１７２５と外部バス１７０１とを介して外部メモリから供給される参照画像を使用して動き探索の実行によって動きベクトル位置の参照画像を算出して、第１の周波数変換部(ＴＲＦ１)１７１１、第２の周波数変換部(ＴＲＦ２)１７２１に出力する。

《デブロッキングフィルタ》
第１のデブロッキングフィルタ(ＤＥＢ１)１７１３と第２のデブロッキングフィルタ(ＤＥＢ２)１７２３とは、画像復号時に生じるブロック歪を減少させるためのデブロッキングフィルタ処理を実行するものである。すなわち、第１と第２のデブロッキングフィルタ(ＤＥＢ１、ＤＥＢ２)１７１３、１７２３は、第１と第２の周波数変換部(ＴＲＦ１、ＴＲＦ２)１７１１、１７２１から供給される処理対象のマクロブロック(ＭＢ)の画像データと第１と第２のデブロッキングフィルタ(ＤＥＢ１、ＤＥＢ２)１７１３、１７２３中の内蔵メモリから供給される処理対象の左のマクロブロック(ＭＢ)の画像データを使用して、デブロッキングフィルタ処理を実行する。

《メモリ制御部》
メモリ制御部(ＭＥＣ)１７１４は第１と第２の可変長符号化復号部(ＶＬＣＦ１、ＶＬＣＦ２)１７１０、１７２０から供給される動きベクトルの情報からフレーム間予測に使用するための参照画像を、内部バス１７０２とＤＭＡコントローラ(ＤＭＡＣ)１７２５と外部バス１７０１とを経由して外部メモリから、第１と第２の動き補償部(ＦＭＥ１、ＦＭＥ２)１７１２、１７２２に供給する。

《全体制御部》
全体制御部(ＣＴＲＬ)１７１５は、動画像処理装置１７５０の全ての内部回路の動作を制御する。例えば、全体制御部(ＣＴＲＬ)１７１５は、第１と第２のデブロッキングフィルタ(ＤＥＢ１、ＤＥＢ２)１７１３、１７２３の動作を制御する動作制御信号ｄｅｂ＿ｓｔａｒｔを生成する。

《ローカルメモリコントローラ》
ローカルメモリコントローラ(ＬＭＣ)１７２４は、図５に示した本発明の実施の形態１による動画像符号化／復号処理装置(ＣＯＤＥＣ)２０１の周辺マクロブロック情報格納メモリ２０４または図１３に示した本発明の実施の形態２による符号化装置７０１の周辺マクロブロック情報格納メモリ７０５と復号装置７１１の周辺マクロブロック情報格納メモリ７１５または図１４に示した本発明の実施の形態３による符号化装置９０１の周辺マクロブロック情報格納メモリ９０５と復号装置１９１１の周辺マクロブロック情報格納メモリ９１５または図１５に示した本発明の実施の形態４による符号化装置１３０１の周辺マクロブロック情報格納メモリ１３０５と復号装置１３１１の周辺マクロブロック情報格納メモリ１３１５の書き込み動作と読み出し動作とを制御する。

例えば、ローカルメモリコントローラ(ＬＭＣ)１７２４は、奇数行のマクロブロック(ＭＢ)に関する第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９の処理結果と関係するパラメータをこれらの周辺マクロブロック情報格納メモリに格納して、偶数行のマクロブロック(ＭＢ)に関する第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９に必要な画像と関係するパラメータを転送する。またローカルメモリコントローラ(ＬＭＣ)１７２４は、偶数行のマクロブロック(ＭＢ)に関する第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９の処理結果と関係するパラメータをこれらの周辺マクロブロック情報格納メモリに格納して、奇数行のマクロブロック(ＭＢ)に関する第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９に必要な画像と関係するパラメータを転送する。このようにして、ローカルメモリコントローラ(ＬＭＣ)１７２４は、周辺マクロブロック情報の周辺マクロブロック情報格納メモリへの格納動作と読み出し動作を実行するものであり、システム大規模半導体集積回路(システムＬＳＩ)によって構成された動画像符号化復号装置(ＣＯＤＥＣ)の半導体チップに内蔵された周辺マクロブロック情報格納メモリとしての内蔵メモリ(オンチップＳＲＡＭ)に接続される。

《ＤＭＡコントローラ》
ＤＭＡコントローラ(ＤＭＡＣ：Direct Memory Access Controller)１７２５は、動画像処理装置１７５０の外部バス７０１に接続される例えば、同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ)によって構成される外部メモリと第１と第２の動画像処理ユニット１７１９、１７２９の間で大量のマクロブロック(ＭＢ)を含む参照画像や符号化ビットストリームの高速データ転送に使用される。

図１６に示した本発明の実施の形態５による動画像処理装置１７５０が復号装置として動作する際には、第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９の第１の可変長符号化復号部(ＶＬＣＦ１)１７１０と第１の周波数変換部(ＴＲＦ１)１７１１と第１の動き補償部(ＦＭＥ１)１７１２とは、可変長復号部と逆量子化器・逆ＤＣＴ変換器と動き補償部としてそれぞれ動作するものである。同様に、第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９の第２の可変長符号化復号部(ＶＬＣＦ２)１７２０と第２の周波数変換部(ＴＲＦ２)１７２１と第２の動き補償部(ＦＭＥ２)１７２２も、可変長復号部と逆量子化器・逆ＤＣＴ変換器と動き補償部としてそれぞれ動作するものである。

一方、図１６に示した本発明の実施の形態５による動画像処理装置１７５０が符号化装置として動作する際には、第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９の第１の可変長符号化復号部(ＶＬＣＦ１)１７１０と第１の周波数変換部(ＴＲＦ１)１７１１と第１の動き補償部(ＦＭＥ１)１７１２は、残差符号化部を構成する可変長符号化部とＤＣＴ変換器・量子化器および動き予測部としてそれぞれ動作するものである。同様に、第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９の第２の可変長符号化復号部(ＶＬＣＦ２)１７２０と第２の周波数変換部(ＴＲＦ２)１７２１と第２の動き補償部(ＦＭＥ２)１７２２も、残差符号化部を構成する可変長符号化部とＤＣＴ変換器・量子化器および動き予測部としてそれぞれ動作するものである。

以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、図１６に示した本発明の実施の形態５において、第１の動画像処理ユニット(ＣＯＤＥＣ１)１７１９の第１の可変長符号化復号部(ＶＬＣＦ１)１７１０と第１の周波数変換部(ＴＲＦ１)１７１１と第１の動き補償部(ＦＭＥ１)１７１２と第２の動画像処理ユニット(ＣＯＤＥＣ２)１７２９の第２の可変長符号化復号部(ＶＬＣＦ２)１７２０と第２の周波数変換部(ＴＲＦ２)１７２１と第２の動き補償部(ＦＭＥ２)１７２２とは、ハードウェアによって実現されることに限定されるものではない。これらの動作機能は、例えば、マイクロプロセッサ等のソフトウェア処理によって実現されることも可能である。その際には、周辺マクロブロック情報格納メモリ２０４、７０５、７１５等はマイクロプロセッサ等のキャッシュメモリを使用することも可能である。

以上説明した本発明の種々の実施の形態による動画像符号化／復号処理装置は、携帯電話、カー・ナビゲーション・システム、ＤＶＤ／ＨＤＤ／ＢＤレコーダ、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、電話会議システム等に搭載されることが可能である。

２０１…動画像符号化／復号処理装置
２０２…外部メモリ
２０３…マクロブロック符号化／復号処理部
２０４…周辺マクロブロック情報格納メモリ
２０５…垂直方向マクロブロックカウンタ
２０６…画面下端判定部
２０７…水平方向マクロブロックカウンタ
２０８…画面右端判定部
２０９…ＡＮＤ論理ゲート回路
７０１…符号化装置
７０２…外部メモリ
７０３…画像回転部
７０４…符号化処理部
７０５…周辺マクロブロック情報格納メモリ
７１１…復号装置
７１２…外部メモリ
７１３…画像回転部
７１４…復号処理部
７１５…周辺マクロブロック情報格納メモリ
９０１…符号化装置
９０２…外部メモリ
９０３…右９０°回転部
９０４…符号化処理部
９０５…周辺マクロブロック情報格納メモリ
９０６…画像リードアドレス生成部
９１１…復号装置
９１２…外部メモリ
９１３…左９０°回転部
９１４…復号処理部
９１５…周辺マクロブロック情報格納メモリ
９１６…画像リードアドレス生成部
９１７…差分画像生成部
９１８…画像ライトアドレス生成部
１３０１…符号化装置
１３０２…外部メモリ
１３０３…右９０°回転部
１３０４…符号化処理部
１３０５…周辺マクロブロック情報格納メモリ
１３０６…画像リードアドレス生成部
１３０７…差分画像生成部
１３０８…参照画像アドレス生成部
１３０９…左９０°回転部
１３１１…復号装置
１３１２…外部メモリ
１３１３…左９０°回転部
１３１４…復号処理部
１３１５…周辺マクロブロック情報格納メモリ
１３１６…画像リードアドレス生成部
１３１７…差分画像生成部
１３１８…画像ライトアドレス生成部

Claims (36)

1. 符号化処理装置を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロックを符号化する動画像符号化方法であって、
   前記複数のマクロブロックの符号化に際して、符号化されるべきマクロブロックの周辺の複数の符号化済みの複数のマクロブロックの情報が前記符号化処理装置に内蔵された情報格納メモリに格納され、
   前記複数のマクロブロックの前記符号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロックが順次に符号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロックの符号化情報が前記情報格納メモリに格納され、
   前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックが順次に符号化されることを特徴とする動画像符号化方法。
2. 前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが順次に符号化される際に、前記情報格納メモリに格納された前記左端で前記垂直方向に配列された前記複数のマクロブロックの前記符号化情報が使用されることを特徴とする請求項１に記載の動画像符号化方法。
3. 前記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが符号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記符号化処理装置によって判定されることを特徴とする請求項２に記載の動画像符号化方法。
4. 前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、符号化された前記複数のマクロブロックが前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記符号化処理装置によって判定されることを特徴とする請求項３に記載の動画像符号化方法。
5. 前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記符号化処理装置によって判定された場合は、前記左端の前記垂直方向で次に符号化されるマクロブロックの位置を表示する垂直方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項４に記載の動画像符号化方法。
6. 符号化された前記複数のマクロブロックが前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記符号化処理装置によって判定された場合は、前記横長画面の前記横幅の前記水平方向で次に符号化される複数のマクロブロックの位置を表示する水平方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項５に記載の動画像符号化方法。
7. 復号化処理装置を使用して水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロックを復号化する動画像復号化方法であって、
   前記複数のマクロブロックの復号化に際して、復号化されるべきマクロブロックの周辺の複数の復号化済みの複数のマクロブロックの情報が前記復号化処理装置に内蔵された情報格納メモリに格納され、
   前記複数のマクロブロックの前記復号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロックが順次に復号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号化情報が前記情報格納メモリに格納され、
   前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックが順次に復号化されることを特徴とする動画像復号化方法。
8. 前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが順次に復号化される際に、前記情報格納メモリに格納された前記左端で前記垂直方向に配列された前記複数のマクロブロックの前記復号化情報が使用されることを特徴とする請求項７に記載の動画像復号化方法。
9. 前記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが復号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記復号化処理装置によって判定されることを特徴とする請求項８に記載の動画像復号化方法。
10. 前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、復号化された前記複数のマクロブロックが前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記復号化処理装置によって判定されることを特徴とする請求項９に記載の動画像復号化方法。
11. 前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記復号化処理装置によって判定された場合は、前記左端の前記垂直方向で次に復号化されるマクロブロックの位置を表示する垂直方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項１０に記載の動画像復号化方法。
12. 復号化された前記複数のマクロブロックが前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記復号化処理装置によって判定された場合は、前記横長画面の前記横幅の前記水平方向で次に復号化される複数のマクロブロックの位置を表示する水平方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項１１に記載の動画像復号化方法。
13. 水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロックを符号化するために符号化処理部と情報格納メモリとを具備する動画像符号化処理装置であって、
    前記符号化処理部による前記複数のマクロブロックの符号化に際して、符号化されるべきマクロブロックの周辺の複数の符号化済みの複数のマクロブロックの情報が前記情報格納メモリに格納され、
    前記複数のマクロブロックの前記符号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロックが前記符号化処理部によって順次に符号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロックの符号化情報が前記符号化処理部によって前記情報格納メモリに格納され、
    前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックが前記符号化処理部によって順次に符号化されることを特徴とする動画像符号化処理装置。
14. 前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが前記符号化処理部によって順次に符号化される際に、前記情報格納メモリに格納された前記左端で前記垂直方向に配列された前記複数のマクロブロックの前記符号化情報が使用されることを特徴とする請求項１３に記載の動画像符号化処理装置。
15. 記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが符号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記動画像符号化処理装置によって判定されることを特徴とする請求項１４に記載の動画像符号化処理装置。
16. 前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが符号化された後に、符号化された前記複数のマクロブロックが前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記動画像符号化処理装置によって判定されることを特徴とする請求項１５に記載の動画像符号化処理装置。
17. 前記動画像符号化処理装置は、前記垂直方向で次に符号化されるマクロブロックの位置を表示する垂直方向カウンタを更に具備して、
    前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記動画像符号化処理装置によって判定された場合は、前記垂直方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項１６に記載の動画像符号化処理装置。
18. 前記動画像符号化処理装置は、前記水平方向で次に符号化される複数のマクロブロックの位置を表示す水平方向カウンタを更に具備して、
    符号化された前記複数のマクロブロックが前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記動画像符号化処理装置によって判定された場合は、前水平方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項１７に記載の動画像符号化処理装置。
19. 前記動画像符号化処理装置は、前記横長画面の前記動画像に含まれる前記複数のマクロブロックを格納可能な画像メモリと接続可能とされ、
    前記画像メモリに前記横長画面の前記縦幅の前記上端で前記水平方向に配列された複数のマクロブロックが格納された後に、次に前記画像メモリに前記横長画面の前記縦幅の前記上端の垂直方向下隣で前記水平方向に配列された複数のマクロブロックが前記画像メモリに格納可能とされたことを特徴とする請求項１４に記載の動画像符号化処理装置。
20. 他のより好適な実施の形態では、前記動画像符号化処理装置は、前記画像メモリから前記横長画面を読み出して画像を９０°回転した後に、前記画像メモリに生成した回転画像を書き込む画像回転部を更に具備し、前記画像メモリに格納された回転画像を読み出して前記符号化処理部に供給可能とされたことを特徴とする請求項１９に記載の動画像符号化処理装置。
21. 前記動画像符号化処理装置は、前記画像メモリに接続可能とされた画像メモリインターフェースを更に具備して、
    前記画像メモリインターフェースは、前記画像メモリから前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックを読み出して前記符号化処理部に供給した後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックを読み出して前記符号化処理部に供給可能とされたことを特徴とする請求項２０に記載の動画像符号化処理装置。
22. 前記画像メモリから前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックを読み出して前記符号化処理部に供給した後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックを読み出して前記符号化処理部に供給可能とする画像リードアドレス生成部を更に具備することを特徴とする請求項２１に記載の動画像符号化処理装置。
23. 前記画像リードアドレス生成部から生成されるアドレスに従って前記画像メモリから読み出される前記複数のマクロブロックの各マクロブロックを略９０°回転した回転画像を生成して前記符号化処理部に供給可能とする画像回転部を更に具備することを特徴とする請求項２２に記載の動画像符号化処理装置。
24. 前記符号化処理部は可変長符号化部と直交変換器・量子化器と動き予測部の各動作機能を含むことを特徴とする請求項１３乃至請求項２３のいずれか１項に記載の動画像符号化処理装置。
25. 水平方向の横幅が垂直方向の縦幅よりも大きな横長画面の動画像に含まれる複数のマクロブロックを復号化するために復号化処理部と情報格納メモリとを具備する動画像復号化処理装置であって、
    前記復号化処理部による前記複数のマクロブロックの復号化に際して、復号化されるべきマクロブロックの周辺の複数の復号化済みの複数のマクロブロックの情報が前記情報格納メモリに格納され、
    前記複数のマクロブロックの前記復号化に際して、最初に前記横長画面の前記横幅の左端で前記垂直方向に配列された複数のマクロブロックが前記復号化処理部によって順次に復号化されることによって、前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号化情報が前記復号化処理部によって前記情報格納メモリに格納され、
    前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、次に前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックが前記復号化処理部によって順次に復号化されることを特徴とする動画像復号化処理装置。
26. 前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが前記復号化処理部によって順次に復号化される際に、前記情報格納メモリに格納された前記左端で前記垂直方向に配列された前記複数のマクロブロックの前記復号化情報が使用されることを特徴とする請求項２５に記載の動画像復号化処理装置。
27. 前記垂直方向に配列された前記複数のマクロブロックの各マクロブロックが復号化された後に、前記各マクロブロックが前記縦幅の下端または上端に位置する最後または最初のマクロブロックであるか否かが前記動画像復号化処理装置によって判定されることを特徴とする請求項２６に記載の動画像復号化処理装置。
28. 前記横長画面の前記横幅の前記左端の前記水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックが復号化された後に、復号化された前記複数のマクロブロックが前記横幅の右端に位置する最後の複数のマクロブロックであるか否かが前記動画像復号化処理装置によって判定されることを特徴とする請求項２７に記載の動画像復号化処理装置。
29. 前記動画像復号化処理装置は、前記垂直方向で次に復号化されるマクロブロックの位置を表示する垂直方向カウンタを更に具備して、
    前記各マクロブロックが前記縦幅の前記下端または前記上端に位置する前記最後または前記最初のマクロブロックでないと前記動画像復号化処理装置によって判定された場合は、前記垂直方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項２８に記載の動画像復号化処理装置。
30. 前記動画像復号化処理装置は、前記水平方向で次に復号化される複数のマクロブロックの位置を表示す水平方向カウンタを更に具備して、
    復号化された前記複数のマクロブロックが前記横幅の前記右端に位置する前記最後の複数のマクロブロックでないと前記動画像復号化処理装置によって判定された場合は、前水平方向カウンタのカウント値が１つインクリメントされることを特徴とする請求項２９に記載の動画像復号化処理装置。
31. 前記動画像復号化処理装置は、前記複数のマクロブロックを格納可能な画像メモリと接続可能とされたことを特徴とする請求項２６に記載の動画像復号化処理装置。
32. 前記動画像符号化処理装置は、前記画像メモリから前記横長画面を読み出して画像を９０°回転した後に、前記画像メモリに生成した回転画像を書き込む画像回転部を更に具備することを特徴とする請求項３１に記載の動画像復号化処理装置。
33. 前記動画像符号化処理装置は、動画像符号化信号が供給可能な外部インターフェースを更に具備して、
    前記外部インターフェースは、前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックを前記復号化処理部に供給した後に、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックを前記復号化処理部に供給可能とされ、
    前記動画像復号化処理装置は、前記外部インターフェースから供給される前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックを復号処理した後に、次に前記外部インターフェースから供給される前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数のマクロブロックを復号処理して、
    前記動画像復号化処理装置は、水平方向の横幅が垂直方向の縦幅よりも大きな復号動画像情報を格納可能な画像メモリと接続可能とされ、
    前記動画像復号化処理装置は、前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの第１記憶領域に格納した後、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの第２記憶領域に格納可能とされ、
    前記画像メモリの前記第１記憶領域と前記第２記憶領域とは、水平方向の表示横幅が垂直方向の表示縦幅よりも大きな横長の動画像表示画面の前記表示横幅の左端で前記垂直方向に配列された複数の画像情報と前記表示横幅の前記左端の水平方向右隣で前記垂直方向に配列された複数の画像情報とにそれぞれ対応することを特徴とする請求項２６に記載の動画像復号化処理装置。
34. 前記動画像復号化処理装置は前記横長画面の前記横幅の前記左端で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの前記第１記憶領域に格納した後、次に前記動画像符号化信号中に含まれる前記横長画面の前記横幅の前記左端の水平方向右隣で前記垂直方向に配列された前記複数のマクロブロックの復号処理情報を前記画像メモリの前記第２記憶領域に格納可能とする画像ライトアドレス生成部を更に具備することを特徴とする請求項３３に記載の動画像復号化処理装置。
35. 前記外部インターフェースは、前記動画像符号化信号中に含まれる前記複数のマクロブロックを略９０°回転した回転画像を生成して前記復号化処理部に供給可能とされたことを特徴とする請求項３４に記載の動画像復号化処理装置。
36. 前記復号化処理部は可変長復号部と逆量子化器・逆直交変換器と動き補償部の各動作機能を含むことを特徴とする請求項２５乃至請求項３５のいずれか１項に記載の動画像復号化処理装置。

Images