JP4453518B2 - 符号化及び復号装置並びに符号化及び復号方法 - Google Patents

符号化及び復号装置並びに符号化及び復号方法 Download PDF

Info

Publication number
JP4453518B2
JP4453518B2 JP2004317002A JP2004317002A JP4453518B2 JP 4453518 B2 JP4453518 B2 JP 4453518B2 JP 2004317002 A JP2004317002 A JP 2004317002A JP 2004317002 A JP2004317002 A JP 2004317002A JP 4453518 B2 JP4453518 B2 JP 4453518B2
Authority
JP
Japan
Prior art keywords
macroblock
processing
macroblocks
state
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004317002A
Other languages
English (en)
Other versions
JP2006129284A (ja
Inventor
秀治 加島
大介 平中
幸雄 柳田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004317002A priority Critical patent/JP4453518B2/ja
Priority to US11/260,638 priority patent/US7881541B2/en
Publication of JP2006129284A publication Critical patent/JP2006129284A/ja
Application granted granted Critical
Publication of JP4453518B2 publication Critical patent/JP4453518B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像データの符号化及び復号装置及び符号化及び復号方法に関するものである。
動画像データの従来の符号化規格として、ＭＰＥＧ-２（ISO/IEC13818-2 Information Technology-Generic Coding of moving pictures and associated audio information: Video）及びＭＰＥＧ-４（ISO/IEC14496 Information Technology-Generic Coding of Audio-Visual Object）等が知られている。
また、近年、動画像データの新たな符号化規格として、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（ITU-T Rec. H.264 ISO/IEC 14496-10 AVC）及びＷＭＶ９（Windows Media Video 9（商標））等が提案されている。
このような符号化規格では、１つの画面（フレーム）内を所定画素数のブロック（輝度成分：１６画素×１６画素）に分割し、当該ブロック単位で符号化処理及び復号処理がされる。この画素ブロックのことを、マクロブロックという。
ここで、符号化又は復号処理の高速化を図るため、マクロブロックに対する符号化処理又は復号処理を行うマクロブロック処理エンジン（ハードウェア的なモジュールでもソフトウェア的なモジュールでもよい。）を複数準備し、これらのマクロブロック処理エンジンを並列動作させることが考えられる。
ＭＰＥＧ-２では、ある任意のマクロブロックに対して符号化又は復号処理を行う場合、図２９に示すように、左横のマクロブロックの処理結果を参照するので、少なくとも処理対象のマクロブロックの左横のマクロブロックまで符号化又は復号処理が完了してなければならない。なお、以下、このような関係のことを、「左横に依存関係がある」という。
このように、ＭＰＥＧ-２では、各マクロブロックが左横に依存関係があるので、複数のマクロブロック処理エンジンを並列動作させる場合には、図３０に示すように、１つのマクロブロック処理エンジンが、横方向に並んだ一群のマクロブロックに対して左側から順番に処理をして行けばよい。なお、横方向に並んだ一群のマクロブロックのことを、「スライス」と言う。
ところで、ＭＰＥＧ-４やＨ．２６４／ＭＰＥＧ−４ＡＶＣ等の新たな符号化規格では、ある任意のマクロブロックに対して符号化又は復号処理を行う場合、図３１に示すように、左横、左斜上、上及び右斜上のマクロブロックの処理結果を参照するので、少なくとも左横、左斜上、上及び右斜上の４つのマクロブロックの符号化又は復号処理が完了してなければならない。すなわち、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ等の新たな符号化規格では、各マクロブロックが左横、左斜上、上及び右斜上に依存関係がある。
このため、複数のマクロブロック処理エンジンを並列動作させる場合、従来のように単に各マクロブロック処理エンジンがスライス単位で処理を行っていくのでは、対応することができない。
本発明は、このような問題に鑑みて、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ等の新たな符号化規格であっても、マクロブロックに対する並列処理を行うことが可能な符号化又は復号装置及び方法を提供することを目的とする。
本発明に係る符号化装置は、所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの符号化処理を行う符号化装置において、マクロブロック単位での符号化処理を並列して行う複数のマクロブロック処理部と、１つの画面内の各マクロブロックの処理状態を管理する状態管理部とを備え、状態管理部は、１つの画面内の各マクロブロックに対して、マクロブロック処理部により実行中の実行中状態であるか、マクロブロック処理部により処理が完了済みの処理完了状態であるかを区別して管理し、各マクロブロック処理部は、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが実行中状態又は処理完了状態である場合には、所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して符号化処理を行い、上記所定の走査順序は、走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている。
本発明に係る復号装置は、所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの復号処理を行う復号装置において、マクロブロック単位での復号処理を並列して行う複数のマクロブロック処理部と、１つの画面内の各マクロブロックの処理状態を管理する状態管理部とを備え、状態管理部は、１つの画面内の各マクロブロックに対して、マクロブロック処理部により実行中の実行中状態であるか、マクロブロック処理部により処理が完了済みの処理完了状態であるかを区別して管理し、各マクロブロック処理部は、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが実行中状態又は処理完了状態である場合には、上記所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して復号処理を行い、上記所定の走査順序は、走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている。
本発明に係る符号化方法は、所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの符号化処理を行う符号化方法において、複数のマクロブロックエージェントを用いて、マクロブロック単位での符号化処理を複数並列して行い、１つの画面内の各マクロブロックに対して、マクロブロックエージェントにより実行中の実行中状態であるか、マクロブロックエージェントにより処理が完了済みの処理完了状態であるかを区別して管理し、各マクロブロックエージェントは、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが実行中状態又は処理完了状態である場合には、所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して符号化処理を行い、上記所定の走査順序は、走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている。
本発明に係る復号方法は、所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの復号処理を行う復号方法において、複数のマクロブロックエージェントを用いて、マクロブロック単位での復号処理を複数並列して行い、１つの画面内の各マクロブロックに対して、マクロブロックエージェントにより実行中の実行中状態であるか、マクロブロックエージェントにより処理が完了済みの処理完了状態であるかを区別して管理し、各マクロブロックエージェントは、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが実行中状態又は処理完了状態である場合には、所定の走査順序に従って次のマクロブロックを検索して、処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して復号処理を行い、上記所定の走査順序は、走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている。
本発明に係る符号化装置及び方法並びに復号装置及び方法は、マクロブロック単位での符号化又は復号処理を行うマクロブロックエージェントを複数用い、１つの画面内の各マクロブロックに対して、マクロブロックエージェントにより実行中の実行中状態であるか、上記マクロブロックエージェントにより処理が完了済みの処理完了状態であるかを区別して管理しながら、これらのマクロブロックエージェントを並列動作させて高速処理を行う。この際、本発明では、所定の走査順序に従って順番に検索して、検索したマクロブロックが実行中状態又は処理完了状態である場合には、所定の走査順序に従って次のマクロブロックを検索して、処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して処理を行う。
このことにより、本発明では、動画像符号化フォーマットに従った最適な順序で複数のマクロブロックエージェントを動作させることができるので、マクロブロックに対する並列処理を実現することができる。
以下、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格に対応した符号化及び復号を行うビデオコーデックに、本発明を適用した装置について説明する。
全体構成
（エンコーダのブロック構成）
図１は、本発明が適用されたビデオコーデックの中の符号化処理部分（ビデオエンコーダ１）の構成図である。
ビデオエンコーダ１は、図１に示すように、画素データ（Pixel）が入力され、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格に対応した符号化処理を行い、符号化ストリーム（Stream）を出力する。
ビデオエンコーダ１は、マクロブロック単位で画素データが入力され、入力されたマクロブロックに対して符号化処理を行うＭＢ符号化部２を、複数個備えている。また、ビデオエンコーダ１は、動きベクトルを算出する動き検出部３と、ローカルデコードに必要とする参照用のフレームを生成するデブロッキングフィルタ４と、ＭＢ符号化部２により符号化されたデータ列に対して可変長符号化（ＶＬＣ）処理を行うＶＬＣ部５とを備えている。
各ＭＢ符号化部２（２-１，２-２，２-３，…，２-ｎ）は、それぞれ、図１に示すように、減算回路６と、離散コサイン変換（ＤＣＴ）回路７と、量子化回路８と、逆量子化回路９と、逆離散コサイン変換（ＩＤＣＴ）回路１０と、加算回路１１と、動き補償回路１２と、イントラ予測回路１３とを備えている。
減算回路６には、符号化対象となる空間領域の画像データ（pixel）が、マクロブロック単位で入力される。また、減算回路６には、符号化対象となるマクロブロック（画素データ）に対して、フレーム間の相関を利用した符号化処理を行う場合には、動き補償回路１２又はイントラ予測回路１３から予測ブロックも入力される。減算回路６は、インターマクロブロックに対して処理を行う場合には、入力された画像データから予測ブロックを減算する。減算回路６は、イントラマクロブロックに対して処理を行う場合には、入力された画像データから予測ブロックを減算する。
ＤＣＴ回路７は、減算回路６から出力されたマクロブロック（画像データ）に対して離散コサイン変換を行い、周波数領域の画像データであるＤＣＴの係数データ（coef）を生成する。ＤＣＴ回路７は、生成した係数データ（coef）を量子化回路８に出力する。
量子化回路８は、入力された係数データ（coef）に対して、所定の量子化スケール値を用いて、量子化処理を行う。
逆量子化回路９には、量子化回路８から出力された係数データのうち、フレーム間予測の参照データとなり得るフレームのマクロブロックの係数データが入力される。逆量子化回路９は、入力されたデータに対して、量子化した際に用いられた量子化スケール値により、逆量子化処理を行う。
ＩＤＣＴ回路１０は、逆量子化回路９から出力された係数データ（coef）に対して、逆離散コサイン変換を行い、空間領域の画像データ（pixel）を生成する。
加算回路１１には、ＩＤＣＴ回路１０から出力された画像データ（pixel）が入力される。また、加算回路１１には、入力された画像データがフレーム間の相関を利用した符号化がされたマクロブロックである場合、その予測ブロックが動き補償回路１２又はイントラブロックメモリ１３から入力される。加算回路１１は、インターマクロブロックに対して処理を行う場合には、入力された画像データに対して予測ブロックを加算する。加算回路１１は、イントラマクロブロックに対して処理を行う場合には、入力された画像データに対して予測ブロックを加算する。加算回路１１は、出力した画像データをデブロッキングフィルタ４に供給して、デブロックフィルタリング処理がされたのち、参照フレームとして図示しないフレームメモリに格納される。
動き補償回路１２は、フレームメモリに格納された参照フレームに対して動きベクトルを参照して動き補償を行い、予測ブロックを生成する。イントラ予測回路１３は、イントラ予測を行い、予測ブロックとなるイントラマクロブロックが格納されている。マクロブロックのタイプに応じて、動き補償回路１２又はイントラ予測回路１３のいずれか一方から出力された予測ブロックが出力され、減算回路６に供給される。予測ブロックは、加算回路１１に供給される。
以上のような複数のＭＢ符号化部２（２-１，２-２，２-３，…，２-ｎ）から出力されたマクロブロック単位のデータ（量子化された係数データ）は、ＶＬＣ部５に供給される。
（エンコーダの処理フロー）
図２は、各ＭＢ符号化部２での処理内容を、フローチャートによって表したものである。
各ＭＢ符号化部２は、１つのマクロブロック（画素データ）が入力されると、まず、そのマクロブロックのタイプを判断して、イントラマクロブロックかインターマクロブロックかを判断する（Ｓ１０）。イントラ予測回路であれば、予測結果を予測ブロックとし（Ｓ１１）、インターマクロブロックであればその符号化結果に対して動き補償を行って予測ブロックを生成する（Ｓ１２）。また、もし、インターマクロブロックであれば、入力されたマクロブロックから予測ブロックを減算して、差分ブロックを生成する（Ｓ１３）。
各ＭＢ符号化部２は、続いて、マクロブロック単位の画素データに対してＤＣＴ演算（Ｓ１４）及び量子化処理（Ｓ１５）を行う。ＤＣＴ演算及び量子化がされたマクロブロック単位のデータ（係数データ）は、ＭＢ符号化部２からＶＬＣ部５に供給される。
各ＭＢ符号化部２は、さらに、そのマクロブロックが参照データとなり得るフレームのマクロブロックであれば、逆量子化処理（Ｓ１６）及び逆ＤＣＴ処理（Ｓ１７）を行ったのち、予測ブロックを加算する（Ｓ１８）。
各ＭＢ符号化部２は、１フレーム内の全てのマクロブロックに対して処理を行ったか否かを判断し（Ｓ１９）、処理が終了していなければ、次のマクロブロックに対してステップＳ１０からの処理を繰り返し、終了していれば当該フローを停止する。
（デコーダのブロック構成）
図３は、本発明が適用されたビデオコーデックの復号処理部（ビデオビデオデコーダ１５）の構成図である。
ビデオデコーダ１５は、図３に示すように、符号化ストリーム（Stream）が入力され、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格に対応した復号処理を行い、画素データ（Pixel）を出力する。
ビデオデコーダ１５は、マクロブロック単位で量子化された係数データが入力され、入力されたマクロブロック単位の係数データに対して復号処理を行うＭＢ復号部１６を、複数個備えている。また、ビデオデコーダ１５は、入力された符号化ストリーム（Stream）に対して可変長符号の復号（ＶＬＤ）を行い、量子化された係数データや動きベクトル等を出力するＶＬＤ部１７と、ＭＢ復号部１６により符号化されたマクロブロック単位の画素データに対して、ブロックノイズを除去するデブロッキングフィルタ処理を行うデブロッキングフィルタ１８とを備えている。
各ＭＢ復号部１６（１６-１，１６-２，１６-３，…，１６-ｎ）は、図３に示すように、それぞれ、逆量子化回路２１と、逆離散コサイン変換（ＩＤＣＴ）回路２２と、加算回路２３と、動き補償回路２４と、イントラブロックメモリ２５とを備えている。
逆量子化回路２１には、ＶＬＤ部１７により可変長符号の符号されたデータのうち、係数データ（coef）が入力される。逆量子化回路２１は、データに対して逆量子化処理を行う。
ＩＤＣＴ回路２２は、逆量子化回路２１から出力された係数データ（coef）に対して、逆離散コサイン変換を行い、空間領域の画像データ（pixel）を生成する。
加算回路２３には、ＩＤＣＴ回路２２から出力された画像データ（pixel）が入力される。また、加算回路２３には、入力された画像データがフレーム間の相関を利用した符号化がされたマクロブロックである場合、その予測ブロックが動き補償回路２４又はイントラ予測回路２５から入力される。加算回路２３は、インターマクロブロックに対して処理を行う場合には、入力された画像データに対して予測ブロックを加算する。加算回路２３は、イントラマクロブロックに対して処理を行う場合には、入力された画像データに対して予測ブロックを加算する。加算回路２３は、出力した画像データをデブロッキングフィルタ１８に供給して、デブロッキングフィルタリング処理がされたのち、参照フレームとして図示しないフレームメモリに格納される。
動き補償回路２４は、フレームメモリに格納された参照フレームに対して動きベクトルを参照して動き補償を行い、予測ブロックを生成する。イントラ予測２５は、動き補償を行わずにそのまま予測ブロックとなるイントラマクロブロックが格納されている。マクロブロックのタイプに応じて、動き補償回路２４又はイントラブロックメモリ２５のいずれか一方から出力された予測ブロックが出力され、そのうち、参照画像となる予測ブロックは、加算回路２３に供給される。
以上のような複数のＭＢ復号部１６（１６-１，１６-２，１６-３，…，１６-ｎ）から出力されたマクロブロック単位の全ての画素データ（pixel）は、デブロッキングフィルタ１８に供給される。
（デコーダの処理フロー）
図４は、各ＭＢ復号部１６での処理内容を、フローチャートによって表したものである。
各ＭＢ復号部１６は、１つのマクロブロック（係数データ）が入力されると、まず、そのマクロブロックのタイプを判断して、イントラマクロブロックかインターマクロブロックかを判断する（Ｓ２０）。イントラマクロブロックであれば、予測ブロックの生成は行わず（Ｓ２１）、インターマクロブロックであれば動き補償を行って予測ブロックを生成する（Ｓ２２）。
各ＭＢ復号部１６は、続いて、入力された係数データに対して、逆量子化処理（Ｓ２３）及び逆ＤＣＴ処理（Ｓ２４）を行った後、予測ブロックを加算する（Ｓ２５）。
各ＭＢ復号部１６は、１フレーム内の全てのマクロブロックに対して処理を行ったか否かを判断し（Ｓ２６）、処理が終了していなければ、次のマクロブロックに対してステップＳ２０からの処理を繰り返し、終了していれば当該フローを停止する。
ＭＢ処理エージェント及び状態管理部
動き検出部３は、複数のＭＢ符号化部２（２-１，２-２，２-３，…，２-ｎ）の前処理部として機能している。すなわち、動き検出部３は、マクロブロック単位での処理が行われる前に行われるフレーム単位での符号化処理部である。また、ＶＬＣ部５及びデブロッキングフィルタ４は、複数のＭＢ符号化部２（２-１，２-２，２-３，…，２-ｎ）の後処理部として機能している。すなわち、ＶＬＣ部５及びデブロッキングフィルタ４は、マクロブロック単位での処理が行われた後に行われるフレーム単位での符号化処理部である。
また、ビデオデコーダ１５では、ＶＬＤ部１７は、複数のＭＢ復号部１６（１６-１，１６-２，１６-３，…，１６-ｎ）の前処理部として機能している。すなわち、ＶＬＤ部１７は、マクロブロック単位での処理が行われる前のフレーム単位での復号処理部である。また、ビデオデコーダ１５では、デブロッキングフィルタ１８は、複数のＭＢ復号部１６（１６-１，１６-２，１６-３，…，１６-ｎ）の後処理部として機能している。すなわち、デブロッキングフィルタ１８は、マクロブロック単位での処理が行われた後のフレーム単位での処理部である。
以下説明のため、ＭＢ符号化部２及びＭＢ復号部１６を総称して「ＭＢ処理エージェント３０」といい、動き検出部３、ＶＬＤ部１７を総称して「前処理部３１」といい、ＶＬＣ部５及びデブロッキングフィルタ４及びデブロッキングフィルタ１８を総称して「後処理部３２」という。
ここで、本発明が適用されたビデオコーデックには、図５に示すように、複数のＭＢ処理エージェント３０（３０−１，３０−２，３０−３，…，３０−ｎ）がマクロブロックに対する処理を行う際に、最適なマクロブロックが選択されるように管理を行う状態管理部３３を備えている。
状態管理部３３は、複数のＭＢ処理エージェント３０（３０−１，３０−２，３０−３，…，３０−ｎ）が、それぞれ独立にアクセスがされる。同様に、図５（Ａ）に示すように、ビデオエンコーダ１の前処理部３１（動き検出）及び後処理部３２（ＶＬＣ、デブロッキング）も、それぞれ独立に状態管理部３３に対してアクセスをし、また、図５（Ｂ）に示すように、ビデオデコーダ２の前処理部３１（ＶＬＤ）及び後処理部３２（デブロッキング）も、それぞれ独立に状態管理部３３に対してアクセスをする。
状態管理部
つぎに、状態管理部３３ついて説明をする。
状態管理部３３は、１画面（１フレーム）内に存在しているマクロブロックの、現在の状態を管理するものである。
（アドレッシング例）
状態管理部３３は、画面内のマクロブロックをアドレッシングして、管理を行っている。
１画面内には、図６に示すように、マクロブロックがマトリクス状に配置されている。ここでは、左端の列から（ｘ＋１）番目の列、上端の行から（ｙ＋１）番目の行に位置するマクロブロックのことを（ｘ，ｙ）と表すものとする。従って、１画面に、PicMbWidth列、PicMbHeight行のマクロブロックがマトリクス状に配置されているとすると、画面の左上のマクロブロック、つまり、１列、１行のマクロブロックは（０，０）となる。さらに、画面の右下のマクロブロックは、（PicMbWidth−１，PicMbHeight−１）となる。
（マクロブロックの４つの状態）
状態管理部３３は、以上のようにマトリクス状に配列された個々のマクロブロックが、「イニシャル状態（Ｓ００）」、「準備完了状態（Ｓ０１）」、「実行中状態（Ｓ０２）」又は「処理完了状態（Ｓ０３）」のうちいずれの状態となっているかを管理している。
「イニシャル状態（Ｓ００）」は、初期状態である。イニシャル状態（Ｓ００）となっているマクロブロックは、ＭＢ処理エージェント３０によりなんら処理がされておらず、且つ、前処理部３１による前処理も完了していない。ＭＢ処理エージェント３０は、イニシャル状態（Ｓ００）のマクロブロックに対しては、まだ処理（すなわち、符号化又は復号）を行うことができない。
「準備完了状態（Ｓ０１）」は、前処理部３１による前処理が完了し、処理（符号化又は復号）が開始可能な状態である。準備完了状態（Ｓ０１）となっているマクロブロックは、前処理部３１により前処理が完了しているが、まだ、ＭＢ処理エージェント３０によりなんら処理がされていない。ＭＢ処理エージェント３０は、準備完了状態（Ｓ０１）のマクロブロックに対しては、処理（符号化又は復号）を行うことが可能である。
「実行中状態（Ｓ０２）」は、いずれか一つのＭＢ処理エージェント３０によって処理（符号化又は復号）が行われている最中の状態である。実行中状態（Ｓ０２）となっているマクロブロックは、ＭＢ処理エージェント３０により符号化又は復号処理が開始されているが、ＭＢ処理エージェント３０による処理は完了していない。ＭＢ処理エージェント３０は、実行中状態（Ｓ０２）のマクロブロックに対しては、新たに処理（符号化又は復号）開始をすることはできない。
「処理完了状態（Ｓ０３）」は、ＭＢ処理エージェント３０によって処理（符号化又は復号）が完了し、後処理の開始が可能な状態である。処理完了状態（Ｓ０３）となっているマクロブロックは、ＭＢ処理エージェント３０による符号化又は復号処理が完了しており、後処理部３２による後処理の開始が可能となっている。ＭＢ処理エージェント３０は、処理完了状態（Ｓ０３）のマクロブロックに対しては、新たに処理（符号化又は復号）開始をすることはできない。
状態管理部３３に対してアクセスをする各ＭＢ処理エージェント３０、前処理部３１及び後処理部３２は、各マクロブロックのそれぞれの状態を参照することができる。さらに、各ＭＢ処理エージェント３０、前処理部３１及び後処理部３２は、必要に応じて、各状態を遷移させることもできる。
（ある任意のマクロブロックの状態遷移）
図７は、ある任意の１つのマクロブロックの状態遷移を示すステートチャートである。
まず、ある画面の符号化又は復号が開始されると、そのマクロブロックの状態は、イニシャル状態（Ｓ００）に遷移する。
イニシャル状態（Ｓ００）のときには、そのマクロブロックは、前処理部３１によって前処理が行われている。そのマクロブロックに対する前処理が完了すると、そのマクロブロックの状態は、イニシャル状態（Ｓ００）から準備完了状態（Ｓ０１）に遷移する。
ＭＢ処理エージェント３０は、準備完了状態（Ｓ０１）となっているマクロブロックを検索し、準備完了状態（Ｓ０１）となっているマクロブロックを見つけ出すと、そのマクロブロックに対して処理（符号化又は復号）を開始する。そのマクロブロックに対して符号化又は復号が開始されると、そのマクロブロックの状態は、準備完了状態（Ｓ０１）から実行中状態（Ｓ０２）に遷移する。
実行中状態（Ｓ０２）のときには、そのマクロブロックは、いずれか一つのＭＢ処理エージェント３０によって処理が行われている。そのマクロブロックに対する処理（符号化又は復号）が終了すると、そのマクロブロックの状態は、実行中状態（Ｓ０２）から処理完了状態（Ｓ０３）に遷移する。
処理完了状態（Ｓ０３）のときには、そのマクロブロックは、後処理部３２によって後処理が行われている。そのマクロブロックに対する後処理が完了すると、そのマクロブロックの状態は、処理完了状態（Ｓ０３）からイニシャル状態（Ｓ００）に戻される。
状態管理部３３では、以上のような状態遷移に従って、各マクロブロックの状態を管理している。
（スライス内における状態の関係、これを利用したテーブル表現）
ＭＰＥＧ-２、ＭＰＥＧ-４及びＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格では、各マクロブロックは、必ず、左横のマクロブロックに依存関係を有している。
従って、ある任意のマクロブロックの状態が「準備完了状態（Ｓ０１）」であったとしても、少なくとも左横のマクロブロックの処理完了状態（Ｓ０３）となっていなければ、絶対に「実行中状態（Ｓ０２）」に遷移できない。すなわち、マトリクス状に配置された１画面内のマクロブロックの状態を、横に並んだ一群（スライス）単位で見ると、図８（Ａ）に示すように、左隣のマクロブロックの状態は、同じ状態であるか又は進んだ状態となっている。更に換言すれば、スライス単位でマクロブロックを見たときに、左端のマクロブロックから状態が進行していく。
状態管理部３３は、以上の状態の進行規則を利用して、スライス毎に、マクロブロックの状態の進行度合いを管理するようにしている。
具体的には、図８（Ｂ）に示すように、状態管理部３３は、画面内の各スライスのアドレスに対して、準備完了状態（Ｓ０１）の終端位置、実行中状態（Ｓ０２）の終端位置、処理完了状態（Ｓ０３）の終端位置を示したテーブルとなっている。
準備完了状態（Ｓ０１）の終端位置とは、具体的には、準備完了状態（Ｓ０１）のマクロブロックのうちの最も右端にあるマクロブロックの、画面左端から数えたときの数である。
実行中状態（Ｓ０２）の終端位置とは、具体的には、実行中状態（Ｓ０２）のマクロブロックのうちの最も右端にあるマクロブロックの、画面左端から数えたときの数である。
処理完了状態（Ｓ０３）の終端位置とは、具体的には、処理完了状態（Ｓ０３）のマクロブロックのうちの最も右端にあるマクロブロックの、画面左端から数えたときの数である。
状態管理部３３は、以上のように管理することによって、各マクロブロックの状態を管理するために必要とするメモリ容量を小さくすることが可能となる。
なお、以下、状態管理部３３で管理している情報内容を表現するにあたり、次のような式表現を用いるものとする。
ＳＴ［Ｓ♯］［ｙ］ …（１１）
式（１１）において、♯は、０１、０２、０３のいずれかの値であり、ｙは０以上の整数である。
この式（１１）が示す意味は、行番号Ｙ（スライスアドレス＝Ｙ）に対する、状態“♯”となっているマクロブロックの、最も右にある終端位置を示している。
例えば、下記式（１２）のような表現がされているとする。
ＳＴ［Ｓ０１］［２］ …（１２）
式（１２）の値は、２行目の準備完了状態（Ｓ０１）のマクロブロックのうち、最も右端にあるマクロブロックの画面左端から数えたときの数を示すこととなる。例えば、図８の例であれば、ＳＴ［Ｓ０１］［２］＝４となる。
コーデックの処理フロー
つぎに、本発明が適用されたビデオコーデックの処理手順について具体的に説明をする。
（メインフロー）
図９に、本発明が適用されたビデオコーデックのメインフローを示す。
本発明が適用されたビデオコーデックは、フレームの符号化又は復号処理が開始されると、ステップＵ１から処理を開始する。
まず、ステップＵ１において、状態管理部３３は、全てのマクロブロックの状態を、イニシャル状態（Ｓ００）とする。
続いて、ステップＵ２において、前処理部３１が前処理を開始する。
続いて、ステップＵ３において、全てのＭＢ処理エージェント３０により符号化又は復号の処理が開始される。
続いて、ステップＵ４において、後処理部３２が後処理を開始する。
そして、本発明が適用されたビデオコーデックは、ステップＵ５において、後処理部３２から処理終了通知が発生されたか否かを判断し、処理終了通知が発生されたと判断すると、当該フレームの符号化又は復号の処理を終了する。
（前処理フロー）
図１０に、上記メインフローのうちの前処理（ステップＵ２）の具体的な処理フローを示す。
なお、前処理の処理フローの説明に用いる変数は次の通りである。
（Ｘａ，Ｙａ）：前処理の対象となっているマクロブロック
ｓｔａ：前処理が可能であるか否かを示すフラグ
１ならば前処理可能、０ならば前処理不可能
ｅｎｄａ：前処理を終了することを示すフラグ
１ならば前処理終了、０ならば前処理は終了しない。
まず、ステップＵ２１において、前処理部３１は、前処理の対象となる１つのマクロブロック（Ｘａ，Ｙａ）を決定する。前処理部３１は、１フレーム（画面）内の全てのマクロブロックのうち、１つのマクロブロックを選択する。選択は、画面左上のマクロブロックから開始して、左から右へ上から下へというように、いわゆるラスタスキャンの順序に従って、１つずつ選択してゆく。なお、マクロブロック（Ｘａ，Ｙａ）が、画面内の最終マクロブロック（右下）を超えたら、フラグｅｎｄａを１とし、超えていなければフラグｅｎｄａを０とする。
続いて、ステップＵ２２において、前処理部３１は、フラグｅｎｄａが１か否かを判断する。フラグｅｎｄａが１であれば、当該前処理のフローを抜けて、処理を終了する。フラグｅｎｄａが０であれば、続くステップＵ２３に進む。
続いて、ステップＵ２３において、前処理部３１は、マクロブロック（Ｘａ，Ｙａ）が前処理が可能となっているか否かを調査する。前処理部３１は、調査した結果、前処理が可能となっていれば、フラグｓｔａに１を代入し、前処理が可能となっていなければ、フラグｓｔａに０を代入する。
続いて、ステップＵ２４において、前処理部３１は、フラグｓｔａが１か否かを判断する。フラグｓｔａが０であれば、ステップＵ２１に戻る。フラグｓｔａが１であれば、続くステップＵ２５に進む。
続いて、ステップＵ２５において、前処理部３１は、マクロブロック（Ｘａ，Ｙａ）に対して、前処理を行う。
続いて、ステップＵ２６において、前処理部３１は、状態管理部３３にアクセスを行い、マクロブロック（Ｘａ，Ｙａ）の状態を、イニシャル状態（Ｓ００）から準備完了状態（Ｓ０１）に遷移させる。すなわち、以下の式（２１）の処理を行う。式“Ａ＋＝１”は、Ａの値を１増加させる演算を意味している。
ＳＴ［０１］［Ｙａ］＋＝１ …（２１）
ステップＵ２６の処理が終了すると、前処理部３１は、ステップＵ２１に戻り、次のマクロブロックに対して、ステップＵ２１からステップＵ２６の処理を行う。
（ＭＢ処理エージェントの処理フロー）
図１１に、上記メインフローのうちのＭＢ処理エージェントによる符号化又は復号の処理（ステップＵ３）の具体的な処理フローを示す。
なお、以下の説明では、ＭＢ処理エージェント＃０の処理フローについて行うが、他のＭＢ処理エージェント（♯１〜♯（ｎ―１））も同様の処理を行う。さらに、全てのＭＢ処理エージェント（♯０〜♯（ｎ―１））は、それぞれ独立に、並行して処理を行っている。
ＭＢ処理エージェントの処理フローの説明に用いる変数は次の通りである。
PicMbHeight ：１画面（フレーム）の縦のマクロブロック数
PicMbWidth ：１画面（フレーム）の横のマクロブロック数
ＭＢ処理エージェント毎に異なる変数
（Ｘ０，Ｙ０）：ＭＢ処理エージェント＃０の符号化又は復号の対象となるマクロブロッ
ク
ｓｔ０：ＭＢ処理エージェント＃０が符号化又は復号可能であるか否かを示すフ
ラグ
１ならば符号化又は復号可能、０ならば符号化又は復号不可能
ｅｎｄ０：ＭＢ処理エージェント＃０の符号化又は復号の終了を示すフラグ
１ならば符号化又は復号終了、０ならば符号化又は復号は終了しない。
まず、ステップＵ３１において、ＭＢ処理エージェント３０は、符号化又は復号の対象となる１つのマクロブロック（Ｘ０，Ｙ０）を決定する。ＭＢ処理エージェント３０は、１フレーム（画面）内の全てのマクロブロックのうち、１つのマクロブロックを選択する。また、ＭＢ処理エージェント３０は、マクロブロック（Ｘ０，Ｙ０）が、画面内の全てのマクロブロックに対して符号化又は復号を終えたら、フラグｅｎｄ０を１とし、超えていなければフラグｅｎｄ０を０とする。
なお、このステップＵ３１の処理の詳細は、後述する。
続いて、ステップＵ３２において、ＭＢ処理エージェント３０は、フラグｅｎｄ０が１か否かを判断する。フラグｅｎｄ０が１であれば、当該符号化又は復号のフローを抜けて、処理を終了する。フラグｅｎｄ０が０であれば、続くステップＵ３３に進む。
続いて、ステップＵ３３において、ＭＢ処理エージェント３０は、マクロブロック（Ｘ０，Ｙ０）が符号化又は復号が可能となっているか否かを調査する。ＭＢ処理エージェント３０は、調査した結果、符号化又は復号が可能となっていれば、フラグｓｔ０に１を代入し、符号化又は復号が可能となっていなければ、フラグｓｔ０に０を代入する。
なお、このステップＵ３３の処理の詳細も後述する。
続いて、ステップＵ３４において、ＭＢ処理エージェント３０は、フラグｓｔ０が１か否かを判断する。フラグｓｔ０が０であれば、ステップＵ３１に戻る。フラグｓｔ０が１であれば、続くステップＵ３５に進む。
続いて、ステップＵ３５において、ＭＢ処理エージェント３０は、状態管理部３３にアクセスを行い、マクロブロック（Ｘ０，Ｙ０）の状態を、準備完了状態（Ｓ０１）から実行中状態（Ｓ０２）に遷移させる。すなわち、以下の式（２２）の処理を行う。
ＳＴ［０２］［Ｙ０］＋＝１ …（２２）
続いて、ステップＵ３６において、ＭＢ処理エージェント３０は、マクロブロック（Ｘ０，Ｙ０）に対して、マクロブロック単位の符号化又は復号を行う。
ステップＵ３６の処理が完了すると、ステップＵ３７において、ＭＢ処理エージェント３０は、状態管理部３３にアクセスを行い、マクロブロック（Ｘ０，Ｙ０）の状態を、実行中状態（Ｓ０２）から処理完了状態（Ｓ０３）に遷移させる。すなわち、以下の式（２３）の処理を行う。
ＳＴ［０３］［Ｙ０］＋＝１ …（２３）
ステップＵ３７の処理が終了すると、ＭＢ処理エージェント３０は、ステップＵ３１に戻り、次のマクロブロックに対して、ステップＵ３１からステップＵ３７の処理を行う。
（処理対象マクロブロックの決定処理）
図１２に、ＭＢ処理エージェントの処理のうちのマクロブロック（Ｘ０，Ｙ０）の決定処理（ステップＵ３１）の具体的な処理フローを示す。
まず、ステップＵ３１１において、ＭＢ処理エージェント３０は、変数ｃｎｔに０を代入する。なお、変数ｃｎｔは、当該マクロブロック決定処理で１つのマクロブロックを決定する際に、検索したマクロブロック数を示している。
続いて、ステップＵ３１２において、ＭＢ処理エージェント３０は、下記式（２４）が真であるか、偽であるかを判断する。
{ ST[S01][Y0]>=(X0+1) } AND { X0<PicMbWidth } AND { cnt0 ≠ 1 } …（２４）
この式（２４）において、ST[S01][Y0]>(X0+1)は、現在対象となっているマクロブロック（Ｘ０，Ｙ０）の一つ右隣のマクロブロックが、準備完了状態（Ｓ０１）となっていれば真である。X0<PicMbWidthは、現在対象となっているマクロブロック（Ｘ０，Ｙ０）が画面の右端のマクロブロックでなければ真である。cnt0 ≠ 1は、当該マクロブロック決定処理での検索マクロブロック数が１つでなければ真である。
ＭＢ処理エージェント３０は、式（２４）が真であれば、ステップＵ３１４に進み、偽であればステップＵ３１３に進む。
続いて、ステップＵ３１３において、ＭＢ処理エージェント３０は、“Ｙ０”の値を０とする。つまり、検索するマクロブロック（Ｘ０，Ｙ０）を、画面の一番上の列に設定する。
続いて、ステップＵ３１４において、ＭＢ処理エージェント３０は、下記式（２５）が真であるか、偽であるかを判断する。
ST[S03][ PicMbHeight-1 ]>= PicMbWidth …（２５）
式（２５）は、最下行のスライスが、全て処理完了状態（Ｓ０３）となっていれば真である。すなわち、当該画面（フレーム）の全てのマクロブロックに対して符号化又は復号が完了しているか否かを意味している。
ＭＢ処理エージェント３０は、まだ全てのマクロブロックの符号化又は復号が完了していなければ、ステップＵ３１５に進みフラグｅｎｄ０に０を代入し、ステップＵ３１７に進む。
ＭＢ処理エージェント３０は、全てのマクロブロックの符号化又は復号が完了していれば、ステップＵ３１６に進みフラグｅｎｄ０に１を代入し、ステップＵ３１１０に進む。
続いて、ステップＵ３１７において、ＭＢ処理エージェント３０は、下記式（２６）が真であるか、偽であるかを判断する。
ST[S03][ Y0 ]>= PicMbWidth …（２６）
式（２６）は、現在対象となっているマクロブロック（Ｘ０，Ｙ０）が含まれているスライスが、全て符号化又は復号が完了していれば真である、ことを意味している。
ＭＢ処理エージェント３０は、現在対象となっているマクロブロック（Ｘ０，Ｙ０）が含まれているスライスが、まだ符号化又は復号が完了していなければ、ステップＵ３１１０に進む。
ＭＢ処理エージェント３０は、現在対象となっているマクロブロック（Ｘ０，Ｙ０）が含まれているスライスが、全て符号化又は復号が完了していれば、ステップＵ３１８において、ｙ０を１増加させ、続いて、ステップＵ３１９において、変数ｃｎｔを１増加させ、ステップＵ３１２に戻り、ステップＵ３１２からＵ３１９までの処理を繰り返し行う。
また、ステップＵ３１１０において、ＭＢ処理エージェント３０は、Ｘ０に下記式（２７）の値を代入し、処理を終了する。
X0 = ST[03][Y0] -1 …（２７）
以上のステップＵ３１１からＵ３１１０までの処理の結果、ＭＢ処理エージェントの符号化又は復号対象マクロブロック（Ｘ０，Ｙ０）を決定することができる。
具体的には、以上のステップＵ３１１からＵ３１１０までの処理の結果、ＭＢ処理エージェント３０は、図１３に示すように検索が行われることとなる。
すなわち、ＭＢ処理エージェント３０によってあるマクロブロック４１に対して符号化又は復号処理を行ったとする。ＭＢ処理エージェント３０は、次のマクロブロックに対して処理をする際に、まず、直前に処理をしたマクロブロック４１の右隣のマクロブロック４２が処理可能であるか否かを調査する。もし、その右隣のマクロブロック４２が処理不可能であれば、最も上のスライスに移動し、そこから１つずつ順番に下のスライスに移動して、処理可能なマクロブロックがあるか否かを調査していく。
このように処理するのは次の理由による。
現在対象となっているマクロブロック（Ｘ０，Ｙ０）は、自身（ＭＢ処理エージェント３０）により符号化又は復号を完了しているので、右隣のマクロブロックが処理可能である可能性は、非常に高い。従って、まず、ＭＢ処理エージェント３０では、右隣のマクロブロックの調査を行っている。さらに、同じスライスであれば、符号化又は復号処理時においてヘッダ情報を更新しなくても良いため、右隣のマクロブロックから検索するのは望ましい。
さらに、ＭＰＥＧ−４及びＨ．２６４／ＭＰＥＧ−４ＡＶＣの場合、その依存関係により、右上から左下に向かって処理が進んでいくので、なるべく上から下へ処理が完了していくようにマクロブロックを選択していくほうが望ましい。
という理由からである。
従って、本例のように処理を進めていくことに、効率的に処理を進行させることができる。
なお、ＭＢ処理エージェント３０は、１画面全体にわたって調査処理が可能か否かを判断しているが、図１４のように、例えば、調査をする最も下のスライス位置を規定しておき、それより下のスライスに対しては選択をしないようにしてもよい。このように選択範囲を規定することにより、符号化又は復号が完了したマクロブロックを保持しておくメモリの容量を削減することが可能となる。
（処理対象マクロブロックの決定処理）
図１５に、決定されたマクロブロック（Ｘ０，Ｙ０）が、符号化又は復号が可能となっているか否かの調査処理（ステップＵ３３）の具体的な処理フローを示す。
まず、ＭＰＥＧ-４及びＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格の場合、（Ｘ，Ｙ）のマクロブロックを処理できる条件は、図１５の表の上欄に示すように、左横、左斜上、上及び右斜上のマクロブロックの符号化又は復号処理が完了していることである。
従って、（Ｘ，Ｙ）のマクロブロックを処理できる条件は、
・右斜上のマクロブロックの符号化又は復号が完了していること。すなわち、T[03][Y-1]>X+1が真であること。
・左横のマクロブロックの符号化又は復号が完了していること。すなわち、T[03][Y]>X-1が真であること。
・自身のマクロブロックが符号化又は復号の準備が完了していること。すなわち、T[01][Y]>Xが真であること。
となる。
このため、ＭＰＥＧ-４及びＨ．２６４／ＭＰＥＧ−４ＡＶＣの符号化又は復号を行う場合であれば、図１５の表右上のフロー（Ｕ３３１）に示すように、ＭＢ処理エージェント３０は、状態管理部３３を参照して下記式（２６）が真であるか否かを求める。真であれば、フラグｓｔ０を１とし、偽であれば、フラグｓｔ０を０とする。
{ ST[S03][Y-1]>(X+1) } AND { ST[S03][Y]>(X-1) } AND { ST[S01][Y]>X } …（２６）
また、ＭＰＥＧ-２の場合、（Ｘ，Ｙ）のマクロブロックを処理できる条件は、図１５の表の下欄に示すように、左横のマクロブロックの符号化又は復号処理が完了していることである。
従って、（Ｘ，Ｙ）のマクロブロックを処理できる条件は、
・左横のマクロブロックの符号化又は復号が完了していること。すなわち、T[03][Y]>X-1が真であること。
・自身のマクロブロックが符号化又は復号の準備が完了していること。すなわち、T[01][Y]>Xが真であること。
となる。
このため、ＭＰＥＧ-２の符号化又は復号を行う場合であれば、図１５の表右下のフロー（Ｕ３３２）に示すように、ＭＢ処理エージェント３０は、状態管理部３３を参照して下記式（２７）が真であるか否かを求める。真であれば、フラグｓｔ０を１とし、偽であれば、フラグｓｔ０を０とする。
{ { ST[S03][Y]>(X-1) } AND { ST[S01][Y]>X } …（２７）
ＭＢ処理エージェント３０は、ＭＰＥＧ−２、ＭＰＥＧ−４又はＨ．２６４／ＭＰＥＧ−４ＡＶＣのうち、いずれの符号化方式で処理を行うかによって、ステップＵ３３１又はステップＵ３３２のいずれかを選択する。このため、ＭＢ処理エージェント３０では、その他のステップの内容を変えずに、このステップＵ３３のみを切り替えれば、いずれの符号化規格にも対応することが可能となる。
（後処理フロー）
図１６に、上記メインフローのうちの後処理（ステップＵ５）の具体的な処理フローを示す。
なお、後処理の処理フローの説明に用いる変数は次の通りである。
（Ｘｂ，Ｙｂ）：後処理の対象となっているマクロブロック
ｓｔｂ：後処理が可能であるか否かを示すフラグ
１ならば後処理可能、０ならば後処理不可能
ｅｎｄｂ：後処理を終了することを示すフラグ
１ならば後処理終了、０ならば後処理は終了しない。
まず、ステップＵ５１において、後処理部３１は、後処理の対象となる１つのマクロブロック（Ｘｂ，Ｙｂ）を決定する。後処理部３１は、１フレーム（画面）内の全てのマクロブロックのうち、１つのマクロブロックを選択する。選択は、画面左上のマクロブロックから開始して、左から右へ上から下へというように、いわゆるラスタスキャンの順序に従って、１つずつ選択してゆく。なお、マクロブロック（Ｘｂ，Ｙｂ）が、画面内の最終マクロブロック（右下）を超えたら、フラグｅｎｄｂを１とし、超えていなければフラグｅｎｄｂを０とする。
続いて、ステップＵ５２において、後処理部３１は、フラグｅｎｄｂが１か否かを判断する。フラグｅｎｄｂが１であれば、当該後処理のフローを抜けて、処理を終了する。フラグｅｎｄｂが０であれば、続くステップＵ５３に進む。
続いて、ステップＵ５３において、後処理部３１は、マクロブロック（Ｘｂ，Ｙｂ）が後処理が可能となっているか否かを調査する。後処理部３１は、調査した結果、後処理が可能となっていれば、フラグｓｔｂに１を代入し、後処理が可能となっていなければ、フラグｓｔｂに０を代入する。
続いて、ステップＵ５４において、後処理部３１は、フラグｓｔｂが１か否かを判断する。フラグｓｔｂが０であれば、ステップＵ５１に戻る。フラグｓｔｂが１であれば、続くステップＵ５５に進む。
続いて、ステップＵ５５において、後処理部３１は、マクロブロック（Ｘｂ，Ｙｂ）に対して、後処理を行う。
続いて、ステップＵ５６において、後処理部３１は、状態管理部３３にアクセスを行い、マクロブロック（Ｘｂ，Ｙｂ）の状態を、処理完了状態（Ｓ０３）からイニシャル状態（Ｓ００）に遷移させる。すなわち、以下の式（２８）の処理を行う。
ＳＴ［００］［Ｙｂ］＋＝１ …（２８）
ステップＵ５６の処理が終了すると、後処理部３１は、ステップＵ５１に戻り、次のマクロブロックに対して、ステップＵ５１からステップＵ５６の処理を行う。
（処理結果）
本発明が適用されたビデオコーデックでは、以上のように処理を行うことによって、ＭＰＥＧ−４又はＨ．２６４／ＭＰＥＧ−４ＡＶＣに対して処理を行う場合であれば、図１７に示すように、斜めに方向に同時に処理が進行していく。
つまり、各ＭＢ処理エージェント３０は、スライスに対して左から順番に１つずつ符号化又は復号を行う。それととともに、１つ上のスライスに対して、マクロブロック１つ分以上遅れたタイミングで符号化又は復号を行っている。
ＭＰＥＧ−４又はＨ．２６４／ＭＰＥＧ−４ＡＶＣ等の、左横、左斜上、上、右斜上に依存するマクロブロックの符号化又は復号がされた画像符号化規格に対して処理を行う場合であっても、横方向のマクロブロック数の１／２の並列度を実現でき、最も効率的な並列処理を行うことができる。
また、さらに、ＭＰＥＧ−２のような左横のみに依存するマクロブロックの符号化又は復号がされた画像符号化規格に対して処理をする場合であっても、ステップＵ３３の調査処理の内容のみを変更すればよい。この場合、図１８に示すように、スライスに対して左から順番に１つずつ符号化又は復号が進行していくので、縦方向のマクロブロック数の並列度を実現でき、やはり最も効率的な並列処理を行うことができる。
（処理対象マクロブロックの決定処理（第２の例））
つぎに、処理対象マクロブロックの決定処理（ステップＵ３１）の第２の処理例について説明をする。
図１２のステップＵ３１１〜Ｕ３１１０で示した方法では、各ＭＢ処理エージェント３０が処理可能なマクロブロックをピクチャ全体から探し出し、その処理可能なマクロブロックがピクチャのどこに位置していてもよい、という検索例を示した。
しかしながら、このような方法の他に、以下に説明するように、１ピクチャ内のマクロブロックが処理されていく順序を一意に予め決めておき、各ＭＢ処理エージェント３０がその順序に従いマクロブロックを検索して、処理を行っていくようにしてもよい。
例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの場合、任意のマクロブロックに対する符号化又は復号処理は、そのマクロブロックの左横、左斜上、上、右斜上のマクロブロックに依存する。このため、図１９に示すように、ある任意のマクロブロックに対して符号化又は復号処理がされた直後には、原則的に、その任意のマクロブロックの１つの下の行であって、２つ左側の列のマクロブロックに対して、処理が行われるのが望ましい。
このことに鑑み、本例では、図２０（Ａ）に示すように、画面の左上のマクロブロックから開始し、原則的に、ある任意のマクロブロックに対して処理がされた次は、その任意のマクロブロックの１つの下の行であって２つ左側の列のマクロブロックに対して検索が行われるように、一意的に走査順序を決めておく。さらに、図２０（Ｂ）に示すように、もし、１つの下の行であって２つ左側の列が領域を超えてしまい、マクロブロックが存在しない場合には、まだ処理をしていないマクロブロック群のうちの、最も上のスライス（行）の最も左のマクロブロックに対して、検索がされるように走査順序の規則を決めておく。
このように検索の走査順序を決定しておくことによって、各行を見ると、右端から左端に向かい順番に１つずつマクロブロックに対する符号化又は復号処理が進行していき、行の上下関係を見ると、１つ上の行において処理されているマクロブロックよりも２マクロブロック分遅れたタイミング（２マクロブロック分左側に位置するタイミング）で、処理が行われていく。
従って、図２１に示すように、処理済みのマクロブロックと未処理のマクロブロックとの境界が階段状となり、符号化又は復号処理が階段状に並列して進んでいく。そして、その階段状の並列処理が、左上位置から右下方向に進行していくこととなる。
以上のように、各ＭＢ処理エージェント３０は、１ピクチャ内のマクロブロックが処理されていく順序を一意に予め決めておき、その順序に従いマクロブロックを検索して、処理可能なマクロブロックを見つけ出し、見つけ出したマクロブロックに対して符号化又は復号処理を行っていく。このことによって状態管理部３３は、どのＭＢ処理エージェント３０（３０−ｎ）がどのマクロブロックに対して処理を行っているかを知る必要がないので、状態管理部３３の実装が容易となる。さらに、１つの下の行であって２つ左側の列を選択することによって、Ｈ．２６４/ＭＰＥＧ-４ＡＶＣのようなマクロブロックの依存関係を有する場合には、最も効率よく並列処理を進行させることができ、処理速度を向上させることができる。
以下、検索のための走査順序を予め一意に決めておく場合における、各ＭＢ処理エージェント３０がマクロブロック（Ｘ０，Ｙ０）の決定を行う処理（ステップＵ３１）について、さらに具体的に説明をする。
まず、処理フローの説明に用いる変数等について説明をする。
各ＭＢ処理エージェント３０で共通な値をもつ変数は次の通りである。
PicMbHeight：１画面（フレーム）の縦のマクロブロック数
PicMbWidth：１画面（フレーム）の横のマクロブロック数
ParallelMbHeight :階段状に並列処理を行うために分割した領域の行数
StepMbWidth:階段状に並列処理を進行させていくために、１行下に下がったときに左側にマクロブロックをずらす際のずらし数
Sx,Sy：並列処理を行う複数の分割領域を、水平方向に展開して形成された仮想領域上におけるマクロブロックの仮想アドレス
Sx0:上記仮想領域上において斜め処理をされる際の、一番上のスライスにおいて選択されているマクロブロックの列方向のアドレス
また、ＭＢ処理エージェント毎に異なる変数は次の通りである。
X0,Y0：ＭＢ処理エージェント＃０の符号化又は復号の対象となるマクロブロッ ク
st0：ＭＢ処理エージェント＃０が符号化又は復号可能であるか否かを示すフラグ
１ならば符号化又は復号可能、０ならば符号化又は復号不可能
end0：ＭＢ処理エージェント＃０の符号化又は復号の終了を示すフラグ
１ならば符号化又は復号終了、０ならば符号化又は復号は終了しない
base0：階段状に並列処理を行うために分割した領域の一番上の行の行アドレス
以上の変数について、図面を参照してさらに具体的に説明をする。
図２２に示すように、PicMbHeightは、１画面の縦のマクロブロック数（１画面のスライス数）を示し、PicMbWidthは、１画面の横のマクロブロック数（列数）を示している。
本例では、図２２に示すように、１ピクチャ内を所定の行毎に縦方向に複数の領域に分割をして、各領域毎に階段状の並列処理を行う。このように画面を分割して処理をすると、符号化又は復号した後の処理結果を保存しておくメモリ容量を少なくすることがきるからである。具体的に、ピクチャ内が上から、第１、第２、第３の領域に３分割されていたとすると、図２３のＡ→図２３のＢ→図２３のＣといったように、第１の領域の全てのマクロブロックに対して階段状に並列処理を行い、続いて、第２の領域、その次に、第３の領域といったように、領域単位に処理が進行していく。ParallelMbHeightは、このように領域分割をした際の各領域の縦の長さ、すなわち、並列処理を行う際における各領域の行数（スライス数）である。
また、ｂａｓｅ０は、図２２に示すように、各分割領域の一番上のスライスの位置を示す変数である。
また、本例では、図２２に示すように、ある任意のマクロブロックに対して処理がされると、その次に処理がされるのは、原則的に、一つ下の行の所定数左側に位置するマクロブロックである。StepMbWidthは、このような処理を行う際における左側にずらすマクロブロックの数である。本例では、StepMbWidthが“２”である場合を例にとって説明をするが、この値は２に限らず、０以上の整数であればよい。
また、本例では、図２４（Ａ）に示すように本来垂直方向に並んでいる分割領域を、図２４（Ｂ）に示すように水平方向に仮想的に展開した仮想領域を形成し、当該仮想領域上で階段状の並列処理を行っていく。このように仮想領域で展開することによって、効率的に階段状の並列処理が可能となる。（Ｓｘ，Ｓｙ）は、現在検索されているマクロブロックの仮想領域上におけるアドレスである。Ｓｘは、仮想領域のマクロブロックの行アドレス（垂直方向のアドレス）であり、Ｓｙは、仮想領域の列アドレス（水平方向のアドレス）である。また、Ｓｘ０は、図２４（Ｂ）に示すように、分割領域を水平方向に展開した仮想領域上で、階段状の並列処理を行っている際に、現在処理中の斜め列における仮想領域上での一番上のスライスの列位置（つまり、水平位置：斜め処理の開始位置）を示す変数である。
図２５に、ＭＢ処理エージェントのマクロブロック（Ｘ０，Ｙ０）の決定処理（ステップＵ３１）の具体的な処理フローを示す。
マクロブロック（Ｘ０，Ｙ０）の決定処理が開始されると、まず、ステップＵ３２１において、ＭＢ処理エージェント３０は、仮想アドレス（Ｓｘ，Ｓｙ）により特定される現在検索中のマクロブロックが、実行中状態（Ｓ０２）又は処理完了状態（Ｓ０３）であるか否かを判断する。実行中状態（Ｓ０２）又は処理完了状態（Ｓ０３）であれば、ステップＵ３２２の（ｘ０，ｙ０）生成処理に進み、実行中状態（Ｓ０２）又は処理完了状態（Ｓ０３）でなければ、ステップＵ３２３の終了判断処理に進む。
このステップＵ３２１の処理は、あるＭＢ処理エージェント３０が処理を行うマクロブロックを決定する際に、処理対象とされるマクロブロックの一つ手前のマクロブロック（原則的には、一つ上のスライスの２つ右側の列に位置するマクロブロック）が、実行中であるか又は処理完了していない限り、次のマクロブロックの位置が与えられず、現在検索中のマクロブロックを、そのＭＢ処理エージェント３０が処理するマクロブロック位置（Ｘ０，Ｙ０）として与えることを意味している。
ステップＵ３２２の（ｘ０，ｙ０）生成処理では、処理対象となるマクロブロックの位置（Ｘ０，Ｙ０）が計算される。ステップＵ３２２の処理を終えると、ステップＵ３２３の終了判断処理に進む。
ステップＵ３２３の終了判断処理では、１ピクチャ内の処理が全て完了したか否かを判断する。ステップＵ３２３の終了判断処理を終えると、当該マクロブロック（Ｘ０，Ｙ０）の決定処理が終了し、メインフローに戻る。
図２６に、ステップＵ３２２の（ｘ０，ｙ０）生成処理の処理フローを示す。
まず、ステップＵ３２２-１において、ＭＢ処理エージェント３０は、以下の式（３１）,（３２）の演算を行う。
Ｓｘ＝Ｓｘ−StepMbWidth …（３１）
Ｓｙ＝Ｓｙ＋１ …（３２）
すなわち、ＭＢ処理エージェント３０は、水平方向の仮想アドレスＳｘを、左側にずらすマクロブロック数であるStepMbWidthを減算するとともに、垂直方向の仮想アドレスＳｙに１を加算する。つまり、このステップＵ３２２-１では、現在の検索位置を示している仮想アドレス（Ｓｘ，Ｓｙ）を、１つの下の行の２つ左側の列に移動している。
続いて、ステップＵ３２２-２において、ＭＢ処理エージェント３０は、水平方向の仮想アドレスＳｘが０以下であるか、垂直方向の仮想アドレスＳｙがParallelMbHeight以上であるか、又は、垂直方向の仮想アドレスＳｙがParallelMbHeight以上であるかを判断する。つまり、ステップＵ３２２-２では、図２４（Ｂ）に示す仮想領域（分割領域を水平方向に展開したもの）内に、仮想アドレス（Ｓｘ，Ｓｙ）で示されたマクロブロックが存在するか否かを判断している。仮想アドレス（Ｓｘ，Ｓｙ）の位置にマクロブロックが存在する場合（ステップＵ３２２-２のＮｏ）には、ステップＵ３２２-５に進む。仮想アドレス（Ｓｘ，Ｓｙ）の位置にマクロブロックが存在しない場合（ステップＵ３２２-２のＹｅｓ）には、ステップＵ３２２-３に進む。
ステップＵ３２２-３において、ＭＢ処理エージェント３０は、斜め処理の開始位置Ｓｘ０に１を加算する。続いて、ＭＢ処理エージェント３０は、ステップＵ３２２-４において、水平方向の仮想アドレスＳｘに、ステップＵ３２２-３で処理した斜め処理の開始位置Ｓｘを代入し、垂直方向の仮想アドレスＳｙに０を代入する。つまり、ステップＵ３３２-３及び３３２-４は、一つ下のスライスの２つ左の列にマクロブロックが存在しないため、仮想アドレス（Ｓｘ，Ｓｙ）を、未処理のマクロブロックのうちの最も上のスライスの最も左のマクロブロックに移動する処理を行っている。ステップＵ３２２-４の処理を終えると、ステップＵ３２２-５に進む。
ステップＵ３２２-５において、ＭＢ処理エージェント３０は、下記式（３３）を演算して、ｂａｓｅ０を求める。
ｂａｓｅ０＝（Ｓｘ／PicMbWidth）×PrallelHeight …（３３）
なお、式（３３）において“Ｓｘ／PicMbWidth”は、ＳｘをPicMbWidthで除算したときの商（整数値）を求める演算である。
続いて、ステップＵ３２２-６において、ＭＢ処理エージェント３０は、下記式（３４）を演算する。
Ｓｙ≧PrallelHeight−ｂａｓｅ０ …（３４）
すなわち、ステップＵ３２２-６では、垂直方向の仮想アドレスＳｙにｂａｓｅ０を加えた値がParallelMbHeight以上であるかを判断する。つまり、検索対象となっているマクロブロックのアドレスが、実際のフレームの最下行を超えてしまっているか否かを判断する。超えていれば（ステップＵ３２２-６のＮｏ）、ステップＵ３２２-１に戻り、再度、（ｘ０，ｙ０）生成処理を行う。超えていなければ（ステップＵ３２２-６のＹｅｓ）、ステップＵ３２２-７に進む。
続いて、ステップＵ３２２-７において、ＭＢ処理エージェント３０は、下記式（３５）、（３６）に示す演算を行い、処理対象となるマクロブロックのアドレス（Ｘ０，Ｙ０）を決定する。
Ｘ０＝Ｓｘ％PicMbWidth …（３５）
Ｙ０＝Ｓｙ＋Ｂａｓｅ０ …（３６）
なお、式（３５）において“Ｓｘ％PicMbWidth”は、ＳｘをPicMbWidthで除算したときの余り（整数値）を求める演算である。
図２７に、ステップＵ３２３の終了判断処理の処理フローを示す。
終了判断処理が開始すると、ステップＵ３２３-１において、ＭＢ処理エージェント３０は、下記式（３７）が真であるか、偽であるかを判断する。
ST[S03][ PicMbHeight-1 ]>= PicMbWidth …（３７）
式（３７）は、最下行のスライスが、全て処理完了状態（Ｓ０３）となっていれば真である。すなわち、当該画面（フレーム）の全てのマクロブロックに対して符号化又は復号が完了しているか否かを意味している。
ＭＢ処理エージェント３０は、まだ全てのマクロブロックの符号化又は復号が完了していなければ、ステップＵ３２３-２に進みフラグｅｎｄ０に０を代入し、当該処理を終了してメインフローに戻る。ＭＢ処理エージェント３０は、全てのマクロブロックの符号化又は復号が完了していれば、ステップＵ３２３-３に進みフラグｅｎｄ０に１を代入しメインフローに戻る。
以上の処理の結果、ＭＢ処理エージェントの符号化又は復号対象マクロブロック（Ｘ０，Ｙ０）を決定することができる。このように処理することによって、状態管理部３３がどのＭＢ処理エージェント３０であるかを知る必要がなく、検索が一意となり、状態管理部３３の実装が容易となる。また、横方向と縦方向のマクロブロックを均等に処理することで並列度が高くなり、処理速度が上がる。
さらに、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの左横、左斜上、上、右斜上に依存するマクロブロックの符号化又は復号がされた画像符号化規格に対して処理を行う場合、StepMbWidth＝２に設定することによって、最も高い並列度となり、処理時間を最短にすることができる。
なお、本例では、StepMbWidth＝２に設定をしたが、例えば、StepMbWidth＝１とすることにより、図２８に示すように、処理済みマクロブロックと未処理マクロブロックとの境界が１行に１列毎ずれた階段状となり、右上のマクロブロックと依存関係の無い画像符号化方式のコーデックにも適用することが可能となる。
本発明が適用されたビデオコーデックの中の符号化処理部分（ビデオエンコーダ）の構成図である。 各ＭＢ符号化部の処理内容を示したフローチャートである。 本発明が適用されたビデオコーデックの復号処理部（ビデオビデオデコーダ）の構成図である。 各ＭＢ復号部の処理内容を示したフローチャートである。 本発明が適用されたビデオコーデックの構成をマクロブロック処理部、その前処理部及び後処理部という観点で分けたときのブロック構成図である。 画面内のマクロブロックのアドレッシング例を示す図である。 任意の１つのマクロブロックの状態遷移を示すステートチャートである。 画面内の各マクロブロックの状態例を示す図である。 本発明が適用されたビデオコーデックのメイン処理のフローチャートである。 メインフローのうちの前処理のフローチャートである。 メインフローのうちのＭＢ処理エージェントによる符号化又は復号の処理（ステップＵ３）のフローチャートである。 ＭＢ処理エージェントの処理のうちのマクロブロック（Ｘ０，Ｙ０）の決定処理のフローチャートである。 マクロブロックの決定処理による検索順序を示した図である。 調査をする最も下のスライス位置を規定した場合の検索順序を示した図である。 決定されたマクロブロック（Ｘ０，Ｙ０）が、符号化又は復号が可能となっているか否かの調査処理のフローチャートである。 メインフローのうちの後処理のフローチャートである。 本発明が適用されたビデオコーデックにより、ＭＰＥＧ−４又はＨ．２６４／ＭＰＥＧ−４ＡＶＣに対して処理を行う場合の並列処理の進行状況を示す図である。 本発明が適用されたビデオコーデックにより、ＭＰＥＧ−２に対して処理を行う場合の並列処理の進行状況を示す図である。 １ピクチャ内のマクロブロックが処理されていく順序を一意に予め決めておく場合のマクロブロックの処理順序を示す図である。 最下のスライス又は最左の列を超えた場合のマクロブロックの処理順序を示す図である。 階段状となっている処理済みのマクロブロックと未処理のマクロブロックとの境界を示す図である。 ピクチャ上のPicMbHeight、PicMbWidth、ParallelMbHeight等の値を示した図である。 ピクチャ内を垂直方向に分割して、各領域毎に並列処理が進めていく様子を示した図である。 分割された領域を仮想的に水平方向に展開したものを示した図である。 マクロブロック（Ｘ０，Ｙ０）の決定処理の他の例のフローチャートである。 （Ｘ０，Ｙ０）生成処理のフローチャートである。 終了判断処理のフローチャートである。 右上のマクロブロックに依存関係が無い場合の並列処理例を示した図である。 ＭＰＥＧ−２のマクロブロックの依存関係を示す図である。 ＭＰＥＧ−２のマクロブロック処理エンジンの並列処理の内容を示す図である。 ＭＰＥＧ−４及びＨ．２６４／ＭＰＥＧ−４ＡＶＣのマクロブロックの依存関係を示す図である。
符号の説明
１ エンコーダ、２ マクロブロック符号化部、３ 動き検出、４ デブロッキング、５ ＶＬＣ、１５ デコーダ、１６ マクロブロック復号部、１７ ＶＬＤ、１８ デブロッキング、３０ ＭＢ処理エージェント、３１ 前処理部、３２ 後処理部、３３ 状態管理部

Claims (8)

  1. 所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの符号化処理を行う符号化装置において、
    マクロブロック単位での符号化処理を並列して行う複数のマクロブロック処理部と、
    １つの画面内の各マクロブロックの処理状態を管理する状態管理部とを備え、
    上記状態管理部は、１つの画面内の各マクロブロックに対して、上記マクロブロック処理部により実行中の実行中状態であるか、上記マクロブロック処理部により処理が完了済みの処理完了状態であるかを区別して管理し、
    各マクロブロック処理部は、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが上記実行中状態又は処理完了状態である場合には、上記所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して符号化処理を行い、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている符号化装置。
  2. 動画像符号化フォーマットは、符号化又は復号対象となるマクロブロックに対して、左横、左斜め上、上及び右斜め上のマクロブロックの符号化又は復号結果を参照することが規定された規格に対応しており、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の２列分左側に位置するマクロブロックとされ、当該１つ下の行の２列分左側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている請求項１記載の符号化装置。
  3. 所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの復号処理を行う復号装置において、
    マクロブロック単位での復号処理を並列して行う複数のマクロブロック処理部と、
    １つの画面内の各マクロブロックの処理状態を管理する状態管理部とを備え、
    上記状態管理部は、１つの画面内の各マクロブロックに対して、上記マクロブロック処理部により実行中の実行中状態であるか、上記マクロブロック処理部により処理が完了済みの処理完了状態であるかを区別して管理し、
    各マクロブロック処理部は、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが上記実行中状態又は処理完了状態である場合には、上記所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して復号処理を行い、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている復号装置。
  4. 動画像復号フォーマットは、復号又は復号対象となるマクロブロックに対して、左横、左斜め上、上及び右斜め上のマクロブロックの復号又は復号結果を参照することが規定された規格に対応しており、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の２列分左側に位置するマクロブロックとされ、当該１つ下の行の２列分左側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている請求項３記載の復号装置。
  5. 所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの符号化処理を行う符号化方法において、
    複数のマクロブロックエージェントを用いて、マクロブロック単位での符号化処理を複数並列して行い、
    １つの画面内の各マクロブロックに対して、上記マクロブロックエージェントにより実行中の実行中状態であるか、上記マクロブロックエージェントにより処理が完了済みの処理完了状態であるかを区別して管理し、
    各マクロブロックエージェントは、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが上記実行中状態又は処理完了状態である場合には、上記所定の走査順序に従って次のマクロブロックを検索して処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して符号化処理を行い、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている符号化方法。
  6. 動画像符号化フォーマットは、符号化又は復号対象となるマクロブロックに対して、左横、左斜め上、上及び右斜め上のマクロブロックの符号化又は復号結果を参照することが規定された規格に対応しており、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の２列分左側に位置するマクロブロックとされ、当該１つ下の行の２列分左側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている請求項５記載の符号化方法。
  7. 所定数の画素から構成されるマクロブロック単位で画面内を行列状に分割し、分割したマクロブロック単位で動画像データの復号処理を行う復号方法において、
    複数のマクロブロックエージェントを用いて、マクロブロック単位での復号処理を複数並列して行い、
    １つの画面内の各マクロブロックに対して、上記マクロブロックエージェントにより実行中の実行中状態であるか、上記マクロブロックエージェントにより処理が完了済みの処理完了状態であるかを区別して管理し、
    各マクロブロックエージェントは、画面の上から所定数の行単位で画面分割して形成された位置又は領域を設定し、当該領域内のマクロブロックを所定の走査順序に従って順番に検索して、検索したマクロブロックが上記実行中状態又は処理完了状態である場合には、上記所定の走査順序に従って次のマクロブロックを検索して、処理可能なマクロブロックを見つけ出し、見つけ出した処理可能なマクロブロックに対して復号処理を行い、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の所定数左列側に位置するマクロブロックとされ、当該１つ下の行の所定数左列側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている復号方法。
  8. 動画像復号フォーマットは、復号又は復号対象となるマクロブロックに対して、左横、左斜め上、上及び右斜め上のマクロブロックの復号又は復号結果を参照することが規定された規格に対応しており、
    上記所定の走査順序は、
    走査開始位置が、その領域内のマクロブロックの最左上のマクロブロックとされ、
    任意のマクロブロックの次のマクロブロックが、その任意のマクロブロックの１つ下の行の２列分左側に位置するマクロブロックとされ、当該１つ下の行の２列分左側のマクロブロックが上記領域内に存在しない場合には、上記実行中状態又は処理完了状態のいずれでもない未処理のマクロブロックのうちの、最上行の最左側のマクロブロックとされた規則に従っている請求項７記載の復号方法。
JP2004317002A 2004-10-29 2004-10-29 符号化及び復号装置並びに符号化及び復号方法 Expired - Fee Related JP4453518B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004317002A JP4453518B2 (ja) 2004-10-29 2004-10-29 符号化及び復号装置並びに符号化及び復号方法
US11/260,638 US7881541B2 (en) 2004-10-29 2005-10-27 Coding apparatus, decoding apparatus, coding method and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004317002A JP4453518B2 (ja) 2004-10-29 2004-10-29 符号化及び復号装置並びに符号化及び復号方法

Publications (2)

Publication Number Publication Date
JP2006129284A JP2006129284A (ja) 2006-05-18
JP4453518B2 true JP4453518B2 (ja) 2010-04-21

Family

ID=36261842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004317002A Expired - Fee Related JP4453518B2 (ja) 2004-10-29 2004-10-29 符号化及び復号装置並びに符号化及び復号方法

Country Status (2)

Country Link
US (1) US7881541B2 (ja)
JP (1) JP4453518B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1939238B1 (en) 2005-09-01 2010-10-20 Mitsubishi Chemical Corporation Apparatus for heat treatment of polyester particle and method of multistage solid-phase polycondensation of polyester particle
KR100750137B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
US20070195888A1 (en) * 2006-02-17 2007-08-23 Via Technologies, Inc. Intra-Frame Prediction Processing
US8000388B2 (en) * 2006-07-17 2011-08-16 Sony Corporation Parallel processing apparatus for video compression
JP4789200B2 (ja) * 2006-08-07 2011-10-12 ルネサスエレクトロニクス株式会社 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
JP4879269B2 (ja) * 2006-08-15 2012-02-22 富士通株式会社 復号化方法及び装置
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
JP4936869B2 (ja) * 2006-12-12 2012-05-23 株式会社東芝 画像処理装置及び画像処理方法
WO2008114367A1 (ja) * 2007-03-16 2008-09-25 Fujitsu Limited 計算機システム及び符号化／復号化方法
JP4807320B2 (ja) * 2007-05-14 2011-11-02 ソニー株式会社 復号装置、符号化装置、復号方法、符号化方法、および映像の復号と符号化を行うプログラム
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
JP2009290498A (ja) * 2008-05-29 2009-12-10 Renesas Technology Corp 画像符号化装置及び画像符号化方法
EP2290985B1 (en) 2008-06-10 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus and image coding apparatus
JP5246264B2 (ja) * 2008-09-09 2013-07-24 日本電気株式会社 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
CN101897189B (zh) * 2008-10-10 2016-07-06 松下电器产业株式会社 图像解码装置以及图像解码方法
WO2010052837A1 (ja) 2008-11-10 2010-05-14 パナソニック株式会社 画像復号装置、画像復号方法、集積回路及びプログラム
CN101939994B (zh) * 2008-12-08 2013-07-17 松下电器产业株式会社 图像解码装置及图像解码方法
US8559733B2 (en) * 2009-03-31 2013-10-15 Citrix Systems, Inc. Methods and systems for approximating progressive image encoding using image partitioning
KR100999505B1 (ko) 2009-05-15 2010-12-09 이승훈 매크로블록 기반의 데이터 병렬 처리를 수행하는 동영상 인코딩/디코딩 장치
JP5343703B2 (ja) * 2009-05-22 2013-11-13 ソニー株式会社 復号処理装置、復号処理方法、およびプログラム
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP2011066844A (ja) 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
JP5576728B2 (ja) * 2010-07-02 2014-08-20 キヤノン株式会社 動画像符号化装置
CN102550029B (zh) 2010-07-30 2015-10-07 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置以及图像编码方法
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
JP2013150215A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US10623767B2 (en) 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
JP6317720B2 (ja) * 2015-11-09 2018-04-25 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
JP2016054514A (ja) * 2015-11-09 2016-04-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
JP6065090B2 (ja) * 2015-11-09 2017-01-25 富士通株式会社 動画像復号装置、動画像復号方法、動画像復号プログラム
WO2018190242A1 (ja) 2017-04-10 2018-10-18 日本電気株式会社 動画像処理装置、動画像処理方法、及び、動画像処理プログラムが格納された記録媒体
JP6311821B2 (ja) * 2017-04-18 2018-04-18 富士通株式会社 動画像処理装置及び動画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH031689A (ja) * 1989-05-30 1991-01-08 Mitsubishi Electric Corp マルチプロセッサ制御装置
JP3871348B2 (ja) * 1993-03-05 2007-01-24 ソニー株式会社 画像信号復号化装置及び画像信号復号化方法
JP3168922B2 (ja) * 1996-08-27 2001-05-21 日本ビクター株式会社 デジタル画像情報の記録再生装置
KR100796085B1 (ko) * 2000-04-14 2008-01-21 소니 가부시끼 가이샤 복호 장치, 복호 방법, 및 기록 매체
JP2003018595A (ja) * 2001-07-03 2003-01-17 Matsushita Electric Ind Co Ltd 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法
US7685212B2 (en) * 2001-10-29 2010-03-23 Intel Corporation Fast full search motion estimation with SIMD merge instruction
JP4577048B2 (ja) * 2004-03-11 2010-11-10 パナソニック株式会社 画像符号化方法、画像符号化装置および画像符号化プログラム
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video

Also Published As

Publication number Publication date
US20060093042A1 (en) 2006-05-04
JP2006129284A (ja) 2006-05-18
US7881541B2 (en) 2011-02-01

Similar Documents

Publication Publication Date Title
JP4453518B2 (ja) 符号化及び復号装置並びに符号化及び復号方法
JP4407472B2 (ja) 符号化及び復号装置並びに符号化及び復号方法
US10397575B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
CN108718412B (zh) 图像编码装置、图像解码装置及其方法
TWI571110B (zh) 導出運動資訊的方法
JP5672302B2 (ja) 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
TWI387348B (zh) 解區塊濾波處理裝置及解區塊濾波處理方法
TWI870822B (zh) 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置
US9832460B2 (en) Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
JPWO2009044475A1 (ja) 符号化装置、符号化方法、符号化プログラムおよび符号化回路
KR100677118B1 (ko) 움직임 추정 방법 및 그 장치
KR20090041944A (ko) 인근 블록의 모드정보를 이용한 움직임 추정 방법 및 장치
JP5235818B2 (ja) 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
KR101114472B1 (ko) Ｈ.264/ａｖｃ 압축영역에서의 영상 워터마크 삽입 방법
JP5235813B2 (ja) 動画像符号化装置、動画像符号化方法及びコンピュータプログラム
KR100728032B1 (ko) 워핑 기반의 인트라 예측 방법
HK1238453B (zh) 运动图像编码装置以及运动图像解码装置
HK1238833B (zh) 运动图像编码装置以及运动图像解码装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4453518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees