JP4909779B2 - 画像データ転送方法、画像処理装置、及び撮像システム - Google Patents

Description

本発明は、画像処理を行う装置に関し、特に、画像を転送する方法及び装置に関する。

高い圧縮率で動画像を圧縮することのできる技術が発達し、デジタルカメラやデジタルビデオカメラに用いられている。動画像の圧縮方法として、ＩＳＯ（International Organization for Standardization）で規格化されたＭＰＥＧ（Moving Picture Experts Group）が一般的に知られている。

ＭＰＥＧでは、画像内の水平ＮＸ×垂直ＮＹ画素で構成されるマクロブロック毎にフレーム内相関を利用した符号化（Ｉｎｔｒａ符号化）、又はフレーム間相関を利用した符号化（Ｉｎｔｅｒ符号化）が行われて得られたビットストリームが扱われる。Ｉｎｔｒａ符号化のみが行われて構成された画像はＩピクチャと呼ばれ、Ｉｎｔｒａ符号化及びＩｎｔｅｒ符号化が混在して行われた画像はＰピクチャ又はＢピクチャと呼ばれる。

符号化時に生成されたＭＰＥＧビットストリーム、及び復号化時に入力されたＭＰＥＧビットストリームには、逆量子化、逆ＤＣＴ、及び動き補償等の各処理が行われ、得られた再構成画像が一時データ記憶部に格納される。格納された画像は、参照画像として読み出される。

一時データ記憶部としてＳＤＲＡＭ（synchronous dynamic random-access memory）を用いる場合を考える。符号化／復号化処理の際には、このＳＤＲＡＭに対して再構成画像及び参照画像の転送が多回数発生する。この転送を高速で行う一般的な方法として、ＳＤＲＡＭのデータバス幅を拡張して複数の画素を一度に転送する方法がある。例えば、ＳＤＲＡＭのデータバス幅が画素データの幅の４倍であれば、図１１のような水平１６×垂直１６画素のデータをＳＤＲＡＭに転送する際に、図１２のように水平方向に並んだ４画素のデータ毎にパッキングしてデータ転送の単位とし、図１３のような水平４×垂直１６個のデータ転送単位（パッキングデータ）を転送するようにすることができる。この場合、１画素毎に転送する場合に比べて転送期間を１／４に削減することができる。

実際に１マクロブロックの再構成画像の輝度信号の転送を考える。図５１は、ＳＤＲＡＭに格納されたデータのマッピングの例を示す説明図である。図１３のパッキングデータＰ０，Ｐ１，Ｐ２，Ｐ３，…，Ｐ６０，…，Ｐ６３を、図５１のようにＳＤＲＡＭのアドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｒ），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｒ），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｒ），ＳＤ（ＡＤＸ_Ｒ＋３，ＡＤＹ_Ｒ），…，ＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｒ＋１５），…，ＳＤ（ＡＤＸ_Ｒ＋３，ＡＤＹ_Ｒ＋１５）にそれぞれ転送する場合には、次の手順で転送を行う。

すなわち、ロウアドレスをＡＤＹ_Ｒに設定後、パッキングデータＰ０〜Ｐ３を転送する。次にロウアドレスをＡＤＹ_Ｒ＋１に変更後、パッキングデータＰ４〜Ｐ７を転送する。次にロウアドレスをＡＤＹ_Ｒ＋２に変更後、パッキングデータＰ８〜Ｐ１１を転送する。その後、同様にロウアドレスを変更してパッキングデータＰ１２〜Ｐ６３を転送する。

また、ラインメモリを用いて参照画像の転送を削減した符号化装置の例が、特許文献１に開示されている。
特開２００２−１５２７５６号公報

図１３のパッキングデータＰ０〜Ｐ７の転送についてもう少し詳しく説明する。図５２は、図５１のようにパッキングデータの書き込みを行う際のＳＤＲＡＭのタイミングチャートである。ＳＤＲＡＭのバースト長（ＢＬ）は、４であるとする。

まず、時刻ｔ０においてロウアドレスＡＤＹ_Ｒの設定（“ａｃｔ”コマンド）が行われ、時刻ｔ１においてカラムアドレスＡＤＸ_Ｒの設定（“ｗｒｉｔｅ”コマンド）が行われ、パッキングデータＰ０〜Ｐ３が連続して書き込まれる。

続いて、ＳＤＲＡＭは、ロウアドレスを切り替えるために、時刻ｔ５において“ｐｒｅ”コマンドを実行し、時刻ｔ６において次のロウアドレスＡＤＹ_Ｒ＋１の設定（“ａｃｔ”コマンド）を行う。そして、時刻ｔ７においてカラムアドレスＡＤＸ_Ｒ＋１の設定（“ｗｒｉｔｅ”コマンド）が行われ、パッキングデータＰ４〜Ｐ７が連続して書き込まれる。以後、同様の処理が繰り返される。

ここで、“ａｃｔ”コマンドから次の“ａｃｔ”コマンドまでを再構成画像の１ライン分を転送するのに必要な期間と考えると、１ラインを転送するのに８サイクルの期間を要している。そのうち、データ転送処理が行われているのは僅か４サイクルのみで、それ以外の期間はアドレス設定処理のために必要となっている。つまり、４データ転送する度に４サイクル用いてアドレス設定が行われており、非常に非効率的である。

次に参照画像の読み出しについて説明する。図５３は、図５１のように格納されたパッキングデータの読み出しを行う際のＳＤＲＡＭのタイミングチャートである。ここでは、１マクロブロックサイズ、すなわち、水平方向４×垂直方向１６のパッキングデータを有する参照画像を読み出す場合について示している。この読み出し処理においても、４データの転送に８サイクルを要し、そのうち４サイクルはアドレス設定処理に要している。

図５４は、１７画素の転送について示す模式図である。参照画像は水平１７×垂直１７画素の画像となる場合がある。水平方向に４画素パッキングを行っているので、１行分の１７画素を送るには５パッキングデータが必要である。例えば、再構成画像Ｒ０内のデータＰ０に含まれる最も左の画素から、水平方向に４ｎ（ｎ：整数）画素ずれた位置を読み出し開始位置とした場合には、５パッキングデータを読み出せば１７画素の全ての情報を得ることが可能である（図５４（ａ）参照）。同様に、最も左の画素から水平方向に４ｎ＋１，４ｎ＋２，４ｎ＋３画素ずれた位置を読み出し開始位置とした場合にも、５パッキングデータを読み出せば１７画素の全ての情報を得ることが可能である（それぞれ図５４（ｂ），（ｃ），（ｄ）参照）。

図５５は、参照画像が水平１７×垂直１７画素である場合に、図５１のように格納されたパッキングデータの読み出しを行う際のＳＤＲＡＭのタイミングチャートである。垂直方向に関しては画素パッキングを行わないので、１７ライン分のデータを読み出せば、垂直１７画素の情報を得ることができる。したがって、水平方向５データ×垂直方向１７データの読み出しを行えばよい。

ここで、ＳＤＲＡＭのバースト長（ＢＬ）＝４であるとしているので、１回の“ｒｅａｄ”コマンドによって４データしか読み出すことができない。このため、同一ロウアドレスにおいて５データ連続してデータを読み出せるように、時刻ｔ４にて再度“ｒｅａｄ”コマンドを実行し、その後、時刻ｔ５においてロウアドレス変更に向け“ｐｒｅ”コマンドを実行するようにする。

以上のことから、参照画像の転送においても、ライン数分だけアドレス設定処理を行う必要があり再構成画像の転送と同様に非効率的である。この読み出し／書き込み転送サイクル数は、次式、すなわち、
（ＳＤＲＡＭの同一ロウアドレスへのアクセス数＋ＳＤＲＡＭのアドレス設定期間）
× ＳＤＲＡＭのロウアドレス変更回数 …（Ｃ１）
を用いて計算することができる。そのうちＳＤＲＡＭのアドレス設定に要する期間は、
ＳＤＲＡＭのアドレス設定期間×ＳＤＲＡＭのロウアドレス変更回数 …（Ｃ２）
である。

ここで用いられているＳＤＲＡＭにおいて、“ＳＤＲＡＭのアドレス設定期間”＝４サイクルとなることは、図５２（書き込み時）、図５３（読み出し時）からも理解できる。マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝４であり、“ＳＤＲＡＭのロウアドレス変更回数”＝１６であるので、１マクロブロック分の再構成画像の書き込みサイクル数は、（４＋４）×１６＝１２８サイクルである。よって、１パッキングデータを転送するのに２（＝１２８／６４）サイクル必要となることがわかる。

同様に、４：２：０形式の色差信号の転送についても考える。輝度信号が１マクロブロック当り水平１６×垂直１６画素であるので、青色差信号及び赤色差信号は、いずれも１マクロブロック当り水平８×垂直８画素である。水平４画素パッキングした場合には、一方の色差信号のパッキングデータ数は、水平２×垂直８となる。式（Ｃ１）を用いて転送サイクル数を計算すると、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝２、“ＳＤＲＡＭのロウアドレス変更回数”＝８であるので、（２＋４）×８＝４８サイクル必要となる。また、両色差信号を転送するには９６サイクル（＝４８×２）必要となる。よって、１データ転送するのに３（＝９６／３２）サイクル必要となることがわかる。

これらの期間はフレームサイズに比例して増える。ＨＤ（high definition）サイズの画像は、１フレーム当り２，０７３，６００画素を有するので、毎秒６０フレーム処理する場合には、処理すべき総画素数は、毎秒１２４，４１６，０００（＝２，０７３，６００×６０）画素となる。また、高速転送を実現するために、前述のようにデータパッキング（４画素パッキング）を行うこととすると、ＳＤＲＡＭに対するアクセスデータ数は、毎秒３１，１０４，０００（＝１２４，４１６，０００／４）データとなる。

このようにパッキングされたデータのＳＤＲＡＭへの転送を考える。いま、再構成画像及び参照画像の転送マクロブロック数が、いずれも１マクロブロック当り１となるシステムを仮定した場合、転送すべきデータは合計で毎秒６２，２０８，０００（＝３１，１０４，０００×２）データという莫大な量となる。輝度信号のＳＤＲＡＭアクセスサイクルは「１データ＝２サイクル」であるので、１秒分の輝度信号を全て転送し終えるには、１２４，４１６，０００（＝６２，２０８，０００×２）サイクル必要となる。そのうちの１／２は、ＳＤＲＡＭのアドレス設定期間である。

同じく色差信号の転送について計算する。４：２：０形式の色差信号（青色差信号＋赤色差信号）は、輝度信号の半分の情報量を持つので、ＳＤＲＡＭへ転送すべきデータ数は、毎秒３１，１０４，０００（＝６２，２０８，０００／２）となる。色差信号のＳＤＲＡＭアクセスサイクルは「１データ＝３サイクル」であるので、１秒分の色差信号を全て転送し終えるには、９３，３１２，０００（＝３１，１０４，０００×３）サイクル必要となる。そのうちの２／３は、ＳＤＲＡＭのアドレス設定期間である。

したがって、輝度信号と２つの色差信号とを合わせて１秒当り２１７，７２８，０００サイクル必要となる。そのうちの１２４，４１６，０００サイクルは、ＳＤＲＡＭのアドレス設定期間である。これは、実に非効率的な転送である。このように高速な転送を行うためには、当然ＳＤＲＡＭを高速に動作させることが必要であり、消費電力も大きくなる。

図５６は、フィールド毎にＳＤＲＡＭの異なる領域に格納されたデータのマッピングの例を示す説明図である。インタレース処理では、マクロブロックを２つのフィールド、すなわち図２６に示すような奇数ラインの画素（Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，…，Ｐ５９）からなるトップフィールドと、偶数ラインの画素（Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５，…，Ｐ６３）からなるボトムフィールドとに分けて処理する。

この両フィールドをＳＤＲＡＭ上に格納する際には、図５６に示すようにトップフィールドとボトムフィールドとを異なる領域に格納することが多い。これは、ＳＤＲＡＭからの読み出し（参照画像の転送）の際にフィールド単位で転送要求が発生することがあり、その場合、両フィールドのデータが混在していては、高効率な転送ができないためである。

図５６の場合について、式（Ｃ１）を用いて転送に必要なサイクル数を求める。マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝８であるので、マクロブロック毎に（４＋４）×８＝６４サイクル必要であり、両フィールド合わせると１２８（＝６４×２）サイクル必要となる。よって、１データ転送するのに２（＝１２８／６４）サイクル必要となり、この転送は、図５１のようなプログレッシブ処理時と同様に、非効率な転送である。

本発明は、画像処理を行う装置と画像データを記憶するメモリ等との間での画像データのデータ転送効率を向上させることを目的とする。

前記課題を解決するため、本発明に係る画像データ転送方法は、第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出すステップ（ａ）と、前記ステップ（ａ）で読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みするステップ（ｂ）と、前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込むステップ（ｃ）とを有するものである。

これによると、データ転送単位の数は、第１の方向についてはパッキング前の画素の数よりも減少し、第２の方向についてはパッキング前の画素の数と同じである。第２の方向にスキャンして読み出されたデータ転送単位に対してバースト書き込み及びバースト読み出しを行うので、一時データ記憶部との間のデータ転送効率が高くなり、データ転送を高速化することができる。

また、本発明に係る画像処理装置は、第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出し、前記読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みする第１の読み出し部と、前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込む第１の書き込み部とを備えるものである。

また、本発明に係る撮像システムは、アナログ画像信号をデジタル信号に変換するアナログ／デジタル変換器と、前記デジタル信号に対する画像処理を行う画像処理装置とを備え、前記画像処理装置は、前記画像処理が行われて第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出し、前記読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みする読み出し部と、前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込む書き込み部とを備えるものである。

以上のように本発明によれば、画像記憶部と一時データ記憶部との間のデータ転送を高速化することができるので、一時データ記憶部としてＳＤＲＡＭ等のバースト転送可能なメモリを用いた画像処理の高速化を図ることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。同一の構成要素には同一の参照番号を付す。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、フレーム構造の画像の転送効率を向上させるものである。

図１の画像処理装置１００は、減算器１２と、ＤＣＴ（discrete cosine transform）処理部１４と、量子化処理部１６と、可変長符号化復号化部１８と、スイッチ２１，２２と、逆量子化処理部２６と、逆ＤＣＴ処理部２８と、再構成画像生成部３０と、動き探索／補償部４０と、マクロブロック（ＭＢ）タイプ制御部５２と、レート制御部５４とを備えている。再構成画像生成部３０は、フレーム垂直スキャン読み出し部３２と、第１の画像記憶部としての再構成画像記憶部３４とを有している。動き探索／補償部４０は、フレーム垂直スキャン書き込み部４２と、第２の画像記憶部としての参照画像記憶部４４とを有している。

フレーム垂直スキャン読み出し部３２は、データを再構成画像記憶部３４から読み出して一時データ記憶部２に書き込む。フレーム垂直スキャン書き込み部４２は、データを一時データ記憶部２から読み出して参照画像記憶部４４に書き込む。ここでは例として、一時データ記憶部２は、ＳＤＲＡＭ（synchronous dynamic random-access memory）であるとする。以下では、このＳＤＲＡＭのバースト長（ＢＬ）は４であるとする。再構成画像記憶部３４及び参照画像記憶部４４は、例えばＳＲＡＭ（static random-access memory）やフリップフロップである。

− 符号化時 −
符号化時における画像処理装置１００の動作について説明する。符号化対象画像のピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、又はＢピクチャ）を示すピクチャ符号化タイプ信号ＴＹが、スイッチ２１及びＭＢタイプ制御部５２に入力されている。

スイッチ２１は、ピクチャ符号化タイプがＩピクチャであることをピクチャ符号化タイプ信号ＴＹが示す場合にはオフ（非導通状態）となり、ピクチャ符号化タイプがＰピクチャ又はＢピクチャであることをピクチャ符号化タイプ信号ＴＹが示す場合にはオン（導通状態）となる。

ＭＢタイプ制御部５２は、ピクチャ符号化タイプ信号ＴＹ及び動き探索／補償部４０からの信号に基づいて、スイッチ２２の制御を行う。具体的には、ＭＢタイプ制御部５２は、ピクチャ符号化タイプがＩピクチャであることをピクチャ符号化タイプ信号ＴＹが示す場合にはスイッチ２２をオフにする。また、ＭＢタイプ制御部５２は、ピクチャ符号化タイプがＰピクチャ又はＢピクチャであることをピクチャ符号化タイプ信号ＴＹが示す場合には、動き探索／補償部４０から出力された動き探索の結果に従ってマクロブロックの符号化タイプをＩｎｔｒａ符号化又はＩｎｔｅｒ符号化に決定する。

スイッチ２２は、符号化タイプがＩｎｔｒａ符号化であるときにはオフになり、符号化タイプがＩｎｔｅｒ符号化であるときにはオンになる。ＭＢタイプ制御部５２は、マクロブロックの符号化タイプを可変長符号化復号化部１８にも出力する。レート制御部５４は、可変長符号化復号化部１８が発生する符号量を監視し、それに応じて量子化パラメータを決定し、量子化処理部１６に出力する。

Ｉピクチャの生成について説明する。ピクチャ符号化タイプ信号ＴＹが示すピクチャ符号化タイプがＩピクチャである場合、スイッチ２１，２２はオフになる。符号化対象画像ＩＭがマクロブロック毎に減算器１２に入力される。スイッチ２２がオフであるので、減算器１２は、符号化対象画像ＩＭをそのままＤＣＴ処理部１４に出力する。

ＤＣＴ処理部１４は、減算器１２の出力データにＤＣＴ処理を行い、その結果を量子化処理部１６に出力する。量子化処理部１６は、ＤＣＴ処理後のデータに量子化処理を行い、その結果を可変長符号化復号化部１８及び逆量子化処理部２６に出力する。可変長符号化復号化部１８は、量子化処理後のデータに可変長符号化処理を行い、得られた符号ＣＤを外部に出力する。

逆量子化処理部２６は、量子化処理部１６から受け取った量子化処理後のデータに逆量子化処理を行い、その結果を逆ＤＣＴ処理部２８に出力する。逆ＤＣＴ処理部２８は、逆量子化処理後のデータに逆ＤＣＴ処理を行い、その結果を再構成画像生成部３０に出力する。

スイッチ２２がオフであるので、動き探索／補償部４０の出力は再構成画像生成部３０には与えられない。このため、再構成画像生成部３０は、逆ＤＣＴ処理部２８から送られたデータをそのまま再構成画像記憶部３４に書き込む。その後、フレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４のデータを読み出し、一時データ記憶部２に格納させる。再構成画像記憶部３４に格納され、一時データ記憶部２へ送られる画像データは、再構成画像と呼ばれ、Ｐピクチャ又はＢピクチャを符号化する際の参照画像として使用される。

Ｐピクチャの生成について説明する。ピクチャ符号化タイプ信号ＴＹが示すピクチャ符号化タイプがＰピクチャである場合、スイッチ２１はオンになる。符号化対象画像ＩＭがマクロブロック毎に減算器１２及び動き探索／補償部４０に入力される。

図２は、動き探索に関する説明図である。フレーム垂直スキャン書き込み部４２は、入力された符号化対象画像ＩＭ（対象ブロック）と同一位置の画像及びその近傍の画像を一時データ記憶部２から読み出し、参照画像記憶部４４に格納する。この読み出される画素の領域を参照領域という。符号化対象画像ＩＭは水平ＮＸ×垂直ＮＹ画素（ＮＸ，ＮＹは自然数）を有しており、参照領域（水平ＭＸ×垂直ＭＹ画素）は符号化対象画像ＩＭよりも大きい（ＭＸ，ＭＹは、ＭＸ＞ＮＸ，ＭＹ＞ＮＹを満たす整数）。動き探索／補償部４０は、符号化対象画像ＩＭと参照領域上の参照ブロック（水平ＮＸ×垂直ＮＹ画素）とを用いて、動き探索を行う。

一般的な動き探索手法の１つとして、ブロックマッチング法がある。ブロックマッチング法は、対象ブロックと参照領域の参照ブロックとの比較を行い、対象ブロックと最もマッチングの取れている参照ブロックの位置を求め、その参照ブロックの位置と対象ブロックの位置との間の座標の差を動きベクトルとして検出する方法である。

対象ブロックと参照ブロックとのブロックマッチングは、ブロックを構成する画素が有する画素値の差分の絶対値の和である評価関数、すなわち、
（評価関数）＝Σ｜Ｒｅｆ（Ｍｘ＋ｘ，Ｍｙ＋ｙ）−Ｏｒｇ（ｘ，ｙ）｜ …（１）
が最小値となる参照ブロックを求めることにより行われる。ここで、Ｒｅｆ（Ｍｘ＋ｘ，Ｍｙ＋ｙ）は、対象ブロックに対して相対位置（Ｍｘ，Ｍｙ）にある参照ブロック内の位置（Ｍｘ＋ｘ，Ｍｙ＋ｙ）における画素値を示し、Ｏｒｇ（ｘ，ｙ）は対象ブロック内の位置（ｘ，ｙ）における画素値を表す。

動き探索／補償部４０は、評価関数の最小値を求め、その結果をＭＢタイプ制御部５２に出力する。ＭＢタイプ制御部５２は、この評価関数の最小値に基づいて、マクロブロックの符号化タイプをＩｎｔｒａ符号化又はＩｎｔｅｒ符号化のいずれかに決定し、その結果を可変長符号化復号化部１８及びスイッチ２２に出力する。可変長符号化復号化部１８は、マクロブロックの符号化タイプを示す符号を生成し、出力する。

符号化タイプがＩｎｔｒａ符号化に決定された場合には、スイッチ２２はオフとなり、以後の符号化処理はＩピクチャの生成時と同様である。符号化タイプがＩｎｔｅｒ符号化に決定された場合には、動き探索／補償部４０は、動き補償画像の生成を行う。この動き補償画像は、前述した動き探索処理を行って評価関数が最小値となった参照ブロックのことをいう。Ｉｎｔｅｒ符号化の場合、スイッチ２２はオンとなり、動き探索／補償部４０は、生成した動き補償画像を、スイッチ２２を経由して減算器１２に出力する。減算器１２は、生成された動き補償画像を、外部より入力される符号化対象画像ＩＭから減じ、その結果をＤＣＴ処理部１４に出力する。

スイッチ２２がオン（Ｉｎｔｅｒ符号化時）である場合には、再構成画像生成部３０は、ＤＣＴ処理部１４、量子化処理部１６、逆量子化処理部２６、及び逆ＤＣＴ処理部２８で処理された画像と動き探索／補償部４０から出力された動き補償画像とを加算し、その結果を再構成画像記憶部３４に書き込む。また、スイッチ２２がオフ（Ｉｎｔｒａ符号化時）である場合には、再構成画像生成部３０は、逆ＤＣＴ処理部２８から出力された画像をそのまま再構成画像記憶部３４に書き込む。

その後、フレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４内のデータを読み出し、読み出された再構成画像を一時データ記憶部２に書き込む。その他の点は、Ｉピクチャの生成の場合とほぼ同様である。

Ｂピクチャの生成について説明する。図３は、Ｐピクチャ及びＢピクチャを生成する際のピクチャの参照についての説明図である。Ｐピクチャを生成する際には、時間的に前のＩピクチャ又はＰピクチャを参照領域（前方参照領域）として用いるのに対し、Ｂピクチャを生成する際には、時間的に前のＩピクチャ又はＰピクチャを参照領域（前方参照領域）として用いるだけではなく、時間的に後のＩピクチャ又はＰピクチャをも参照領域（後方参照領域）として用いる。このため、Ｂピクチャの後方参照領域として使用されるＩピクチャ又はＰピクチャは、そのＢピクチャよりも前に符号化処理する必要がある（図３参照）。したがって、図１の動き探索／補償部４０は、前方参照領域だけではなく、後方参照領域をも一時データ記憶部２から読み出す必要がある。

また、Ｂピクチャの生成時に生成される再構成画像は他ピクチャの参照画像として使用されることはないので、Ｂピクチャの生成時は、逆量子化処理部２６、逆ＤＣＴ処理部２８、及び再構成画像生成部３０による再構成画像の生成処理は行われない。その他の点は、Ｐピクチャの生成の場合とほぼ同様である。

− 復号化時 −
復号化時には、可変長符号化復号化部１８は、入力された符号ＣＤを復号化する。この時、ピクチャ符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）及びマクロブロックタイプ（Ｉｎｔｒａ／Ｉｎｔｅｒ符号化）が得られ、ＭＢタイプ制御部５２に送られる。

ＭＢタイプ制御部５２は、可変長符号化復号化部１８から送られてくるフレームタイプ及びマクロブロックタイプに応じてスイッチ２２の制御を行う。具体的には、フレームタイプがＩピクチャの時、又はフレームタイプがＰピクチャ若しくはＢピクチャであってマクロブロックタイプがＩｎｔｒａ符号化である時には、スイッチ２２をオフにする。フレームタイプがＰピクチャ又はＢピクチャであってマクロブロックタイプがＩｎｔｅｒ符号化である時には、スイッチ２２をオンにする。

Ｉピクチャの復号化の際には、再構成画像生成部３０は、可変長符号化復号化部１８、逆量子化処理部２６、及び逆ＤＣＴ処理部２８で処理されたデータを再構成画像記憶部３４に書き込む。再構成画像生成部３０は、再構成画像記憶部３４に格納されたデータを外部に再生画像ＲＰとして出力する。また、フレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４のデータを読み出して一時データ記憶部２に格納させる。一時データ記憶部２のデータは、Ｐピクチャ又はＢピクチャの復号化時の参照画像として使用される。

Ｐピクチャの復号化について説明する。可変長符号化復号化部１８は、符号ＣＤを復号化して得られた動きベクトル情報を動き探索／補償部４０に出力する。動き探索／補償部４０は、一時データ記憶部２から参照画像を読み出し、この画像に動きベクトル情報に基づいて動き補償を行い、その結果をスイッチ２２に出力する。

スイッチ２２がオン（Ｉｎｔｅｒ符号化時）である場合には、再構成画像生成部３０は、可変長符号化復号化部１８、逆量子化処理部２６、及び逆ＤＣＴ処理部２８で処理された画像と動き探索／補償部４０から出力された動き補償画像とを加算し、その結果を再構成画像記憶部３４に書き込む。また、スイッチ２２がオフ（Ｉｎｔｒａ符号化時）である場合には、再構成画像生成部３０は、逆ＤＣＴ処理部２８から出力された画像をそのまま再構成画像記憶部３４に書き込む。

Ｉピクチャの場合と同様に、再構成画像生成部３０は、再構成画像記憶部３４に格納されたデータを外部に再生画像ＲＰとして出力する。また、フレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４のデータを読み出して一時データ記憶部２に格納させる。一時データ記憶部２のデータは、Ｐピクチャ又はＢピクチャの復号化時の参照画像として使用される。

Ｂピクチャの復号化の場合は、時間的に前のＩピクチャ又はＰピクチャだけではなく、時間的に後のＩピクチャ又はＰピクチャをも参照領域として用い、再構成画像の生成処理は行われない。その他の点は、Ｐピクチャの復号化の場合とほぼ同様である。

− 再構成画像の転送 −
図４は、符号化処理の対象とする画像の例を示す説明図である。図４の画像は、水平方向及び垂直方向の座標でそれぞれの位置が表される水平６４×垂直６４個の画素を有している。マクロブロックのサイズを水平１６×垂直１６画素とすると、図４の画像は、１６個（水平４×垂直４）のマクロブロックＭ０，Ｍ１，…，Ｍ１５を有することになる。符号化処理は、マクロブロックＭ０，Ｍ１，…，Ｍ１５の順でマクロブロック単位で行われる。マクロブロックＭ０〜Ｍ１５に対応して、再構成画像Ｒ０，Ｒ１，…，Ｒ１５がそれぞれ生成される。再構成画像は、Ｒ０，Ｒ１，…，Ｒ１５の順で生成され、再構成画像記憶部３４に格納される。

図５は、図１の再構成画像記憶部３４における再構成画像を示す説明図である。再構成画像Ｒ０〜Ｒ１５は、水平６４×垂直６４画素のフレーム全体のイメージを再構成画像記憶部３４上において再現するように、フレーム内の画素間の関係を損なうことなく、再構成画像記憶部３４に格納される。これは、参照画像の転送の際にマクロブロックを跨ぐ参照画像の転送が必要な場合があり、その際に容易に参照画像の切り出しが行えるようにするためである。

図６は、輝度信号及び色差信号（４：４：４形式）の例を示す説明図である。再構成画像は、輝度信号（Ｙ）及び２種類の色差信号（すなわち、青色差信号（Ｃｂ）及び赤色差信号（Ｃｒ））の３信号を有している。４：４：４形式の場合には、図６のように３信号とも同じ情報量を持つ。

図７は、輝度信号及び色差信号（４：２：２形式）の例を示す説明図である。人間の眼は輝度に対しては敏感であるが、色に対してはさほど敏感ではないので、色差信号の情報量を輝度信号よりも少なくする場合がある。例えば、ＮＴＳＣ（national television system committee）規格においては、１フレーム当り、輝度信号が水平７２０×垂直４８０画素であるのに対し、青色差信号及び赤色差信号は水平方向にサブサンプル（間引き）が行われ、水平３６０×垂直４８０画素しかない（図７）。青色差信号及び赤色差信号の画素数は、いずれも輝度信号の半分である。

図８は、輝度信号及び色差信号（４：２：０形式）の例を示す説明図である。４：２：０形式の場合には、輝度信号が水平７２０×垂直４８０画素であるのに対し、青色差信号及び赤色差信号は水平及び垂直両方向にサブサンプルが行われ、水平３６０×垂直２４０画素しかない。この場合、青色差信号及び赤色差信号の画素数は、いずれも輝度信号の１／４である。図６〜図８のいずれの場合も、再構成画像の輝度信号、青色差信号及び赤色差信号は、それぞれ一時データ記憶部２内の異なる領域に格納される。

図９は、動き探索に用いられる参照領域の例を示す説明図である。図９は、動き探索範囲を水平方向及び垂直方向共に±１６画素とした場合において、図４のマクロブロックＭ５の動き探索に用いられる輝度信号の参照領域を示している。この場合、動き探索／補償部４０は、水平３×垂直３マクロブロック、すなわち水平４８×垂直４８画素のデータを読み出し、動き探索を行う。

動き探索／補償部４０が「動き探索及び動き補償」の双方を行う場合と、「動き補償」のみを行う場合とでは、一時データ記憶部２から読み出される参照領域の範囲が異なる。当然、動き探索を実行する場合は、より広範囲の参照画像を読み出す必要がある。動き探索は符号化時にのみ行われ、復号時には行われない。また、一般に、動き探索に使用されるデータは輝度信号のみであり、色差信号は使用されない。

図１０は、１／２画素精度での探索に用いる参照領域を示す説明図である。動き探索の際には、整数画素精度での探索が行われる場合の他に、１／２画素精度での探索が行われる場合がある。

水平方向に１／２画素ずれた点を探索する場合には、動き探索／補償部４０は、水平方向に隣り合う２画素の補間を行い（図１０右下参照）、１／２画素精度の画素を生成し、この１／２画素精度の画素を用いて動き探索を行う。このため、水平１７×垂直１６画素の整数画素が必要となる。同様に、垂直方向に１／２画素ずれた点を探索する場合には、水平１６×垂直１７画素の整数画素が必要となる。水平及び垂直両方向に１／２画素ずれた点を探索する場合には、動き探索／補償部４０は、水平２×垂直２の４画素を用いて補間を行い（図１０右下参照）、１／２画素精度の画素を生成する。このため、水平１７×垂直１７画素の整数画素が必要となる。

次に動き補償について説明する。動き探索／補償部４０は、整数画素精度での探索、又は１／２画素精度での探索により評価関数最小点を決定すると、その点に対し動き補償（水平１６×垂直１６画素の参照画像の生成）を実施する。評価関数最小点が１／２画素精度の点であれば、当然、水平又は垂直１７画素を用いて補償を行うことになる。

符号化時の輝度信号に対しては、動き探索／補償部４０は、動き探索用に一時データ記憶部２から読み出した参照画像を使用して動き補償を実施すればよい。符号化時の色差信号、及び、復号化時の輝度信号及び色差信号に対しては、動き探索／補償部４０は、画素を改めて一時データ記憶部２から読み出し、動き補償を行う。

図１１は、図１の再構成画像記憶部３４に格納されている再構成画像の１マクロブロックの画素データ（輝度信号）を示す説明図である。１つのマクロブロックは、１６×１６画素で構成されている。一時データ記憶部２を構成するＳＤＲＡＭのデータバス幅が、画素データの幅（例えば８ビット）の４倍であるとする。フレーム垂直スキャン読み出し部３２は、図１１の画素データを水平方向に隣接する４画素のデータ毎にパッキングして、４画素の画素データを１つのデータ転送単位（以下ではパッキングデータと称する）とし、パッキングデータ毎に一時データ記憶部２に転送を行うこととする。

図１２は、図１１の画素データをパッキングデータを用いて示した説明図である。パッキングデータを用いると、転送を４×１６回行えばよいので、画素毎にデータ転送を行う場合に比べて画像データの転送に要する時間を短縮することができる。以下では例として、画素データの幅が１バイトであり、ＳＤＲＡＭのデータバス幅が４バイトであるとする。

図１３は、１マクロブロックの輝度信号のパッキングデータを画像上の位置に対応させて示す説明図である。パッキングデータＰ０は、図１２の画素Ｄ０，Ｄ１，Ｄ２，Ｄ３に対応し、同様に、パッキングデータＰ１，Ｐ２，…，Ｐ６３は、画素Ｄ４〜Ｄ７，画素Ｄ８〜Ｄ１１，…，画素Ｄ２５２〜Ｄ２５５にそれぞれ対応している。

図１４は、図１のフレーム垂直スキャン読み出し部３２による図１３のデータの転送順を示す説明図である。フレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４から、まず図１４の最も左の列のデータをパッキングデータＰ０，Ｐ４，Ｐ８，…，Ｐ６０の順で一時データ記憶部２に転送する。次にフレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４から、図１４の左から２列目のデータをパッキングデータＰ１，Ｐ５，Ｐ９，…，Ｐ６１の順で一時データ記憶部２に転送する。

次にフレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４から、図１４の左から３列目のデータをパッキングデータＰ２，Ｐ６，Ｐ１０，…，Ｐ６２の順で一時データ記憶部２に転送する。次にフレーム垂直スキャン読み出し部３２は、再構成画像記憶部３４から、図１４の最も右の列のデータをパッキングデータＰ３，Ｐ７，Ｐ１１，…，Ｐ６３の順で一時データ記憶部２に転送する。以上のように垂直方向にスキャンを行って、１マクロブロックの転送が終了する。

図１５は、図１の一時データ記憶部２に格納されたデータのマッピングの例を示す説明図である。以下では、一時データ記憶部２が有するＳＤＲＡＭにおけるデータの格納位置を、カラムアドレスＡＤＸ及びロウアドレスＡＤＹを用いて、アドレスＳＤ（ＡＤＸ，ＡＤＹ）で表す。フレーム垂直スキャン読み出し部３２は、図１４の１列分のパッキングデータを、一時データ記憶部２に対して、カラムアドレスＡＤＸが連続しロウアドレスＡＤＹが一定の領域にバースト書き込みする。

具体的には、フレーム垂直スキャン読み出し部３２は、図１４の左端の列のパッキングデータＰ０，Ｐ４，Ｐ８，…，Ｐ６０を、一時データ記憶部２のアドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｒ），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｒ），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｒ），…，ＳＤ（ＡＤＸ_Ｒ＋１５，ＡＤＹ_Ｒ）のそれぞれに、ロウアドレスを変更せずにバースト書き込みする。その後、フレーム垂直スキャン読み出し部３２は、ロウアドレスをＡＤＹ_ＲからＡＤＹ_Ｒ＋１に変更し、図１４の左から２番目の列のパッキングデータＰ１，Ｐ５，Ｐ９，…，Ｐ６１を、アドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｒ＋１），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｒ＋１），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｒ＋１），…，ＳＤ（ＡＤＸ_Ｒ＋１５，ＡＤＹ_Ｒ＋１）のそれぞれに、ロウアドレスを変更せずにバースト書き込みする。

同様に、フレーム垂直スキャン読み出し部３２は、ロウアドレスをＡＤＹ_Ｒ＋２に変更して図１４の左から３番目の列のデータを同一のロウに書き込み、ロウアドレスをＡＤＹ_Ｒ＋３に変更して図１４の右端列のデータを同一のロウに書き込む。このようにすることで、１マクロブロックを転送する際にロウアドレスを変更する回数を、１６回から４回に削減することができる。

以上のようにして図１５のようにパッキングデータを格納することを、フレームマッピングでの格納と称する。

図１６は、図１４及び図１５のようにデータの書き込みを行う際における図１の一時データ記憶部２のタイミングチャートである。まず、フレーム垂直スキャン読み出し部３２は、一時データ記憶部２に対して、時刻ｔ０においてロウアドレスＡＤＹ_Ｒの設定（“ａｃｔ”コマンド）を行い、時刻ｔ１において、カラムアドレスＡＤＸ_Ｒを設定し、パッキングデータの書き込み（“ｗｒｉｔｅ”コマンド）を開始する。時刻ｔ１〜ｔ４の間にパッキングデータＰ０，Ｐ４，Ｐ８，Ｐ１２が連続して書き込まれる。

その後、フレーム垂直スキャン読み出し部３２は、一時データ記憶部２に対して、ｔ５においてカラムアドレスＡＤＸ_Ｒ＋４を設定し、パッキングデータの書き込み（“ｗｒｉｔｅ”コマンド）を開始する。すると、パッキングデータＰ１６，Ｐ２０，Ｐ２４，Ｐ２８が連続して書き込まれる。同様に、図１４の左端の列の残りのパッキングデータＰ３２，Ｐ３６，…，Ｐ６０も“ｗｒｉｔｅ”コマンド毎に４つずつ書き込まれる。

続いて、フレーム垂直スキャン読み出し部３２は、一時データ記憶部２に対して、ロウアドレスを切り替えるために時刻ｔ８において“ｐｒｅ”コマンドを実行させ、時刻ｔ９において次のロウアドレスＡＤＹ_Ｒ＋１の設定（“ａｃｔ”コマンド）を行う。そして、時刻ｔ１０において、カラムアドレスＡＤＸ_Ｒを設定し、パッキングデータの書き込み（“ｗｒｉｔｅ”コマンド）を開始する。すると、パッキングデータＰ１，Ｐ５，Ｐ９，Ｐ１３が連続して書き込まれる。同様に、図１４の左から２列目の残りのパッキングデータＰ１７，Ｐ２１，…，Ｐ６１も“ｗｒｉｔｅ”コマンド毎に４つずつ書き込まれる。

いま、“ａｃｔ”コマンドから次の“ａｃｔ”コマンドまでを、再構成画像の１列分を転送するのに必要な期間と考えると、１列転送するのに２０サイクルの期間要している。そのうち、データ転送処理が行われているのは１６サイクルで、それ以外の期間はアドレス設定処理に必要となっている。よって、１画素当りの転送サイクル数は１．２５サイクルとなり、図５２のような再構成画像の転送（１画素当り２サイクル必要）に比べると転送効率が向上したことが確認できる。

このように、本実施形態においては、再構成画像を垂直方向にスキャンして読み出し、一時データ記憶部２は読み出されたデータの書き込みをロウアドレスが一定である方向にスキャンして行う。すなわち、図１５等における一時データ記憶部２（ＳＤＲＡＭ）上の横方向（ロウアドレスが一定である方向）が再構成画像の垂直方向、縦方向（カラムアドレスが一定である方向）が再構成画像の水平方向に対応している。

− マクロブロック間の位置の関係 −
図１７は、図１の一時データ記憶部２において各マクロブロックが格納される位置を示す説明図である。図１７においては、水平方向の座標がカラムアドレスに対応し、垂直方向の座標がロウアドレスに対応している。一時データ記憶部２は、図５に示された再構成画像Ｒ０〜Ｒ１５（マクロブロックＭ０〜Ｍ１５がそれぞれ対応する）を、図１７のように格納する。

例えば、マクロブロックＭ６はマクロブロックＭ５の次に処理されるマクロブロックであり、原画像のフレーム上ではマクロブロックＭ６はマクロブロックＭ５の右側に位置する（図４，図５）。一時データ記憶部２は、これらのマクロブロックの再構成画像を格納する時には、再構成画像Ｒ６を再構成画像Ｒ５の下側に（すなわち、カラムアドレスは再構成画像Ｒ５と同様にし、ロウアドレスは再構成画像Ｒ５よりも４だけ増加させて）格納する。

図１８は、図５の一部をパッキングデータを単位として示した説明図である。図１９は、図１の一時データ記憶部２に格納されたパッキングデータのマッピングを複数のマクロブロックについて示す説明図である。

図１８において、マクロブロックＭ５のデータＰ３の上及び右にそれぞれ位置するマクロブロックＭ１のデータＰ６３、及びマクロブロックＭ６のデータＰ０、並びに、マクロブロックＭ５のデータＰ６３の下及び右にそれぞれ位置するマクロブロックＭ９のデータＰ３、及びマクロブロックＭ６のデータＰ６０に着目して説明する。

一時データ記憶部２では、再構成画像記憶部３４とは水平軸と垂直軸とを入れ替えてマッピングされているので、マクロブロックＭ１のデータＰ６３及びマクロブロックＭ６のデータＰ０は、図１９では、マクロブロックＭ５のデータＰ３の左及び下にそれぞれ位置することとなる。また、マクロブロックＭ９のデータＰ３及びマクロブロックＭ６のデータＰ６０は、図１９では、マクロブロックＭ５のデータＰ６３の右及び下にそれぞれ位置する。

このように、水平軸と垂直軸とが入れ替わった一時データ記憶部２上においても画素データ間の位置関係が損なわれないので、再構成画像の必要な部分のみを切り出して参照画像として転送することが容易にできる。

図２０は、図１の一時データ記憶部２において各マクロブロックが格納される位置を、輝度信号及び各色差信号について示す説明図である。一時データ記憶部２は、再構成画像Ｒ０〜Ｒ１５の輝度信号、青色差信号、及び赤色差信号を、図２０のようにそれぞれ異なる領域に格納する。

図２１は、水平４画素パッキングされた水平６４×垂直６４画素の再構成画像と、その一時データ記憶部２上におけるマッピングイメージとを示す説明図である。再構成画像においては横（水平）方向４×縦（垂直）方向１６データであるのに対し、一時データ記憶部２においては、横方向（同一ロウアドレス）１６×縦方向（同一カラムアドレス）４データとなる。

− 参照画像の転送 −
次に参照画像の転送（一時データ記憶部２からの読み出し）について説明する。図２２は、参照画像として読み出される領域の例を示す説明図である。ここでは、１マクロブロック分の参照画像を読み出すことを考える。この領域のデータは、横方向１６×縦方向４個のアドレスで指定される領域に格納されている。

図２３は、図２２の参照画像の読み出しを行う際における図１の一時データ記憶部２のタイミングチャートである。フレーム垂直スキャン書き込み部４２は、図２２の参照画像の各行について、一時データ記憶部２に書き込まれたパッキングデータを、カラムアドレスＡＤＸが連続しロウアドレスＡＤＹが一定の領域からバースト読み出しし、参照画像記憶部４４に書き込む。

具体的には、フレーム垂直スキャン書き込み部４２は、一時データ記憶部２に対して、時刻ｔ０において“ａｃｔ”コマンドを実行させてロウアドレスＡＤＹ_Ｓの設定を行い、時刻ｔ１において“ｒｅａｄ”コマンドを実行させてカラムアドレスＡＤＸ_Ｓを設定する。一時データ記憶部２は、所定のサイクル後（時刻ｔ２）にアドレスＳＤ（ＡＤＸ_Ｓ，ＡＤＹ_Ｓ）〜ＳＤ（ＡＤＸ_Ｓ＋３，ＡＤＹ_Ｓ）までの４アドレスのパッキングデータＱ０，Ｑ１，Ｑ２，Ｑ３をバースト読み出しして出力する。

その後、フレーム垂直スキャン書き込み部４２は、一時データ記憶部２に対して、時刻ｔ３，ｔ４，ｔ５において“ｒｅａｄ”コマンドを実行させてカラムアドレスＡＤＸ_Ｓ＋４，ＡＤＸ_Ｓ＋８，ＡＤＸ_Ｓ＋１２をそれぞれ設定し、一時データ記憶部２は、４アドレス分ずつパッキングデータＱ４〜Ｑ７，Ｑ８〜Ｑ１１，Ｑ１２〜Ｑ１５を出力する。

このように、一時データ記憶部２は、同一のロウアドレスにおいてパッキングデータＱ０〜Ｑ１５を読み出す。参照画像記憶部４４は、読み出されたパッキングデータＱ０〜Ｑ１５を格納する。“ｒｅａｄ”コマンド実行後、データが出力されるまでに所定の数のサイクルが必要であるので、それを考慮して事前に“ａｃｔ”コマンドを実行する必要がある。

フレーム垂直スキャン書き込み部４２は、パッキングデータＱ０〜Ｑ１５が全て読み出されるのを見計らって、ロウアドレス変更のために一時データ記憶部２に“ｐｒｅ”コマンド（時刻ｔ６）及び“ａｃｔ”コマンド（時刻ｔ７）を実行させ、ロウアドレスＡＤＹ_Ｓ＋１を設定する。その後、同様にこのロウのパッキングデータＱ１６〜Ｑ３１の読み出し処理を行う。

同様に、フレーム垂直スキャン書き込み部４２は、ロウアドレスをＡＤＹ_S＋２に変更して参照画像の３番目の行のデータを同一のロウから読み出し、ロウアドレスをＡＤＹ_S＋３に変更して参照画像の４番目の行のデータを同一のロウに書き込む。参照画像記憶部４４は、読み出された各行のパッキングデータを格納する。このようにすることで、１マクロブロックを転送する際にロウアドレスを変更する回数を、４回にすることができる。

図２４は、図１の参照画像記憶部４４におけるパッキングデータを示す説明図である。フレーム垂直スキャン書き込み部４２は、パッキングデータを一時データ記憶部２から読み出して、図２４のように参照画像記憶部４４に書き込む。すなわち、一時データ記憶部２で同一のロウに格納されていたパッキングデータを参照画像記憶部４４の同一の列に書き込むようにするので、水平軸と垂直軸とを入れ替えたことになり、元の画像を復元することができる。

１マクロブロックを参照画像として転送する場合について考える。前出の式（Ｃ１）を参照して計算すると、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝１６、“ＳＤＲＡＭのアドレス設定期間”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝４であるので、１マクロブロックの転送に（１６＋４）×４＝８０サイクル必要であり、パッキングデータ当りの転送サイクル数は１．２５（＝８０／６４）サイクルである。従来（パッキングデータ当り２サイクル）に比べると、転送効率が向上したことが参照画像の転送においても確認できる。

また、水平１７×垂直１７画素を参照画像として転送する場合についても考える。本実施形態の転送方法を用いない場合には、同一ロウアドレスへのアクセス数が５、ロウアドレス変更回数が１７であり、（５＋４）×１７＝１５３サイクル必要であった。これに対し、図２３と同様に転送を行うと、同一ロウアドレスへのアクセス数が１７、ロウアドレス変更回数が５であるので、（１７＋４）×５＝１０５サイクルで転送が完了する。このとき、パッキングデータ当りの転送サイクル数は、約１．２３サイクルである。

色差信号についても輝度信号と同様に転送処理が行われる。色差信号について、一時データ記憶部２に関する転送の転送サイクル数を式（Ｃ１）を参照して計算する。なお、一時データ記憶部２へ書き込む場合も、一時データ記憶部２から読み出す場合も、同じ転送サイクル数が必要である。

４：２：０形式の場合、各色差信号（青色差信号又は赤色差信号）は、マクロブロック当り水平８×垂直８画素を有しているので、水平方向に並んだ４画素をパッキングすると、水平２×垂直８個のパッキング結果が得られる。１マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのロウアドレス変更回数”＝２であるので、転送に（８＋４）×２＝２４サイクル必要である。また、両色差信号を転送するには４８サイクル必要となる。したがって、パッキングデータ当りの転送サイクル数は１．５（＝４８／（２×８×２））サイクルである。

本実施形態の転送方法を用いない場合には、１マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝２、“ＳＤＲＡＭのロウアドレス変更回数”＝８であるので、転送に（２＋４）×８＝４８サイクル必要である。すなわち、パッキングデータ当り３サイクル必要であるので、本実施形態によると、転送効率が向上したことがわかる。

４：２：２形式の場合、各色差信号は、マクロブロック当り水平８×垂直１６画素を有しているので、水平方向に並んだ４画素をパッキングすると、水平２×垂直１６個のパッキング結果が得られる。１マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝１６、“ＳＤＲＡＭのロウアドレス変更回数”＝２であるので、転送に（１６＋４）×２＝４０サイクル必要である。また、両色差信号を転送するには８０サイクル必要となる。したがって、パッキングデータ当りの転送サイクル数は１．２５（＝８０／（２×１６×２））サイクルである。

本実施形態の転送方法を用いない場合には、１マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝２、“ＳＤＲＡＭのロウアドレス変更回数”＝１６であるので、転送に（２＋４）×１６＝９６サイクル必要である。すなわち、パッキングデータ当り３サイクル必要であるので、本実施形態によると、転送効率が向上したことがわかる。

色差信号が４：４：４形式の場合は、輝度信号と同様に計算することができるので、説明を省略する。

マクロブロックが水平方向４×垂直方向１６個のパッキングデータを有している場合について説明したが、マクロブロックが有するパッキングデータの数はこれには限らない。例えば、マクロブロックが水平方向ＤＸ×垂直方向ＤＹ個（ＤＸ，ＤＹは自然数）のパッキングデータを有している場合に、ＤＸ＞＝ＤＹであればマクロブロックを水平方向にスキャンしてパッキングデータをＤＸ個ずつ一時データ記憶部２の連続するアドレスにバースト書き込みし、ＤＸ＜ＤＹであればマクロブロックを垂直方向にスキャンしてパッキングデータをＤＹ個ずつ一時データ記憶部２の連続するアドレスにバースト書き込みするようにしてもよい。

これによると、パッキングデータの並び方に応じてスキャン方向を切り替えるので、パッキングデータが占める画像上の形や画像の縦横比等にかかわらず、データ転送を高速化することができる。

（第２の実施形態）
図２５は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、フィールド構造の画像の転送効率を向上させるものである。

図２５の画像処理装置２００は、図１の画像処理装置１００において、再構成画像生成部３０及び動き探索／補償部４０に代えて再構成画像生成部２３０及び動き探索／補償部２４０をそれぞれ備えたものである。再構成画像生成部２３０は、フィールド垂直スキャン読み出し部３３と、再構成画像記憶部３４とを有している。動き探索／補償部２４０は、フィールド垂直スキャン書き込み部４３と、参照画像記憶部４４とを有している。

図２６は、図１３の画素データをフィールド毎に分けて示した説明図である。図２７は、図２５のフィールド垂直スキャン読み出し部３３による図２６のデータの転送順を示す説明図である。フィールド垂直スキャン読み出し部３３は、図１３の画像の奇数番目のライン（トップ（ＴＯＰ）フィールド）に属するパッキングデータと、偶数番目のライン（ボトム（ＢＯＴＴＯＭ）フィールド）に属するパッキングデータとを独立して読み出し、一時データ記憶部２に書き込む。

具体的には、フィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、まず図２７のトップフィールド画像のうち、最も左の列のデータをパッキングデータＰ０，Ｐ８，Ｐ１６，…，Ｐ５６の順で一時データ記憶部２に転送する。次にフィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、図２７のトップフィールド画像のうち、左から２列目のデータをパッキングデータＰ１，Ｐ９，Ｐ１７，…，Ｐ５７の順で一時データ記憶部２に転送する。

次にフィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、図２７のトップフィールド画像のうち、左から３列目のデータをパッキングデータＰ２，Ｐ１０，Ｐ１８，…，Ｐ５８の順で一時データ記憶部２に転送する。次にフィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、図２７のトップフィールド画像のうち、最も右の列のデータをパッキングデータＰ３，Ｐ１１，Ｐ１９，…，Ｐ５９の順で一時データ記憶部２に転送する。以上により、１マクロブロックのトップフィールドの転送が終了する。

その後、フィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、図２７のボトムフィールド画像のうち、最も左の列のデータをパッキングデータＰ４，Ｐ１２，Ｐ２０，…，Ｐ６０の順で一時データ記憶部２に転送する。以下同様に、フィールド垂直スキャン読み出し部３３は、再構成画像記憶部３４から、図２７のボトムフィールド画像をパッキングデータＰ５，Ｐ１３，Ｐ２１，…，Ｐ６１，Ｐ６，Ｐ１４，Ｐ２２，…，Ｐ６２，Ｐ７，Ｐ１５，Ｐ２３，…，Ｐ６３の順で一時データ記憶部２に転送する。以上により、１マクロブロックのボトムフィールドの転送が終了し、１マクロブロックの転送が完了する。

図２８は、図２５の一時データ記憶部２に格納されたデータのマッピングの例を示す説明図である。フィールド垂直スキャン読み出し部３３は、トップフィールドに属するパッキングデータと、ボトムフィールドに属するパッキングデータとを、一時データ記憶部２の異なる領域にバースト書き込みする。

具体的には、フィールド垂直スキャン読み出し部３３は、図２７のトップフィールドの左端の列のパッキングデータＰ０，Ｐ８，Ｐ１６，…，Ｐ５６を、一時データ記憶部２のアドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｔ），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｔ），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｔ），…，ＳＤ（ＡＤＸ_Ｒ＋７，ＡＤＹ_Ｔ）のそれぞれに、ロウアドレスを変更せずにバースト書き込みする。その後、フィールド垂直スキャン読み出し部３３は、ロウアドレスをＡＤＹ_ＴからＡＤＹ_Ｔ＋１に変更し、トップフィールドの左から２番目の列のパッキングデータＰ１，Ｐ９，Ｐ１７，…，Ｐ５７を、アドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｔ＋１），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｔ＋１），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｔ＋１），…，ＳＤ（ＡＤＸ_Ｒ＋７，ＡＤＹ_Ｔ＋１）のそれぞれに、ロウアドレスを変更せずにバースト書き込みする。

同様に、フィールド垂直スキャン読み出し部３３は、ロウアドレスをＡＤＹ_Ｔ＋２に変更してトップフィールドの左から３番目の列のデータを同一のロウに書き込み、ロウアドレスをＡＤＹ_Ｔ＋３に変更してトップフィールドの右端列のデータを同一のロウに書き込む。

これに続いて、フィールド垂直スキャン読み出し部３３は、図２７のボトムフィールドの左端の列のパッキングデータＰ４，Ｐ１２，Ｐ２０，…，Ｐ６０を、一時データ記憶部２のアドレスＳＤ（ＡＤＸ_Ｒ，ＡＤＹ_Ｂ），ＳＤ（ＡＤＸ_Ｒ＋１，ＡＤＹ_Ｂ），ＳＤ（ＡＤＸ_Ｒ＋２，ＡＤＹ_Ｂ），…，ＳＤ（ＡＤＸ_Ｒ＋７，ＡＤＹ_Ｂ）のそれぞれに、ロウアドレスを変更せずにバースト書き込みする。

同様に、フィールド垂直スキャン読み出し部３３は、ロウアドレスをＡＤＹ_Ｂ＋１に変更してボトムフィールドの左から２番目の列のデータを同一のロウに書き込み、ロウアドレスをＡＤＹ_Ｂ＋２に変更してボトムフィールドの左から３番目の列のデータを同一のロウに書き込み、ロウアドレスをＡＤＹ_Ｂ＋３に変更してボトムフィールドの右端列のデータを同一のロウに書き込む。このようにすることで、フィールド構造の画像においても、データ転送の際にロウアドレスを変更する回数を削減することができる。

以上のようにして図２８のようにパッキングデータを格納することを、フィールドマッピングでの格納と称する。

一時データ記憶部２へ再構成画像を転送する場合には、１マクロブロック毎に、各フィールドについて、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのアドレス設定期間”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝４である。式（Ｃ１）を参照して計算すると、１マクロブロックの一方のフィールドの転送に（８＋４）×４＝４８サイクル必要であり、パッキングデータ当りの転送サイクル数は１．５（＝４８×２／６４）サイクルである。従来（パッキングデータ当り２（＝（４＋４）×８×２／６４）サイクル）に比べると、転送効率が向上したことがわかる。

図２９は、図２５の一時データ記憶部２において各マクロブロックが格納される位置を、輝度信号及び色差信号について示す説明図である。一時データ記憶部２は、図２９のように再構成画像Ｒ０〜Ｒ１５のトップフィールド用の信号とボトムフィールド用の信号とを異なる領域に格納する。

図２１の場合と同様に、一時データ記憶部２上においても画素データ間の位置関係が損なわれないので、再構成画像の必要なフィールドの必要な部分のみを切り出して参照画像として転送することが容易にできる。

フィールド垂直スキャン書き込み部４３は、一時データ記憶部２から、トップフィールドのパッキングデータとボトムフィールドのパッキングデータとを独立してバースト読み出しする点の他は、図２３の場合とほぼ同様に参照画像の転送（読み出し）を行う。すなわち、フィールド毎に４（水平１７×垂直１７画素を参照画像とする場合は５）個のロウアドレスからの読み出しを行い、同一のロウアドレスからは８（水平１７×垂直１７画素を参照画像とする場合は９）個のカラムアドレスのパッキングデータを読み出す。

１マクロブロックを参照画像として転送する場合について考える。フィールド毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのアドレス設定期間”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝４であるので、一時データ記憶部２への転送の場合と同様に、１マクロブロックの１フィールドの転送に４８サイクル必要であり、パッキングデータ当りの転送サイクル数は１．５サイクルである。従来（パッキングデータ当り２サイクル）に比べると、転送効率が向上したことが参照画像の転送においても確認できる。

水平１７×垂直１７画素を参照画像として転送する場合について考える。本実施形態の転送方法を用いない場合には、フィールド毎に、同一ロウアドレスへのアクセス数が５、ロウアドレス変更回数が９であり、式（Ｃ１）を参照すると、（５＋４）×９＝８１サイクル必要であった。これに対し、本実施形態によると、同一ロウアドレスへのアクセス数が９、ロウアドレス変更回数が５であるので、（９＋４）×５＝６５サイクルで転送が完了する。このとき、パッキングデータ当りの転送サイクル数は、約１．４４サイクルである。

色差信号についても輝度信号と同様に転送処理が行われる。色差信号について、一時データ記憶部２に関する転送の転送サイクル数を式（Ｃ１）を参照して計算する。なお、一時データ記憶部２へ書き込む場合も、一時データ記憶部２から読み出す場合も、同じ転送サイクル数が必要である。

４：２：０形式の場合、各色差信号（青色差信号又は赤色差信号）は、１マクロブロック当り水平８×垂直８画素を有しているので、水平方向に並んだ４画素をパッキングすると、フィールド毎に水平２×垂直４個のパッキング結果が得られる。１マクロブロックのフィールド毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝２であるので、転送に（４＋４）×２＝１６サイクル必要である。また、両フィールドの両色差信号を転送するには６４サイクル必要となる。したがって、パッキングデータ当りの転送サイクル数は２（＝６４／（２×４×２×２））サイクルである。

本実施形態の転送方法を用いない場合には、１マクロブロックのフィールド毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝２、“ＳＤＲＡＭのロウアドレス変更回数”＝４であるので、転送に（２＋４）×４＝２４サイクル必要である。すなわち、パッキングデータ当り３サイクル必要であるので、本実施形態によると、転送効率が向上したことがわかる。

４：２：２形式の場合、各色差信号は、マクロブロック当り水平８×垂直１６画素を有しているので、水平方向に並んだ４画素をパッキングすると、フィールド毎に水平２×垂直８個のパッキング結果が得られる。１マクロブロックのフィールド毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのロウアドレス変更回数”＝２であるので、転送に（８＋４）×２＝２４サイクル必要である。また、両フィールドの両色差信号を転送するには９６サイクル必要となる。したがって、パッキングデータ当りの転送サイクル数は１．５（＝９６／（２×８×２×２））サイクルである。

本実施形態の転送方法を用いない場合には、１マクロブロックのフィールド毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝２、“ＳＤＲＡＭのロウアドレス変更回数”＝８であるので、転送に（２＋４）×８＝４８サイクル必要である。すなわち、パッキングデータ当り３サイクル必要であるので、本実施形態によると、転送効率が向上したことがわかる。

色差信号が４：４：４形式の場合は、輝度信号と同様に計算することができるので、説明を省略する。

一時データ記憶部２において、図２８のように、トップフィールドのデータが格納されるカラムアドレスの範囲ＡＤＸ_Ｒ〜ＡＤＸ_Ｒ＋７と、ボトムフィールドのデータが格納されるカラムアドレスの範囲とが同じ場合について説明したが、それぞれのフィールドのデータが格納されるカラムアドレスの範囲は異なっていてもよい。

図３０は、図２５の一時データ記憶部２に格納されたデータのマッピングの他の例を示す説明図である。図３０はフィールドマッピングの他の例であって、このように、トップフィールドのラインに属するパッキングデータとボトムフィールドのラインに属するパッキングデータとを、ロウアドレスを同一にして書き込むようにしてもよい。

例えばトップフィールドのデータとボトムフィールドのデータとを交互に転送するようにする。すなわち、図２６のパッキングデータを転送する際に、まずパッキングデータＰ０，Ｐ８，Ｐ１６，…，Ｐ５６の順でトップフィールドの最左列を転送する。その後、パッキングデータＰ４，Ｐ１２，Ｐ２０，…，Ｐ６０の順でボトムフィールドの最左列を転送する。このとき、これらのパッキングデータを図３０のように同じロウアドレスＡＤＹ_Ｒに格納する。

続いて、パッキングデータＰ１，Ｐ９，Ｐ１７，…，Ｐ５７の順でトップフィールドの２列目を転送し、その後、パッキングデータＰ５，Ｐ１３，Ｐ２１，…，Ｐ６１の順でボトムフィールドの２列目を転送する。これらのパッキングデータは図３０のロウアドレスＡＤＹ_Ｒ＋１に格納する。

更に、パッキングデータＰ２，Ｐ１０，Ｐ１８，…，Ｐ５８の順でトップフィールドの３列目を転送し、その後、パッキングデータＰ６，Ｐ１４，Ｐ２２，…，Ｐ６２の順でボトムフィールドの３列目を転送する。これらのパッキングデータは図３０のロウアドレスＡＤＹ_Ｒ＋２に格納する。

最後に、パッキングデータＰ３，Ｐ１１，Ｐ１９，…，Ｐ５９の順でトップフィールドの最右列を転送し、その後、パッキングデータＰ７，Ｐ１５，Ｐ２３，…，Ｐ６３の順でボトムフィールドの最右列を転送し、１マクロブロック分の転送を完了する。これらのパッキングデータは図３０のロウアドレスＡＤＹ_Ｒ＋３に格納する。

図３０のようなマッピングで格納すると、トップフィールド及びボトムフィールドの再構成画像の同列の画素を同じロウアドレスに格納するので、トップフィールドとボトムフィールドとを合わせて、ロウアドレスをマクロブロック当り４回変更するだけで済む。ロウアドレスをフィールド毎に４回変更する必要がなくなるので、データ転送を高速化することができる。

（第３の実施形態）
本実施形態では、色差信号の格納の例について説明する。まず、図１の画像処理装置がフレーム構造の画像を処理する場合について説明する。

図３１は、フレーム構造の画像における１マクロブロックの青色差信号及び赤色差信号（４：２：０形式）のパッキングデータを画面上の位置に対応させて示す説明図である。図３１では、輝度信号と同様に、各色差信号（それぞれ水平８×垂直８画素）を水平方向に４画素ずつパッキングしている。

図３２は、図１の一時データ記憶部２における色差信号のマッピングの例を示す説明図である。この図は、第１の実施形態のように青色差信号と赤色差信号とを異なる領域に格納する場合について示している。この場合、図１のフレーム垂直スキャン読み出し部３２は、図３１の青色差信号をＰ０→Ｐ２→…→Ｐ１４→Ｐ１→Ｐ３→…→Ｐ１５の順で、その後、赤色差信号をＰ０→Ｐ２→…→Ｐ１４→Ｐ１→Ｐ３→…→Ｐ１５の順で一時データ記憶部２に図３２のように書き込む。このとき、青色差信号Ｐ０，Ｐ２，…，Ｐ１４が同一のロウアドレスに書き込まれ、赤色差信号Ｐ０，Ｐ２，…，Ｐ１４がこれとは異なる同一のロウアドレスに書き込まれる。

図３３は、図１の一時データ記憶部２における色差信号のマッピングの他の例を示す説明図である。画像形式が４：４：４形式、４：２：２形式、又は４：２：０形式のいずれであっても、青色差信号と赤色差信号の情報量は同じである。また、両色差信号の同位置のデータ（例えば、図３１における青色差信号Ｐ０と赤色差信号Ｐ０）は、同じ画素を表示するために使用されるので、同じタイミングで読み出されるべきである。

そこで、図１のフレーム垂直スキャン読み出し部３２は、図３１の青色差信号Ｐ０→赤色差信号Ｐ０→青色差信号Ｐ２→赤色差信号Ｐ２→…→青色差信号Ｐ１４→赤色差信号Ｐ１４の順で一時データ記憶部２に図３３のように書き込む。このとき、青色差信号Ｐ０，Ｐ２，…，Ｐ１４及び赤色差信号Ｐ０，Ｐ２，…，Ｐ１４が同一のロウアドレスに書き込まれる。すなわち、図３１の青色差信号のパッキングデータの１列と赤色差信号のパッキングデータの１列とを同一のロウアドレスに格納して、両色差信号を同一の領域に格納する。

図３２の場合には、１マクロブロック当りロウアドレスを４回指定して色差信号を転送する必要がある。式（Ｃ１）を用いて両色差信号の転送に必要な転送サイクル数を計算すると、マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのアドレス設定期間”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝４であるので、転送に（８＋４）×４＝４８サイクル必要であり、パッキングデータ当りの転送サイクル数は１．５（＝４８／（２×８×２））サイクルである。

図３３の場合には、１マクロブロック当りロウアドレスを２回指定すればよい。マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝１６、“ＳＤＲＡＭのロウアドレス変更回数”＝２であるので、両色差信号の転送に必要な転送サイクル数は、（１６＋４）×２＝４０サイクルである。パッキングデータ当りの転送サイクル数は１．２５（＝４０／（２×８×２））サイクルとなり、転送効率が向上する。

次に、図２５の画像処理装置がフィールド構造の画像を処理する場合について説明する。図３４は、フィールド構造の画像における１マクロブロックの青色差信号及び赤色差信号（４：２：０形式）のパッキングデータを画面上の位置に対応させて示す説明図である。図３４では、輝度信号と同様に、各色差信号（それぞれ水平８×垂直８画素）を水平方向に４画素ずつパッキングしている。

図３５は、図２５の一時データ記憶部２における色差信号のマッピングの例を示す説明図である。この図は、第２の実施形態のように青色差信号と赤色差信号とを異なる領域に格納する場合について示している。この場合、図１のフィールド垂直スキャン読み出し部３３は、図３４のトップフィールドの青色差信号をＰ０→Ｐ４→…→Ｐ１２→Ｐ１→Ｐ５→…→Ｐ１３の順で、ボトムフィールドの青色差信号をＰ２→Ｐ６→…→Ｐ１４→Ｐ３→Ｐ７→…→Ｐ１５の順で、その後、トップフィールドの赤色差信号をＰ０→Ｐ４→…→Ｐ１２→Ｐ１→Ｐ５→…→Ｐ１３の順で、ボトムフィールドの赤色差信号をＰ２→Ｐ６→…→Ｐ１４→Ｐ３→Ｐ７→…→Ｐ１５の順で一時データ記憶部２に図３５のように書き込む。このとき、青色差信号Ｐ０，Ｐ４，…，Ｐ１２が同一のロウアドレスに書き込まれ、赤色差信号Ｐ０，Ｐ４，…，Ｐ１２がこれとは異なる同一のロウアドレスに書き込まれる。

図３６は、図２５の一時データ記憶部２における色差信号のマッピングの他の例を示す説明図である。フィールド構造の画像においても、両色差信号の同位置のデータ（例えば、図３４における青色差信号Ｐ０と赤色差信号Ｐ０）は、同じ画素を表示するのに使用されるので、同じタイミングで読み出されるべきである。

そこで、図２５のフィールド垂直スキャン読み出し部３３は、図３４の青色差信号Ｐ０→赤色差信号Ｐ０→青色差信号Ｐ４→赤色差信号Ｐ４→…→青色差信号Ｐ１２→赤色差信号Ｐ１２の順で一時データ記憶部２に図３６のように書き込む。このとき、青色差信号Ｐ０，Ｐ４，…，Ｐ１２及び赤色差信号Ｐ０，Ｐ４，…，Ｐ１２が同一のロウアドレスに書き込まれる。すなわち、図３４の青色差信号のパッキングデータの１列と赤色差信号のパッキングデータの１列とを同一のロウアドレスに格納して、両色差信号を同一の領域に格納する。

図３５の場合には、１マクロブロック当りロウアドレスを８回指定して色差信号を転送する必要がある。式（Ｃ１）を用いて両色差信号の転送に必要な転送サイクル数を計算すると、マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝４、“ＳＤＲＡＭのアドレス設定期間”＝４、“ＳＤＲＡＭのロウアドレス変更回数”＝８であるので、転送に（４＋４）×８＝６４サイクル必要であり、パッキングデータ当りの転送サイクル数は２（＝６４／（２×８×２））サイクルである。

図３６の場合には、１マクロブロック当りロウアドレスを４回指定すればよい。マクロブロック毎に、“ＳＤＲＡＭの同一ロウアドレスへのアクセス数”＝８、“ＳＤＲＡＭのロウアドレス変更回数”＝４であるので、両色差信号の転送に必要な転送サイクル数は、（８＋４）×４＝４８サイクルである。パッキングデータ当りの転送サイクル数は１．５（＝４８／（２×８×２））サイクルとなり、転送効率が向上する。

４：２：０形式の画像の場合について説明したが、４：２：２形式又は４：４：４形式の画像の場合にも図３３及び図３６と同様に色差信号を格納することができる。

図３７は、図１の一時データ記憶部２における輝度信号及び色差信号のマッピングの例を示す説明図である。画像形式が４：４：４形式の場合には、輝度信号、青色差信号、及び赤色差信号の情報量が全て同じになるので、図１のフレーム垂直スキャン読み出し部３２は、図３７のように１画素分毎に、輝度信号、青色差信号、及び赤色差信号を順に一時データ記憶部２の同一のロウアドレスに格納させるようにしてもよい。

図３８は、図２５の一時データ記憶部２における輝度信号及び色差信号のマッピングの例を示す説明図である。画像形式が４：４：４形式の場合には、図２５のフィールド垂直スキャン読み出し部３３は、図３８のように１画素分毎に、輝度信号、青色差信号、及び赤色差信号を順に一時データ記憶部２の同一のロウアドレスに格納させるようにしてもよい。

図３７及び図３８によると、データ転送の際にＳＤＲＡＭのロウアドレスを変更する回数を減らすことができるので、転送効率を向上させることができる。

また、処理すべき画像の形式に応じて適応的に一時データ記憶部２へのデータの格納方法を切り替えるようにしてもよい。すなわち、画像形式が４：２：０形式又は４：２：２形式のときには、図３３又は図３６のような色差信号のみを交互にマッピングする方法を採用し、画像形式が４：４：４形式のときには、図３７又は図３８のような輝度信号も含めて交互にマッピングする方法を採用するようにしてもよい。

また、図３５，図３６，図３８のそれぞれにおいて、図３０のように、トップフィールドの画素のデータ（輝度信号及び色差信号）とボトムフィールドの画素のデータとを同じロウアドレスに格納するようにしてもよい。

また、符号化時において、輝度信号についてはフレームマッピングでの格納を行い、両色差信号についてはフレームマッピング、フィールドマッピング、又はフレームマッピング及びフィールドマッピングの双方、のいずれか１つを選択して格納を行うようにしてもよい。

（第４の実施形態）
図３９は、本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。図３９の画像処理装置３００は、図１の画像処理装置において、再構成画像生成部３０及び動き探索／補償部４０に代えて、再構成画像生成部３３０及び動き探索／補償部３４０をそれぞれ備えるようにしたものである。

再構成画像生成部３３０は、図１の再構成画像生成部３０がフィールド垂直スキャン読み出し部３３を更に備えたものであり、動き探索／補償部３４０は、図１の動き探索／補償部４０がフィールド垂直スキャン書き込み部４３を更に備えたものである。また、一時データ記憶部２に代えてデータを一時データ記憶部２Ａ，２Ｂを用いる。ここでは例として、一時データ記憶部２Ａ，２Ｂは、ＳＤＲＡＭであるとする。

第１の実施形態とほぼ同様に、フレーム垂直スキャン読み出し部３２は、図１４のように画像を垂直方向にスキャンして、輝度信号のパッキングデータをマクロブロック単位でスキャン順に再構成画像記憶部３４から一時データ記憶部２Ａに転送し、フレームマッピングで格納させる。フレーム垂直スキャン読み出し部３２は、同様に画像を垂直方向にスキャンして、色差信号のパッキングデータをマクロブロック単位でスキャン順に再構成画像記憶部３４から一時データ記憶部２Ａに転送し、フレームマッピングで格納させる。

第２の実施形態とほぼ同様に、フィールド垂直スキャン読み出し部３３は、図２７のように画像を垂直方向にスキャンして、輝度信号のパッキングデータをマクロブロック単位でスキャン順に再構成画像記憶部３４から一時データ記憶部２Ｂに転送し、フィールドマッピングで格納させる。フィールド垂直スキャン読み出し部３３は、同様に画像を垂直方向にスキャンして、色差信号のパッキングデータをマクロブロック単位でスキャン順に再構成画像記憶部３４から一時データ記憶部２Ｂに転送し、フィールドマッピングで格納させる。

また、動き探索／補償部３４０は、一時データ記憶部２Ａ，２Ｂから、参照画像の読み出しをマクロブロック単位で行う。この動き探索／補償部３４０は、マクロブロック単位でフレーム探索／補償とフィールド探索／補償とを切り替え可能である。

すなわち、フレーム探索／補償時には、フレーム垂直スキャン書き込み部４２が、フレームマッピングにてデータが格納されている一時データ記憶部２Ａからデータを読み出し、参照画像記憶部４４に格納させる。フィールド探索／補償時には、フィールド垂直スキャン書き込み部４３が、フィールドマッピングにてデータが格納されている一時データ記憶部２Ｂからデータを読み出し、参照画像記憶部４４に格納させる。

このように一時データ記憶部２Ａと一時データ記憶部２Ｂとを用いて、画像をフレームマッピング及びフィールドマッピングの双方で格納しておくので、フレーム処理又はフィールド処理のいずれを行うかに応じて参照画像の転送を高効率に行うことができる。また、一時データ記憶部２Ａ及び一時データ記憶部２Ｂに並列して書き込みを行うことができるので、再構成画像の書き込みを高速に行うことができる。

参照画像は、一時データ記憶部２Ａ又は一時データ記憶部２Ｂのどちらか一方から読み出される。このため、一時データ記憶部２Ａ，２Ｂのうち、読み出しに使用されない方にはクロックの供給を停止するようにしてもよい。これにより、消費電力を削減することができる。

図４０は、図３９の画像処理装置と高速動作可能な一時データ記憶部２Ｃとを示すブロック図である。このように、図３９の画像処理装置が一時データ記憶部２Ｃを用いるようにしてもよい。一時データ記憶部２Ｃは、例えばＳＤＲＡＭであり、図３９の一時データ記憶部２Ａ又は２Ｂの２倍の速度でデータ転送が可能であるとする。

図４０において、フレーム垂直スキャン読み出し部３２及びフィールド垂直スキャン読み出し部３３は、一時データ記憶部２Ａ及び２Ｂではなく、一時データ記憶部２Ｃの異なる領域にデータを転送し、格納させる。また、フレーム垂直スキャン書き込み部４２又はフィールド垂直スキャン書き込み部４３は、一時データ記憶部２Ｃからデータを読み出し、参照画像記憶部４４に格納させる。このように、一時データ記憶部２Ｃを１つのみ持つようにしてもよい。

図４１は、図３９の画像処理装置の変形例の構成を示すブロック図である。図４１の画像処理装置３００Ｂは、図３９の画像処理装置において、再構成画像生成部３３０に代えて図１の再構成画像生成部３０を備え、フレーム／フィールド変換部４を更に備えるものである。

フレーム垂直スキャン読み出し部３２は、第１の実施形態とほぼ同様に、輝度信号及び色差信号のパッキングデータを再構成画像記憶部３４から一時データ記憶部２Ｃに転送し、フレームマッピングで格納させる。その後、フレーム／フィールド変換部４が、一時データ記憶部２Ｃに格納されているフレームマッピングの再構成画像を読み出し、読み出されたデータを、一時データ記憶部２Ｃのフレームマッピング用の領域とは異なる領域にフィールドマッピングで格納させる。

このように、図４１の画像処理装置によってもフレームマッピング及びフィールドマッピングの双方で再構成画像を格納することができる。

図４２は、図３９の画像処理装置の他の変形例の構成を示すブロック図である。図４２の画像処理装置３００Ｃは、図３９の画像処理装置において、再構成画像生成部３３０に代えて図２５の再構成画像生成部２３０を備え、フィールド／フレーム変換部５を更に備えるものである。

フィールド垂直スキャン読み出し部３３は、第２の実施形態とほぼ同様に、輝度信号及び色差信号のパッキングデータを再構成画像記憶部３４から一時データ記憶部２Ｃに転送し、フィールドマッピングで格納させる。その後、フィールド／フレーム変換部５が、一時データ記憶部２Ｃに格納されているフィールドマッピングの再構成画像を読み出し、読み出されたデータを、一時データ記憶部２Ｃのフィールドマッピング用の領域とは異なる領域にフレームマッピングで格納させる。

このように、図４２の画像処理装置によってもフレームマッピング及びフィールドマッピングの双方で再構成画像を格納することができる。

図４１及び図４２の画像処理装置によると、再構成画像生成部３０，２３０から転送される再構成画像データは減るものの、一時データ記憶部２Ｃが動作する期間は延びるというトレードオフの関係がある。

図４０〜図４２の一時データ記憶部２Ｃには、基本的には、フレームマッピング用及びフィールドマッピング用の両方のデータ領域を確保する必要がある。しかし、一時データ記憶部２Ｃには、フレームマッピング又はフィールドマッピングの一方のみによる再構成画像データを格納させるようにしてもよい。また、条件に応じて、フレームマッピングのみ、フィールドマッピングのみ、又はフレームマッピング及びフィールドマッピングの両方（以下では、マッピング３方法と称する）による再構成画像データを適応的に一時データ記憶部２Ｃに格納させるようにしてもよい。

処理すべき画像のサイズがＣＩＦ（水平３８４×垂直２８８画素）である場合には、両マッピングを使用して処理させることは容易であるが、処理すべき画像のサイズがＨＤ（水平１９２０×垂直１０８０画素）である場合には、両マッピングを使用して処理させるためには一時データ記憶部２Ｃ上にＨＤサイズの領域を２面（フレームマッピング用及びフィールドマッピング用）確保する必要があるので、大容量のＳＤＲＡＭが必要となり、コストが高くなる。そこで、例えばＨＤ画像の処理時には、フレームマッピング又はフィールドマッピングのいずれか一方の再構成画像データを用いて処理するようにする。すなわち、処理対象の画像のサイズに応じてマッピング３方法のいずれかによる再構成画像データを用いるようにする。これにより、一時データ記憶部２Ｃをどのように構成しても、その構成に応じた最高性能を発揮させることができる。

また、復号時においては、可変長符号化復号化部１８が復号されるコードのヘッダを解析し、そのヘッダ情報に含まれる画像サイズ情報に応じて一時データ記憶部２Ｃにおけるマッピング方法を選択するようにしてもよい。これにより、画像サイズに応じた領域を用いることができ、復号化処理を効率よく行うことができる。

また、一時データ記憶部２Ｃを他の処理部が兼用して使用するシステムを考えた場合、一時データ記憶部２Ｃに対するアクセス負荷によってマッピング方法を切り替えるようにしてもよい。例えば、他の処理部が頻繁に一時データ記憶部２Ｃを使用する場合には一時データ記憶部２Ｃへのアクセスを少なくするマッピング、すなわちフレームマッピング又はフィールドマッピングを使用し、他の処理部からのアクセスが少ない場合には両マッピングを使用するようにしてもよい。

このように一時データ記憶部２Ｃに対する負荷（バスのトラフィック）に応じてマッピング方法の切り替えを行うと、一時データ記憶部２Ｃは、どのような負荷が与えられても高い性能を発揮することができる。

図４３は、マルチコーデック処理の例を示すタイミングチャートである。図４０の画像処理装置が４つのクライアント、すなわち、クライアントＣＬＩ０，ＣＬＩ１，ＣＬＩ２，ＣＬＩ３からの要求を処理する場合について考える。各クライアントの要求は、
クライアントＣＬＩ０…ＳＤ（水平７２０×垂直４８０）サイズ画像の符号化処理
クライアントＣＬＩ１…ＱＶＧＡ（水平３２０×垂直２４０）サイズ画像の復号化処理
クライアントＣＬＩ２…ＣＩＦ（水平３８４×垂直２８８）サイズ画像の符号化処理
クライアントＣＬＩ３…ＨＤ（水平１９２０×垂直１０８０）サイズ画像の復号化処理
であるとする。

図４３の時刻ｔ０においては、どのクライアントからの要求もない。時刻ｔ１では、クライアントＣＬＩ０からＳＤサイズ画像の符号化処理要求が発生し、図４０の画像処理装置３００は、この符号化処理を開始する。時刻ｔ２では、クライアントＣＬＩ１からＱＶＧＡサイズ画像の復号化処理要求が発生し、画像処理装置３００は、時刻ｔ２以降はクライアントＣＬＩ０の符号化処理とクライアントＣＬＩ１の復号化処理とを、フレーム単位で切り替えて交互に時分割で処理する。

時刻ｔ３では、クライアントＣＬＩ２からのＣＩＦサイズ画像の符号化処理要求が発生し、画像処理装置３００は、クライアントＣＬＩ０の符号化処理と、クライアントＣＬＩ１の復号化処理と、クライアントＣＬＩ２の符号化処理とを、フレーム単位で切り替えて交互に処理する。その後、時刻ｔ４においてクライアントＣＬＩ０の符号化処理が終了し、時刻ｔ５においてクライアントＣＬＩ１の復号化処理が終了する。時刻ｔ５からクライアントＣＬＩ３のＨＤサイズ画像の復号化処理要求が発生する時刻ｔ６までの間は、画像処理装置３００は、クライアントＣＬＩ２の符号化処理のみを実行する。

時刻ｔ６からは、画像処理装置３００は、クライアントＣＬＩ２の符号化処理に加え、クライアントＣＬＩ３の復号化処理もフレーム単位で処理していく。時刻ｔ７においてクライアントＣＬＩ３の復号化処理が終了し、時刻ｔ８においてクライアントＣＬＩ２の符号化処理が終了し、全てのクライアントからの要求が終了する。なお、各クライアントの処理は、一時データ記憶部２Ｃ内の異なる領域を使用して処理するものとする。

時刻ｔ１におけるクライアントＣＬＩ０のＳＤサイズ画像の符号化処理を、フレームマッピング及びフィールドマッピングを使用して行っていた場合、その後の時刻ｔ２におけるクライアントＣＬＩ１のＱＶＧＡサイズ画像の復号化処理については、一時データ記憶部２Ｃ内の、クライアントＣＬＩ０の符号化処理で使用されていない領域を使用する必要がある。

画像処理装置３００は、クライアントＣＬＩ１から復号化処理要求を受けると、一時データ記憶部２Ｃ内の使用されていない領域の容量を求め、求められた容量に応じてマッピングを選択する。すなわち、両マッピングを使用するだけの領域が確保できれば、両マッピングを使用してクライアントＣＬＩ１の処理を開始すればよいし、もし確保できなければ、フレームマッピング又はフィールドマッピングの一方のみを使用して処理を開始すればよい。このように制御することで、クライアントからの要求開始時に、その新規クライアントに対し一時データ記憶部２Ｃ内の最適な領域を与えることが可能となる。

なお、新規クライアントから画像処理要求を受けたとき、又は処理終了時において、現在処理中のクライアントを含めて全てのクライアントについて、マッピング方法の再選択を行い、領域を再割り当てしてもよい。時刻ｔ３においては、クライアントＣＬＩ２からの処理要求が発生する。例えばこの時点において既に領域を確保して処理中のクライアントＣＬＩ０及びＣＬＩ１を含む３クライアントに対して、マッピング方法の再選択を行う。また、時刻ｔ４においてクライアントＣＬＩ０の処理が終了する。例えばこの時点で処理中のクライアントＣＬＩ１及びＣＬＩ２の２クライアントに対し、マッピング方法の再選択を行う。

このように、クライアント数が変更する度に全てのクライアントの処理に対するマッピング方法を決定するので、各処理に対するマッピング方法を常に最適となるようにすることができる。

また、各クライアントが処理要求時に希望するマッピング方法を指定できるようにし、その要求に沿ったマッピング領域を確保できない場合は、そのクライアントに対し通知するようにしてもよい。例えば、両マッピングを使用して処理することを希望したクライアントが処理要求を開始した際に、その処理に必要な両マッピングを使用するだけの領域を一時データ記憶部２Ｃに確保できれば、両マッピングを使用して処理すればよいし、領域を確保できなければ、その旨をクライアントに通知する。

その通知を受けたクライアントは、確保する領域を限定した処理（例えば、フレームマッピングのみを使用する処理）に変更して再度処理要求を出してもよいし、領域を譲り受けるために、現在実行中の他クライアントに対し破棄要求を出してもよい。クライアントは、必要な領域を確保できない場合には通知を受けるので、一時データ記憶部２Ｃの残容量を調べることなく、処理要求を行うことができる。

図４３のマルチコーデック処理における具体例を説明する。時刻ｔ５においてはクライアントＣＬＩ２以外の要求はないので、一時データ記憶部２Ｃ内にはクライアントＣＬＩ２の符号化処理で使用する両マッピング分の領域確保だけがなされている状態であるとする。その後の時刻ｔ６においてクライアントＣＬＩ３からの“両マッピングを使用した処理”を希望するＨＤサイズ画像の復号化処理要求が入力される。

この時、画像処理装置３００は、一時データ記憶部２Ｃ内にてクライアントＣＬＩ２が使用していない領域を調べ、その領域にて両マッピングを行えるだけの領域が確保できるか否かを確認する。画像処理装置３００は、確保できるのであれば、両マッピングを使用してクライアントＣＬＩ３の処理を開始し、確保できないのであれば、クライアントＣＬＩ３に対して確保できないことを通知する。

クライアントＣＬＩ３の処理をフレームマッピング又はフィールドマッピングを行って処理してもよい状況下であれば、クライアントＣＬＩ３は、再度“フレームマッピングを使用した処理”又は“フィールドマッピングを使用した処理”を指定して、復号要求を発生すればよい。

しかし、“両マッピングを使用した処理”が必要であるような状況下であれば、処理を開始することができない。この場合、クライアントＣＬＩ３は、処理自体を諦めるか、他クライアント（この場合、クライアントＣＬＩ２）に対し、領域を譲ってもらうべく要求を出す。もしクライアントＣＬＩ２がその要求に応じて領域を譲ると、画像処理装置３００は、その領域に対し両マッピング分の領域を確保できるか否かを判断し、確保できるのであれば両マッピングを使用して処理を開始し、確保できないのであれば、その旨をクライアントＣＬＩ３に対して通知する。これにより、処理に必要な領域の確保が容易になる。

このように、一時データ記憶部２Ｃ内の領域の割り当てをリアルタイムで監視し、常に最適な領域の割り当てを実現できるので、一時データ記憶部２Ｃについて高効率な転送を行うことができる。

図４４は、図３９の画像処理装置の更に他の変形例の構成を示すブロック図である。図４４の画像処理装置４００は、図３９の画像処理装置において、セレクタ２３，２４を更に備えるものである。

セレクタ２３は、外部から入力されたマッピングタイプ信号ＭＴに従って、フレーム垂直スキャン読み出し部３２又はフィールド垂直スキャン読み出し部３３を選択する。フレーム垂直スキャン読み出し部３２が選択された場合には、一時データ記憶部２Ｃには再構成画像がフレームマッピングで格納され、フィールド垂直スキャン読み出し部３３が選択された場合には、一時データ記憶部２Ｃには再構成画像がフィールドマッピングで格納される。

セレクタ２４は、マッピングタイプ信号ＭＴに従って、フレーム垂直スキャン書き込み部４２又はフィールド垂直スキャン書き込み部４３を選択する。一時データ記憶部２Ｃに格納された再構成画像は、フレーム垂直スキャン書き込み部４２及びフィールド垂直スキャン書き込み部４３のうち、選択されたものに転送される。

マッピングタイプ信号ＭＴはフレーム単位で切り替わるので、画像処理装置４００によると、プログレッシブ画像とインタレース画像とが混在した動画において、プログレッシブ画像にはフレームマッピング方式を、インタレース画像にはフィールドマッピング方式を採用するというように、適切なマッピングタイプを動的に選択可能である。したがって、画像の種類に応じて適切な領域を一時データ記憶部２Ｃに確保することができる。

このマッピングタイプ信号ＭＴは、符号化／復号化時においてはシステムのアプリケーションによって指定されるようにしてもよいし、また、復号化時においては復号化されるコードのヘッダを解析し、そのヘッダ情報に応じて適切に切り替えるようにしてもよい。

（第５の実施形態）
本実施形態は、第１の実施形態における一時データ記憶部２への再構成画像の格納方法を変形したものである。図１を参照して説明する。

図４５は、本発明の第５の実施形態において一時データ記憶部２に格納された再構成画像を示す説明図である。図４５は、図１７のようにマッピングされた領域が、更にカラム方向（処理対象画像の垂直方向）に２マクロブロック分拡張された領域を示している。ここでは、例として、処理対象画像のフレームサイズを図４のような水平６４×垂直６４画素（水平４×垂直４マクロブロック）、動き探索範囲を水平、垂直方向共に±１６画素とする。

ｎ（ｎ：自然数）フレーム目の再構成画像は、ｎ＋１フレーム目の処理において参照画像として使用される。その際、ｎ＋１フレーム目の再構成画像が生成され、生成された再構成画像が次のｎ＋２フレーム目の参照画像として使用される。ｎ＋１フレーム目を処理する際には、既に前フレーム（ｎフレーム）の再構成画像（Ｒ０ｎ０，Ｒ１ｎ０，…，Ｒ１５ｎ０）が一時データ記憶部２に書き込まれている。

フレーム垂直スキャン書き込み部４２は、ｎ＋１フレーム目のマクロブロックＭ０（図４参照）の処理のために、参照画像として処理対象のマクロブロックＭ０に対応する再構成画像Ｒ０ｎ０とその周囲のマクロブロックに対応する再構成画像Ｒ１ｎ０，Ｒ４ｎ０，Ｒ５ｎ０を読み出して参照画像記憶部４４に書き込む。

同様に、フレーム垂直スキャン書き込み部４２は、マクロブロックＭ１を処理する際には、マクロブロックＭ１に対応する再構成画像Ｒ１ｎ０とその周囲のマクロブロックに対応する再構成画像Ｒ０ｎ０，Ｒ２ｎ０，Ｒ４ｎ０，Ｒ５ｎ０，Ｒ６ｎ０を読み出し、マクロブロックＭ５を処理する際には、マクロブロックＭ５に対応する再構成画像Ｒ５ｎ０とその周囲のマクロブロックに対応する再構成画像Ｒ０ｎ０，Ｒ１ｎ０，Ｒ２ｎ０，Ｒ４ｎ０，Ｒ６ｎ０，Ｒ８ｎ０，Ｒ９ｎ０，Ｒ１０ｎ０を読み出す。

ｎ＋１フレーム目のマクロブロックＭ０の処理の際には、再構成画像Ｒ０ｎ１が生成され、これをフレーム垂直スキャン読み出し部３２は一時データ記憶部２に書き込む。マクロブロックＭ１，Ｍ４，Ｍ５の処理の際にも再構成画像Ｒ０ｎ０が必要であるので、マクロブロックＭ５の処理が終わるまでは再構成画像Ｒ０ｎ０を保持し続ける必要がある。つまり、再構成画像Ｒ０ｎ１を図４５の再構成画像Ｒ０ｎ０の領域に格納することはできない。他のマクロブロックの処理をも考慮すると、ｎ＋１フレーム目の再構成画像を、再構成画像Ｒ０ｎ０〜Ｒ１５ｎ０の領域以外の領域に格納することが必要である。

そこで、再構成画像を格納する領域をカラム方向に２マクロブロック分拡張し、拡張領域にｎ＋１フレーム目の再構成画像Ｒ０ｎ１〜Ｒ７ｎ１を格納させる。マクロブロックＭ７の処理が終わると、図４５の左端の列の再構成画像Ｒ０ｎ０〜Ｒ３ｎ０は参照画像として読み出されることがなくなり、不要となるので、その領域にｎ＋１フレーム目の再構成画像Ｒ８ｎ１〜Ｒ１１ｎ１を格納させ、マクロブロックＭ１１の処理が終わると、図４５の左から２番目の列の再構成画像Ｒ４ｎ０〜Ｒ７ｎ０は不要となるので、その領域にｎ＋１フレーム目の再構成画像Ｒ１２ｎ１〜Ｒ１５ｎ１を格納させる。

同様に、再構成画像Ｒ８ｎ０〜Ｒ１５ｎ０の領域にｎ＋２フレーム目の再構成画像Ｒ０ｎ２〜Ｒ７ｎ２を格納させ、再構成画像Ｒ０ｎ１〜Ｒ７ｎ１の領域にｎ＋２フレーム目の再構成画像Ｒ８ｎ２〜Ｒ１５ｎ２を格納させる。その後も同様に、１フレーム分の再構成画像が格納できる領域に拡張領域を加えた領域を、リングバッファとして用いて、再構成画像を格納させる。

このように、１画面分の再構成画像領域の他に、図４の符号化処理の対象とする画像におけるマクロブロック２行分に対応する再構成画像を格納させる拡張領域を確保すればよく、２画面分の再構成画像を格納させる領域を確保する必要がない。このため、符号化／復号化装置の回路規模を抑えることができる。

拡張領域は、動き探索／補償範囲に応じて確保する必要がある。一般化すると、一時データ記憶部２にフレームマッピングでデータを格納する場合には、拡張領域は、符号化処理の対象とする２次元画像のマクロブロックの行のうち、処理対象のマクロブロック及びこれよりも上方の動き探索又は動き補償に用いられるマクロブロックが属する行を格納可能な容量を有すればよい。

また、一時データ記憶部２にフィールドマッピングでデータを格納する場合には、各フィールドのデータを格納する領域毎に拡張領域を確保するようにする。この場合、各拡張領域は、フレームマッピングでデータを格納する場合の拡張領域の半分の容量を有すればよい。

（第６の実施形態）
図４６は、本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。図４６の画像処理装置５００は、図１の画像処理装置において、再構成画像生成部３０及び動き探索／補償部４０に代えて、再構成画像生成部５３０及び動き探索／補償部５４０をそれぞれ備えるようにしたものである。

再構成画像生成部５３０は、フレーム垂直スキャン読み出し部５３２と、再構成画像記憶部３４とを有している。動き探索／補償部５４０は、フレーム垂直スキャン書き込み部５４２と、参照画像記憶部４４とを有している。フレーム垂直スキャン読み出し部５３２及びフレーム垂直スキャン書き込み部５４２は、以下に説明する点の他は、図１のフレーム垂直スキャン読み出し部３２及びフレーム垂直スキャン書き込み部４２とそれぞれ同様である。

本実施形態では、複数の装置（クライアント）が一時データ記憶部２を共用する場合について説明する。メモリ調停部８は、各クライアントによる一時データ記憶部２へのアクセスを調停する。

図４７は、調停が行われる場合におけるデータ転送の一例について示すタイミングチャートである。ここでは、図１３の行毎に一時データ記憶部２への書き込みが行われる場合、すなわち、パッキングデータＰ０〜Ｐ３をバースト転送し、その後パッキングデータＰ４〜Ｐ７，Ｐ８〜Ｐ１１，…を順にバースト転送する場合について示している。簡単のため、他のクライアントからは転送要求が出力されていないとする。

まず、メモリ調停部８とクライアントとの間でハンドシェイクが行われる（期間ＨＳ）。図４７のように、クライアントは、転送要求信号TRANS_REQ、行おうとしている転送が「書き込み」又は「読み出し」のいずれに関する転送であるかを示す信号TRANS_WR、その転送のデータ量(パッキングデータを単位とする)を示す信号TRANS_SIZE、及び、転送されるデータが書き込まれるメモリ空間内の位置、又は転送されるデータが読み出されるメモリ空間内の位置を示す信号TRANS_XPOS/TRANS_YPOSを、メモリ調停部８に対して出力する。このような転送要求を受けると、メモリ調停部８は、要求を出力したクライアントとの間でデータの送受信が可能な状況であれば、応答信号TRANS_ACKをそのクライアントに出力する。これでハンドシェイクが成立する。

ハンドシェイクが成立すると、次にデータの転送が行われる。メモリ調停部８は、転送イネーブル信号TRANS_ENを有効にする。この信号が有効である期間ＤＴにデータ転送が行われる。なお、クライアントが転送イネーブル信号TRANS_ENを出力するようにしてもよい。

データ転送の際には、１サイクル毎に１つのパッキングデータが転送される。図４７の場合、４つのパッキングデータの転送を行う毎に、ハンドシェイクのために２サイクル必要である。このように、転送が行われる度にハンドシェイクが行われ、そのために２サイクルを要するので、転送の効率が低い。

図４８は、調停が行われる場合における図４６の画像処理装置によるデータ転送の例について示すタイミングチャートである。まず、メモリ調停部８と画像処理装置５００のフレーム垂直スキャン読み出し部５３２との間のデータ転送について説明する。

再構成画像記憶部３４から読み出されたパッキングデータを転送するために、メモリ調停部８とフレーム垂直スキャン読み出し部５３２との間でハンドシェイクが行われる。これは、データ量を示す信号TRANS_SIZEが１６である点以外は、図４７の場合と同様である。

ハンドシェイクが成立すると、メモリ調停部８は、転送イネーブル信号TRANS_ENを有効にする。フレーム垂直スキャン読み出し部５３２は、図１４を参照して説明したように、垂直方向にスキャンしながらパッキングデータを再構成画像記憶部３４から読み出す。フレーム垂直スキャン読み出し部５３２は、読み出された１６個のパッキングデータを、１バースト転送単位として、転送イネーブル信号TRANS_ENが有効である期間ＤＴにメモリ調停部８に出力する。やはりハンドシェイクのために２サイクル必要であるが、ハンドシェイクが行われるのは１６個のパッキングデータの転送毎であるので、図４７の場合よりも転送の効率が高くなる。

このように、図４６の画像処理装置によると、フレーム垂直スキャン読み出し部５３２が、読み出し時に垂直スキャンを行い、１列分のパッキングデータをバースト転送するので、図４８のように、転送回数を減らすことができる。ハンドシェイクが行われる頻度を減らすことができるので、メモリ調停部８による調停が行われる場合においても、フレーム構造の画像の転送効率を高くすることができる。

次に、メモリ調停部８と一時データ記憶部２との間のデータ転送について説明する。フレーム垂直スキャン読み出し部５３２とメモリ調停部８との間のデータバス幅が１つのパッキングデータのサイズに等しく、メモリ調停部８と一時データ記憶部２との間のデータバス幅が２つのパッキングデータのサイズに等しいとする。この場合、メモリ調停部８は、２つのパッキングデータを再パッキングし、得られた再パッキングデータを一時データ記憶部２に転送する。メモリ調停部８は、１サイクル毎に再パッキングデータを転送する。

図４９（ａ）は、パッキングデータと再パッキングデータとの関係を、両者の先頭の位置が一致する場合について示す説明図である。図４９（ｂ）は、パッキングデータと再パッキングデータとの関係を、両者の先頭の位置が一致しない場合について示す説明図である。

図４９（ａ）の場合には、メモリ調停部８は、画像処理装置５００から受け取った１６個のパッキングデータを、再パッキングして、８サイクルで一時データ記憶部２に書き込むことができる。一方、図４９（ｂ）の場合には、受け取った１６個のパッキングデータを一時データ記憶部２に書き込むためには９サイクルが必要である。このように、データバス幅が一定ではない場合には、転送効率が悪くなる可能性がある。図４６の画像処理装置は、１６個のパッキングデータ毎にバースト転送を行うので、図４９（ｂ）のように転送効率が低下する機会を、図４７のように４個のパッキングデータ毎にバースト転送を行う場合の１／４にすることができる。

転送効率の低下を防ぐ方法について、図９及び図１３を参照して説明する。例として、図９のマクロブロックＲ５のデータを転送する場合について考える。図９のマクロブロックＲ５は、図１３のようにパッキングデータで構成されており、いま、図１３の最も左の列のパッキングデータＰ０，Ｐ４，Ｐ８，…，Ｐ６０を転送するとする。

パッキングデータと再パッキングデータとの関係が図４９（ｂ）のようになっている場合には、最初の再パッキングデータにはパッキングデータＰ０のみが含まれ、最後の再パッキングデータにはパッキングデータＰ６０のみが含まれている。ここで、転送効率の低下を防ぐために、メモリ調停部８は、マクロブロックＲ５のパッキングデータＰ０とマクロブロックＲ１のパッキングデータＰ６０とを再パッキングし、得られた再パッキングデータを一時データ記憶部２に転送する。また、メモリ調停部８は、マクロブロックＲ５のパッキングデータＰ６０とマクロブロックＲ９のパッキングデータＰ０とを再パッキングし、得られた再パッキングデータを一時データ記憶部２に転送する。

すなわち、マクロブロックＲ１における再パッキングの際に１つのパッキングデータＰ６０が残った場合には、メモリ調停部８は、マクロブロックＲ５のパッキングデータＰ０が送られて来るまで、マクロブロックＲ１のパッキングデータＰ６０を保持し、これらのデータが揃ってから、これらを用いて再パッキングデータを求める。同様に、マクロブロックＲ５における再パッキングの際に１つのパッキングデータＰ６０が残った場合には、メモリ調停部８は、マクロブロックＲ９のパッキングデータＰ０が送られて来るまで、マクロブロックＲ５のパッキングデータＰ６０を保持し、これらのデータが揃ってから、これらを用いて再パッキングデータを求める。

このように、図４９（ｂ）のような場合には、メモリ調停部８は、最下行のパッキングデータＰ６０，Ｐ６１，Ｐ６２，Ｐ６３を、下に隣接するマクロブロックの最上行のパッキングデータＰ０，Ｐ１，Ｐ２，Ｐ３のそれぞれと再パッキングして、メモリ調停部８と一時データ記憶部２との間のデータバス幅に等しいサイズの再パッキングデータを作成し、得られた再パッキングデータを転送する。再パッキングデータの一部が空にならないようにすることができるので、転送効率の低下を防ぐことができる。

一時データ記憶部２からデータが読み出される場合には、以上の逆の順で転送が行われる。すなわち、メモリ調停部８は、一時データ記憶部２から再パッキングデータを読み出し、パッキングデータに分解する。メモリ調停部８と画像処理装置５００のフレーム垂直スキャン書き込み部５４２との間ではハンドシェイクが行われ、ハンドシェイクが成立した後に、メモリ調停部８は、得られたパッキングデータをフレーム垂直スキャン書き込み部５４２に転送する。

なお、画像処理装置５００がメモリ調停部８に対して出力したメモリ空間内の位置を示す信号TRANS_XPOS/TRANS_YPOS（図４８）の値を、メモリ調停部８が変更して一時データ記憶部２に対して出力するようにしてもよい。、
また、本実施形態は、第１の実施形態においてメモリ調停部８を更に用いるようにしたものに相当するが、第２〜第４の実施形態において、同様にメモリ調停部８を用いるようにしてもよい。

（第７の実施形態）
図５０は、本発明の第７の実施形態に係る撮像システムの構成を示すブロック図である。図５０の撮像システム７００は、例えばデジタルスチルカメラであって、光学系７１２と、センサ７１４と、アナログ／デジタル変換器（ＡＤＣ）７１６と、画像処理装置７１８と、記録転送回路７２２と、再生回路７２４と、一時データ記憶部７２６と、タイミング制御回路７３２と、システム制御回路７３４とを備えている。画像処理装置７１８は、第１〜第６の実施形態で説明した画像処理装置のいずれかであり、一時データ記憶部７２６は、その画像処理装置に対応した一時データ記憶部である。

光学系７１２は、入射した画像（入射光）ＩＬをセンサ７１４上に結像させる。センサ７１４は、タイミング制御回路７３２によって駆動されており、入射した画像ＩＬを蓄積し、電気信号へ光電変換し、得られたアナログ画像信号をアナログ／デジタル変換器７１６に出力する。アナログ／デジタル変換器７１６は、この信号をデジタル信号に変換し、画像処理装置７１８に出力する。

画像処理装置７１８は、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び第１〜第６の実施形態のような一時データ記憶部７２６との間での画像データの転送を伴う画像の符号化／復号化（圧縮伸張処理）等の画像処理を行う。画像処理装置７１８は、画像処理後の信号を記録転送回路７２２に出力し、記録転送回路７２２は、この信号を記録メディアへ記録したり、撮像システム７００の外に転送したりする。また、記録転送回路７２２は、記録メディアから信号を読み出し、又は外部から転送された信号を受け取り、再生回路７２４に出力する。再生回路７２４は、受け取った信号を再生する。

アナログ／デジタル変換器７１６及び画像処理装置７１８は、タイミング制御回路７３２に制御されており、システム制御回路７３４は、この撮像システム７００の全体を制御している。

なお、画像処理装置７１８は、光学系７１２を介してセンサ７１４に入射する入射光ＩＬに基づく信号に対してのみ画像処理を行うものではなく、例えば撮像システム７００の外部から電気信号として入力された画像信号を処理するようにしてもよい。

なお、以上の実施形態においては、一時データ記憶部２，２Ａ，２Ｂ，２ＣにＳＤＲＡＭを用いるものとして説明したが、その他のバーストリード／ライト可能な記憶素子等を用いるようにしてもよい。

また、以上の実施形態では、再構成画像記憶部３４及び参照画像記憶部４４にＳＲＡＭを用いるものとして説明したが、ランダムアクセス可能な他の記憶素子等を用いてもよい。

また、以上の実施形態では、画像符号化／復号化処理について具体例を挙げて説明したが、ブロック単位で処理を行う他の画像処理に対しても同様の技術を用いることができる。

また、一時データ記憶部２，２Ａ，２Ｂ，２Ｃが用いるロウアドレス及びカラムアドレスは、一時データ記憶部２，２Ａ，２Ｂ，２Ｃの物理アドレスであってもよいし、論理アドレスであってもよい。

以上説明したように、本発明は、画像処理装置とメモリ等との間のデータ転送を高速化することができるので、画像処理装置として有用であり、特に、デジタルカメラ、カメラ付きの携帯電話、デジタルビデオカメラ、ネットワークカメラ等の動画撮影機能を有する機器等について有用である。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 動き探索に関する説明図である。 Ｐピクチャ及びＢピクチャを生成する際のピクチャの参照についての説明図である。 符号化処理の対象とする画像の例を示す説明図である。 図１の再構成画像記憶部における再構成画像を示す説明図である。 輝度信号及び色差信号（４：４：４形式）の例を示す説明図である。 輝度信号及び色差信号（４：２：２形式）の例を示す説明図である。 輝度信号及び色差信号（４：２：０形式）の例を示す説明図である。 動き探索に用いられる参照領域の例を示す説明図である。 １／２画素精度での探索に用いる参照領域を示す説明図である。 図１の再構成画像記憶部に格納されている再構成画像の１マクロブロックの画素データ（輝度信号）を示す説明図である。 図１１の画素データをパッキングデータを用いて示した説明図である。 １マクロブロックの輝度信号のパッキングデータを画像上の位置に対応させて示す説明図である。 図１のフレーム垂直スキャン読み出し部による図１３のデータの転送順を示す説明図である。 図１の一時データ記憶部に格納されたデータのマッピングの例を示す説明図である。 図１４及び図１５のようにデータの書き込みを行う際における図１の一時データ記憶部のタイミングチャートである。 図１の一時データ記憶部において各マクロブロックが格納される位置を示す説明図である。 図５の一部をパッキングデータを単位として示した説明図である。 図１の一時データ記憶部に格納されたパッキングデータのマッピングを複数のマクロブロックについて示す説明図である。 図１の一時データ記憶部において各マクロブロックが格納される位置を、輝度信号及び各色差信号について示す説明図である。 水平４画素パッキングされた水平６４×垂直６４画素の再構成画像と、その一時データ記憶部上におけるマッピングイメージとを示す説明図である。 参照画像として読み出される領域の例を示す説明図である。 図２２の参照画像の読み出しを行う際における図１の一時データ記憶部のタイミングチャートである。 図１の参照画像記憶部におけるパッキングデータを示す説明図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 図１３の画素データをフィールド毎に分けて示した説明図である。 図２５のフィールド垂直スキャン読み出し部による図２６のデータの転送順を示す説明図である。 図２５の一時データ記憶部に格納されたデータのマッピングの例を示す説明図である。 図２５の一時データ記憶部において各マクロブロックが格納される位置を、輝度信号及び色差信号について示す説明図である。 図２５の一時データ記憶部に格納されたデータのマッピングの他の例を示す説明図である。 フレーム構造の画像における１マクロブロックの青色差信号及び赤色差信号（４：２：０形式）のパッキングデータを画面上の位置に対応させて示す説明図である。 図１の一時データ記憶部における色差信号のマッピングの例を示す説明図である。 図１の一時データ記憶部における色差信号のマッピングの他の例を示す説明図である。 フィールド構造の画像における１マクロブロックの青色差信号及び赤色差信号（４：２：０形式）のパッキングデータを画面上の位置に対応させて示す説明図である。 図２５の一時データ記憶部における色差信号のマッピングの例を示す説明図である。 図２５の一時データ記憶部における色差信号のマッピングの他の例を示す説明図である。 図１の一時データ記憶部における輝度信号及び色差信号のマッピングの例を示す説明図である。 図２５の一時データ記憶部２における輝度信号及び色差信号のマッピングの例を示す説明図である。 本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。 図３９の画像処理装置と高速動作可能な一時データ記憶部とを示すブロック図である。 図３９の画像処理装置の変形例の構成を示すブロック図である。 図３９の画像処理装置の他の変形例の構成を示すブロック図である。 マルチコーデック処理の例を示すタイミングチャートである。 図３９の画像処理装置の更に他の変形例の構成を示すブロック図である。 本発明の第５の実施形態において一時データ記憶部に格納された再構成画像を示す説明図である。 本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。 調停が行われる場合におけるデータ転送の一例について示すタイミングチャートである。 調停が行われる場合における図４６の画像処理装置によるデータ転送の例について示すタイミングチャートである。 （ａ）は、パッキングデータと再パッキングデータとの関係を、両者の先頭の位置が一致する場合について示す説明図である。（ｂ）は、パッキングデータと再パッキングデータとの関係を、両者の先頭の位置が一致しない場合について示す説明図である。 本発明の第７の実施形態に係る撮像システムの構成を示すブロック図である。 ＳＤＲＡＭに格納されたデータのマッピングの例を示す説明図である。 図５１のようにパッキングデータの書き込みを行う際のＳＤＲＡＭのタイミングチャートである。 図５１のように格納されたパッキングデータの読み出しを行う際のＳＤＲＡＭのタイミングチャートである。 １７画素の転送について示す模式図である。 参照画像が水平１７×垂直１７画素である場合に、図５１のように格納されたパッキングデータの読み出しを行う際のＳＤＲＡＭのタイミングチャートである。 フィールド毎にＳＤＲＡＭの異なる領域に格納されたデータのマッピングの例を示す説明図である。

符号の説明

４ フレーム／フィールド変換部
５ フィールド／フレーム変換部
８ メモリ調停部
２３，２４ セレクタ
３０ 再構成画像生成部
３２ フレーム垂直スキャン読み出し部
３３ フィールド垂直スキャン読み出し部
３４ 再構成画像記憶部（第１の画像記憶部）
４０ 動き探索／補償部
４２ フレーム垂直スキャン書き込み部
４３ フィールド垂直スキャン書き込み部
４４ 参照画像記憶部（第２の画像記憶部）
１００，２００，３００，３００Ｂ，３００Ｃ，４００，５００ 画像処理装置
７００ 撮像システム
７１２ 光学系
７１４ センサ
７１６ アナログ／デジタル変換器

Claims (44)

1. 第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出すステップ（ａ）と、
   前記ステップ（ａ）で読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みするステップ（ｂ）と、
   前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込むステップ（ｃ）とを備える
   画像データ転送方法。
2. 請求項１に記載の画像データ転送方法において、
   前記ステップ（ａ）は、
   前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出すものであり、
   前記ステップ（ｂ）は、
   前記奇数番目のラインに属するデータ転送単位が書き込まれる領域と前記偶数番目のラインに属するデータ転送単位が書き込まれる領域とが異なる領域となるようにするものである
   ことを特徴とする画像データ転送方法。
3. 請求項２に記載の画像データ転送方法において、
   前記ステップ（ｂ）は、
   前記読み出された奇数番目のラインに属するデータ転送単位と、偶数番目のラインに属するデータ転送単位とを、前記第２のアドレスを同一にして書き込むものである
   ことを特徴とする画像データ転送方法。
4. 請求項２に記載の画像データ転送方法において、
   前記一時データ記憶部に書き込まれたデータ転送単位を読み出し、読み出されたデータ転送単位を、フレームマッピングで前記一時データ記憶部に再び書き込むフィールド／フレーム変換ステップを更に備える
   ことを特徴とする画像データ転送方法。
5. 請求項１に記載の画像データ転送方法において、
   前記一時データ記憶部に書き込まれたデータ転送単位を読み出し、読み出されたデータ転送単位を、フィールドマッピングで前記一時データ記憶部に再び書き込むフレーム／フィールド変換ステップを更に備える
   ことを特徴とする画像データ転送方法。
6. 請求項５に記載の画像データ転送方法において、
   前記フレーム／フィールド変換ステップは、
   前記読み出された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と、偶数番目のラインに属するデータ転送単位とを、前記第２のアドレスを同一にして書き込むものである
   ことを特徴とする画像データ転送方法。
7. 請求項１に記載の画像データ転送方法において、
   前記ステップ（ａ）は、
   青色差信号と赤色差信号とを前記画素のデータとしてそれぞれパッキングし、得られたデータ転送単位を読み出すものであり、
   前記ステップ（ｂ）は、
   青色差信号のデータ転送単位と赤色差信号のデータ転送単位とを交互に書き込むものである
   ことを特徴とする画像データ転送方法。
8. 請求項１に記載の画像データ転送方法において、
   前記ステップ（ａ）は、
   輝度信号、青色差信号及び赤色差信号を前記画素のデータとしてそれぞれパッキングし、得られた各信号のデータ転送単位を読み出すものであり、
   前記ステップ（ｂ）は、
   輝度信号、青色差信号及び赤色差信号のそれぞれのデータ転送単位を順に書き込むものである
   ことを特徴とする画像データ転送方法。
9. 請求項１に記載の画像データ転送方法において、
   前記第１の画像記憶部に格納された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出すステップ（ａ１）と、
   前記読み出された奇数番目のラインに属するデータ転送単位を、第３及び第４のアドレスの組み合わせで指定された位置にデータを格納する他の一時データ記憶部に対して、前記第３のアドレスが連続し前記第４のアドレスが一定の領域にバースト書き込みするステップ（ｂ１）と、
   前記読み出された偶数番目のラインに属するデータ転送単位を、前記他の一時データ記憶部に対して、前記ステップ（ｂ１）によって書き込みが行われる領域とは異なり前記第３のアドレスが連続し前記第４のアドレスが一定の領域にバースト書き込みするステップ（ｂ２）と、
   前記他の一時データ記憶部に書き込まれたデータ転送単位を、前記第３のアドレスが連続し前記第４のアドレスが一定の領域からバースト読み出しし、前記第２の画像記憶部に書き込むステップ（ｃ１）とを更に備え、
   前記ステップ（ｃ）又は（ｃ１）のいずれか一方を行う
   ことを特徴とする画像データ転送方法。
10. 請求項９に記載の画像データ転送方法において、
    前記ステップ（ｂ１）及び（ｂ２）は、
    前記読み出された奇数番目のラインに属するデータ転送単位と、偶数番目のラインに属するデータ転送単位とを、前記第４のアドレスを同一にして書き込むものである
    ことを特徴とする画像データ転送方法。
11. 請求項９に記載の画像データ転送方法において、
    前記ステップ（ｃ）が行われる場合には、前記他の一時データ記憶部へのクロック供給を停止し、前記ステップ（ｃ１）が行われる場合には、前記一時データ記憶部へのクロック供給を停止する
    ことを特徴とする画像データ転送方法。
12. 請求項１に記載の画像データ転送方法において、
    前記第１の画像記憶部に格納された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出すステップ（ａ１）と、
    前記読み出された奇数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記ステップ（ｂ）によって書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みするステップ（ｂ１）と、
    前記読み出された偶数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記ステップ（ｂ）及び（ｂ１）によって書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みするステップ（ｂ２）とを更に備える
    ことを特徴とする画像データ転送方法。
13. 請求項１２に記載の画像データ転送方法において、
    前記ステップ（ｂ）を行うことと、前記ステップ（ｂ１）及び（ｂ２）を行うこととのいずれか一方を、入力されたマッピングタイプ信号に従って選択して行う
    ことを特徴とする画像データ転送方法。
14. 請求項１３に記載の画像データ転送方法において、
    前記マッピングタイプ信号は、フレーム単位で切り替わる
    ことを特徴とする画像データ転送方法。
15. 請求項１３に記載の画像データ転送方法において、
    再生すべき動画像がプログレッシブ画像である場合には前記ステップ（ｂ）を、再生すべき動画像がインタレース画像である場合には前記ステップ（ｂ１）及び（ｂ２）を行うように、前記マッピングタイプ信号を切り替える
    ことを特徴とする画像データ転送方法。
16. 請求項１２に記載の画像データ転送方法において、
    前記ステップ（ｂ）を行うことと、前記ステップ（ｂ１）及び（ｂ２）を行うことと、前記ステップ（ｂ）、（ｂ１）及び（ｂ２）を行うこととのうちのいずれか１つを適応的に選択して行う
    ことを特徴とする画像データ転送方法。
17. 請求項１６に記載の画像データ転送方法において、
    処理対象の画像のフレームサイズに応じて前記選択を行う
    ことを特徴とする画像データ転送方法。
18. 請求項１６に記載の画像データ転送方法において、
    前記一時データ記憶部に対する負荷に応じて前記選択を行う
    ことを特徴とする画像データ転送方法。
19. 請求項１６に記載の画像データ転送方法において、
    ヘッダ情報に含まれる画像サイズ情報に応じて前記選択を行う
    ことを特徴とする画像データ転送方法。
20. 請求項１６に記載の画像データ転送方法において、
    複数のクライアントからの画像処理要求を時分割で処理し、前記複数のクライアントのそれぞれについて前記選択を行う
    ことを特徴とする画像データ転送方法。
21. 請求項２０に記載の画像データ転送方法において、
    新規クライアントから画像処理要求を受けると、前記一時データ記憶部の使用されていない領域の容量を求め、前記使用されていない領域の容量に応じて前記選択を行う
    ことを特徴とする画像データ転送方法。
22. 請求項２１に記載の画像データ転送方法において、
    処理に必要な領域が確保できない場合には、前記新規クライアントに対して通知を行う
    ことを特徴とする画像データ転送方法。
23. 請求項２２に記載の画像データ転送方法において、
    前記ステップ（ｂ）、（ｂ１）及び（ｂ２）を行うための領域が確保できない場合には、前記通知を行う
    ことを特徴とする画像データ転送方法。
24. 請求項２２に記載の画像データ転送方法において、
    前記新規クライアントは、前記通知を受けると、前記複数のクライアントのうち、前記ステップ（ｂ）、（ｂ１）及び（ｂ２）を行うクライアントに対して領域の一部を譲るように依頼するステップと、
    領域が譲られると、譲られた領域を用いて前記新規クライアントの処理を行うステップとを更に備える
    ことを特徴とする画像データ転送方法。
25. 請求項２０に記載の画像データ転送方法において、
    新規クライアントから画像処理要求を受けると、前記複数のクライアント及び前記新規クライアントについて、前記選択を改めて行う
    ことを特徴とする画像データ転送方法。
26. 請求項１に記載の画像データ転送方法において、
    前記ステップ（ａ）は、
    前記２次元画像内における前記データ転送単位の前記第１の方向の個数が前記第２の方向の個数よりも少ない場合には、前記データ転送単位を前記第２の方向にスキャンして読み出し、その他の場合には、前記データ転送単位を前記第１の方向にスキャンして読み出すものである
    ことを特徴とする画像データ転送方法。
27. 請求項１に記載の画像データ転送方法において、
    前記第１の画像記憶部には、動画像の符号化又は復号化の際に生成される再構成画像が格納され、前記第２の画像記憶部からは、動画像の符号化又は復号化の際に用いられる参照画像が読み出される
    ことを特徴とする画像データ転送方法。
28. 請求項２７に記載の画像データ転送方法において、
    前記ステップ（ｂ）は、
    １フレーム分の再構成画像が格納できる領域に拡張領域を加えた領域に対して書き込みを行う
    ことを特徴とする画像データ転送方法。
29. 請求項２８に記載の画像データ転送方法において、
    前記拡張領域は、前記２次元画像のマクロブロックの行のうち、処理対象のマクロブロック及びこれよりも上方の動き探索又は動き補償に用いられるマクロブロックが属する行を格納可能な容量を有する
    ことを特徴とする画像データ転送方法。
30. 請求項２７に記載の画像データ転送方法において、
    前記第１の画像記憶部に格納された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出すステップ（ａ１）と、
    前記読み出された奇数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記ステップ（ｂ）によって書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みするステップ（ｂ１）と、
    前記読み出された偶数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記ステップ（ｂ）及び（ｂ１）によって書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みするステップ（ｂ２）とを更に備え、
    輝度信号については前記ステップ（ｂ）を行い、
    青色差信号及び赤色差信号については、前記ステップ（ｂ）を行うことと、前記ステップ（ｂ１）及び（ｂ２）を行うことと、前記ステップ（ｂ）、（ｂ１）及び（ｂ２）を行うこととのうちのいずれか１つを選択して行う
    ことを特徴とする画像データ転送方法。
31. 請求項３０に記載の画像データ転送方法において、
    前記ステップ（ｂ１）及び（ｂ２）は、それぞれ、
    １フィールド分の再構成画像が格納できる領域に拡張領域を加えた領域に対して書き込みを行う
    ことを特徴とする画像データ転送方法。
32. 請求項３１に記載の画像データ転送方法において、
    前記拡張領域は、それぞれ、前記２次元画像のマクロブロックの行のうち、処理対象のマクロブロック及びこれよりも上方の動き探索又は動き補償に用いられるマクロブロックが属する行を格納可能な容量の半分の容量を有する
    ことを特徴とする画像データ転送方法。
33. 請求項１に記載の画像データ転送方法において、
    前記ステップ（ｂ）は、
    前記ステップ（ａ）で読み出されたデータ転送単位を転送するために、前記第１及び第２の画像記憶部を有する装置とメモリ調停部との間でハンドシェイクを行うステップ（ｄ）と、
    前記ステップ（ａ）で読み出されたデータ転送単位を、前記メモリ調停部を経由して前記一時データ記憶部に転送するステップ（ｅ）とを備え、
    前記ステップ（ｃ）は、
    前記一時データ記憶部から読み出されたデータ転送単位を転送するために、前記装置と前記メモリ調停部との間でハンドシェイクを行うステップ（ｆ）と、
    前記一時データ記憶部から読み出されたデータ転送単位を、前記メモリ調停部を経由して前記第２の画像記憶部に転送するステップ（ｇ）とを備える
    ことを特徴とする画像データ転送方法。
34. 請求項３３に記載の画像データ転送方法において、
    前記ステップ（ｅ）は、
    前記メモリ調停部によって、前記ステップ（ａ）で読み出されたデータ転送単位を所定の数ずつパッキングして新たなデータ転送単位を求め、求められた新たなデータ転送単位を前記一時データ記憶部に転送し、前記所定の数に満たない数のデータ転送単位が残った場合には、前記残ったデータ転送単位に前記第２の方向において隣接するデータ転送単位が読み出された後に、前記残ったデータ転送単位と前記隣接するデータ転送単位とを用いて前記所定の数のデータ転送単位を有する新たなデータ転送単位を求め、転送するものである
    ことを特徴とする画像データ転送方法。
35. 第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出し、前記読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みする第１の読み出し部と、
    前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込む第１の書き込み部とを備える
    画像処理装置。
36. 請求項３５に記載の画像処理装置において、
    前記第１の読み出し部は、
    前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出し、前記奇数番目のラインに属するデータ転送単位が書き込まれる領域と前記偶数番目のラインに属するデータ転送単位が書き込まれる領域とが異なる領域となるようにするものである
    ことを特徴とする画像処理装置。
37. 請求項３６に記載の画像処理装置において、
    前記一時データ記憶部に書き込まれたデータ転送単位を読み出し、読み出されたデータ転送単位を、フレームマッピングで前記一時データ記憶部に再び書き込むフィールド／フレーム変換部を更に備える
    ことを特徴とする画像処理装置。
38. 請求項３５に記載の画像処理装置において、
    前記第１の画像記憶部に格納された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出し、前記読み出された奇数番目のラインに属するデータ転送単位を、第３及び第４のアドレスの組み合わせで指定された位置にデータを格納する他の一時データ記憶部に対して、前記第３のアドレスが連続し前記第４のアドレスが一定の領域にバースト書き込みし、前記読み出された偶数番目のラインに属するデータ転送単位を、前記他の一時データ記憶部に対して、前記奇数番目のラインに属するデータ転送単位の書き込みが行われる領域とは異なり前記第３のアドレスが連続し前記第４のアドレスが一定の領域にバースト書き込みする第２の読み出し部と、
    前記他の一時データ記憶部に書き込まれたデータ転送単位を、前記第３のアドレスが連続し前記第４のアドレスが一定の領域からバースト読み出しし、前記第２の画像記憶部に書き込む第２の書き込み部とを更に備える
    ことを特徴とする画像処理装置。
39. 請求項３５に記載の画像処理装置において、
    前記第１の画像記憶部に格納された前記２次元画像における前記第２の方向に奇数番目のラインに属するデータ転送単位と偶数番目のラインに属するデータ転送単位とを独立して前記第２の方向にスキャンして読み出し、前記読み出された奇数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記第１の読み出し部によって書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みし、前記読み出された偶数番目のラインに属するデータ転送単位を、前記一時データ記憶部に対して、前記第１の読み出し部によって書き込みが行われる領域及び前記奇数番目のラインに属するデータ転送単位の書き込みが行われる領域とは異なり前記第１のアドレスが連続し前記第２のアドレスが一定の領域にバースト書き込みする第２の読み出し部を更に備える
    ことを特徴とする画像処理装置。
40. 請求項３９に記載の画像処理装置において、
    マッピングタイプ信号に従って、前記第１及び第２の読み出し部のいずれか一方の出力を選択して前記一時データ記憶部に出力するセレクタを更に備える
    ことを特徴とする画像処理装置。
41. 請求項３５に記載の画像処理装置において、
    前記一時データ記憶部に書き込まれたデータ転送単位を読み出し、読み出されたデータ転送単位を、フィールドマッピングで前記一時データ記憶部に再び書き込むフレーム／フィールド変換部を更に備える
    ことを特徴とする画像処理装置。
42. 請求項３５に記載の画像処理装置において、
    前記第１の読み出し部との間、及び前記第１の書き込み部との間でハンドシェイクを行うメモリ調停部を更に備え、
    前記第１の読み出し部は、
    前記メモリ調停部との間でハンドシェイクを行った後に、前記一時データ記憶部に書き込まれるべきデータ転送単位を、前記メモリ調停部を経由して前記一時データ記憶部に転送するものであり、
    前記第１の書き込み部は、
    前記メモリ調停部との間でハンドシェイクを行った後に、前記一時データ記憶部から読み出されたデータ転送単位を、前記メモリ調停部を経由して受け取るものである
    ことを特徴とする画像処理装置。
43. アナログ画像信号をデジタル信号に変換するアナログ／デジタル変換器と、
    前記デジタル信号に対する画像処理を行う画像処理装置とを備え、
    前記画像処理装置は、
    前記画像処理が行われて第１の画像記憶部に格納され、第１及び第２の方向の座標でそれぞれの位置が表される複数の画素を有する２次元画像の画素のデータを、前記第１の方向に隣接する所定の数の画素のデータ毎にパッキングし、得られたデータ転送単位を前記第２の方向にスキャンして読み出し、前記読み出されたデータ転送単位を、第１及び第２のアドレスの組み合わせで指定された位置にデータを格納する一時データ記憶部に対して、前記第１のアドレスが連続し前記第２のアドレスが一定の領域に、前記第２の方向における前記データ転送単位の順序が前記第１のアドレスに関して保たれるように、かつ、前記第１の方向における前記データ転送単位の順序が前記第２のアドレスに関して保たれるように、バースト書き込みする読み出し部と、
    前記一時データ記憶部に書き込まれたデータ転送単位を、前記第１のアドレスが連続し前記第２のアドレスが一定の領域からバースト読み出しし、第２の画像記憶部に書き込む書き込み部とを備えるものである
    撮像システム。
44. 請求項４３の撮像システムにおいて、
    画像を前記アナログ画像信号へ変換して出力するセンサと、
    入射した画像を前記センサ上に結像させる光学系とを更に備える
    ことを特徴とする撮像システム。

Images