JP4224876B2 - 記憶装置、並びに書き込み方法および読み出し方法 - Google Patents
記憶装置、並びに書き込み方法および読み出し方法 Download PDFInfo
- Publication number
- JP4224876B2 JP4224876B2 JP25787798A JP25787798A JP4224876B2 JP 4224876 B2 JP4224876 B2 JP 4224876B2 JP 25787798 A JP25787798 A JP 25787798A JP 25787798 A JP25787798 A JP 25787798A JP 4224876 B2 JP4224876 B2 JP 4224876B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- banks
- storage
- pixels
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Dram (AREA)
- Static Random-Access Memory (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、記憶装置、並びに書き込み方法および読み出し方法に関し、特に、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにする記憶装置、並びに書き込み方法および読み出し方法に関する。
【０００２】
【従来の技術】
例えば、画像の符号化／復号等についての規格であるＭＰＥＧ（Moving Picture Experts Group）における動き検出等の画像処理においては、処理対象となっている現フレームと、その現フレームに対して時間的に先行（過去）または後行（未来）するフレームとを比較して処理が行われる。
【０００３】
図１２は、そのような、従来の画像処理装置の一例の構成を示している。なお、この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する１フレーム前の画素を中心とする４８画素×４８ラインの範囲内の画素データを用いて、動き検出等の所定の処理が行われるようになされている。ここで、注目画素について所定の処理を行うために必要な画素の範囲（ここでは、４８画素×４８ライン）を、以下、適宜、必要範囲という。
【０００４】
動画を構成するディジタル画像データを構成する画素データは、例えば、１フレーム分の記憶容量を有するフレームメモリ１０１に順次供給され、例えば、ラインスキャン順に記憶されていく。そして、フレームメモリ１０１に記憶された画素データは、ラインスキャン順に、順次読み出され、ラインメモリ部１０２に供給される。
【０００５】
ラインメモリ部１０２は、必要範囲のライン数（ここでは、４８ライン）の画素データを得るために、必要範囲のライン−１の数のラインメモリ、即ち、４７個のラインメモリ１０２1乃至１０２47で構成されており、フレームメモリ１０１からの画素データは、ラインメモリ１０２1に供給されて記憶される。ラインメモリ１０２1に記憶された画素データは、フレームメモリ１０１から、新たに画素データが供給されるごとに、右にシフトされていき、ある画素データに注目した場合に、その注目画素データが、ラインメモリ１０２1に供給されてから、１ライン分の画素データが供給されると、注目画素データは、ラインメモリ１０２1から出力され、後段のラインメモリ１０２2に供給される。
【０００６】
ラインメモリ１０２2においても、ラインメモリ１０２1における場合と同様に、ラインメモリ１０２2から供給された画素データが１ライン分だけ遅延され、後段のラインメモリ１０２3に供給される。以下、同様にして、ラインメモリ１０２3乃至１０２47それぞれにおいて、画素データは、１ライン分ずつ遅延されていく。
【０００７】
フレームメモリ１０１が出力する画素データは、ラインメモリ部１０２に供給される他、２次元パラレルアレイ（2 dimension parallel array）１０３にも供給されるようになされている。２次元パラレルアレイ１０３は、必要範囲を構成する縦または横の画素数と同一数のレジスタが、垂直方向または水平方向にそれぞれ配置されて構成されており、即ち、ここでは、垂直方向および水平方向とも、４８のレジスタが配置されて構成されており、フレームメモリ１０１が出力する画素データは、２次元パラレルアレイ１０３の第１行第１列のレジスタに供給されて記憶される。そして、２次元パラレルアレイ１０３では、第１行第１列のレジスタに記憶された画素データが、フレームメモリ１０１から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後は、捨てられる（第４７列のレジスタに記憶されている画素データが、第４８列のレジスタにシフトされることで、第４８列のレジスタに記憶されていたデータは消去される）。
【０００８】
ラインメモリ１０２1が出力する画素データも、後段のラインメモリ１０２2に供給される他、２次元パラレルアレイ１０３に供給される。２次元パラレルアレイ１０３では、ラインメモリ１０２1からの画素データが、第２行第１列のレジスタに供給されて記憶される。そして、第２行第１列のレジスタに記憶された画素データは、ラインメモリ１０２1から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後、捨てられる。
【０００９】
ラインメモリ１０２2乃至１０２47が出力する画素データも、２次元パラレルアレイ１０３に供給され、２次元パラレルアレイ１０３では、ラインメモリ１０２2乃至１０２47からの画素データが、それぞれ、第３行第１列乃至第４８行第１列のレジスタに供給されて記憶される。そして、第３行第１列乃至第４８行第１列のレジスタに記憶された画素データは、それぞれ、ラインメモリ１０２2乃至１０２47から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後、捨てられる。
【００１０】
一方、フレームメモリ１０１に供給される画素データは、ラインメモリ１０６にも供給される。ラインメモリ１０６では、そこに入力される画素データが、１ライン分だけ遅延され、画像演算処理回路１０５に供給される。
【００１１】
図１２の画像処理装置では、このようにして、現フレームの画素データが、画像演算処理回路１０５に供給されるタイミングにおいて、その現フレームの画素データに対応する１フレーム前の画素を中心とする４８画素×４８ラインの画素データが、２次元パラレルアレイ１０３の４８×４８のレジスタに記憶された状態となるように、フレームメモリ１０１からの画素データの読み出しが開始されるようになされており、従って、画像演算処理回路１０５に、ある画素データが供給されたとき、２次元パラレルアレイ１０３には、その画素データについての必要範囲内の画素データが記憶されている。
【００１２】
画素セレクタ１０４は、２次元パラレルアレイ１０３に記憶されている必要範囲内の画素データのうち、画像演算処理回路１０５が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、画素演算処理回路１０５に供給する。
【００１３】
そして、画像演算処理回路１０５では、ラインメモリ１０６からの画素データと、画素セレクタ１０４からの画素データとを用いて、動き検出のための演算処理等の所定の処理が行われ、その処理結果が出力される。
【００１４】
【発明が解決しようとする課題】
図１２の画像処理装置では、現フレームの各画素データが、その前のフレームの画素データを用いて処理されるから、現フレームの処理の終了後は、次のフレームの各画素データが、現フレームの画素データを用いて処理される。従って、現フレームの画素データは、フレームメモリ１０１に、前のフレームの画素データが記憶された後に供給されるが、その現フレームの画素データは、次のフレームの画素データを処理するために、フレームメモリ１０１に記憶する必要がある。
【００１５】
しかしながら、現フレームの画素データを、フレームメモリ１０１に記憶させると、その現フレームの画素データが記憶されたアドレスに記憶されていた前のフレームの画素データが消去されてしまうため、何らの手当も施さないと、現フレームの画素データの処理に、前のフレームの画素データを用いることができなくなる。
【００１６】
そこで、図１２の画像処理装置には、ラインメモリ部１０２が設けられており、このラインメモリ部１０２において、必要範囲のライン数−１だけのラインを保持しておくことで、画像のリアルタイム処理を可能としている。
【００１７】
しかしながら、図１２の画像処理装置を１チップ化（ＬＳＩ（Large Scale Integration）化）することを考えた場合には、リアルタイム処理を行わないなら必要のないラインメモリ部１０２を設ける必要があり、その結果、チップサイズが大になる。即ち、図１２においては、必要範囲のライン数が４８ラインであるから、必要範囲のライン数の画素データを保持するために、４７（＝４８−１）ものラインメモリを、チップに内蔵させる必要がある。
【００１８】
また、チップサイズが制限されている場合等においては、チップに内蔵させることのできるラインメモリが制限される。さらに、チップのレイアウト等に起因して、チップに内蔵させることのできるラインメモリの数が制限される場合もある。このように、チップに内蔵させることのできるラインメモリの数が制限される場合においては、必要範囲も制限され、その結果、例えば、図１２の画像処理装置を、ＭＰＥＧ等の動き検出や動き補償のためのブロックマッチングに適用したときに、いわゆるサーチ範囲も制限されることになる。
【００１９】
さらに、１フレーム分の画素データを記憶可能なフレームメモリ１０１が設けられているのにもかかわらず、さらに、必要範囲のライン数−１のラインの画素データを記憶するラインメモリを設けることは、いわば余分なメモリを持つこととなるから、消費電力の観点からも好ましくない。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにするものである。
【００２１】
【課題を解決するための手段】
本発明の一側面の記憶装置は、複数の、半導体メモリである記憶バンクを有する記憶手段と、前記複数の記憶バンクのうちの１個を選択し、画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と、前記複数の記憶バンクのうちの他の２個以上を選択し、前記画像データを構成する垂直方向の画素データを読み出す読み出し用選択手段と、前記読み出し用選択手段が出力した前記画素データの選択を行うデータ選択手段とを備え、前記書き込み用選択手段は、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個を順次選択し、前記記憶バンクは、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶し、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクが同時に読み出すことのできる画素数をｅと、前記データ選択手段において選択される画素数をｆとそれぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記読み出し用選択手段は、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す記憶装置である。
【００２２】
本発明の一側面の書き込み方法は、画像データを記憶する記憶装置が、複数のメモリバンクを有する記憶手段と、前記複数のメモリバンクのうちの１個を選択し、前記画像データを構成する水平方向の画素データを書き込む書き込み用選択手段とを備え、前記書き込み用選択手段に、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの１個を順次選択させ、前記メモリバンクに、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶させ、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記メモリバンクが記憶することのできる画素数をｃと、前記メモリバンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記メモリバンクが同時に読み出すことのできる画素数をｅと、それぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記メモリバンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成される書き込み方法である。
【００２３】
本発明の一側面の読み出し方法は、画像データを記憶する記憶装置が、複数の、半導体メモリである記憶バンクを有する記憶手段を備え、前記複数の記憶バンクのうちの１個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの２個以上を選択して、前記画像データを構成する垂直方向の画素データを読み出し、その読み出した画素データの選択を行って出力する読み出し方法であり、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの１本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてを同時に読み出し、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクから同時に読み出すことのできる画素数をｅと、前記複数の記憶バンクのうちの２個以上から読み出された画像データから選択される画素数をｆとそれぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す読み出し方法である。
【００２４】
本発明の一側面の記憶装置においては、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記記憶バンクでは、前記画素ブロックを構成する前記画素データが、１本のワード線上のメモリセルに記憶される。また、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクが同時に読み出すことのできる画素数をｅと、前記データ選択手段において選択される画素数をｆとそれぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択され、前記画素データが読み出される。
【００２５】
本発明の一側面の書き込み方法においては、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの１個が順次選択され、前記メモリバンクに、前記画素ブロックを構成する前記画素データが、１本のワード線上のメモリセルに記憶される。また、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記メモリバンクが記憶することのできる画素数をｃと、前記メモリバンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記メモリバンクが同時に読み出すことのできる画素数をｅと、それぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記メモリバンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成される。
【００２６】
本発明の一側面の読み出し方法においては、前記複数の記憶バンクのうちの１個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの２個以上が選択されて、前記画像データを構成する垂直方向の画素データが読み出され、その読み出された画素データの選択が行われて出力される。具体的には、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの１本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてが同時に読み出される。そして、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクから同時に読み出すことのできる画素数をｅと、前記複数の記憶バンクのうちの２個以上から読み出された画像データから選択される画素数をｆとそれぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択され、前記画素データが読み出される。
【００２７】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２８】
この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する１フレーム前の画素を中心とする、例えば、４８画素×４８ラインの範囲を必要範囲として検出し、その必要範囲内の画素データを用いて処理を行うようになされている。
【００２９】
動画を構成するディジタル画像データを構成する画素データとしての、例えば、シリアルの８ビットのデータは、ラインスキャン順に、バンクセレクタ１（書き込み用選択手段）および演算処理回路７に供給されるようになされている。ここで、画像データは、例えば、ＨＤ（High Density）画像のデータで、横または縦の画素数が、それぞれ１９２０画素または１０８０画素で構成されている。
【００３０】
バンクセレクタ１は、メモリ２を構成するバンク（メモリバンク）Ｂ１乃至Ｂ１８のうちの１個を順次選択し、その選択した１個のバンクに、そこに供給されるＨＤ画像を構成する水平方向の画素データを書き込むようになされている。
【００３１】
メモリ２（記憶手段）は、例えば、１８Ｍ（メガ）ビットの記憶容量を有し、バンク切り替え機能を備えている。即ち、ここでは、メモリ２は、例えば、１８個の１ＭビットのバンクＢ１乃至Ｂ１８（複数の記憶バンク）を有している。なお、本実施の形態では、１フレームのＨＤ画像が１９２０×１０８０画素で構成され、画素データは８ビットであるから、その容量は、１６５８８８００（＝１９２０×１０８０×８）ビットとなる。一方、メモリ２の容量は、１８Ｍビット（＝１８８７４３６８ビット）であるから、１フレームのＨＤ画像の容量に対して、２Ｍビット程度多い。
【００３２】
ここで、図１の画像処理装置では、図１２の画像処理装置と同様に、横×縦が４８画素×４８画素を必要範囲として検出するようになされている。そして、この場合、図１２の画像処理装置では、ラインメモリ部１０２において、上述したように、４７個のラインメモリ１０２1乃至１０２47を必要とする。いま、図１および図１２の画像処理装置において、上述したような横×縦が１９２０画素×１０８０画素のＨＤ画像を処理するものとすると、ラインメモリ部１０２における１のラインメモリの容量は、ＨＤ画像の１ラインの容量である１９２０×８ビット（８は、画素データへの割り当てビット数）となるから、４７のラインメモリでは、１９２０×８×４７ビット、即ち、概算で、８００Ｋビット程度となる。従って、１フレームのＨＤ画像を記憶するためのメモリ容量に対して、図１の画像処理装置のメモリ容量は２Ｍビット程度多く、図１２の画像処理装置のメモリ容量は８００Ｋビット程度多い。即ち、図１の画像処理装置は、１フレーム分のメモリ容量の他に、図１２の画像処理装置に比較して、約２．５倍のメモリ容量を余分に有している。
【００３３】
しかしながら、図１の画像処理装置におけるメモリ２を構成するバンクＢ１乃至Ｂ１８は、後述するように、ＤＲＡＭで構成することができる。一方、図１２の画像処理装置におけるラインメモリ１０２1乃至１０２47は、一般に、ＳＲＡＭ（Static RAM）で構成される。そして、同一容量のＤＲＡＭとＳＲＡＭを構成した場合、ＳＲＡＭのチップサイズは、ＤＲＡＭの約１０乃至２０倍になることが知られている。従って、図１の画像処理装置が余分に有するメモリ容量は、図１２の画像処理装置が余分に有するメモリ容量の約２．５倍であるが、その余分なメモリ容量によるチップサイズの増加は、図１２の画像処理装置における場合の約１／４乃至１／８程度となる。その結果、図１の画像処理装置においては、図１２の画像処理装置に比較して、チップサイズを小さくすることができる（余分なメモリ容量によるチップサイズの増加が少ない）。
【００３４】
バンクセレクタ３（読み出し用選択手段）は、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの、例えば７個を順次選択し、その選択した７個のバンクから、ＨＤ画像を構成する垂直方向の画素データを読み出すようになされている。ここで、バンクＢ１乃至Ｂ１８それぞれにおいては、後述するように、一度に、６４ビットのデータの入出力が可能となっている。従って、本実施の形態では、上述したように、１の画素データが８ビットで構成されるから、バンクＢ１乃至Ｂ１８それぞれからは、８画素（＝６４／８）分の画素データを一度に読み出すことができ、さらに、バンクセレクタ３では、７個のバンクから、画素データが読み出されるから、結局、バンクセレクタ３からは、５６画素（＝７×８）分の画素データ（７×８×８ビットのデータ）が、一度に出力される。
【００３５】
バンクセレクタ３が出力する５６画素の画素データは、ロード／シフト回路４に供給されるようになされている。ロード／シフト回路４（データ選択手段）は、バンクセレクタ３が出力する５６画素の画素データから、必要範囲のライン数と同一の数だけの画素データを選択し、即ち、ここでは、４８画素の画素データを選択し、２次元パラレルアレイ５に供給するようになされている。
【００３６】
２次元パラレルアレイ５は、図１２の２次元パラレルアレイ１０３と同様に、必要範囲を構成する画素と同様にレジスタが配置されて構成されている。即ち、即ち、２次元パラレルアレイ５は、横と縦に４８ずつのレジスタが配置されて構成されている。そして、２次元パラレルアレイ５は、ロード／シフト回路４からの４８の画素データを、第１行第１列乃至第４８行第１列のレジスタにそれぞれ記憶し、以下、ロード／シフト回路４から、新たに４８の画素データが供給されるごとに、各レジスタに記憶されている画素データを、その右隣のレジスタにシフトするようになされている。
【００３７】
画素セレクタ６は、図１２の画素セレクタ６と同様に、２次元パラレルアレイ５に記憶されている必要範囲内の画素データのうち、演算処理回路７が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、演算処理回路７に供給するようになされている。演算処理回路７は、バンクセレクタ１に供給される画素データと、画素セレクタ６からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力するようになされている。
【００３８】
次に、図２は、図１のメモリ２を構成するバンクＢ＃ｉ（ｉ＝１，２，・・・，１８）の構成例を示している。
【００３９】
バンクＢ＃ｉは、例えば、１６Ｋ（キロ）×６４ビットのＤＲＡＭ（Dynamic Random Access Memory）で構成され、従って、６４ビット単位、即ち、本実施の形態では、８（＝６４／８）画素単位でのデータの読み書き（入出力（Ｉ／Ｏ（Input/Output）））が可能となっている。さらに、バンクＢ＃ｉは、行アドレスまたは列アドレスが、それぞれ８ビットまたは６ビットで指定されるようになされており、また、いわゆるページモード機能を有している。
【００４０】
バンクＢ＃ｉは、行アドレスが８ビットで指定されることから、図２に示すように、２５６本のワード線を有している。そして、各ワード線には、４０９６（＝１６Ｋ×６４ビット／２５６）個のメモリセル（図２において、二重線の四角形で示す）が配置されている。ここで、上述したように、画素データは８ビットで構成されるから、１ワード線上のメモリセルには、５１２（＝４０９６／８）画素の画素データを記憶することができる。
【００４１】
次に、図１の画像処理装置の動作について説明する。
【００４２】
処理すべき画像データは、例えば、いわゆるラインスキャン順に、バンクセレクタ１および演算処理回路７に供給され、バンクセレクタ１は、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの１個を順次選択し、その選択した１個のバンクに、そこに供給されるＨＤ画像を構成する水平方向の画素データを書き込む。
【００４３】
即ち、バンクセレクタ１は、ＨＤ画像を構成する画素データが、所定の画素ブロック単位で、バンクＢ１乃至Ｂ１８それぞれに記憶されるように、バンクＢ１乃至Ｂ１８を、１個ずつ順次選択する。
【００４４】
ここで、画素ブロックは、バンクＢ＃ｉの１ワード線上のメモリセルに記憶することのできる画素数（本実施の形態では、図２で説明したように５１２画素）と同一の画素数で構成される。さらに、画素ブロックの縦（垂直方向）の画素数は、バンクＢ＃ｉに一度で読み書きすることのできる画素数（本実施の形態では、図２で説明したように８画素）と同一の画素数とされる。従って、本実施の形態では、図３に示すように、画素ブロックは５１２画素で構成され、その縦の画素数は８画素となる。なお、画素ブロックの横（水平方向）の画素数は、６４（＝５１２／８）画素となる。
【００４５】
バンクセレクタ１において選択されたバンクＢ＃ｉでは、１本のワード線上のメモリセルに、１の画素ブロックを構成する５１２画素の画素データが記憶される。さらに、そのとき、画素データは、画素ブロック（図３）における垂直方向の画素すべて、即ち、ここでは、垂直方向に並ぶ８画素の画素データすべてを同時に読み出すことができるように記憶される。
【００４６】
また、バンクセレクタ１では、ＨＤ画像において隣接する画素ブロックが、異なるバンクに記憶されるように、複数のバンクＢ１乃至Ｂ１８からのバンクの選択が行われる。即ち、バンクセレクタ１では、例えば、ＨＤ画像において水平方向に隣接する画素ブロックが、２個のバンクに交互に記憶されるように、かつ、ＨＤ画像において垂直方向に隣接する画素ブロックが、９個のバンクに周期的に記憶されるように、複数のバンクＢ１乃至Ｂ１８からのバンクの選択が行われる。
【００４７】
その結果、横×縦が、１９２０画素×１０８０画素のＨＤ画像は、例えば、図４に示すように、バンクＢ１乃至Ｂ１８それぞれにマッピングされる。
【００４８】
即ち、ＨＤ画像の最も左上の第１行第１列の画素ブロックは、バンクＢ１に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンクＢ２に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンクＢ３に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第１列乃至第９行第１列の画素ブロックは、バンクＢ４乃至Ｂ９にそれぞれ記憶される。
【００４９】
また、ＨＤ画像の第１行第１列の画素ブロックの左に隣接する、左から６５乃至１２８画素目と、上から１乃至８画素目で構成される第１行第２列の画素ブロックは、バンクＢ１０に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンクＢ１１に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンクＢ１２に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第２列乃至第９行第２列の画素ブロックは、バンクＢ１３乃至Ｂ１８にそれぞれ記憶される。
【００５０】
そして、第１列の第１０行以下の画素ブロックは、第１行第１列乃至第９行第１列の画素ブロックと同様に、バンク１乃至Ｂ９に同期的に記憶され、第２列の第１０行以下の画素ブロックも、第１行第２列乃至第９行第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンクＢ１乃至Ｂ９に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に記憶される。以下、同様にして、各列の画素ブロックは、バンクＢ１乃至Ｂ１８に記憶される。
【００５１】
即ち、ＨＤ画像における、最も左上の画素を頂点とする横×縦が１２８画素×７２画素の範囲の画素データの、バンクＢ１乃至Ｂ１８それぞれへのマッピングのパターンを、いわば基準のマッピングパターンとして、ＨＤ画像の、他の画素データの、バンクＢ１乃至Ｂ１８それぞれへのマッピングが行われる。
【００５２】
その結果、ＨＤ画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、２個のバンクに交互に記憶され、また、ＨＤ画像における垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、９個のバンクに周期的に記憶される。
【００５３】
例えば、いま、第１フレームのＨＤ画像が、図４に示すように、メモリ部２にマッピングされたとすると、第２フレームのＨＤ画像は、例えば、図５に示すようにマッピングされる。
【００５４】
即ち、第２フレームの最も左上の第１行第１列の画素ブロックは、バンクＢ５に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンクＢ６に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンクＢ７に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第１列乃至第９行第１列の画素ブロックは、バンクＢ８，Ｂ９，Ｂ１，Ｂ２，Ｂ３，Ｂ４にそれぞれ記憶される。
【００５５】
また、ＨＤ画像の第１行第１列の画素ブロックの左に隣接する、左から６５乃至１２８画素目と、上から１乃至８画素目で構成される第１行第２列の画素ブロックは、バンクＢ１４に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンクＢ１５に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンクＢ１６に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第２列乃至第９行第２列の画素ブロックは、バンクＢ１７，Ｂ１８，Ｂ１０，Ｂ１１，Ｂ１２，Ｂ１３にそれぞれ記憶される。
【００５６】
そして、第１列の第１０行以下の画素ブロックは、第１行第１列乃至第９行第１列の画素ブロックと同様に、バンクＢ５乃至Ｂ９，Ｂ１乃至Ｂ４に同期的に記憶され、第２列の第１０行以下の画素ブロックも、第１行第２列乃至第９行第２列の画素ブロックと同様に、バンクＢ１４乃至Ｂ１８，Ｂ１０乃至Ｂ１３に同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンクＢ５乃至Ｂ９，Ｂ１乃至Ｂ４に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に記憶される。以下、同様にして、各列の画素ブロックは、バンクＢ１４乃至Ｂ１８，Ｂ１０乃至Ｂ１３に記憶される。
【００５７】
即ち、第２フレームは、第１フレームにおけるマッピングのパターンに比較して、４画素ブロックだけ列方向（下方向）にずれた状態にマッピングされる。
【００５８】
第３フレームも、第２フレームにおけるマッピングのパターンに比較して、４画素ブロックだけ列方向にずれた状態にマッピングされ、従って、図６に示すようにマッピングされる。以下、同様に、第４フレーム以降も、その１フレーム前におけるマッピングパターンに比較して、４画素ブロックだけ列方向にずれた状態にマッピングされていく。
【００５９】
一方、バンクセレクタ３（図１）では、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの７個が順次選択され、その選択された７個のバンクから、ＨＤ画像を構成する垂直方向の画素データが読み出される。
【００６０】
即ち、バンクセレクタ３は、バンクセレクタ１が書き込もうとしている現フレームの画素データを有する画素ブロックに対応する前のフレームの画素ブロックを含む、その画素ブロックの上下それぞれ３個の画素ブロックの、合計７個の画素ブロックが書き込まれたバンクを選択する。そして、その選択された７個のバンクから、ＨＤ画像を構成する同一の列の画素データが読み出される。
【００６１】
具体的には、例えば、いま、第１フレームのＨＤ画像が、図４に示したように、メモリ２に記憶され、第２フレームのＨＤ画像の供給が開始されたとする。そして、第２フレームの、例えば、第２５行第３０列の画素データに注目すると、この画素データは、図５に示したことから、第４行第１列の画素ブロックに属するので、バンクセレクタ１において、バンクＢ８が選択されて書き込まれる。
【００６２】
一方、バンクセレクタ３では、第２フレームの第２５行第３０列の画素データを有する画素ブロックに対応する第１フレームの画素ブロックを含む、その画素ブロックの上下それぞれ３個の画素ブロックの、合計７個の画素ブロック、即ち、図４に示したように、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれが書き込まれたバンクＢ１乃至Ｂ７が選択される。そして、バンクセレクタ３では、そのバンクＢ１乃至Ｂ７それぞれから、第１フレームにおける第１行第１列乃至第７行第１列の画素ブロックそれぞれの垂直方向の画素データが読み出される。
【００６３】
即ち、上述したように、バンクＢ１乃至Ｂ１８それぞれからは、１本のワード線上の８画素の画素データを一度に読み出すことができるようになされており、バンクセレクタ３は、バンクＢ１乃至Ｂ７から、第１フレームにおける第１行第１列乃至第７行第１列の画素ブロックそれぞれの同一列の８画素が読み出される。従って、バンクセレクタ３においては、メモリ２から、そこに記憶されたＨＤ画像の垂直方向に連続する５６画素（＝８画素×７バンク）が読み出される。
【００６４】
ここで、本実施の形態では、画素データの書き込み時に、ＨＤ画像において垂直方向に隣接する画素ブロックが、９個のバンクに周期的に記憶されるように、バンクの選択が行われる。従って、メモリ２に記憶されたＨＤ画像において垂直方向に隣接する、任意の７個の画素ブロックそれぞれは、必ず、相互に異なるバンクに記憶されているから、バンク切り替えにより、そのような７個の画素ブロックの任意の同一列の５６画素を、迅速に読み出すことができる。
【００６５】
なお、バンクセレクタ３では、バンクセレクタ１が書き込んでいる画素データについての必要範囲を構成するための画素データが、メモリ２から、上述したような５６画素単位で読み出される。
【００６６】
即ち、いまの場合、第２フレームの第２５行第３０列の画素データが書き込まれている状態であるから、この画素データの必要範囲は、第１フレームの第２５行第３０列の画素データを中心とする横×縦が４８画素×４８画素の範囲である。バンクセレクタ３では、上述したように、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックから、同一列に配置された５６画素が読みされるから、列方向については、バンクセレクタ３が出力する画素データには、必要範囲を構成するための画素データが含まれる。
【００６７】
従って、行方向が問題となるが、バンクセレクタ３は、上述の同一列に配置された５６画素を、第１フレームの第２５行第３０列の画素データを中心とする４８列だけ順次読み出すようになされている。その結果、バンクセレクタ３では、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックに亘る５６行と、第１フレームの第２５行第３０列の画素データを中心とする４８列とによって規定される５６行×４８列の範囲の第１フレームの画素データが読み出されるから、これは、第２フレームの、第２５行第３０列の画素データについての必要範囲を含んでいる。
【００６８】
ところで、第１フレームの第２５行第３０列の画素データを中心とする４８列は、第６列乃至第５３列（または第７列乃至第５４列）であるから、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロック、即ち、第１フレームの第１行第１列乃至第７行第１列の画素ブロックの中に含まれる。
【００６９】
しかしながら、例えば、第２フレームの第２５行第６４列の画素データが書き込まれる場合においては、この画素データの必要範囲は、第１フレームの第２５行第６４列の画素データを中心とする横×縦が４８画素×４８画素の範囲であるから、第１フレームにおける第２５行第６４列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックである、第１フレームの第１行第１列乃至第７行第１列の画素ブロックから、右にはみ出すことになる。即ち、第２フレームの第２５行第６４列の画素データについての必要範囲は、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれの右隣の第１行第２列乃至第７行第２列の画素ブロックにも及ぶ。
【００７０】
このような場合、バンクセレクタ３は、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれが記憶されたバンクＢ１乃至Ｂ７（図４）を選択して、第２フレームの第２５行第６４列の画素データについての必要範囲を構成する画素データを読み出した後、その右隣の第１フレームにおける第１行第２列乃至第７行第２列の画素ブロックそれぞれが記憶されたバンクＢ１０乃至Ｂ１６（図４）を選択して、第２フレームの第２５行第６４列の画素データについての必要範囲を構成する画素データを読み出すようになされている。
【００７１】
ここで、画素データの書き込み時に、ＨＤ画像において水平方向に隣接する画素ブロックが、２個のバンクに交互に記憶されるように、バンクの選択が行われているから、上述したように、水平方向に隣接する２つの画素ブロックの画素データを読み出す場合でも、その読み出しを迅速に行うことができる。
【００７２】
即ち、あるバンクを対象としたデータの連続した読み書きは、その読み書きする対象のメモリセルのワード線が異なると、そのワード線の切り替えに時間がかかることから、データを読み書きする時間が、同一のワード線上のメモリセルを対象とする場合に比較して増加する。このため、本実施の形態では、図２および図３で説明したように、１の画素ブロックを構成する画素データを、バンクの１本のワード線上のメモリセルに記憶させることにより、データを読み書きする時間の短縮化を図っている。
【００７３】
具体的には、例えば、メモリ２から、第１行第１列の画素ブロックに続いて、その右隣の第１行第２列の画素ブロックの読み出しを行う場合に、これらの連続して読み出しを行おうとする２つの画素ブロックが、同一のバンクに記憶されている場合には、ワード線の切り替えに起因する読み出し時間の遅延が生じる。
【００７４】
一方、図４では、第１行第１列の画素ブロックはバンクＢ１に、その右隣の第１行第２列の画素ブロックはバンクＢ２に、それぞれ記憶されている。従って、第１行第１列の画素ブロックに続いて、第１行第２列の画素ブロックの読み出しを行う場合には、それらの２つの画素ブロックが記憶されているバンクが異なることから、第１行第１列の画素ブロックの読み出し終了前に、その画素ブロックが記憶されたバンクＢ１とは異なるバンクＢ２の、第１行第２列の画素ブロックが記憶されたメモリセル上のワード線をアクティブにしておくことができ、その結果、上述したようなワード線の切り替えに起因する読み出し時間の遅延が生じることを防止することができる。
【００７５】
次に、例えば、上述したように、第２フレームの第２５行第３０列の画素データに注目した場合には、バンクセレクタ１において、バンクＢ８が選択されて書き込まれる。さらに、このとき、バンクセレクタ３において、第２フレームの第２５行第３０列の画素データについての必要範囲を得るための画素データが、バンクＢ１乃至Ｂ７から読み出される。
【００７６】
処理のリアルタイム性を確保するには、画素データの読み書きを同時に行う必要があるが、第２フレームの第２５行第３０列の画素データの書き込みは、バンクＢ８を対象とし、その必要範囲を得るための画素データの読み出しは、バンクＢ１乃至Ｂ７を対象として行われるから、即ち、画素データの書き込みと読み出しとが、異なるバンクを対象として行われるから、その書き込みと読み出しとを同時に行うことができる。
【００７７】
次に、例えば、第２フレームの最も左上にある第１行第１列の画素データが書き込まれるバンクＢ５（図４）には、第２フレームの他の画素データについての必要範囲を構成する第１フレームの画素データが記憶されているから、その第１フレームの画素データを、その第１フレームの画素データを用いて必要範囲が構成される第２フレームの画素の書き込みが終了するまで保持しておかないと、処理が破綻することになる。
【００７８】
即ち、バンクＢ５には、図４に示したように、第１フレームの第５行第１列の画素ブロックが最も早く記憶されており、従って、処理の順番からすれば、この画素ブロックが最も早く不要になる。そして、図４に示した第１フレームの第５行第１列の画素ブロックは、図５に示した第２フレームの第８行第１列の画素ブロックの３画素ブロックだけ上にあるから、その第２フレームの第８行第１列の画素ブロックを構成する画素データについての必要範囲を構成する画素データを有しており、従って、第２フレームの第８行第１列の画素ブロックを構成する画素データの書き込みが終了するまでは、第１フレームの第５行第１列の画素ブロックは、メモリ２に保持しておく必要がある。
【００７９】
そこで、例えば、第１フレームの第５行第１列の画素ブロックを、ラインスキャン順に供給される第２フレームの第８行の画素ブロックの書き込みが終了するまで保持しておくものとすると、それまでに、第１フレームの第５行第１列の画素ブロックが記憶されたバンクＢ５（図４）には、図５に示したように、第２フレームの画素ブロックの第１行の画素ブロックを１つおきに書き込む必要がある。
【００８０】
ここで、１フレームのＨＤ画像は、本実施の形態では、横×縦が１９２０画素×１０８０画素で構成されており、画素ブロックは、横×縦が６４×８画素で構成されるから、１フレームのＨＤ画像を記憶するには、横が３０（＝１９２０／６４）画素ブロック分で、縦が１３５（＝１０８０／８）画素ブロック分の記憶容量を必要とする。
【００８１】
また、第２フレームの画素ブロックの第１行を構成する画素ブロックは３０個であり、バンクＢ５に書き込まれるのは、その半分の１５画素ブロックということになる。
【００８２】
以上から、第１フレームを書き込んだ後に、バンクＢ５に、１５画素ブロック分の空き容量があれば、そこに、第２フレームの画素データを書き込むことで、第２フレームの第８行の画素ブロックの書き込みが終了するまで、第１フレームの第５行第１列の画素ブロックを保持しておくことが可能となる。
【００８３】
そこで、上述したことから、１フレームのＨＤ画像を記憶するには、３０×１３５画素ブロック分の記憶容量を必要とする。本実施の形態では、メモリ２は１８バンクで構成されているから、メモリ２を構成する各バンクに、１フレームのＨＤ画像を、均一のデータ量ずつ記憶させると、各バンクに記憶されるデータ量は、３０×１３５／１８＝２２５画素ブロック分になる。
【００８４】
一方、メモリ２を構成する各バンクは、図２に示したように、２５６本のワード線を有し、各ワード線が１画素ブロックに対応するから、２５６画素ブロック分の容量を有する。従って、１フレームのＨＤ画像をメモリ２に記憶させた場合、各バンクには、２５６−２２５＝３１ブロック分の空き容量がある。
【００８５】
以上から、バンクＢ５は、第２フレームの１５画素ブロック分を書き込む空き容量を十分有するから、そこに、第２フレームの画素データを書き込むことで、第２フレームの第８行の画素ブロックの書き込みが終了するまで、第１フレームの第５行第１列の画素ブロックを保持しておくことが可能となる。その結果、処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行うことができる。
【００８６】
なお、他のバンクについても同様のことがいえる。また、例えば、上述の場合において、バンクＢ５に記憶されている第１フレームの第５行第１列の画素ブロックは、第２フレームの第８行の画素ブロックの書き込みの終了後は必要なくなるから、その後は、バンクＢ５の、第１フレームの第５行第１列の画素ブロックが記憶されていたメモリセルに、第２フレームの画素データを書き込むことが可能となる。
【００８７】
ここで、以上のように処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行う場合の、メモリ２へのアドレスの与え方については、本件出願人が先に出願した特願平１０−３２９１３号に、その詳細が開示されている。
【００８８】
上述したようにして、バンクセレクタ３（図１）が出力する５６画素の画素データは、ロード／シフト回路４に供給される。ロード／シフト回路４では、バンクセレクタ３が出力する５６画素の画素データのうちの、必要範囲の縦方向を構成するものだけが選択され、即ち、ここでは、４８画素の画素データが選択され、２次元パラレルアレイ５に供給される。
【００８９】
ここで、現フレームのある画素データが、図１の画像処理装置に供給された場合、その画素データに対応する、既にメモリ２に記憶された画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックから、同一列に配置された５６画素が読みされるから、上述したように、列方向については、バンクセレクタ３が出力する画素データには、現フレームの画素データについての必要範囲を構成するための画素データが、必ず含まれる。従って、ロード／シフト回路４においては、バンクセレクタ３が出力する５６画素の画素データの中から、必要範囲の縦方向を構成するものだけを選択することができる。
【００９０】
２次元パラレルアレイ５では、図１２の２次元パラレルアレイ１０３と同様に、ロード／シフト回路４からの４８の画素データが、第１行第１列乃至第４８行第１列のレジスタにそれぞれ記憶され、以下、ロード／シフト回路４から、新たに４８の画素データが供給されるごとに、各レジスタに記憶されている画素データが、その右隣のレジスタにシフトされていく。これにより、２次元パラレルアレイ５においては、バンクセレクタ１に供給された画素データについての必要範囲を構成する画素データが記憶される。
【００９１】
そして、画素セレクタ６において、図１２の画素セレクタ６と同様に、２次元パラレルアレイ５に記憶されている必要範囲内の画素データのうち、演算処理回路７が、そこに供給された画素データの処理に用いるものが適宜選択され、演算処理回路７に供給される。演算処理回路７は、バンクセレクタ１に供給される画素データと、画素セレクタ６からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力する。
【００９２】
次に、図７および図８を参照して、メモリ２を構成するバンクへの、画像のマッピングの方法について、さらに説明する。
【００９３】
いま、図７（Ａ）に示すように、処理対象の１フレームの画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと表す。さらに、図７（Ｂ）に示すように、１個のバンクが記憶することのできる画素数をｃと、バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、バンクが同時に読み出すことのできる画素数をｅと、それぞれ表す。また、図７（Ｃ）に示すように、必要範囲の縦または横の画素数を、それぞれｆまたはｇと表す。
【００９４】
この場合、図８（Ａ）に示すように、メモリ２は、図７（Ｂ）のように構成されるバンクを、次式で表されるｈ個以上用いて構成する必要がある。
【００９５】
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２
但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す。
【００９６】
また、画素ブロックは、図８（Ｂ）に示すように、垂直方向がｅ画素、水平方向がｄ／ｅ画素で構成される。但し、ｄ／ｅが整数でない場合には、水平方向の画素数はｄ／ｅの小数点以下を切り捨てた値とされる。
【００９７】
そして、ｈ個のバンクを、いま、バンク＃１，＃２，・・・，＃ｈ／２，・・・,＃ｈと表すと、例えば、図８（Ｃ）に示すように、図７（Ａ）に示した処理対象の画像の最も左上の第１行第１列の画素ブロック（上述したように、縦×横がｅ画素×ｄ／ｅ画素のブロック）は、バンク＃１に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンク＃２に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンク＃３に記憶され、以下、同様にして、上からｈ／２個目までにある、残りの第４行第１列乃至第ｈ／２行第１列の画素ブロックは、バンク＃４乃至＃ｈ／２にそれぞれ記憶される。
【００９８】
また、処理対象の第１行第１列の画素ブロックの左に隣接する第１行第２列の画素ブロックは、バンク＃（ｈ／２＋１）に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンク＃（ｈ／２＋２）に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンク＃（ｈ／２＋３）に記憶され、以下、同様にして、上からｈ／２個目までにある、残りの第４行第２列乃至第ｈ／２行第２列の画素ブロックは、バンク＃（ｈ／２＋４）乃至＃ｈにそれぞれ記憶される。
【００９９】
そして、第１列の第ｈ／２＋１行以下の画素ブロックは、再び、バンク＃１乃至＃ｈ／２に同期的に記憶され、第２列の第ｈ／２＋１行以下の画素ブロックも、バンク＃（ｈ／２＋１）乃至＃ｈに同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンク＃１乃至＃ｈ／２に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンク＃（ｈ／２＋１）乃至＃ｈに記憶される。以下、同様にして、各列の画素ブロックは、バンク＃１乃至＃ｈに記憶される。
【０１００】
即ち、ＨＤ画像における、最も左上の画素を頂点とする横×縦が２画素ブロック×ｈ／２画素ブロックの範囲の画素データの、バンク＃１乃至＃ｈそれぞれへのマッピングのパターンを基準のマッピングパターンとして、処理対象の画像の、他の画素データの、バンク＃１乃至＃ｈそれぞれへのマッピングが行われる。
【０１０１】
その結果、処理対象の画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、２個のバンクに交互に記憶され、また、垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、ｈ／２個のバンクに周期的に記憶される。
【０１０２】
なお、その他、例えば、第１行第１列の画素ブロックをバンク＃１に、第１行第２列の画素ブロックをバンク＃２に、第２行第１列の画素ブロックをバンク＃３に、・・・というようにマッピングしてもよい。
【０１０３】
そして、読み出し時においては、バンクセレクタ３において、バンクセレクタ１に入力された画素データを有する画素ブロックに対応する、既にメモリ２に記憶された前のフレームの画素ブロックを含む、その上下それぞれに隣接する所定数個の画素ブロックの、合計でｆ／ｅ＋１個（但し、ｆ／ｅ＋１が小数点以下の値を有する場合には、小数点以下を切り上げた値）の画素ブロックをそれぞれ記憶しているバンクが選択され、各バンクから、そこに記憶されている画素ブロックの同一列の画素データが読み出される。
【０１０４】
なお、リアルタイム性を確保するには、即ち、データの読み書きを同時に行うためには、バンクセレクタ３において選択されるバンク数がｈ／２−１以下である必要がある。
【０１０５】
以上のように、複数のバンクＢ１乃至Ｂ１８のうちの１個を選択して、画素データを書き込むとともに、その複数のＢ１乃至Ｂ１８のうちの他の２個以上を選択して、画素データを読み出し、そのうちの必要なものだけを選択するようにしたので、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される２次元の画素のブロックを得ることが可能となる。
【０１０６】
その結果、例えば、ＭＰＥＧにおける動き検出を行う動き検出回路や、解像度想像を行うクラス分類適用処理回路、その他、画像から、２次元の画素のブロックを抽出して処理の対象とする回路等の小型化を図ることが可能となる。
【０１０７】
ここで、クラス分類適応処理について説明する。
【０１０８】
クラス分類適応処理では、例えば、ＳＤ（Standard Desity）画像と、所定の予測係数との線形結合により、ＨＤ（High Density）画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０１０９】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１１０】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１１１】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０１１２】
ＸＷ＝Ｙ’
・・・（２）
【０１１３】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１１４】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１１５】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【０１１６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１１７】
【数４】
・・・（４）
【０１１８】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１１９】
【数５】
・・・（５）
【０１２０】
式（４）および（５）より、式（６）が得られる。
【０１２１】
【数６】
・・・（６）
【０１２２】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１２３】
【数７】
・・・（７）
【０１２４】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１２５】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１２６】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０１２７】
図９は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理回路の構成例を示している。
【０１２８】
ＳＤ画像は、クラス分類回路１４および遅延回路１８に供給されるようになされており、クラス分類回路１４では、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、ＳＤ画像に基づいて、所定のクラスにクラス分類される。
【０１２９】
即ち、クラス分類回路１４は、まず最初に、注目画素の周辺にあるＳＤ画素として、例えば、注目画素からの距離が所定値以下のＳＤ画素でなるブロック（以下、適宜、処理ブロックという）を、ＳＤ画像から抽出し、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ１９のアドレス端子（ＡＤ）に供給する。
【０１３０】
具体的には、クラス分類回路１４は、例えば、図１０に示すように、注目画素を中心とする４×４のＳＤ画素（同図において○印で示す）でなるクラスタップを、ＳＤ画像から抽出し、これらの１６のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【０１３１】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、１６のＳＤ画素の画素値のパターン数は、（２8）16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【０１３２】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptiv Dynamic Range Coding）処理などが施される。
【０１３３】
即ち、ＡＤＲＣ処理では、まず、クラスタップを構成する１６のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【０１３４】
その結果、クラスタップを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、１６のＳＤ画素の画素値のパターン数は、（２1）16通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【０１３５】
係数ＲＯＭ１９は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路１４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０に供給する。
【０１３６】
一方、遅延回路１８では、予測演算回路２０に対して、係数ＲＯＭ１９から予測係数が供給されるタイミングと、後述する予測タップ生成回路１６から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路１６に供給される。
【０１３７】
予測タップ生成回路１６では、そこに供給されるＳＤ画像から、予測演算回路２０において注目画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０に供給される。即ち、予測タップ生成回路１６では、ＳＤ画像から、例えば、クラス分類回路１４で抽出されたとの同一のクラスタップが抽出され、そのクラスタップを構成するＳＤ画素が、予測タップとして、予測演算回路２０に供給される。
【０１３８】
予測演算回路２０では、係数ＲＯＭ１９からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路１６からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０１３９】
以下同様の処理が、その他のＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【０１４０】
次に、図１１は、図９の係数ＲＯＭ１９に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【０１４１】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１および遅延回路２８に供給されるようになされており、間引き回路２１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路２６および予測タップ生成回路２７に供給される。
【０１４２】
クラス分類回路２６または予測タップ生成回路２７では、図９のクラス分類回路１４または予測タップ生成回路１６における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路２６が出力するクラスは、予測タップメモリ２９および教師データメモリ３０のアドレス端子（ＡＤ）に供給され、予測タップ生成回路２７が出力する予測タップは、予測タップメモリ２９に供給される。
【０１４３】
予測タップメモリ２９では、クラス分類回路２６から供給されるクラスに対応するアドレスに、予測タップ生成回路２７から供給される予測タップが記憶される。
【０１４４】
一方、遅延回路２８では、注目画素に対応するクラスが、クラス分類回路２６から教師データメモリ３０に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、注目画素であるＨＤ画素の画素値だけが、教師データとして、教師データメモリ３０に供給される。
【０１４５】
そして、教師データメモリ３０では、クラス分類回路２６から供給されるクラスに対応するアドレスに、遅延回路２８から供給される教師データが記憶される。
【０１４６】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素が注目画素とされるまで繰り返される。
【０１４７】
以上のようにして、予測タップメモリ２９または教師データメモリ３０の同一のアドレスには、図１０において○印で示したＳＤ画素または図１０において×印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【０１４８】
なお、予測タップメモリ２９と教師データメモリ３０においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【０１４９】
その後、演算回路３１は、予測タップメモリ２９または教師データメモリ３０から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路３１では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０１５０】
以上のようにして、演算回路３１で求められたクラスごとの予測係数が、図９の係数ＲＯＭ１９における、そのクラスに対応するアドレスに記憶されている。
【０１５１】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【０１５２】
図１に示した、画像から必要範囲を検出して処理を行う画像処理装置は、画像からクラスタップおよび予測タップを検出して処理を行うクラス分類適応処理回路（図９）や、学習装置（図１１）に適用することができる。
【０１５３】
なお、本実施の形態においては、画像から、空間方向に分布する画素を検出するようにしたが、時間方向に分布する画素を検出するようにすることも可能である。また、空間方向と時間方向の両方に分布する画素を検出する、即ち、３次元の必要範囲を検出するようにすることも可能である。
【０１５７】
【発明の効果】
本発明の一側面によれば、例えば、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される２次元の画素のブロックを得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のメモリ２を構成するバンクＢ１乃至Ｂ１８の構成例を示す図である。
【図３】画素ブロックの構成例を示す図である。
【図４】メモリ２への、画素データのマッピングを説明するための図である。
【図５】メモリ２への、画素データのマッピングを説明するための図である。
【図６】メモリ２への、画素データのマッピングを説明するための図である。
【図７】メモリ２を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図８】メモリ２を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図９】クラス分類適応処理回路の構成例を示すブロック図である。
【図１０】図９のクラス分類回路１４の処理を説明するための図である。
【図１１】学習装置の構成例を示すブロック図である。
【図１２】従来の画像処理装置の一例の構成を示すブロック図である。
【符号の説明】
１ バンクセレクタ（書き込み用選択手段）， ２ メモリ（記憶手段）， ３ バンクセレクタ（読み出し用選択手段）， ４ ロード／シフト回路（データ選択手段）， ５ ２次元パラレルアレイ， ６ 画素セレクタ， ７ 演算処理回路
【発明の属する技術分野】
本発明は、記憶装置、並びに書き込み方法および読み出し方法に関し、特に、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにする記憶装置、並びに書き込み方法および読み出し方法に関する。
【０００２】
【従来の技術】
例えば、画像の符号化／復号等についての規格であるＭＰＥＧ（Moving Picture Experts Group）における動き検出等の画像処理においては、処理対象となっている現フレームと、その現フレームに対して時間的に先行（過去）または後行（未来）するフレームとを比較して処理が行われる。
【０００３】
図１２は、そのような、従来の画像処理装置の一例の構成を示している。なお、この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する１フレーム前の画素を中心とする４８画素×４８ラインの範囲内の画素データを用いて、動き検出等の所定の処理が行われるようになされている。ここで、注目画素について所定の処理を行うために必要な画素の範囲（ここでは、４８画素×４８ライン）を、以下、適宜、必要範囲という。
【０００４】
動画を構成するディジタル画像データを構成する画素データは、例えば、１フレーム分の記憶容量を有するフレームメモリ１０１に順次供給され、例えば、ラインスキャン順に記憶されていく。そして、フレームメモリ１０１に記憶された画素データは、ラインスキャン順に、順次読み出され、ラインメモリ部１０２に供給される。
【０００５】
ラインメモリ部１０２は、必要範囲のライン数（ここでは、４８ライン）の画素データを得るために、必要範囲のライン−１の数のラインメモリ、即ち、４７個のラインメモリ１０２1乃至１０２47で構成されており、フレームメモリ１０１からの画素データは、ラインメモリ１０２1に供給されて記憶される。ラインメモリ１０２1に記憶された画素データは、フレームメモリ１０１から、新たに画素データが供給されるごとに、右にシフトされていき、ある画素データに注目した場合に、その注目画素データが、ラインメモリ１０２1に供給されてから、１ライン分の画素データが供給されると、注目画素データは、ラインメモリ１０２1から出力され、後段のラインメモリ１０２2に供給される。
【０００６】
ラインメモリ１０２2においても、ラインメモリ１０２1における場合と同様に、ラインメモリ１０２2から供給された画素データが１ライン分だけ遅延され、後段のラインメモリ１０２3に供給される。以下、同様にして、ラインメモリ１０２3乃至１０２47それぞれにおいて、画素データは、１ライン分ずつ遅延されていく。
【０００７】
フレームメモリ１０１が出力する画素データは、ラインメモリ部１０２に供給される他、２次元パラレルアレイ（2 dimension parallel array）１０３にも供給されるようになされている。２次元パラレルアレイ１０３は、必要範囲を構成する縦または横の画素数と同一数のレジスタが、垂直方向または水平方向にそれぞれ配置されて構成されており、即ち、ここでは、垂直方向および水平方向とも、４８のレジスタが配置されて構成されており、フレームメモリ１０１が出力する画素データは、２次元パラレルアレイ１０３の第１行第１列のレジスタに供給されて記憶される。そして、２次元パラレルアレイ１０３では、第１行第１列のレジスタに記憶された画素データが、フレームメモリ１０１から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後は、捨てられる（第４７列のレジスタに記憶されている画素データが、第４８列のレジスタにシフトされることで、第４８列のレジスタに記憶されていたデータは消去される）。
【０００８】
ラインメモリ１０２1が出力する画素データも、後段のラインメモリ１０２2に供給される他、２次元パラレルアレイ１０３に供給される。２次元パラレルアレイ１０３では、ラインメモリ１０２1からの画素データが、第２行第１列のレジスタに供給されて記憶される。そして、第２行第１列のレジスタに記憶された画素データは、ラインメモリ１０２1から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後、捨てられる。
【０００９】
ラインメモリ１０２2乃至１０２47が出力する画素データも、２次元パラレルアレイ１０３に供給され、２次元パラレルアレイ１０３では、ラインメモリ１０２2乃至１０２47からの画素データが、それぞれ、第３行第１列乃至第４８行第１列のレジスタに供給されて記憶される。そして、第３行第１列乃至第４８行第１列のレジスタに記憶された画素データは、それぞれ、ラインメモリ１０２2乃至１０２47から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第４８列のレジスタに記憶された後、捨てられる。
【００１０】
一方、フレームメモリ１０１に供給される画素データは、ラインメモリ１０６にも供給される。ラインメモリ１０６では、そこに入力される画素データが、１ライン分だけ遅延され、画像演算処理回路１０５に供給される。
【００１１】
図１２の画像処理装置では、このようにして、現フレームの画素データが、画像演算処理回路１０５に供給されるタイミングにおいて、その現フレームの画素データに対応する１フレーム前の画素を中心とする４８画素×４８ラインの画素データが、２次元パラレルアレイ１０３の４８×４８のレジスタに記憶された状態となるように、フレームメモリ１０１からの画素データの読み出しが開始されるようになされており、従って、画像演算処理回路１０５に、ある画素データが供給されたとき、２次元パラレルアレイ１０３には、その画素データについての必要範囲内の画素データが記憶されている。
【００１２】
画素セレクタ１０４は、２次元パラレルアレイ１０３に記憶されている必要範囲内の画素データのうち、画像演算処理回路１０５が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、画素演算処理回路１０５に供給する。
【００１３】
そして、画像演算処理回路１０５では、ラインメモリ１０６からの画素データと、画素セレクタ１０４からの画素データとを用いて、動き検出のための演算処理等の所定の処理が行われ、その処理結果が出力される。
【００１４】
【発明が解決しようとする課題】
図１２の画像処理装置では、現フレームの各画素データが、その前のフレームの画素データを用いて処理されるから、現フレームの処理の終了後は、次のフレームの各画素データが、現フレームの画素データを用いて処理される。従って、現フレームの画素データは、フレームメモリ１０１に、前のフレームの画素データが記憶された後に供給されるが、その現フレームの画素データは、次のフレームの画素データを処理するために、フレームメモリ１０１に記憶する必要がある。
【００１５】
しかしながら、現フレームの画素データを、フレームメモリ１０１に記憶させると、その現フレームの画素データが記憶されたアドレスに記憶されていた前のフレームの画素データが消去されてしまうため、何らの手当も施さないと、現フレームの画素データの処理に、前のフレームの画素データを用いることができなくなる。
【００１６】
そこで、図１２の画像処理装置には、ラインメモリ部１０２が設けられており、このラインメモリ部１０２において、必要範囲のライン数−１だけのラインを保持しておくことで、画像のリアルタイム処理を可能としている。
【００１７】
しかしながら、図１２の画像処理装置を１チップ化（ＬＳＩ（Large Scale Integration）化）することを考えた場合には、リアルタイム処理を行わないなら必要のないラインメモリ部１０２を設ける必要があり、その結果、チップサイズが大になる。即ち、図１２においては、必要範囲のライン数が４８ラインであるから、必要範囲のライン数の画素データを保持するために、４７（＝４８−１）ものラインメモリを、チップに内蔵させる必要がある。
【００１８】
また、チップサイズが制限されている場合等においては、チップに内蔵させることのできるラインメモリが制限される。さらに、チップのレイアウト等に起因して、チップに内蔵させることのできるラインメモリの数が制限される場合もある。このように、チップに内蔵させることのできるラインメモリの数が制限される場合においては、必要範囲も制限され、その結果、例えば、図１２の画像処理装置を、ＭＰＥＧ等の動き検出や動き補償のためのブロックマッチングに適用したときに、いわゆるサーチ範囲も制限されることになる。
【００１９】
さらに、１フレーム分の画素データを記憶可能なフレームメモリ１０１が設けられているのにもかかわらず、さらに、必要範囲のライン数−１のラインの画素データを記憶するラインメモリを設けることは、いわば余分なメモリを持つこととなるから、消費電力の観点からも好ましくない。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにするものである。
【００２１】
【課題を解決するための手段】
本発明の一側面の記憶装置は、複数の、半導体メモリである記憶バンクを有する記憶手段と、前記複数の記憶バンクのうちの１個を選択し、画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と、前記複数の記憶バンクのうちの他の２個以上を選択し、前記画像データを構成する垂直方向の画素データを読み出す読み出し用選択手段と、前記読み出し用選択手段が出力した前記画素データの選択を行うデータ選択手段とを備え、前記書き込み用選択手段は、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個を順次選択し、前記記憶バンクは、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶し、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクが同時に読み出すことのできる画素数をｅと、前記データ選択手段において選択される画素数をｆとそれぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記読み出し用選択手段は、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す記憶装置である。
【００２２】
本発明の一側面の書き込み方法は、画像データを記憶する記憶装置が、複数のメモリバンクを有する記憶手段と、前記複数のメモリバンクのうちの１個を選択し、前記画像データを構成する水平方向の画素データを書き込む書き込み用選択手段とを備え、前記書き込み用選択手段に、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの１個を順次選択させ、前記メモリバンクに、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶させ、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記メモリバンクが記憶することのできる画素数をｃと、前記メモリバンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記メモリバンクが同時に読み出すことのできる画素数をｅと、それぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記メモリバンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成される書き込み方法である。
【００２３】
本発明の一側面の読み出し方法は、画像データを記憶する記憶装置が、複数の、半導体メモリである記憶バンクを有する記憶手段を備え、前記複数の記憶バンクのうちの１個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの２個以上を選択して、前記画像データを構成する垂直方向の画素データを読み出し、その読み出した画素データの選択を行って出力する読み出し方法であり、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの１本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてを同時に読み出し、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクから同時に読み出すことのできる画素数をｅと、前記複数の記憶バンクのうちの２個以上から読み出された画像データから選択される画素数をｆとそれぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す読み出し方法である。
【００２４】
本発明の一側面の記憶装置においては、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記記憶バンクでは、前記画素ブロックを構成する前記画素データが、１本のワード線上のメモリセルに記憶される。また、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクが同時に読み出すことのできる画素数をｅと、前記データ選択手段において選択される画素数をｆとそれぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択され、前記画素データが読み出される。
【００２５】
本発明の一側面の書き込み方法においては、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの１個が順次選択され、前記メモリバンクに、前記画素ブロックを構成する前記画素データが、１本のワード線上のメモリセルに記憶される。また、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記メモリバンクが記憶することのできる画素数をｃと、前記メモリバンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記メモリバンクが同時に読み出すことのできる画素数をｅと、それぞれするとき、前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記メモリバンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成される。
【００２６】
本発明の一側面の読み出し方法においては、前記複数の記憶バンクのうちの１個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの２個以上が選択されて、前記画像データを構成する垂直方向の画素データが読み出され、その読み出された画素データの選択が行われて出力される。具体的には、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの１本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてが同時に読み出される。そして、１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、１個の前記記憶バンクが記憶することのできる画素数をｃと、前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、前記記憶バンクから同時に読み出すことのできる画素数をｅと、前記複数の記憶バンクのうちの２個以上から読み出された画像データから選択される画素数をｆとそれぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択され、前記画素データが読み出される。
【００２７】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２８】
この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する１フレーム前の画素を中心とする、例えば、４８画素×４８ラインの範囲を必要範囲として検出し、その必要範囲内の画素データを用いて処理を行うようになされている。
【００２９】
動画を構成するディジタル画像データを構成する画素データとしての、例えば、シリアルの８ビットのデータは、ラインスキャン順に、バンクセレクタ１（書き込み用選択手段）および演算処理回路７に供給されるようになされている。ここで、画像データは、例えば、ＨＤ（High Density）画像のデータで、横または縦の画素数が、それぞれ１９２０画素または１０８０画素で構成されている。
【００３０】
バンクセレクタ１は、メモリ２を構成するバンク（メモリバンク）Ｂ１乃至Ｂ１８のうちの１個を順次選択し、その選択した１個のバンクに、そこに供給されるＨＤ画像を構成する水平方向の画素データを書き込むようになされている。
【００３１】
メモリ２（記憶手段）は、例えば、１８Ｍ（メガ）ビットの記憶容量を有し、バンク切り替え機能を備えている。即ち、ここでは、メモリ２は、例えば、１８個の１ＭビットのバンクＢ１乃至Ｂ１８（複数の記憶バンク）を有している。なお、本実施の形態では、１フレームのＨＤ画像が１９２０×１０８０画素で構成され、画素データは８ビットであるから、その容量は、１６５８８８００（＝１９２０×１０８０×８）ビットとなる。一方、メモリ２の容量は、１８Ｍビット（＝１８８７４３６８ビット）であるから、１フレームのＨＤ画像の容量に対して、２Ｍビット程度多い。
【００３２】
ここで、図１の画像処理装置では、図１２の画像処理装置と同様に、横×縦が４８画素×４８画素を必要範囲として検出するようになされている。そして、この場合、図１２の画像処理装置では、ラインメモリ部１０２において、上述したように、４７個のラインメモリ１０２1乃至１０２47を必要とする。いま、図１および図１２の画像処理装置において、上述したような横×縦が１９２０画素×１０８０画素のＨＤ画像を処理するものとすると、ラインメモリ部１０２における１のラインメモリの容量は、ＨＤ画像の１ラインの容量である１９２０×８ビット（８は、画素データへの割り当てビット数）となるから、４７のラインメモリでは、１９２０×８×４７ビット、即ち、概算で、８００Ｋビット程度となる。従って、１フレームのＨＤ画像を記憶するためのメモリ容量に対して、図１の画像処理装置のメモリ容量は２Ｍビット程度多く、図１２の画像処理装置のメモリ容量は８００Ｋビット程度多い。即ち、図１の画像処理装置は、１フレーム分のメモリ容量の他に、図１２の画像処理装置に比較して、約２．５倍のメモリ容量を余分に有している。
【００３３】
しかしながら、図１の画像処理装置におけるメモリ２を構成するバンクＢ１乃至Ｂ１８は、後述するように、ＤＲＡＭで構成することができる。一方、図１２の画像処理装置におけるラインメモリ１０２1乃至１０２47は、一般に、ＳＲＡＭ（Static RAM）で構成される。そして、同一容量のＤＲＡＭとＳＲＡＭを構成した場合、ＳＲＡＭのチップサイズは、ＤＲＡＭの約１０乃至２０倍になることが知られている。従って、図１の画像処理装置が余分に有するメモリ容量は、図１２の画像処理装置が余分に有するメモリ容量の約２．５倍であるが、その余分なメモリ容量によるチップサイズの増加は、図１２の画像処理装置における場合の約１／４乃至１／８程度となる。その結果、図１の画像処理装置においては、図１２の画像処理装置に比較して、チップサイズを小さくすることができる（余分なメモリ容量によるチップサイズの増加が少ない）。
【００３４】
バンクセレクタ３（読み出し用選択手段）は、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの、例えば７個を順次選択し、その選択した７個のバンクから、ＨＤ画像を構成する垂直方向の画素データを読み出すようになされている。ここで、バンクＢ１乃至Ｂ１８それぞれにおいては、後述するように、一度に、６４ビットのデータの入出力が可能となっている。従って、本実施の形態では、上述したように、１の画素データが８ビットで構成されるから、バンクＢ１乃至Ｂ１８それぞれからは、８画素（＝６４／８）分の画素データを一度に読み出すことができ、さらに、バンクセレクタ３では、７個のバンクから、画素データが読み出されるから、結局、バンクセレクタ３からは、５６画素（＝７×８）分の画素データ（７×８×８ビットのデータ）が、一度に出力される。
【００３５】
バンクセレクタ３が出力する５６画素の画素データは、ロード／シフト回路４に供給されるようになされている。ロード／シフト回路４（データ選択手段）は、バンクセレクタ３が出力する５６画素の画素データから、必要範囲のライン数と同一の数だけの画素データを選択し、即ち、ここでは、４８画素の画素データを選択し、２次元パラレルアレイ５に供給するようになされている。
【００３６】
２次元パラレルアレイ５は、図１２の２次元パラレルアレイ１０３と同様に、必要範囲を構成する画素と同様にレジスタが配置されて構成されている。即ち、即ち、２次元パラレルアレイ５は、横と縦に４８ずつのレジスタが配置されて構成されている。そして、２次元パラレルアレイ５は、ロード／シフト回路４からの４８の画素データを、第１行第１列乃至第４８行第１列のレジスタにそれぞれ記憶し、以下、ロード／シフト回路４から、新たに４８の画素データが供給されるごとに、各レジスタに記憶されている画素データを、その右隣のレジスタにシフトするようになされている。
【００３７】
画素セレクタ６は、図１２の画素セレクタ６と同様に、２次元パラレルアレイ５に記憶されている必要範囲内の画素データのうち、演算処理回路７が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、演算処理回路７に供給するようになされている。演算処理回路７は、バンクセレクタ１に供給される画素データと、画素セレクタ６からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力するようになされている。
【００３８】
次に、図２は、図１のメモリ２を構成するバンクＢ＃ｉ（ｉ＝１，２，・・・，１８）の構成例を示している。
【００３９】
バンクＢ＃ｉは、例えば、１６Ｋ（キロ）×６４ビットのＤＲＡＭ（Dynamic Random Access Memory）で構成され、従って、６４ビット単位、即ち、本実施の形態では、８（＝６４／８）画素単位でのデータの読み書き（入出力（Ｉ／Ｏ（Input/Output）））が可能となっている。さらに、バンクＢ＃ｉは、行アドレスまたは列アドレスが、それぞれ８ビットまたは６ビットで指定されるようになされており、また、いわゆるページモード機能を有している。
【００４０】
バンクＢ＃ｉは、行アドレスが８ビットで指定されることから、図２に示すように、２５６本のワード線を有している。そして、各ワード線には、４０９６（＝１６Ｋ×６４ビット／２５６）個のメモリセル（図２において、二重線の四角形で示す）が配置されている。ここで、上述したように、画素データは８ビットで構成されるから、１ワード線上のメモリセルには、５１２（＝４０９６／８）画素の画素データを記憶することができる。
【００４１】
次に、図１の画像処理装置の動作について説明する。
【００４２】
処理すべき画像データは、例えば、いわゆるラインスキャン順に、バンクセレクタ１および演算処理回路７に供給され、バンクセレクタ１は、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの１個を順次選択し、その選択した１個のバンクに、そこに供給されるＨＤ画像を構成する水平方向の画素データを書き込む。
【００４３】
即ち、バンクセレクタ１は、ＨＤ画像を構成する画素データが、所定の画素ブロック単位で、バンクＢ１乃至Ｂ１８それぞれに記憶されるように、バンクＢ１乃至Ｂ１８を、１個ずつ順次選択する。
【００４４】
ここで、画素ブロックは、バンクＢ＃ｉの１ワード線上のメモリセルに記憶することのできる画素数（本実施の形態では、図２で説明したように５１２画素）と同一の画素数で構成される。さらに、画素ブロックの縦（垂直方向）の画素数は、バンクＢ＃ｉに一度で読み書きすることのできる画素数（本実施の形態では、図２で説明したように８画素）と同一の画素数とされる。従って、本実施の形態では、図３に示すように、画素ブロックは５１２画素で構成され、その縦の画素数は８画素となる。なお、画素ブロックの横（水平方向）の画素数は、６４（＝５１２／８）画素となる。
【００４５】
バンクセレクタ１において選択されたバンクＢ＃ｉでは、１本のワード線上のメモリセルに、１の画素ブロックを構成する５１２画素の画素データが記憶される。さらに、そのとき、画素データは、画素ブロック（図３）における垂直方向の画素すべて、即ち、ここでは、垂直方向に並ぶ８画素の画素データすべてを同時に読み出すことができるように記憶される。
【００４６】
また、バンクセレクタ１では、ＨＤ画像において隣接する画素ブロックが、異なるバンクに記憶されるように、複数のバンクＢ１乃至Ｂ１８からのバンクの選択が行われる。即ち、バンクセレクタ１では、例えば、ＨＤ画像において水平方向に隣接する画素ブロックが、２個のバンクに交互に記憶されるように、かつ、ＨＤ画像において垂直方向に隣接する画素ブロックが、９個のバンクに周期的に記憶されるように、複数のバンクＢ１乃至Ｂ１８からのバンクの選択が行われる。
【００４７】
その結果、横×縦が、１９２０画素×１０８０画素のＨＤ画像は、例えば、図４に示すように、バンクＢ１乃至Ｂ１８それぞれにマッピングされる。
【００４８】
即ち、ＨＤ画像の最も左上の第１行第１列の画素ブロックは、バンクＢ１に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンクＢ２に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンクＢ３に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第１列乃至第９行第１列の画素ブロックは、バンクＢ４乃至Ｂ９にそれぞれ記憶される。
【００４９】
また、ＨＤ画像の第１行第１列の画素ブロックの左に隣接する、左から６５乃至１２８画素目と、上から１乃至８画素目で構成される第１行第２列の画素ブロックは、バンクＢ１０に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンクＢ１１に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンクＢ１２に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第２列乃至第９行第２列の画素ブロックは、バンクＢ１３乃至Ｂ１８にそれぞれ記憶される。
【００５０】
そして、第１列の第１０行以下の画素ブロックは、第１行第１列乃至第９行第１列の画素ブロックと同様に、バンク１乃至Ｂ９に同期的に記憶され、第２列の第１０行以下の画素ブロックも、第１行第２列乃至第９行第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンクＢ１乃至Ｂ９に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に記憶される。以下、同様にして、各列の画素ブロックは、バンクＢ１乃至Ｂ１８に記憶される。
【００５１】
即ち、ＨＤ画像における、最も左上の画素を頂点とする横×縦が１２８画素×７２画素の範囲の画素データの、バンクＢ１乃至Ｂ１８それぞれへのマッピングのパターンを、いわば基準のマッピングパターンとして、ＨＤ画像の、他の画素データの、バンクＢ１乃至Ｂ１８それぞれへのマッピングが行われる。
【００５２】
その結果、ＨＤ画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、２個のバンクに交互に記憶され、また、ＨＤ画像における垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、９個のバンクに周期的に記憶される。
【００５３】
例えば、いま、第１フレームのＨＤ画像が、図４に示すように、メモリ部２にマッピングされたとすると、第２フレームのＨＤ画像は、例えば、図５に示すようにマッピングされる。
【００５４】
即ち、第２フレームの最も左上の第１行第１列の画素ブロックは、バンクＢ５に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンクＢ６に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンクＢ７に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第１列乃至第９行第１列の画素ブロックは、バンクＢ８，Ｂ９，Ｂ１，Ｂ２，Ｂ３，Ｂ４にそれぞれ記憶される。
【００５５】
また、ＨＤ画像の第１行第１列の画素ブロックの左に隣接する、左から６５乃至１２８画素目と、上から１乃至８画素目で構成される第１行第２列の画素ブロックは、バンクＢ１４に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンクＢ１５に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンクＢ１６に記憶され、以下、同様にして、上から７２画素目までにある、残りの第４行第２列乃至第９行第２列の画素ブロックは、バンクＢ１７，Ｂ１８，Ｂ１０，Ｂ１１，Ｂ１２，Ｂ１３にそれぞれ記憶される。
【００５６】
そして、第１列の第１０行以下の画素ブロックは、第１行第１列乃至第９行第１列の画素ブロックと同様に、バンクＢ５乃至Ｂ９，Ｂ１乃至Ｂ４に同期的に記憶され、第２列の第１０行以下の画素ブロックも、第１行第２列乃至第９行第２列の画素ブロックと同様に、バンクＢ１４乃至Ｂ１８，Ｂ１０乃至Ｂ１３に同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンクＢ５乃至Ｂ９，Ｂ１乃至Ｂ４に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンクＢ１０乃至Ｂ１８に記憶される。以下、同様にして、各列の画素ブロックは、バンクＢ１４乃至Ｂ１８，Ｂ１０乃至Ｂ１３に記憶される。
【００５７】
即ち、第２フレームは、第１フレームにおけるマッピングのパターンに比較して、４画素ブロックだけ列方向（下方向）にずれた状態にマッピングされる。
【００５８】
第３フレームも、第２フレームにおけるマッピングのパターンに比較して、４画素ブロックだけ列方向にずれた状態にマッピングされ、従って、図６に示すようにマッピングされる。以下、同様に、第４フレーム以降も、その１フレーム前におけるマッピングパターンに比較して、４画素ブロックだけ列方向にずれた状態にマッピングされていく。
【００５９】
一方、バンクセレクタ３（図１）では、メモリ２を構成するバンクＢ１乃至Ｂ１８のうちの７個が順次選択され、その選択された７個のバンクから、ＨＤ画像を構成する垂直方向の画素データが読み出される。
【００６０】
即ち、バンクセレクタ３は、バンクセレクタ１が書き込もうとしている現フレームの画素データを有する画素ブロックに対応する前のフレームの画素ブロックを含む、その画素ブロックの上下それぞれ３個の画素ブロックの、合計７個の画素ブロックが書き込まれたバンクを選択する。そして、その選択された７個のバンクから、ＨＤ画像を構成する同一の列の画素データが読み出される。
【００６１】
具体的には、例えば、いま、第１フレームのＨＤ画像が、図４に示したように、メモリ２に記憶され、第２フレームのＨＤ画像の供給が開始されたとする。そして、第２フレームの、例えば、第２５行第３０列の画素データに注目すると、この画素データは、図５に示したことから、第４行第１列の画素ブロックに属するので、バンクセレクタ１において、バンクＢ８が選択されて書き込まれる。
【００６２】
一方、バンクセレクタ３では、第２フレームの第２５行第３０列の画素データを有する画素ブロックに対応する第１フレームの画素ブロックを含む、その画素ブロックの上下それぞれ３個の画素ブロックの、合計７個の画素ブロック、即ち、図４に示したように、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれが書き込まれたバンクＢ１乃至Ｂ７が選択される。そして、バンクセレクタ３では、そのバンクＢ１乃至Ｂ７それぞれから、第１フレームにおける第１行第１列乃至第７行第１列の画素ブロックそれぞれの垂直方向の画素データが読み出される。
【００６３】
即ち、上述したように、バンクＢ１乃至Ｂ１８それぞれからは、１本のワード線上の８画素の画素データを一度に読み出すことができるようになされており、バンクセレクタ３は、バンクＢ１乃至Ｂ７から、第１フレームにおける第１行第１列乃至第７行第１列の画素ブロックそれぞれの同一列の８画素が読み出される。従って、バンクセレクタ３においては、メモリ２から、そこに記憶されたＨＤ画像の垂直方向に連続する５６画素（＝８画素×７バンク）が読み出される。
【００６４】
ここで、本実施の形態では、画素データの書き込み時に、ＨＤ画像において垂直方向に隣接する画素ブロックが、９個のバンクに周期的に記憶されるように、バンクの選択が行われる。従って、メモリ２に記憶されたＨＤ画像において垂直方向に隣接する、任意の７個の画素ブロックそれぞれは、必ず、相互に異なるバンクに記憶されているから、バンク切り替えにより、そのような７個の画素ブロックの任意の同一列の５６画素を、迅速に読み出すことができる。
【００６５】
なお、バンクセレクタ３では、バンクセレクタ１が書き込んでいる画素データについての必要範囲を構成するための画素データが、メモリ２から、上述したような５６画素単位で読み出される。
【００６６】
即ち、いまの場合、第２フレームの第２５行第３０列の画素データが書き込まれている状態であるから、この画素データの必要範囲は、第１フレームの第２５行第３０列の画素データを中心とする横×縦が４８画素×４８画素の範囲である。バンクセレクタ３では、上述したように、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックから、同一列に配置された５６画素が読みされるから、列方向については、バンクセレクタ３が出力する画素データには、必要範囲を構成するための画素データが含まれる。
【００６７】
従って、行方向が問題となるが、バンクセレクタ３は、上述の同一列に配置された５６画素を、第１フレームの第２５行第３０列の画素データを中心とする４８列だけ順次読み出すようになされている。その結果、バンクセレクタ３では、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックに亘る５６行と、第１フレームの第２５行第３０列の画素データを中心とする４８列とによって規定される５６行×４８列の範囲の第１フレームの画素データが読み出されるから、これは、第２フレームの、第２５行第３０列の画素データについての必要範囲を含んでいる。
【００６８】
ところで、第１フレームの第２５行第３０列の画素データを中心とする４８列は、第６列乃至第５３列（または第７列乃至第５４列）であるから、第１フレームにおける第２５行第３０列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロック、即ち、第１フレームの第１行第１列乃至第７行第１列の画素ブロックの中に含まれる。
【００６９】
しかしながら、例えば、第２フレームの第２５行第６４列の画素データが書き込まれる場合においては、この画素データの必要範囲は、第１フレームの第２５行第６４列の画素データを中心とする横×縦が４８画素×４８画素の範囲であるから、第１フレームにおける第２５行第６４列の画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックである、第１フレームの第１行第１列乃至第７行第１列の画素ブロックから、右にはみ出すことになる。即ち、第２フレームの第２５行第６４列の画素データについての必要範囲は、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれの右隣の第１行第２列乃至第７行第２列の画素ブロックにも及ぶ。
【００７０】
このような場合、バンクセレクタ３は、第１フレームの第１行第１列乃至第７行第１列の画素ブロックそれぞれが記憶されたバンクＢ１乃至Ｂ７（図４）を選択して、第２フレームの第２５行第６４列の画素データについての必要範囲を構成する画素データを読み出した後、その右隣の第１フレームにおける第１行第２列乃至第７行第２列の画素ブロックそれぞれが記憶されたバンクＢ１０乃至Ｂ１６（図４）を選択して、第２フレームの第２５行第６４列の画素データについての必要範囲を構成する画素データを読み出すようになされている。
【００７１】
ここで、画素データの書き込み時に、ＨＤ画像において水平方向に隣接する画素ブロックが、２個のバンクに交互に記憶されるように、バンクの選択が行われているから、上述したように、水平方向に隣接する２つの画素ブロックの画素データを読み出す場合でも、その読み出しを迅速に行うことができる。
【００７２】
即ち、あるバンクを対象としたデータの連続した読み書きは、その読み書きする対象のメモリセルのワード線が異なると、そのワード線の切り替えに時間がかかることから、データを読み書きする時間が、同一のワード線上のメモリセルを対象とする場合に比較して増加する。このため、本実施の形態では、図２および図３で説明したように、１の画素ブロックを構成する画素データを、バンクの１本のワード線上のメモリセルに記憶させることにより、データを読み書きする時間の短縮化を図っている。
【００７３】
具体的には、例えば、メモリ２から、第１行第１列の画素ブロックに続いて、その右隣の第１行第２列の画素ブロックの読み出しを行う場合に、これらの連続して読み出しを行おうとする２つの画素ブロックが、同一のバンクに記憶されている場合には、ワード線の切り替えに起因する読み出し時間の遅延が生じる。
【００７４】
一方、図４では、第１行第１列の画素ブロックはバンクＢ１に、その右隣の第１行第２列の画素ブロックはバンクＢ２に、それぞれ記憶されている。従って、第１行第１列の画素ブロックに続いて、第１行第２列の画素ブロックの読み出しを行う場合には、それらの２つの画素ブロックが記憶されているバンクが異なることから、第１行第１列の画素ブロックの読み出し終了前に、その画素ブロックが記憶されたバンクＢ１とは異なるバンクＢ２の、第１行第２列の画素ブロックが記憶されたメモリセル上のワード線をアクティブにしておくことができ、その結果、上述したようなワード線の切り替えに起因する読み出し時間の遅延が生じることを防止することができる。
【００７５】
次に、例えば、上述したように、第２フレームの第２５行第３０列の画素データに注目した場合には、バンクセレクタ１において、バンクＢ８が選択されて書き込まれる。さらに、このとき、バンクセレクタ３において、第２フレームの第２５行第３０列の画素データについての必要範囲を得るための画素データが、バンクＢ１乃至Ｂ７から読み出される。
【００７６】
処理のリアルタイム性を確保するには、画素データの読み書きを同時に行う必要があるが、第２フレームの第２５行第３０列の画素データの書き込みは、バンクＢ８を対象とし、その必要範囲を得るための画素データの読み出しは、バンクＢ１乃至Ｂ７を対象として行われるから、即ち、画素データの書き込みと読み出しとが、異なるバンクを対象として行われるから、その書き込みと読み出しとを同時に行うことができる。
【００７７】
次に、例えば、第２フレームの最も左上にある第１行第１列の画素データが書き込まれるバンクＢ５（図４）には、第２フレームの他の画素データについての必要範囲を構成する第１フレームの画素データが記憶されているから、その第１フレームの画素データを、その第１フレームの画素データを用いて必要範囲が構成される第２フレームの画素の書き込みが終了するまで保持しておかないと、処理が破綻することになる。
【００７８】
即ち、バンクＢ５には、図４に示したように、第１フレームの第５行第１列の画素ブロックが最も早く記憶されており、従って、処理の順番からすれば、この画素ブロックが最も早く不要になる。そして、図４に示した第１フレームの第５行第１列の画素ブロックは、図５に示した第２フレームの第８行第１列の画素ブロックの３画素ブロックだけ上にあるから、その第２フレームの第８行第１列の画素ブロックを構成する画素データについての必要範囲を構成する画素データを有しており、従って、第２フレームの第８行第１列の画素ブロックを構成する画素データの書き込みが終了するまでは、第１フレームの第５行第１列の画素ブロックは、メモリ２に保持しておく必要がある。
【００７９】
そこで、例えば、第１フレームの第５行第１列の画素ブロックを、ラインスキャン順に供給される第２フレームの第８行の画素ブロックの書き込みが終了するまで保持しておくものとすると、それまでに、第１フレームの第５行第１列の画素ブロックが記憶されたバンクＢ５（図４）には、図５に示したように、第２フレームの画素ブロックの第１行の画素ブロックを１つおきに書き込む必要がある。
【００８０】
ここで、１フレームのＨＤ画像は、本実施の形態では、横×縦が１９２０画素×１０８０画素で構成されており、画素ブロックは、横×縦が６４×８画素で構成されるから、１フレームのＨＤ画像を記憶するには、横が３０（＝１９２０／６４）画素ブロック分で、縦が１３５（＝１０８０／８）画素ブロック分の記憶容量を必要とする。
【００８１】
また、第２フレームの画素ブロックの第１行を構成する画素ブロックは３０個であり、バンクＢ５に書き込まれるのは、その半分の１５画素ブロックということになる。
【００８２】
以上から、第１フレームを書き込んだ後に、バンクＢ５に、１５画素ブロック分の空き容量があれば、そこに、第２フレームの画素データを書き込むことで、第２フレームの第８行の画素ブロックの書き込みが終了するまで、第１フレームの第５行第１列の画素ブロックを保持しておくことが可能となる。
【００８３】
そこで、上述したことから、１フレームのＨＤ画像を記憶するには、３０×１３５画素ブロック分の記憶容量を必要とする。本実施の形態では、メモリ２は１８バンクで構成されているから、メモリ２を構成する各バンクに、１フレームのＨＤ画像を、均一のデータ量ずつ記憶させると、各バンクに記憶されるデータ量は、３０×１３５／１８＝２２５画素ブロック分になる。
【００８４】
一方、メモリ２を構成する各バンクは、図２に示したように、２５６本のワード線を有し、各ワード線が１画素ブロックに対応するから、２５６画素ブロック分の容量を有する。従って、１フレームのＨＤ画像をメモリ２に記憶させた場合、各バンクには、２５６−２２５＝３１ブロック分の空き容量がある。
【００８５】
以上から、バンクＢ５は、第２フレームの１５画素ブロック分を書き込む空き容量を十分有するから、そこに、第２フレームの画素データを書き込むことで、第２フレームの第８行の画素ブロックの書き込みが終了するまで、第１フレームの第５行第１列の画素ブロックを保持しておくことが可能となる。その結果、処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行うことができる。
【００８６】
なお、他のバンクについても同様のことがいえる。また、例えば、上述の場合において、バンクＢ５に記憶されている第１フレームの第５行第１列の画素ブロックは、第２フレームの第８行の画素ブロックの書き込みの終了後は必要なくなるから、その後は、バンクＢ５の、第１フレームの第５行第１列の画素ブロックが記憶されていたメモリセルに、第２フレームの画素データを書き込むことが可能となる。
【００８７】
ここで、以上のように処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行う場合の、メモリ２へのアドレスの与え方については、本件出願人が先に出願した特願平１０−３２９１３号に、その詳細が開示されている。
【００８８】
上述したようにして、バンクセレクタ３（図１）が出力する５６画素の画素データは、ロード／シフト回路４に供給される。ロード／シフト回路４では、バンクセレクタ３が出力する５６画素の画素データのうちの、必要範囲の縦方向を構成するものだけが選択され、即ち、ここでは、４８画素の画素データが選択され、２次元パラレルアレイ５に供給される。
【００８９】
ここで、現フレームのある画素データが、図１の画像処理装置に供給された場合、その画素データに対応する、既にメモリ２に記憶された画素データを有する画素ブロックを含む、上下それぞれ３個の画素ブロックの、合計７個の画素ブロックから、同一列に配置された５６画素が読みされるから、上述したように、列方向については、バンクセレクタ３が出力する画素データには、現フレームの画素データについての必要範囲を構成するための画素データが、必ず含まれる。従って、ロード／シフト回路４においては、バンクセレクタ３が出力する５６画素の画素データの中から、必要範囲の縦方向を構成するものだけを選択することができる。
【００９０】
２次元パラレルアレイ５では、図１２の２次元パラレルアレイ１０３と同様に、ロード／シフト回路４からの４８の画素データが、第１行第１列乃至第４８行第１列のレジスタにそれぞれ記憶され、以下、ロード／シフト回路４から、新たに４８の画素データが供給されるごとに、各レジスタに記憶されている画素データが、その右隣のレジスタにシフトされていく。これにより、２次元パラレルアレイ５においては、バンクセレクタ１に供給された画素データについての必要範囲を構成する画素データが記憶される。
【００９１】
そして、画素セレクタ６において、図１２の画素セレクタ６と同様に、２次元パラレルアレイ５に記憶されている必要範囲内の画素データのうち、演算処理回路７が、そこに供給された画素データの処理に用いるものが適宜選択され、演算処理回路７に供給される。演算処理回路７は、バンクセレクタ１に供給される画素データと、画素セレクタ６からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力する。
【００９２】
次に、図７および図８を参照して、メモリ２を構成するバンクへの、画像のマッピングの方法について、さらに説明する。
【００９３】
いま、図７（Ａ）に示すように、処理対象の１フレームの画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと表す。さらに、図７（Ｂ）に示すように、１個のバンクが記憶することのできる画素数をｃと、バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、バンクが同時に読み出すことのできる画素数をｅと、それぞれ表す。また、図７（Ｃ）に示すように、必要範囲の縦または横の画素数を、それぞれｆまたはｇと表す。
【００９４】
この場合、図８（Ａ）に示すように、メモリ２は、図７（Ｂ）のように構成されるバンクを、次式で表されるｈ個以上用いて構成する必要がある。
【００９５】
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２
但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す。
【００９６】
また、画素ブロックは、図８（Ｂ）に示すように、垂直方向がｅ画素、水平方向がｄ／ｅ画素で構成される。但し、ｄ／ｅが整数でない場合には、水平方向の画素数はｄ／ｅの小数点以下を切り捨てた値とされる。
【００９７】
そして、ｈ個のバンクを、いま、バンク＃１，＃２，・・・，＃ｈ／２，・・・,＃ｈと表すと、例えば、図８（Ｃ）に示すように、図７（Ａ）に示した処理対象の画像の最も左上の第１行第１列の画素ブロック（上述したように、縦×横がｅ画素×ｄ／ｅ画素のブロック）は、バンク＃１に記憶され、その下に隣接する第２行第１列の画素ブロックは、バンク＃２に記憶される。さらに、その下に隣接する第３行第１列の画素ブロックは、バンク＃３に記憶され、以下、同様にして、上からｈ／２個目までにある、残りの第４行第１列乃至第ｈ／２行第１列の画素ブロックは、バンク＃４乃至＃ｈ／２にそれぞれ記憶される。
【００９８】
また、処理対象の第１行第１列の画素ブロックの左に隣接する第１行第２列の画素ブロックは、バンク＃（ｈ／２＋１）に記憶され、その下に隣接する第２行第２列の画素ブロックは、バンク＃（ｈ／２＋２）に記憶される。さらに、その下に隣接する第３行第２列の画素ブロックは、バンク＃（ｈ／２＋３）に記憶され、以下、同様にして、上からｈ／２個目までにある、残りの第４行第２列乃至第ｈ／２行第２列の画素ブロックは、バンク＃（ｈ／２＋４）乃至＃ｈにそれぞれ記憶される。
【００９９】
そして、第１列の第ｈ／２＋１行以下の画素ブロックは、再び、バンク＃１乃至＃ｈ／２に同期的に記憶され、第２列の第ｈ／２＋１行以下の画素ブロックも、バンク＃（ｈ／２＋１）乃至＃ｈに同期的に記憶される。さらに、第３列の画素ブロックは、第１列の画素ブロックと同様に、バンク＃１乃至＃ｈ／２に記憶され、第４列のブロックは、第２列の画素ブロックと同様に、バンク＃（ｈ／２＋１）乃至＃ｈに記憶される。以下、同様にして、各列の画素ブロックは、バンク＃１乃至＃ｈに記憶される。
【０１００】
即ち、ＨＤ画像における、最も左上の画素を頂点とする横×縦が２画素ブロック×ｈ／２画素ブロックの範囲の画素データの、バンク＃１乃至＃ｈそれぞれへのマッピングのパターンを基準のマッピングパターンとして、処理対象の画像の、他の画素データの、バンク＃１乃至＃ｈそれぞれへのマッピングが行われる。
【０１０１】
その結果、処理対象の画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、２個のバンクに交互に記憶され、また、垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、ｈ／２個のバンクに周期的に記憶される。
【０１０２】
なお、その他、例えば、第１行第１列の画素ブロックをバンク＃１に、第１行第２列の画素ブロックをバンク＃２に、第２行第１列の画素ブロックをバンク＃３に、・・・というようにマッピングしてもよい。
【０１０３】
そして、読み出し時においては、バンクセレクタ３において、バンクセレクタ１に入力された画素データを有する画素ブロックに対応する、既にメモリ２に記憶された前のフレームの画素ブロックを含む、その上下それぞれに隣接する所定数個の画素ブロックの、合計でｆ／ｅ＋１個（但し、ｆ／ｅ＋１が小数点以下の値を有する場合には、小数点以下を切り上げた値）の画素ブロックをそれぞれ記憶しているバンクが選択され、各バンクから、そこに記憶されている画素ブロックの同一列の画素データが読み出される。
【０１０４】
なお、リアルタイム性を確保するには、即ち、データの読み書きを同時に行うためには、バンクセレクタ３において選択されるバンク数がｈ／２−１以下である必要がある。
【０１０５】
以上のように、複数のバンクＢ１乃至Ｂ１８のうちの１個を選択して、画素データを書き込むとともに、その複数のＢ１乃至Ｂ１８のうちの他の２個以上を選択して、画素データを読み出し、そのうちの必要なものだけを選択するようにしたので、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される２次元の画素のブロックを得ることが可能となる。
【０１０６】
その結果、例えば、ＭＰＥＧにおける動き検出を行う動き検出回路や、解像度想像を行うクラス分類適用処理回路、その他、画像から、２次元の画素のブロックを抽出して処理の対象とする回路等の小型化を図ることが可能となる。
【０１０７】
ここで、クラス分類適応処理について説明する。
【０１０８】
クラス分類適応処理では、例えば、ＳＤ（Standard Desity）画像と、所定の予測係数との線形結合により、ＨＤ（High Density）画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０１０９】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１１０】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１１１】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０１１２】
ＸＷ＝Ｙ’
・・・（２）
【０１１３】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【０１１４】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１１５】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【０１１６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１１７】
【数４】
【０１１８】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１１９】
【数５】
【０１２０】
式（４）および（５）より、式（６）が得られる。
【０１２１】
【数６】
【０１２２】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１２３】
【数７】
【０１２４】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１２５】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１２６】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０１２７】
図９は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理回路の構成例を示している。
【０１２８】
ＳＤ画像は、クラス分類回路１４および遅延回路１８に供給されるようになされており、クラス分類回路１４では、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、ＳＤ画像に基づいて、所定のクラスにクラス分類される。
【０１２９】
即ち、クラス分類回路１４は、まず最初に、注目画素の周辺にあるＳＤ画素として、例えば、注目画素からの距離が所定値以下のＳＤ画素でなるブロック（以下、適宜、処理ブロックという）を、ＳＤ画像から抽出し、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ１９のアドレス端子（ＡＤ）に供給する。
【０１３０】
具体的には、クラス分類回路１４は、例えば、図１０に示すように、注目画素を中心とする４×４のＳＤ画素（同図において○印で示す）でなるクラスタップを、ＳＤ画像から抽出し、これらの１６のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【０１３１】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、１６のＳＤ画素の画素値のパターン数は、（２8）16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【０１３２】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptiv Dynamic Range Coding）処理などが施される。
【０１３３】
即ち、ＡＤＲＣ処理では、まず、クラスタップを構成する１６のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【０１３４】
その結果、クラスタップを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、１６のＳＤ画素の画素値のパターン数は、（２1）16通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【０１３５】
係数ＲＯＭ１９は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路１４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０に供給する。
【０１３６】
一方、遅延回路１８では、予測演算回路２０に対して、係数ＲＯＭ１９から予測係数が供給されるタイミングと、後述する予測タップ生成回路１６から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路１６に供給される。
【０１３７】
予測タップ生成回路１６では、そこに供給されるＳＤ画像から、予測演算回路２０において注目画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０に供給される。即ち、予測タップ生成回路１６では、ＳＤ画像から、例えば、クラス分類回路１４で抽出されたとの同一のクラスタップが抽出され、そのクラスタップを構成するＳＤ画素が、予測タップとして、予測演算回路２０に供給される。
【０１３８】
予測演算回路２０では、係数ＲＯＭ１９からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路１６からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０１３９】
以下同様の処理が、その他のＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【０１４０】
次に、図１１は、図９の係数ＲＯＭ１９に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【０１４１】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１および遅延回路２８に供給されるようになされており、間引き回路２１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路２６および予測タップ生成回路２７に供給される。
【０１４２】
クラス分類回路２６または予測タップ生成回路２７では、図９のクラス分類回路１４または予測タップ生成回路１６における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路２６が出力するクラスは、予測タップメモリ２９および教師データメモリ３０のアドレス端子（ＡＤ）に供給され、予測タップ生成回路２７が出力する予測タップは、予測タップメモリ２９に供給される。
【０１４３】
予測タップメモリ２９では、クラス分類回路２６から供給されるクラスに対応するアドレスに、予測タップ生成回路２７から供給される予測タップが記憶される。
【０１４４】
一方、遅延回路２８では、注目画素に対応するクラスが、クラス分類回路２６から教師データメモリ３０に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、注目画素であるＨＤ画素の画素値だけが、教師データとして、教師データメモリ３０に供給される。
【０１４５】
そして、教師データメモリ３０では、クラス分類回路２６から供給されるクラスに対応するアドレスに、遅延回路２８から供給される教師データが記憶される。
【０１４６】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素が注目画素とされるまで繰り返される。
【０１４７】
以上のようにして、予測タップメモリ２９または教師データメモリ３０の同一のアドレスには、図１０において○印で示したＳＤ画素または図１０において×印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【０１４８】
なお、予測タップメモリ２９と教師データメモリ３０においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【０１４９】
その後、演算回路３１は、予測タップメモリ２９または教師データメモリ３０から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路３１では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０１５０】
以上のようにして、演算回路３１で求められたクラスごとの予測係数が、図９の係数ＲＯＭ１９における、そのクラスに対応するアドレスに記憶されている。
【０１５１】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【０１５２】
図１に示した、画像から必要範囲を検出して処理を行う画像処理装置は、画像からクラスタップおよび予測タップを検出して処理を行うクラス分類適応処理回路（図９）や、学習装置（図１１）に適用することができる。
【０１５３】
なお、本実施の形態においては、画像から、空間方向に分布する画素を検出するようにしたが、時間方向に分布する画素を検出するようにすることも可能である。また、空間方向と時間方向の両方に分布する画素を検出する、即ち、３次元の必要範囲を検出するようにすることも可能である。
【０１５７】
【発明の効果】
本発明の一側面によれば、例えば、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される２次元の画素のブロックを得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のメモリ２を構成するバンクＢ１乃至Ｂ１８の構成例を示す図である。
【図３】画素ブロックの構成例を示す図である。
【図４】メモリ２への、画素データのマッピングを説明するための図である。
【図５】メモリ２への、画素データのマッピングを説明するための図である。
【図６】メモリ２への、画素データのマッピングを説明するための図である。
【図７】メモリ２を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図８】メモリ２を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図９】クラス分類適応処理回路の構成例を示すブロック図である。
【図１０】図９のクラス分類回路１４の処理を説明するための図である。
【図１１】学習装置の構成例を示すブロック図である。
【図１２】従来の画像処理装置の一例の構成を示すブロック図である。
【符号の説明】
１ バンクセレクタ（書き込み用選択手段）， ２ メモリ（記憶手段）， ３ バンクセレクタ（読み出し用選択手段）， ４ ロード／シフト回路（データ選択手段）， ５ ２次元パラレルアレイ， ６ 画素セレクタ， ７ 演算処理回路
Claims (11)
- 複数の、半導体メモリである記憶バンクを有する記憶手段と、
前記複数の記憶バンクのうちの１個を選択し、画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と、
前記複数の記憶バンクのうちの他の２個以上を選択し、前記画像データを構成する垂直方向の画素データを読み出す読み出し用選択手段と、
前記読み出し用選択手段が出力した前記画素データの選択を行うデータ選択手段と
を備え、
前記書き込み用選択手段は、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個を順次選択し、
前記記憶バンクは、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶し、
１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、
１個の前記記憶バンクが記憶することのできる画素数をｃと、
前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、
前記記憶バンクが同時に読み出すことのできる画素数をｅと、
前記データ選択手段において選択される画素数をｆと
それぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、
前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、
前記読み出し用選択手段は、前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す
記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて隣接する前記画素ブロックが、異なる前記記憶バンクに記憶されるように、前記複数の記憶バンクのうちの１つを選択する
請求項１に記載の記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて水平方向に隣接する前記画素ブロックが、２個の前記記憶バンクに交互に記憶されるように、前記複数の記憶バンクのうちの１個を選択する
請求項２に記載の記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて垂直方向に隣接する前記画素ブロックが、ｈ／２個の前記記憶バンクに周期的に記憶されるように、前記複数の記憶バンクのうちの１個を選択する
請求項２に記載の記憶装置。 - 前記読み出し用選択手段が選択する前記記憶バンクの個数ｉは、ｈ／２−１以下である
請求項４に記載の記憶装置。 - 画像データを記憶する記憶装置が、
複数のメモリバンクを有する記憶手段と、
前記複数のメモリバンクのうちの１個を選択し、前記画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と
を備え、
前記書き込み用選択手段に、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの１個を順次選択させ、
前記メモリバンクに、前記画素ブロックを構成する前記画素データを、１本のワード線上のメモリセルに記憶させ、
１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、
１個の前記メモリバンクが記憶することのできる画素数をｃと、
前記メモリバンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、
前記メモリバンクが同時に読み出すことのできる画素数をｅと、
それぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記メモリバンクを有し、
前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成される
書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて隣接する前記画素ブロックが、異なる前記メモリバンクに記憶されるように、前記複数のメモリバンクのうちの１つを選択させる
請求項６に記載の書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて水平方向に隣接する前記画素ブロックが、２個の前記メモリバンクに交互に記憶されるように、前記複数のメモリバンクのうちの１個を選択させる
請求項７に記載の書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて垂直方向に隣接する前記画素ブロックが、ｈ／２個の前記メモリバンクに周期的に記憶されるように、前記複数のメモリバンクのうちの１個を選択させる
請求項７に記載の書き込み方法。 - 画像データを記憶する記憶装置が、
複数の、半導体メモリである記憶バンクを有する記憶手段を備え、
前記複数の記憶バンクのうちの１個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、
前記複数の記憶バンクのうちの２個以上を選択して、前記画像データを構成する垂直方向の画素データを読み出し、
その読み出した画素データの選択を行って出力する
読み出し方法であり、
前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの１個が順次選択され、
前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの１本のワード線上のメモリセルに記憶される場合において、
前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてを同時に読み出し、
１画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをａまたはｂと、
１個の前記記憶バンクが記憶することのできる画素数をｃと、
前記記憶バンクの１本のワード線上のメモリセルが記憶することができる画素数をｄと、
前記記憶バンクから同時に読み出すことのできる画素数をｅと、
前記複数の記憶バンクのうちの２個以上から読み出された画像データから選択される画素数をｆと
それぞれするとき、
前記記憶手段は、式
ｈ＝Ｆ（ａ×ｂ／ｃ）＋２、 但し、Ｆ（ｘ）は、ｘ以上の最小の偶数を表す
で表される数ｈの前記記憶バンクを有し、
前記画素ブロックは、垂直方向がｅ画素、水平方向がｄ／ｅ以下の最大の整数に等しい画素で構成され、
前記複数の記憶バンクから、ｆ／ｅ＋１以上の最小の整数ｉに等しい数だけ選択し、前記画素データを読み出す
読み出し方法。 - 前記画像データにおいて水平方向に隣接する前記画素ブロックが、２個の前記記憶バンクに交互に記憶され、かつ前記画像データにおいて垂直方向に隣接する前記画素ブロックが、ｈ／２個の前記記憶バンクに周期的に記憶されるように、前記複数の記憶バンクのうちの１個が選択されて、前記画像データが記憶される場合において、
前記複数の記憶バンクから選択される前記記憶バンクの個数ｉは、ｈ／２−１以下である
請求項１０に記載の読み出し方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
| US09/394,439 US6181632B1 (en) | 1998-09-11 | 1999-09-09 | Multiple memory bank device and method for image processing |
| KR19990038608A KR100653562B1 (ko) | 1998-09-11 | 1999-09-10 | 메모리 디바이스와, 기록 방법 및 판독 방법 |
| EP19990307211 EP0986266A3 (en) | 1998-09-11 | 1999-09-13 | Image memory device and writing/reading out method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000090256A JP2000090256A (ja) | 2000-03-31 |
| JP4224876B2 true JP4224876B2 (ja) | 2009-02-18 |
Family
ID=17312431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25787798A Expired - Fee Related JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6181632B1 (ja) |
| EP (1) | EP0986266A3 (ja) |
| JP (1) | JP4224876B2 (ja) |
| KR (1) | KR100653562B1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2826226A1 (fr) * | 2001-06-19 | 2002-12-20 | Koninkl Philips Electronics Nv | Circuit memoire concu pour un acces parallele en lecture ou en ecriture de donnees a plusieurs composantes |
| US6901027B2 (en) * | 2002-04-30 | 2005-05-31 | Sony Corporation | Apparatus for processing data, memory bank used therefor, semiconductor device, and method for reading out pixel data |
| US7386651B2 (en) * | 2003-07-03 | 2008-06-10 | Broadcom Corporation | System, method, and apparatus for efficiently storing macroblocks |
| TWI289750B (en) * | 2004-01-05 | 2007-11-11 | Sony Corp | Data storage apparatus, and data storage controlling apparatus and method |
| JP4534488B2 (ja) * | 2004-01-05 | 2010-09-01 | ソニー株式会社 | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
| JP4735008B2 (ja) * | 2004-04-19 | 2011-07-27 | ソニー株式会社 | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
| US7401177B2 (en) * | 2004-04-19 | 2008-07-15 | Sony Corporation | Data storage device, data storage control apparatus, data storage control method, and data storage control program |
| JP4586627B2 (ja) | 2005-05-18 | 2010-11-24 | ソニー株式会社 | データアクセス装置、データアクセス方法、プログラムおよび記録媒体 |
| JP5522893B2 (ja) * | 2007-10-02 | 2014-06-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5018486B2 (ja) * | 2008-01-10 | 2012-09-05 | セイコーエプソン株式会社 | 画像処理回路、画像処理装置 |
| JP4992753B2 (ja) * | 2008-02-25 | 2012-08-08 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法 |
| JP2009238323A (ja) | 2008-03-27 | 2009-10-15 | Fujitsu Microelectronics Ltd | 半導体記憶装置、画像処理システムおよび画像処理方法 |
| US8189408B2 (en) * | 2009-11-17 | 2012-05-29 | Freescale Semiconductor, Inc. | Memory device having shifting capability and method thereof |
| JP5777458B2 (ja) * | 2011-09-12 | 2015-09-09 | キヤノン株式会社 | パターン識別装置、パターン識別方法及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04354287A (ja) * | 1991-05-30 | 1992-12-08 | Sony Corp | 画像補間回路 |
| JP3040275B2 (ja) * | 1993-02-15 | 2000-05-15 | 沖電気工業株式会社 | フォーマット変換回路 |
| US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
| JP3058795B2 (ja) * | 1994-03-30 | 2000-07-04 | 東芝テック株式会社 | 画情報転送装置 |
| JP3803122B2 (ja) * | 1995-05-02 | 2006-08-02 | 松下電器産業株式会社 | 画像メモリ装置および動きベクトル検出回路 |
| JPH0970053A (ja) * | 1995-08-30 | 1997-03-11 | Sony Corp | 信号処理装置 |
| JPH1011009A (ja) * | 1996-04-23 | 1998-01-16 | Hitachi Ltd | 映像信号の処理装置及びこれを用いた表示装置 |
| KR100413409B1 (ko) | 1996-06-03 | 2004-04-17 | 엘지전자 주식회사 | 에이치디티브이의수직영상포맷변환장치 |
| JP4251675B2 (ja) * | 1997-07-30 | 2009-04-08 | ソニー株式会社 | 記憶装置およびアクセス方法 |
-
1998
- 1998-09-11 JP JP25787798A patent/JP4224876B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-09 US US09/394,439 patent/US6181632B1/en not_active Expired - Lifetime
- 1999-09-10 KR KR19990038608A patent/KR100653562B1/ko not_active IP Right Cessation
- 1999-09-13 EP EP19990307211 patent/EP0986266A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP0986266A3 (en) | 2004-09-22 |
| KR20000023062A (ko) | 2000-04-25 |
| EP0986266A2 (en) | 2000-03-15 |
| US6181632B1 (en) | 2001-01-30 |
| KR100653562B1 (ko) | 2006-12-05 |
| JP2000090256A (ja) | 2000-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6252611B1 (en) | Storage device having plural memory banks concurrently accessible, and access method therefor | |
| JP4224876B2 (ja) | 記憶装置、並びに書き込み方法および読み出し方法 | |
| JP3278756B2 (ja) | 画像処理方法及び装置 | |
| JP3787823B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2004192110A (ja) | 半導体装置及び画像データ処理装置 | |
| KR100528560B1 (ko) | 계층적 코딩에 이용하기 위한 저장 장치 및 기록 및 판독 방법 | |
| KR101106080B1 (ko) | 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체 | |
| US6278806B1 (en) | Storage apparatus and storage method | |
| US5977996A (en) | Storage device for storing hierarchically coded data and access method thereof | |
| US20070217714A1 (en) | Image processing apparatus and image processing method | |
| JP4395677B2 (ja) | 学習装置および学習方法、並びに記録媒体 | |
| JP4210950B2 (ja) | 画像処理装置および画像処理方法 | |
| US7697817B2 (en) | Image processing apparatus and method, and recorded medium | |
| JP3937418B2 (ja) | 記憶装置および記憶読み出し制御方法 | |
| JP4273695B2 (ja) | 動きベクトル検出装置 | |
| JP4003529B2 (ja) | 動きベクトル検出回路と動きベクトル検出方法 | |
| JP4650459B2 (ja) | 半導体装置およびデータ処理装置 | |
| JPH05260451A (ja) | 画像符号化処理用ｌｓｉ | |
| JPH032941A (ja) | 画像メモリ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |