JP4058671B2 - 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 - Google Patents
記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4058671B2 JP4058671B2 JP2002023699A JP2002023699A JP4058671B2 JP 4058671 B2 JP4058671 B2 JP 4058671B2 JP 2002023699 A JP2002023699 A JP 2002023699A JP 2002023699 A JP2002023699 A JP 2002023699A JP 4058671 B2 JP4058671 B2 JP 4058671B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- block
- processing
- row
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを処理する際に、その画像データを記憶するメモリにおけるデータの読み書き速度を高速化するとともに、その消費電力を低減すること等ができるようにする記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
図１は、画像データを処理する、従来の画像処理装置の一例の構成を示している。
【０００３】
ＨＤ(Hard Disk)１には、画像処理の対象とする、２次元データとしての画像データが記憶されている。また、ＨＤ１は、例えば画像処理の結果得られる画像データも必要に応じて記憶する。
【０００４】
ＨＤコントローラ２は、メモリ制御部３からの要求に応じて、ＨＤ１から画像データを読み出し、データバス上に出力する。また、ＨＤコントローラ２は、データバス上の画像データを受信し、ＨＤ１に書き込む。
【０００５】
メモリ制御部３は、画像処理部５からの要求に応じて、ＨＤコントローラ２およびメモリ４を制御する。
【０００６】
即ち、メモリ制御部３は、ＨＤコントローラ２を制御することにより、ＨＤ１に記録された画像データを、例えば１フレーム（またはフィールド）単位で読み出させ、データバス上に出力させる。また、メモリ制御部３は、メモリ４を制御することにより、データバス上の画像データを記憶させる。さらに、メモリ制御部３は、メモリ４を制御することにより、メモリ４に記憶された画像データを、データバス上に出力させる。
【０００７】
メモリ４は、図１では、４つのメモリバンク４1，４2，４3，４4を有し、メモリ制御部３の制御にしたがい、各メモリバンク４iに、データバス上の画像データを記憶し、また、各メモリバンク４iに記憶された画像データを読み出し、データバス上に出力する。
【０００８】
画像処理部５は、データバス上の画像データを受信し、その画像データを対象に、所定の画像処理を行う。即ち、画像処理部５は、メモリ制御部３に対して、画像処理の対象とする、行方向と列方向が所定の画素数で構成される矩形状のブロック（以下、適宜、処理ブロックという）の画像データを要求する。そして、画像処理部５は、要求した処理ブロックの画像データが、メモリ４から読み出されてデータバス上に出力されるのを待って、その処理ブロックの画像データを受信し、その処理ブロックの画像データを対象に、所定の画像処理を行う。
【０００９】
ここで、画像処理部５が所定の処理ブロックの画像データを対象に行う画像処理としては、例えば、ＭＰＥＧ(Moving Picture Experts Group)符号化において、動きベクトルを検出するのに行われるブロックマッチングなどがある。
【００１０】
次に、図２は、画像処理部５が画像処理の対象とする処理ブロックの例を示している。
【００１１】
図２では、１フレームの画像データから、行方向と列方向がいずれも４画素で構成される処理ブロックが切り出され、その処理ブロックが有する１６（＝４×４）画素の画像データが、画像処理の対象とされるようになっている。
【００１２】
次に、図３は、図１のメモリ４の構成例を示している。
【００１３】
メモリ４を構成する各メモリバンク４iは、行方向に、複数のワード線が配置されるとともに、列方向に、複数のビット線が配置され、ワード線とビット線の交差する部分に、データを記憶するメモリセルが設けられて構成されている。
【００１４】
メモリバンク４iへの画像データの書き込み時においては、複数のビット線それぞれに、書き込むべき画像データが供給されるとともに、複数のワード線のうちの１つが選択され（ＨレベルまたはＬレベルにされることにより活性化され）、その選択されたワード線上の各メモリセルに、そのメモリセルに接続されたビット線上の画像データが記憶される。
【００１５】
一方、メモリバンク４iからの画像データの読み出し時においては、複数のワード線のうちの１つが選択され、その選択されたワード線上の各メモリセルに記憶された画像データが、そのメモリセルに接続されたビット線から読み出される。
【００１６】
なお、１つのメモリバンク４iに対する画像データの読み書き時において選択されるワード線は、１本に限られる。即ち、メモリバンク４iにおける複数のワード線を選択した場合には、その複数のワード線上のメモリセルのデータが、ビット線上で衝突してしまい、データが破壊される。従って、メモリバンク４iにおける複数のワード線のメモリセルに対して、データを、同時に読み書きすることはできない。
【００１７】
一方、メモリバンク４iにおける１本のワード線上のメモリセルに対しては、データを、同時に読み書きすることができる。そこで、画像データを、上述したような処理ブロック単位で処理する場合には、画像の読み書き速度を向上させるために、メモリ制御部３は、図４に示すように、画像データを、処理ブロック以上の大きさの、例えば、行×列が１６画素×１６画素の矩形状の画像ブロックに分割し、各画像ブロックの画像データを、１本のワード線上のメモリセルに記憶させる。即ち、この場合、１本のワード線上のメモリセルには、２５６（＝１６×１６）画素の画像データが記憶される。
【００１８】
ここで、１本のワード線上のメモリセルに、画像ブロックの画像データを記憶させる方法については、本件出願人が先に提案した特開２０００−１８２０２４号公報に、その詳細が開示されている。
【００１９】
【発明が解決しようとする課題】
ところで、１本のワード線上に、多数のメモリセルを設けることにより、より大きな画像ブロックの画像データ（極端には、例えば、１フレームの画像データ）を、同時に読み書きすることが可能となる。
【００２０】
しかしながら、この場合、ワード線の長さが長くなるため、ワード線を活性化するのに、時間を要することになり、画像データの読み書き速度が低下することになる。
【００２１】
そこで、図１の画像処理装置においては、メモリ４が、複数としての、例えば、４つのメモリバンク４1乃至４4に分割されている。即ち、メモリバンク４1乃至４4それぞれは、独立に動作させることができ、従って、メモリバンク４1乃至４4それぞれの、あるワード線を選択することにより、４つの画像ブロックの読み書きを、同時に行うことができる。
【００２２】
ところで、図１の画像処理装置において、メモリ４が、４つのメモリバンク４1乃至４4で構成されているのは、次のような理由による。
【００２３】
即ち、いまの場合、画像ブロックが１６×１６画素で構成され、処理ブロックが、それより小さい４×４画素で構成されるため、図５に示すように、処理ブロックが、ある１つの画像ブロックの範囲に含まれる処理ブロックＢ1であれば、その１つの画像ブロックを、メモリ４から読み出すことにより、処理ブロックＢ1の画像データを得ることができ、特に問題はない。
【００２４】
しかしながら、処理ブロックが、図５に示すように、２つの画像ブロックの範囲に跨る処理ブロックＢ2である場合には、処理ブロックＢ2の画像データを得るためには、その２つの画像ブロックを、同時に読み出す必要がある。この場合、２つの画像ブロックが、同一のメモリバンク４iに記憶されているときには、上述したように、同時に、２つのワード線を選択することができないため、同時に読み出すことはできない。
【００２５】
そこで、画像ブロックは、それに隣接する画像ブロックが記憶されるメモリバンク４i'（ｉ’≠ｉ）とは異なるメモリバンク４iに記憶させる必要がある。
【００２６】
この場合、異なるメモリバンク４iと４i'から、処理ブロックＢ2の画像データを有する、隣接する２つの画像ブロックを同時に読み出すことが可能となる。
【００２７】
そして、画像データを、図４に示したように、各画像ブロックの頂点が、隣接するすべての画像ブロックの頂点に一致するように、いわゆるマトリクス状に分割した場合には、処理ブロックは、図５において処理ブロックＢ3として示すように、最大で、４つの画像ブロックに跨ることがある。
【００２８】
この４つの画像ブロックを、同時に読み出すためには、その４つの画像ブロックそれぞれを、異なるメモリバンクに記憶させる必要があり、このため、図１では、メモリ４が、４つのメモリバンク４1乃至４4で構成され、処理ブロックが跨る可能性のある４つの画像ブロックそれぞれは、４つのメモリバンク４1乃至４4の異なるものに記憶される。
【００２９】
ところで、メモリ４において流れる電流、ひいては、その消費電力は、選択（活性化）するメモリバンク４iの数に比例する。
【００３０】
従って、処理ブロックが、４つの画像ブロックに跨る場合には、１つの画像ブロックの範囲に含まれる場合に比較して、画像データの読み出しのためにメモリ４で消費される電力が著しく大になる。さらに、処理ブロックが、４つの画像ブロックに跨る場合には、メモリ４に流れる電流の増加に伴い、ノイズが発生する。
【００３１】
本発明は、このような状況に鑑みてなされたものであり、同時に読み出す必要のある画像ブロックの数を少なくすることができるようにし、これにより、メモリにおけるデータの読み書き速度を高速に維持したまま、その消費電力を低減すること等ができるようにするものである。
【００３２】
【課題を解決するための手段】
本発明の記憶制御装置は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得手段と、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択手段とを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３３】
本発明の記憶制御方法は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３４】
本発明のプログラムは、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３５】
本発明の記録媒体は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすプログラムが記録されていることを特徴とする。
【００３６】
本発明においては、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データが取得され、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データが記憶される。なお、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たす。
【００３７】
【発明の実施の形態】
図６は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図６の画像処理装置は、メモリ制御部３に代えて、メモリ制御部１１が設けられている他は、基本的に、図１における場合と同様に構成されている。
【００３８】
但し、メモリ４は、４つのメモリバンク４1乃至４4ではなく、３つのメモリバンク４１乃至４3から構成されている。
【００３９】
メモリ制御部１１は、ＨＤ１から読み出されたフレーム単位の画像データを、マトリクス状に分割するのではなく、その頂点が、隣接する複数の画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割し、その画像ブロックを、メモリバンク４iのあるワード線上のメモリセルに記憶させるようになっている。
【００４０】
即ち、メモリ制御部１１は、ＨＤ１に記憶された画像データを、例えば、図７に示すように、画像ブロックの列方向の境界線Ｌ１が、隣接する行の画像ブロックの列方向の境界線Ｌ２とずれた画像ブロックに分割した、その画像ブロック単位の画像データを取得し、メモリバンク４iのあるワード線を選択することにより、画像ブロックを、そのワード線上のメモリセルに記憶させる。
【００４１】
なお、図７の実施の形態では、画像ブロックは、１６×１６画素で構成されている。また、図７の実施の形態では、画像ブロックの列方向の境界線Ｌ１と、隣接する行の画像ブロックの列方向の境界線Ｌ２とは、画像ブロックの行方向の境界線の画素数（長さ）である１６画素の１／２、つまり８画素分だけずれている。
【００４２】
ここで、上述のように、隣接する行の画像ブロックどうしの列方向の境界線が、８画素分だけずれているため、図７の実施の形態では、上から偶数行目の左端および右端の画像ブロックは、１６×１６画素ではなく、８×１６画素で構成されている。このように、８×１６画素で構成される画像ブロックについては、１６×１６画素で構成される画像ブロックと同様に、１本のワード線上のメモリセルに記憶させることができるが、この場合、そのワード線上のメモリセルの１／２が無駄になる。そこで、８×１６画素で構成される画像ブロックについては、２つの画像ブロック単位で、１本のワード線上のメモリセルに記憶させることが可能である。具体的には、例えば、図７において、２行目または４行目の最左端の列にある画像ブロックｂ1またはｂ3については、同一の行の最右端の列にある画像ブロックｂ2またはｂ4と、それぞれ、同一のワード線上のメモリセルに記憶させることが可能である。あるいは、また、例えば、図７において、２行目の最左端または最右端の列にある画像ブロックｂ1またはｂ2については、その２行だけ下の４行目の最左端または最右端の列にある画像ブロックｂ3またはｂ4と、それぞれ、同一のワード線上のメモリセルに記憶させることが可能である。
【００４３】
図７に示したように、１フレームの画像データを、いわばレンガ模様状の１６×１６画素の画像ブロック単位に分割し、その画像ブロック単位で、メモリ４に記憶させた場合においては、４×４画素の処理ブロックが跨る画像ブロックの数は、図８に示すように、処理ブロックが、画像ブロックの頂点を含む位置にあるケースにおいて最大の３になる。
【００４４】
従って、図３の画像処理装置では、処理ブロックの画像データを得るために、最大でも、３つのメモリバンク４1乃至４3から、３つの画像ブロックをそれぞれ同時に読み出せば良く、図１の画像処理装置における場合のように、４つのメモリバンク４1乃至４4から画像ブロックを同時に読み出す必要があるケースは生じない。
【００４５】
その結果、図６の画像処理装置によれば、図１における場合に比較して、メモリ４において流れる電流を小さくすることができ、これにより、画像データの読み書き速度を維持したまま、メモリ４において流れる電流に起因するノイズや、消費電力を低減することができ、また、メモリ４において大電流が流れることによる電源電圧の降下の影響を抑制することができる。さらに、最大でも、３つのメモリバンク４1乃至４3から、同時に画像ブロックを読み出せば良いから、図１の画像処理装置における場合のように、最大で、４つのメモリバンク４1乃至４4から、同時に画像ブロックを読み出す必要がある場合に比較して、データバスのバス幅を、１つのメモリバンクに相当する分だけ小さく（狭く）することができる。
【００４６】
次に、図９のフローチャートを参照して、メモリ制御部１１が、メモリ４に画像データを書き込む場合に行う書き込み制御処理について説明する。
【００４７】
メモリ制御部１１は、例えば、画像処理部５から、あるフレームの画像データの要求があると、書き込み制御処理を開始する。
【００４８】
即ち、書き込み制御処理では、まず最初に、ステップＳ１において、メモリ制御部１１は、画像処理部５から要求のあった１フレームの画像データ（以下、適宜、要求画像データという）を、仮想的に、図７に示したように、レンガ模様状の画像ブロックに分割し、ステップＳ２に進む。
【００４９】
ステップＳ２では、メモリ制御部１１は、要求画像データを構成する画像ブロックから、例えば、ラスタスキャン順で、まだ注目画像ブロックとして選択していないものを、注目画像ブロックとして選択し、ステップＳ３に進む。
【００５０】
ステップＳ３では、メモリ制御部１１は、メモリバンク４1乃至４3の中から、注目画像ブロックを書き込むメモリバンク４iを選択する。
【００５１】
即ち、ステップＳ３では、メモリ制御部１１は、注目画像ブロックに隣接する画像ブロックのうち、既にメモリ４に書き込まれているものが記憶されたメモリバンク４i'とは異なるメモリバンク４iを、注目画像ブロックを書き込むメモリバンクとして選択する。
【００５２】
そして、ステップＳ４に進み、メモリ制御部１１は、ステップＳ３で選択したメモリバンク４iにおいて、まだ、要求画像データの画像ブロックを記憶させていないメモリセルに接続されたワード線のうちの１つを選択し、ステップＳ５に進む。
【００５３】
ステップＳ５では、メモリ制御部１１は、ＨＤコントローラ２を制御することにより、ＨＤ１に記憶された要求画像データから、注目画像ブロックを取得し、即ち、注目画像ブロックの画像データをＨＤ１から読み出させ、データバス上に出力させる。これにより、データバス上の注目画像ブロックの画像データは、ステップＳ３で選択されたメモリバンク４iの、ステップＳ４で選択されたワード線上のメモリセルに書き込まれる。
【００５４】
その後、ステップＳ６に進み、メモリ制御部１１は、要求画像データを構成する画像ブロックのうち、まだ、注目画像ブロックとしていないものがあるかどうかを判定する。
【００５５】
ステップＳ６において、まだ、注目画像ブロックとしていない画像ブロックがあると判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５６】
また、ステップＳ６において、注目画像ブロックとしていない画像ブロックがないと判定された場合、書き込み制御処理を終了する。
【００５７】
次に、図１０のフローチャートを参照して、メモリ制御部１１が行う書き込み制御処理の他の実施の形態について説明する。
【００５８】
まず最初に、ステップＳ１１において、図９のステップＳ１における場合と同様に、メモリ制御部１１は、要求画像データを、仮想的に、レンガ模様状の画像ブロックに分割し、ステップＳ１２に進む
【００５９】
ステップＳ１２では、メモリ制御部１１は、要求画像データを構成する画像ブロックから、例えば、ラスタスキャン順で、まだ注目画像ブロックとして選択していない３つの画像ブロックであって、互いに隣接する３つの画像ブロック（任意の１つの画像ブロックが、他の２つの画像ブロックと隣接する３つの画像ブロック）を、第１乃至第３の注目画像ブロックとしてそれぞれ選択し、ステップＳ１３に進む。
【００６０】
ステップＳ１３では、メモリ制御部１１は、メモリバンク４1乃至４3の中から、第１乃至第３の注目画像ブロックを書き込むメモリバンク４i，４i'，４i''をそれぞれ選択する。
【００６１】
ここで、ステップＳ１３では、メモリ制御部１１は、第１乃至第３の注目画像ブロックが、それぞれ異なるメモリバンクに書き込まれるように、メモリバンクの選択を行う。さらに、ステップＳ１３では、メモリ制御部１１は、第１の注目画像ブロックについては、その第１の注目ブロックに隣接する画像ブロックのうち、既にメモリ４に書き込まれているものが記憶されたメモリバンクとは異なるメモリバンクを、第１の注目画像ブロックを書き込むメモリバンクとして選択する。第２および第３の注目画像ブロックについても、同様である。
【００６２】
そして、ステップＳ１４に進み、メモリ制御部１１は、ステップＳ１３で選択したメモリバンク４i，４i'，４i''それぞれにおいて、まだ、要求画像データの画像ブロックを記憶させていないメモリセルに接続されたワード線のうちの１つを選択し、ステップＳ１５に進む。
【００６３】
ステップＳ１５では、メモリ制御部１１は、ＨＤコントローラ２を制御することにより、ＨＤ１に記憶された要求画像データから、第１乃至第３の注目画像ブロックを取得し、即ち、第１乃至第３の注目画像ブロックの画像データをＨＤ１から読み出させ、データバス上に出力させる。これにより、データバス上の第１乃至第３の注目画像ブロックの画像データは、ステップＳ１３で選択されたメモリバンク４i，４i'，４i''それぞれの、ステップＳ４で選択されたワード線上のメモリセルに、同時に書き込まれる。
【００６４】
その後、ステップＳ１６に進み、メモリ制御部１１は、要求画像データを構成する画像ブロックの中で、まだ、注目画像ブロックとしていないものがあるかどうかを判定する。
【００６５】
ステップＳ１６において、まだ、注目画像ブロックとしていない画像ブロックがあると判定された場合、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ１６において、注目画像ブロックとしていない画像ブロックがないと判定された場合、書き込み制御処理を終了する。
【００６７】
図９の書き込み制御処理では、画像データが、１つの画像ブロック単位で、１つのメモリバンク４iに書き込まれるのに対して、図１０の書き込み制御処理では、画像データが、３つの画像ブロック単位で、３つのメモリバンク４1乃至４3に、同時に書き込まれる。
【００６８】
次に、図１１のフローチャートを参照して、メモリ制御部１１が、メモリ４に記憶された画像データを読み出す場合に行う読み出し制御処理について説明する。
【００６９】
メモリ制御部１１は、例えば、画像処理部５から、メモリ４に記憶された１フレームの画像データのうちの、ある位置の処理ブロックの画像データの要求があると、読み出し制御処理を開始する。
【００７０】
即ち、読み出し制御処理では、まず最初に、ステップＳ２１において、メモリ制御部１１は、画像処理部５から要求のあった処理ブロックが跨る１以上の画像ブロックを認識し、その１以上の画像ブロックすべてを注目画像ブロックとして選択する。
【００７１】
そして、ステップＳ２２に進み、メモリ制御部１１は、メモリバンク４1乃至４3の中から、１以上の注目画像ブロックが書き込まれている１以上のメモリバンクを選択し、ステップＳ２３に進む。
【００７２】
ステップＳ２３では、メモリ制御部１１は、ステップＳ２２で選択した１以上のメモリバンクの、注目画像ブロックが書き込まれているメモリセルが接続されているワード線を選択し、読み出し制御処理を終了する。
【００７３】
これにより、ステップＳ２２で選択された１以上のメモリバンクそれぞれから、選択されたワード線上のメモリセルに記憶された画像データ、即ち、ステップＳ２１で選択された１以上の注目画像ブロックが同時に読み出され、データバス上に出力される。
【００７４】
次に、図７および図８の実施の形態では、１フレームの画像データを、１６×１６画素で構成される画像ブロックに分割し、また、画像ブロックの列方向の境界線Ｌ１と、隣接する行の画像ブロックの列方向の境界線Ｌ２とのずれ量を、画像ブロックの行方向の境界線の画素数の１／２である８画素とするとともに、処理ブロックを、４×４画素で構成するようにしたが、図１２に示すように、画像ブロックの行方向の境界線の長さをａと、処理ブロックの行方向の長さをｂと、画像ブロックの列方向の境界線と、隣接する行の画像ブロックの列方向の境界線との行方向のずれ量をｃと、それぞれ表すこととすると、これらは、次式を満たす必要がある。
【００７５】
【数１】
・・・（１）
【００７６】
なお、式（１）は、画像データを、レンガ模様状の画像ブロックに分割した場合に、処理ブロックが画像データ上のどの位置にあっても、多くとも、画像ブロックの１つの頂点しか含まないこととする条件、即ち、処理ブロックが、画像ブロックの２以上の頂点（同一の画像ブロックの２以上の頂点と、異なる画像ブロックの２以上の頂点の両方を含む）を含まないこととする条件である。
【００７７】
次に、図６の画像処理部５には、前述したように、ＭＰＥＧ符号化において、動きベクトルを検出するためのブロックマッチングの他、所定の処理ブロックを対象に行われる各種の画像処理を行わせることができる。
【００７８】
そのような画像処理の１つとして、本件出願人が先に提案したデータ変換処理がある。
【００７９】
図１３は、本件出願人が先に提案したデータ変換処理を行う画像処理部５の構成例を示している。
【００８０】
図１３の実施の形態では、画像処理部５は、そこに供給される画像データを、第１の画像データとして、その第１の画像データを、その第１の画像データよりも高画質の第２の画像データに変換するデータ変換処理を行うようになっている。
【００８１】
ここで、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを高解像度の画像データとすれば、データ変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、データ変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像データを所定のサイズの画像データとするとともに、第２の画像データを、第１の画像データのサイズを大きくまたは小さくした画像データとすれば、データ変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００８２】
従って、データ変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
【００８３】
インタフェース２０は、タップ抽出部２１および２２からの要求にしたがい、所定の処理ブロックの供給を、メモリ制御部１１（図６）に要求する。なお、タップ抽出部２１および２２は、要求する処理ブロックの、例えば、左上隅や中心などにある画素の座標を、その処理ブロックを特定するための情報として、インタフェース２０に供給するようになっており、インタフェース２０は、その座標によって特定される処理ブロックの供給を、メモリ制御部１１に要求する。
【００８４】
タップ抽出部２１は、第２の画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、処理ブロックとして、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像データから、処理ブロックを構成する画素を、予測タップとして抽出する。
【００８５】
具体的には、タップ抽出部２１は、注目画素に対応する、第１の画像データの画素に対して、空間的または時間的に近い位置にある複数の画素、即ち、例えば、注目画素に対応する、第１の画像データの画素と、それに空間的に隣接する画素の、３×３画素などを、処理ブロックとして、インタフェース２０に要求する。この場合、インタフェース２０は、メモリ制御部１１に対して、処理ブロックを要求する。
【００８６】
ここで、メモリ４には、既に、データ変換対象のフレームの第１の画像データが記憶されているものとする。
【００８７】
メモリ制御部１１は、インタフェース２０から処理ブロックの要求を受信すると、その処理ブロックが跨る画像ブロックを、図１１で説明したように、メモリ４から読み出させ、データバス上に出力させる。インタフェース２０は、このデータバス上の画像ブロックの画像データを受信し、タップ抽出部２１に供給する。そして、タップ抽出部２１は、このようにしてインタフェース２０から供給される画像ブロックの画像データの中から、予測タップとする画素（の画素値）を抽出する。
【００８８】
なお、タップ抽出部２１では、注目画素に対応する、第１の画像データの画素を中心とする３×３画素を、予測タップとして抽出する他、例えば、注目画素に対応する、第１の画像データの画素の動きベクトルを検出し、その動きベクトルにしたがって、予測タップとして抽出する３×３画素の位置を変更するようにすることが可能である。
【００８９】
タップ抽出部２２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、処理ブロックとして、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像データから、処理ブロックを構成する画素を、クラスタップとして抽出する。
【００９０】
ここで、タップ抽出部２１と２２が要求する処理ブロックは、同一である必要はない。従って、予測タップとクラスタップは、同一のタップ構造とすることもできるし、異なるタップ構造とすることもできる。
【００９１】
タップ抽出部２１で得られた予測タップは、予測部２５に供給され、タップ抽出部２２で得られたクラスタップは、クラス分類部２３に供給される。
【００９２】
クラス分類部２３は、タップ抽出部２２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ２４に供給する。
【００９３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９４】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００９５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９６】
なお、クラス分類部２３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部２３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００９７】
従って、クラス分類部２３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００９８】
なお、クラス分類は、上述したように、クラスタップを構成する画素の画素値のレベル分布のパターンに基づいて行う他、例えば、そのクラスタップの注目画素に対応する画素の部分にエッジが存在するかどうかや、その画素の動きの有無（あるいは、動きの大きさや方向など）に基づいて行うことも可能である。
【００９９】
係数メモリ２４は、後述する学習装置において学習処理が行われることにより得られるクラスごとのタップ係数を記憶しており、その記憶しているタップ係数のうちの、クラス分類部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部２３から供給されるクラスコードが表すクラスのタップ係数）を読み出し、予測部２５に供給する。
【０１００】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１０１】
予測部２５は、タップ抽出部２１が出力する予測タップと、係数メモリ２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部２５は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１０２】
なお、予測部２５が出力する第１の画像データは、例えば、データバスおよびＨＤコントローラ２を介して、ＨＤ１に書き込まれ、あるいは、図示せぬモニタに供給されて表示され、または図示せぬ伝送媒体を介して伝送される。
【０１０３】
次に、図１４のフローチャートを参照して、図１３の画像処理部５の処理（データ変換処理）について説明する。
【０１０４】
ステップＳ３１では、タップ抽出部２１が、メモリ４（図６）に記憶された画像データを、データ変換処理対象の第１の画像データとして、その第１の画像データに対する第２の画像データ（データ変換処理後の画像データ）を構成する各画素を、順次、注目画素とし、その注目画素について、予測タップとする第１の画像データの画素でなる処理ブロックを、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像ブロックから、予測タップとするものを抽出する。さらに、ステップＳ３１では、タップ抽出部２２が、注目画素について、クラスタップとする第１の画像データの画素でなる処理ブロックを、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像ブロックから、クラスタップとするものを抽出する。そして、予測タップは、タップ抽出部２１から予測部２５に供給され、クラスタップは、タップ抽出部２２からクラス分類部２３に供給される。
【０１０５】
クラス分類部２３は、タップ抽出部２２から、注目画素についてのクラスタップを受信し、ステップＳ３２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部２３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ２４に出力し、ステップＳ３３に進む。
【０１０６】
ステップＳ３３では、係数メモリ２４が、クラス分類部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、即ち、クラスコードに対応するクラスのタップ係数を読み出して出力する。さらに、ステップＳ３３では、予測部２５が、係数メモリ２４が出力するタップ係数を取得し、ステップＳ３４に進む。
【０１０７】
ステップＳ３４では、予測部２５が、タップ抽出部２１が出力する予測タップと、係数メモリ２４から取得したタップ係数とを用いて、所定の予測演算（後述する式（２）の予測演算）を行う。これにより、予測部２５は、注目画素の画素値を求め、ステップＳ３５に進む。
【０１０８】
ステップＳ３５では、タップ抽出部２１が、メモリ４（図６）に記憶された画像データとしての第１の画像データに対応する第２の画像データを構成する画素のうち、まだ、注目画素としていないものがあるかどうかを判定する。ステップＳ３５において、第２の画像データを構成する画素のうち、まだ、注目画素としていないものがあると判定された場合、ステップＳ３１に戻り、第２の画像データを構成する画素のうち、まだ、注目画素としていないもののうちの１つが、新たに注目画素とされ、その注目画素を対象に、以下、同様の処理が繰り返される。
【０１０９】
また、ステップＳ３５において、第２の画像データを構成する画素のうち、まだ、注目画素としていないものがないと判定された場合、即ち、メモリ４（図６）に記憶された１フレームの画像データ（第１の画像データ）を変換した画像データ（第２の画像データ）が得られた場合、予測部２５は、その画像データを出力し、処理を終了する。
【０１１０】
なお、図１４のデータ変換処理は、メモリ４に、順次、フレームごとの画像データを記憶させ、そのフレームごとの画像データを対象に、繰り返し行うようにすることができる。
【０１１１】
次に、図１３の予測部２５における予測演算と、係数メモリ２４に記憶させるクラスごとのタップ係数の学習について説明する。
【０１１２】
いま、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを抽出し、その予測タップと所定のタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１１３】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１１４】
【数２】
・・・（２）
【０１１５】
但し、式（２）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。
【０１１６】
なお、式（２）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１１７】
ここで、高画質画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１１８】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１１９】
【数３】
・・・（３）
【０１２０】
いま、式（３）の予測値ｙk’は、式（２）にしたがって求められるため、式（３）のｙk’を、式（２）にしたがって置き換えると、次式が得られる。
【０１２１】
【数４】
・・・（４）
【０１２２】
但し、式（４）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１２３】
式（４）の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１２４】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１２５】
【数５】
・・・（５）
【０１２６】
但し、式（５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１２７】
式（５）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０１２８】
【数６】
・・・（６）
【０１２９】
そこで、上述の式（４）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１３０】
【数７】
・・・（７）
【０１３１】
式（６）と（７）から、次式が得られる。
【０１３２】
【数８】
・・・（８）
【０１３３】
式（８）のｅkに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【０１３４】
【数９】
・・・（９）
【０１３５】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１３６】
式（９）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１３７】
図１５は、式（９）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行うタップ係数の学習装置の構成例を示している。
【０１３８】
学習装置には、学習に用いられる学習用画像データが入力されるようになっている。ここで、学習用画像データは、第２の画像データに対応するもので、例えば、解像度の高い高画質画像データを用いることができる。
【０１３９】
学習装置において、学習用画像データは、教師データ生成部３１と生徒データ生成部３３に供給される。
【０１４０】
教師データ生成部３１は、そこに供給される学習用画像データから教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像データとしての高画質画像データを、例えば、そのまま教師データとして、教師データ記憶部３２に供給する。
【０１４１】
教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像データを記憶する。
【０１４２】
生徒データ生成部３３は、学習用画像データから、第１の画像データに対応する生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３４に供給する。
【０１４３】
生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。
【０１４４】
タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを、インタフェース４０を介して抽出することにより、図１３のタップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。
【０１４５】
タップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを、インタフェース４０を介して抽出することにより、図１３のタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラス分類部３７に供給する。
【０１４６】
クラス分類部３７は、タップ抽出部３６が出力するクラスタップに基づき、図１３のクラス分類部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力する。
【０１４７】
足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データを対象とした足し込みを、クラス分類部３７から供給されるクラスコードごとに行う。
【０１４８】
即ち、足し込み部３８は、クラス分類部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）を用い、式（９）の左辺の行列におけるコンポーネントを求めるための生徒データどうしの乗算（ｘi,kｘj,k）と、サメーション（Σ）に相当する演算を行う。
【０１４９】
さらに、足し込み部３８は、やはり、クラス分類部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,kと、教師データｙkを用い、式（９）の右辺のベクトルにおけるコンポーネントを求めるための生徒データｘi,kと教師データｙkの乗算（ｘi,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１５０】
即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（９）における左辺の行列のコンポーネントと、右辺のベクトルのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントまたはベクトルのコンポーネントに対して、新たに注目教師画素とされた教師データについて、その教師データｙkと生徒データｘi,k(ｘj,k)を用いて計算される、対応するコンポーネントｘi,kｘj,kまたはｘi,kｙkをそれぞれ足し込む。
【０１５１】
そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。
【０１５２】
タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数ｗnを求めて出力する。
【０１５３】
インタフェース４０は、タップ抽出部３５または３６からの要求に応じて、生徒データ記憶部３４から、生徒データとしての画像データを読み出し、タップ抽出部３５または３６に供給する。即ち、タップ抽出部３５または３６は、図１３のタップ抽出部２１または２２における場合と同様に、予測タップまたはクラスタップを構成する複数の画素でなる処理ブロックの要求を、その処理ブロックを特定するための座標とともに、インタフェース４０に供給し、インタフェース４０は、その要求に応じて、処理ブロックの画像データを生徒データ記憶部３４から読み出し、タップ抽出部３５または３６に供給する。
【０１５４】
次に、図１６のフローチャートを参照して、図１５の学習装置の処理（学習処理）について説明する。
【０１５５】
まず最初に、ステップＳ４１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像データを、そのまま、教師データとして出力する。また、生徒データ生成部３１は、学習用画像データを、ＬＰＦによってフィルタリングすることにより、各フレーム（またはフィールド）の教師データ（学習用画像データ）について、生徒データを生成して出力する。
【０１５６】
教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。
【０１５７】
そして、ステップＳ４２に進み、タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ４３では、タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから、インタフェース４０を介して、予測タップとするものを抽出し、足し込み部３８に供給するとともに、タップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから、インタフェース４０を介して、クラスタップとするものを抽出し、クラス分類部３７に供給する。
【０１５８】
その後、ステップＳ４３に進み、クラス分類部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力して、ステップＳ４４に進む。
【０１５９】
ステップＳ４４では、足し込み部３８は、教師データ記憶部３２から注目教師画素を読み出し、その注目教師画素と、タップ抽出部３５から供給される予測タップを用い、式（９）における左辺の行列のコンポーネントｘi,Kｘj,Kと、右辺のベクトルのコンポーネントｘi,KｙKを計算する。さらに、足し込み部３８は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部３７からのクラスコードに対応するものに対して、注目画素と予測タップから求められた行列のコンポーネントｘi,Kｘj,Kとベクトルのコンポーネントｘi,KｙKをそれぞれ足し込み、ステップＳ４５に進む。
【０１６０】
ステップＳ４５では、タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ４５において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１６１】
また、ステップＳ４５において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部３８は、いままでの処理によって得られたクラスごとの式（９）における左辺の行列と、右辺のベクトルを、タップ係数算出部３９に供給し、ステップＳ４６に進む。
【０１６２】
ステップＳ４６では、タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの式（９）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１６３】
ここで、学習用画像データの数が十分でないこと等に起因して、タップ係数ｗnを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１６４】
なお、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像データを、その解像度を向上させた第２の画像データに変換する解像度向上処理としてのデータ変換処理を行うものを得ることができる。
【０１６５】
従って、画像処理部５の係数メモリ２４（図１３）に、そのタップ係数を記憶させることにより、画像処理部５では、画像データの空間解像度を向上させることができる。
【０１６６】
ここで、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、各種のデータ変換処理を行うものを得ることができる。
【０１６７】
即ち、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としてのデータ変換処理を行うものを得ることができる。
【０１６８】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、または、所定サイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素を所定の間引き率で間引いた画像データを教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、拡大または縮小した第２の画像データに変換するリサイズ処理としてのデータ変換処理を行うものを得ることができる。
【０１６９】
従って、画像処理部５の係数メモリ２４（図１３）に、ノイズ除去処理用のタップ係数や、リサイズ処理用のタップ係数を記憶させることにより、画像処理部５では、画像データのノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０１７０】
以上のように、タップ係数の学習に用いる教師データと生徒データのセットによって、タップ係数としては、解像度の向上や、ノイズ除去、リサイズ等の、各種の画質の改善を行うものを得ることができ、従って、このような各種の画質改善を行うタップ係数を、画像処理部５の係数メモリ２４に記憶させることにより、画像処理部５では、各種の画質改善のためのデータ変換処理を行うことができる。
【０１７１】
なお、その他、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データの空間解像度を低下させ、さらに、ノイズを重畳した画像データを生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、そこに含まれるノイズを除去（低減）し、さらに、その空間解像度を向上させた第２の画像データに変換するノイズ除去処理と解像度向上処理の両方を、データ変換処理として行うものを得ることができる。
【０１７２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１７３】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１７４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１７５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１７６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１７７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述した画像ブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１７８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１７９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８０】
なお、本実施の形態では、図７および図８に示したように、画像ブロックの列方向の境界線が、隣接する行の画像ブロックの列方向の境界線とずれている画像ブロックとなるように、画像データを分割するようにしたが、画像データは、その他、例えば、図１８に示すように、画像ブロックの行方向の境界線が、隣接する列の画像ブロックの行方向の境界線とずれている画像ブロックとなるように分割することも可能である。
【０１８１】
また、本実施の形態では、メモリ４とメモリ制御部１１とを別構成にしたが、メモリ制御部１１は、メモリ４に内蔵させる形で構成することも可能である。
【０１８２】
さらに、メモリ制御部１１によるメモリ４に対する画像データの読み書き制御は、画像処理部５において、ＭＰＥＧ符号化や、上述したデータ変換処理を行う場合の他、図１５に示した学習装置における、生徒データ記憶部３４に対する画像データの読み書きにも適用可能である。
【０１８３】
また、メモリ制御部１１によるメモリ４に対する読み書き制御は、画像データ以外の２次元データを対象に行うことが可能である。即ち、例えば、図１５に示した学習装置において、例えば、画像データを教師データとするとともに、その画像データをＤＣＴ(Discrete Cosine Transform)変換して得られるＤＣＴ係数を生徒データとして、図１６の学習処理を行うことにより、ＤＣＴ係数を、画像データに変換するデータ変換処理を行うタップ係数を得ることができるが、このようなタップ係数を、図１３の係数メモリ２４に記憶させ、画像処理部５においてデータ変換処理を行う場合には、画像データをＤＣＴ変換して得られるＤＣＴ係数が、第１の画像データとして入力されることとなる。この場合、メモリ制御部１１においては、そのＤＣＴ係数を対象に、メモリ４に対する読み書き制御を行うようにすることが可能である。
【０１８４】
さらに、本実施の形態では、１フレームの画像データを、画像ブロックの頂点が、空間的に隣接する複数の画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割するようにしたが、時間方向に、そのような分割を行うようにすることも可能である。即ち、１フレームの画像データを、画像ブロックの頂点が、時間的に隣接する１フレーム前または１フレーム後のフレームの画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割するようにすることが可能である。この場合、例えば、図１３の画像処理部５において、連続する複数フレームから画素を抽出して、予測タップやクラスタップを構成するときに、同時に読み出す必要のある画像ブロックの数を少なくすることができる。
【０１８５】
また、本実施の形態では、メモリ４を、３つのメモリバンク４1乃至４3で構成するようにしたが、メモリ４は、４以上のメモリバンクで構成することが可能である。なお、メモリ４を、４以上のメモリバンクで構成した場合であっても、画像データを、レンガ模様状の画像ブロックに分割して記憶させる限り、同時に読み出す必要のある画像ブロックは、最大でも、３つになる。
【０１８６】
【発明の効果】
以上の如く、本発明によれば、記憶装置におけるデータの読み書き速度を高速に維持したまま、その消費電力を低減することができる。
【図面の簡単な説明】
【図１】従来の画像処理装置の一例の構成を示すブロック図である。
【図２】処理ブロックを示す図である。
【図３】メモリ４の構成例を示す図である。
【図４】メモリ４への画像データの記憶させ方を説明する図である。
【図５】処理ブロックを読み出すのに、同時に読み出す必要のある画像ブロックが、最大で４つになることを説明する図である。
【図６】本発明を適用した画像処理装置の一例の構成例を示すブロック図である。
【図７】レンガ模様状の画像ブロックに分割された画像データを示す図である。
【図８】処理ブロックを読み出すのに、同時に読み出す必要のある画像ブロックが、最大で３つになることを説明する図である。
【図９】メモリ制御部１１による書き込み制御処理の第１実施の形態を説明するフローチャートである。
【図１０】メモリ制御部１１による書き込み制御処理の第１実施の形態を説明するフローチャートである。
【図１１】メモリ制御部１１による読み出し制御処理を説明するフローチャートである。
【図１２】画像ブロックの大きさａ、処理ブロックの大きさｂ、画像ブロックのずれ量ｃが満たすべき条件を説明する図である。
【図１３】画像処理部５の構成例を示すブロック図である。
【図１４】画像処理部５の処理を説明するフローチャートである。
【図１５】係数メモリ２４に記憶させるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１６】学習装置による学習処理を説明するフローチャートである。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示す画像ブロック図である。
【図１８】レンガ模様状の画像ブロックに分割された画像データを示す図である。
【符号の説明】
１ ＨＤ， ２ ＨＤコントローラ， ４ メモリ， ４1乃至４3 メモリバンク， ５ 画像処理部， ２０ インタフェース， ２１，２２ タップ抽出部， ２３ クラス分類部， ２４ 係数メモリ， ２５ 予測部， ３１ 教師データ生成部， ３２ 教師データ記憶部， ３３ 生徒データ生成部， ３４ 生徒データ記憶部， ３５，３６ タップ抽出部， ３７ クラス分類部，３８ 足し込み部， ３９ タップ係数算出部， ４０ インタフェース， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを処理する際に、その画像データを記憶するメモリにおけるデータの読み書き速度を高速化するとともに、その消費電力を低減すること等ができるようにする記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
図１は、画像データを処理する、従来の画像処理装置の一例の構成を示している。
【０００３】
ＨＤ(Hard Disk)１には、画像処理の対象とする、２次元データとしての画像データが記憶されている。また、ＨＤ１は、例えば画像処理の結果得られる画像データも必要に応じて記憶する。
【０００４】
ＨＤコントローラ２は、メモリ制御部３からの要求に応じて、ＨＤ１から画像データを読み出し、データバス上に出力する。また、ＨＤコントローラ２は、データバス上の画像データを受信し、ＨＤ１に書き込む。
【０００５】
メモリ制御部３は、画像処理部５からの要求に応じて、ＨＤコントローラ２およびメモリ４を制御する。
【０００６】
即ち、メモリ制御部３は、ＨＤコントローラ２を制御することにより、ＨＤ１に記録された画像データを、例えば１フレーム（またはフィールド）単位で読み出させ、データバス上に出力させる。また、メモリ制御部３は、メモリ４を制御することにより、データバス上の画像データを記憶させる。さらに、メモリ制御部３は、メモリ４を制御することにより、メモリ４に記憶された画像データを、データバス上に出力させる。
【０００７】
メモリ４は、図１では、４つのメモリバンク４1，４2，４3，４4を有し、メモリ制御部３の制御にしたがい、各メモリバンク４iに、データバス上の画像データを記憶し、また、各メモリバンク４iに記憶された画像データを読み出し、データバス上に出力する。
【０００８】
画像処理部５は、データバス上の画像データを受信し、その画像データを対象に、所定の画像処理を行う。即ち、画像処理部５は、メモリ制御部３に対して、画像処理の対象とする、行方向と列方向が所定の画素数で構成される矩形状のブロック（以下、適宜、処理ブロックという）の画像データを要求する。そして、画像処理部５は、要求した処理ブロックの画像データが、メモリ４から読み出されてデータバス上に出力されるのを待って、その処理ブロックの画像データを受信し、その処理ブロックの画像データを対象に、所定の画像処理を行う。
【０００９】
ここで、画像処理部５が所定の処理ブロックの画像データを対象に行う画像処理としては、例えば、ＭＰＥＧ(Moving Picture Experts Group)符号化において、動きベクトルを検出するのに行われるブロックマッチングなどがある。
【００１０】
次に、図２は、画像処理部５が画像処理の対象とする処理ブロックの例を示している。
【００１１】
図２では、１フレームの画像データから、行方向と列方向がいずれも４画素で構成される処理ブロックが切り出され、その処理ブロックが有する１６（＝４×４）画素の画像データが、画像処理の対象とされるようになっている。
【００１２】
次に、図３は、図１のメモリ４の構成例を示している。
【００１３】
メモリ４を構成する各メモリバンク４iは、行方向に、複数のワード線が配置されるとともに、列方向に、複数のビット線が配置され、ワード線とビット線の交差する部分に、データを記憶するメモリセルが設けられて構成されている。
【００１４】
メモリバンク４iへの画像データの書き込み時においては、複数のビット線それぞれに、書き込むべき画像データが供給されるとともに、複数のワード線のうちの１つが選択され（ＨレベルまたはＬレベルにされることにより活性化され）、その選択されたワード線上の各メモリセルに、そのメモリセルに接続されたビット線上の画像データが記憶される。
【００１５】
一方、メモリバンク４iからの画像データの読み出し時においては、複数のワード線のうちの１つが選択され、その選択されたワード線上の各メモリセルに記憶された画像データが、そのメモリセルに接続されたビット線から読み出される。
【００１６】
なお、１つのメモリバンク４iに対する画像データの読み書き時において選択されるワード線は、１本に限られる。即ち、メモリバンク４iにおける複数のワード線を選択した場合には、その複数のワード線上のメモリセルのデータが、ビット線上で衝突してしまい、データが破壊される。従って、メモリバンク４iにおける複数のワード線のメモリセルに対して、データを、同時に読み書きすることはできない。
【００１７】
一方、メモリバンク４iにおける１本のワード線上のメモリセルに対しては、データを、同時に読み書きすることができる。そこで、画像データを、上述したような処理ブロック単位で処理する場合には、画像の読み書き速度を向上させるために、メモリ制御部３は、図４に示すように、画像データを、処理ブロック以上の大きさの、例えば、行×列が１６画素×１６画素の矩形状の画像ブロックに分割し、各画像ブロックの画像データを、１本のワード線上のメモリセルに記憶させる。即ち、この場合、１本のワード線上のメモリセルには、２５６（＝１６×１６）画素の画像データが記憶される。
【００１８】
ここで、１本のワード線上のメモリセルに、画像ブロックの画像データを記憶させる方法については、本件出願人が先に提案した特開２０００−１８２０２４号公報に、その詳細が開示されている。
【００１９】
【発明が解決しようとする課題】
ところで、１本のワード線上に、多数のメモリセルを設けることにより、より大きな画像ブロックの画像データ（極端には、例えば、１フレームの画像データ）を、同時に読み書きすることが可能となる。
【００２０】
しかしながら、この場合、ワード線の長さが長くなるため、ワード線を活性化するのに、時間を要することになり、画像データの読み書き速度が低下することになる。
【００２１】
そこで、図１の画像処理装置においては、メモリ４が、複数としての、例えば、４つのメモリバンク４1乃至４4に分割されている。即ち、メモリバンク４1乃至４4それぞれは、独立に動作させることができ、従って、メモリバンク４1乃至４4それぞれの、あるワード線を選択することにより、４つの画像ブロックの読み書きを、同時に行うことができる。
【００２２】
ところで、図１の画像処理装置において、メモリ４が、４つのメモリバンク４1乃至４4で構成されているのは、次のような理由による。
【００２３】
即ち、いまの場合、画像ブロックが１６×１６画素で構成され、処理ブロックが、それより小さい４×４画素で構成されるため、図５に示すように、処理ブロックが、ある１つの画像ブロックの範囲に含まれる処理ブロックＢ1であれば、その１つの画像ブロックを、メモリ４から読み出すことにより、処理ブロックＢ1の画像データを得ることができ、特に問題はない。
【００２４】
しかしながら、処理ブロックが、図５に示すように、２つの画像ブロックの範囲に跨る処理ブロックＢ2である場合には、処理ブロックＢ2の画像データを得るためには、その２つの画像ブロックを、同時に読み出す必要がある。この場合、２つの画像ブロックが、同一のメモリバンク４iに記憶されているときには、上述したように、同時に、２つのワード線を選択することができないため、同時に読み出すことはできない。
【００２５】
そこで、画像ブロックは、それに隣接する画像ブロックが記憶されるメモリバンク４i'（ｉ’≠ｉ）とは異なるメモリバンク４iに記憶させる必要がある。
【００２６】
この場合、異なるメモリバンク４iと４i'から、処理ブロックＢ2の画像データを有する、隣接する２つの画像ブロックを同時に読み出すことが可能となる。
【００２７】
そして、画像データを、図４に示したように、各画像ブロックの頂点が、隣接するすべての画像ブロックの頂点に一致するように、いわゆるマトリクス状に分割した場合には、処理ブロックは、図５において処理ブロックＢ3として示すように、最大で、４つの画像ブロックに跨ることがある。
【００２８】
この４つの画像ブロックを、同時に読み出すためには、その４つの画像ブロックそれぞれを、異なるメモリバンクに記憶させる必要があり、このため、図１では、メモリ４が、４つのメモリバンク４1乃至４4で構成され、処理ブロックが跨る可能性のある４つの画像ブロックそれぞれは、４つのメモリバンク４1乃至４4の異なるものに記憶される。
【００２９】
ところで、メモリ４において流れる電流、ひいては、その消費電力は、選択（活性化）するメモリバンク４iの数に比例する。
【００３０】
従って、処理ブロックが、４つの画像ブロックに跨る場合には、１つの画像ブロックの範囲に含まれる場合に比較して、画像データの読み出しのためにメモリ４で消費される電力が著しく大になる。さらに、処理ブロックが、４つの画像ブロックに跨る場合には、メモリ４に流れる電流の増加に伴い、ノイズが発生する。
【００３１】
本発明は、このような状況に鑑みてなされたものであり、同時に読み出す必要のある画像ブロックの数を少なくすることができるようにし、これにより、メモリにおけるデータの読み書き速度を高速に維持したまま、その消費電力を低減すること等ができるようにするものである。
【００３２】
【課題を解決するための手段】
本発明の記憶制御装置は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得手段と、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択手段とを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３３】
本発明の記憶制御方法は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３４】
本発明のプログラムは、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすことを特徴とする。
【００３５】
本発明の記録媒体は、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データを記憶させる記憶選択ステップとを備え、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たすプログラムが記録されていることを特徴とする。
【００３６】
本発明においては、２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データが取得され、記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、データブロック単位の２次元データが記憶される。なお、所定のデータ処理を行うデータ処理装置が、記憶装置に記憶された２次元データの矩形状の処理ブロックを対象として、所定のデータ処理を行う場合において、データブロックの行方向の境界線の長さａ、処理ブロックの行方向の長さｂ、およびデータブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、または、データブロックの列方向の境界線の長さａ、処理ブロックの列方向の長さｂ、およびデータブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃは、式ｂ≦ｃ≦ａ−ｂを満たす。
【００３７】
【発明の実施の形態】
図６は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図６の画像処理装置は、メモリ制御部３に代えて、メモリ制御部１１が設けられている他は、基本的に、図１における場合と同様に構成されている。
【００３８】
但し、メモリ４は、４つのメモリバンク４1乃至４4ではなく、３つのメモリバンク４１乃至４3から構成されている。
【００３９】
メモリ制御部１１は、ＨＤ１から読み出されたフレーム単位の画像データを、マトリクス状に分割するのではなく、その頂点が、隣接する複数の画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割し、その画像ブロックを、メモリバンク４iのあるワード線上のメモリセルに記憶させるようになっている。
【００４０】
即ち、メモリ制御部１１は、ＨＤ１に記憶された画像データを、例えば、図７に示すように、画像ブロックの列方向の境界線Ｌ１が、隣接する行の画像ブロックの列方向の境界線Ｌ２とずれた画像ブロックに分割した、その画像ブロック単位の画像データを取得し、メモリバンク４iのあるワード線を選択することにより、画像ブロックを、そのワード線上のメモリセルに記憶させる。
【００４１】
なお、図７の実施の形態では、画像ブロックは、１６×１６画素で構成されている。また、図７の実施の形態では、画像ブロックの列方向の境界線Ｌ１と、隣接する行の画像ブロックの列方向の境界線Ｌ２とは、画像ブロックの行方向の境界線の画素数（長さ）である１６画素の１／２、つまり８画素分だけずれている。
【００４２】
ここで、上述のように、隣接する行の画像ブロックどうしの列方向の境界線が、８画素分だけずれているため、図７の実施の形態では、上から偶数行目の左端および右端の画像ブロックは、１６×１６画素ではなく、８×１６画素で構成されている。このように、８×１６画素で構成される画像ブロックについては、１６×１６画素で構成される画像ブロックと同様に、１本のワード線上のメモリセルに記憶させることができるが、この場合、そのワード線上のメモリセルの１／２が無駄になる。そこで、８×１６画素で構成される画像ブロックについては、２つの画像ブロック単位で、１本のワード線上のメモリセルに記憶させることが可能である。具体的には、例えば、図７において、２行目または４行目の最左端の列にある画像ブロックｂ1またはｂ3については、同一の行の最右端の列にある画像ブロックｂ2またはｂ4と、それぞれ、同一のワード線上のメモリセルに記憶させることが可能である。あるいは、また、例えば、図７において、２行目の最左端または最右端の列にある画像ブロックｂ1またはｂ2については、その２行だけ下の４行目の最左端または最右端の列にある画像ブロックｂ3またはｂ4と、それぞれ、同一のワード線上のメモリセルに記憶させることが可能である。
【００４３】
図７に示したように、１フレームの画像データを、いわばレンガ模様状の１６×１６画素の画像ブロック単位に分割し、その画像ブロック単位で、メモリ４に記憶させた場合においては、４×４画素の処理ブロックが跨る画像ブロックの数は、図８に示すように、処理ブロックが、画像ブロックの頂点を含む位置にあるケースにおいて最大の３になる。
【００４４】
従って、図３の画像処理装置では、処理ブロックの画像データを得るために、最大でも、３つのメモリバンク４1乃至４3から、３つの画像ブロックをそれぞれ同時に読み出せば良く、図１の画像処理装置における場合のように、４つのメモリバンク４1乃至４4から画像ブロックを同時に読み出す必要があるケースは生じない。
【００４５】
その結果、図６の画像処理装置によれば、図１における場合に比較して、メモリ４において流れる電流を小さくすることができ、これにより、画像データの読み書き速度を維持したまま、メモリ４において流れる電流に起因するノイズや、消費電力を低減することができ、また、メモリ４において大電流が流れることによる電源電圧の降下の影響を抑制することができる。さらに、最大でも、３つのメモリバンク４1乃至４3から、同時に画像ブロックを読み出せば良いから、図１の画像処理装置における場合のように、最大で、４つのメモリバンク４1乃至４4から、同時に画像ブロックを読み出す必要がある場合に比較して、データバスのバス幅を、１つのメモリバンクに相当する分だけ小さく（狭く）することができる。
【００４６】
次に、図９のフローチャートを参照して、メモリ制御部１１が、メモリ４に画像データを書き込む場合に行う書き込み制御処理について説明する。
【００４７】
メモリ制御部１１は、例えば、画像処理部５から、あるフレームの画像データの要求があると、書き込み制御処理を開始する。
【００４８】
即ち、書き込み制御処理では、まず最初に、ステップＳ１において、メモリ制御部１１は、画像処理部５から要求のあった１フレームの画像データ（以下、適宜、要求画像データという）を、仮想的に、図７に示したように、レンガ模様状の画像ブロックに分割し、ステップＳ２に進む。
【００４９】
ステップＳ２では、メモリ制御部１１は、要求画像データを構成する画像ブロックから、例えば、ラスタスキャン順で、まだ注目画像ブロックとして選択していないものを、注目画像ブロックとして選択し、ステップＳ３に進む。
【００５０】
ステップＳ３では、メモリ制御部１１は、メモリバンク４1乃至４3の中から、注目画像ブロックを書き込むメモリバンク４iを選択する。
【００５１】
即ち、ステップＳ３では、メモリ制御部１１は、注目画像ブロックに隣接する画像ブロックのうち、既にメモリ４に書き込まれているものが記憶されたメモリバンク４i'とは異なるメモリバンク４iを、注目画像ブロックを書き込むメモリバンクとして選択する。
【００５２】
そして、ステップＳ４に進み、メモリ制御部１１は、ステップＳ３で選択したメモリバンク４iにおいて、まだ、要求画像データの画像ブロックを記憶させていないメモリセルに接続されたワード線のうちの１つを選択し、ステップＳ５に進む。
【００５３】
ステップＳ５では、メモリ制御部１１は、ＨＤコントローラ２を制御することにより、ＨＤ１に記憶された要求画像データから、注目画像ブロックを取得し、即ち、注目画像ブロックの画像データをＨＤ１から読み出させ、データバス上に出力させる。これにより、データバス上の注目画像ブロックの画像データは、ステップＳ３で選択されたメモリバンク４iの、ステップＳ４で選択されたワード線上のメモリセルに書き込まれる。
【００５４】
その後、ステップＳ６に進み、メモリ制御部１１は、要求画像データを構成する画像ブロックのうち、まだ、注目画像ブロックとしていないものがあるかどうかを判定する。
【００５５】
ステップＳ６において、まだ、注目画像ブロックとしていない画像ブロックがあると判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５６】
また、ステップＳ６において、注目画像ブロックとしていない画像ブロックがないと判定された場合、書き込み制御処理を終了する。
【００５７】
次に、図１０のフローチャートを参照して、メモリ制御部１１が行う書き込み制御処理の他の実施の形態について説明する。
【００５８】
まず最初に、ステップＳ１１において、図９のステップＳ１における場合と同様に、メモリ制御部１１は、要求画像データを、仮想的に、レンガ模様状の画像ブロックに分割し、ステップＳ１２に進む
【００５９】
ステップＳ１２では、メモリ制御部１１は、要求画像データを構成する画像ブロックから、例えば、ラスタスキャン順で、まだ注目画像ブロックとして選択していない３つの画像ブロックであって、互いに隣接する３つの画像ブロック（任意の１つの画像ブロックが、他の２つの画像ブロックと隣接する３つの画像ブロック）を、第１乃至第３の注目画像ブロックとしてそれぞれ選択し、ステップＳ１３に進む。
【００６０】
ステップＳ１３では、メモリ制御部１１は、メモリバンク４1乃至４3の中から、第１乃至第３の注目画像ブロックを書き込むメモリバンク４i，４i'，４i''をそれぞれ選択する。
【００６１】
ここで、ステップＳ１３では、メモリ制御部１１は、第１乃至第３の注目画像ブロックが、それぞれ異なるメモリバンクに書き込まれるように、メモリバンクの選択を行う。さらに、ステップＳ１３では、メモリ制御部１１は、第１の注目画像ブロックについては、その第１の注目ブロックに隣接する画像ブロックのうち、既にメモリ４に書き込まれているものが記憶されたメモリバンクとは異なるメモリバンクを、第１の注目画像ブロックを書き込むメモリバンクとして選択する。第２および第３の注目画像ブロックについても、同様である。
【００６２】
そして、ステップＳ１４に進み、メモリ制御部１１は、ステップＳ１３で選択したメモリバンク４i，４i'，４i''それぞれにおいて、まだ、要求画像データの画像ブロックを記憶させていないメモリセルに接続されたワード線のうちの１つを選択し、ステップＳ１５に進む。
【００６３】
ステップＳ１５では、メモリ制御部１１は、ＨＤコントローラ２を制御することにより、ＨＤ１に記憶された要求画像データから、第１乃至第３の注目画像ブロックを取得し、即ち、第１乃至第３の注目画像ブロックの画像データをＨＤ１から読み出させ、データバス上に出力させる。これにより、データバス上の第１乃至第３の注目画像ブロックの画像データは、ステップＳ１３で選択されたメモリバンク４i，４i'，４i''それぞれの、ステップＳ４で選択されたワード線上のメモリセルに、同時に書き込まれる。
【００６４】
その後、ステップＳ１６に進み、メモリ制御部１１は、要求画像データを構成する画像ブロックの中で、まだ、注目画像ブロックとしていないものがあるかどうかを判定する。
【００６５】
ステップＳ１６において、まだ、注目画像ブロックとしていない画像ブロックがあると判定された場合、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ１６において、注目画像ブロックとしていない画像ブロックがないと判定された場合、書き込み制御処理を終了する。
【００６７】
図９の書き込み制御処理では、画像データが、１つの画像ブロック単位で、１つのメモリバンク４iに書き込まれるのに対して、図１０の書き込み制御処理では、画像データが、３つの画像ブロック単位で、３つのメモリバンク４1乃至４3に、同時に書き込まれる。
【００６８】
次に、図１１のフローチャートを参照して、メモリ制御部１１が、メモリ４に記憶された画像データを読み出す場合に行う読み出し制御処理について説明する。
【００６９】
メモリ制御部１１は、例えば、画像処理部５から、メモリ４に記憶された１フレームの画像データのうちの、ある位置の処理ブロックの画像データの要求があると、読み出し制御処理を開始する。
【００７０】
即ち、読み出し制御処理では、まず最初に、ステップＳ２１において、メモリ制御部１１は、画像処理部５から要求のあった処理ブロックが跨る１以上の画像ブロックを認識し、その１以上の画像ブロックすべてを注目画像ブロックとして選択する。
【００７１】
そして、ステップＳ２２に進み、メモリ制御部１１は、メモリバンク４1乃至４3の中から、１以上の注目画像ブロックが書き込まれている１以上のメモリバンクを選択し、ステップＳ２３に進む。
【００７２】
ステップＳ２３では、メモリ制御部１１は、ステップＳ２２で選択した１以上のメモリバンクの、注目画像ブロックが書き込まれているメモリセルが接続されているワード線を選択し、読み出し制御処理を終了する。
【００７３】
これにより、ステップＳ２２で選択された１以上のメモリバンクそれぞれから、選択されたワード線上のメモリセルに記憶された画像データ、即ち、ステップＳ２１で選択された１以上の注目画像ブロックが同時に読み出され、データバス上に出力される。
【００７４】
次に、図７および図８の実施の形態では、１フレームの画像データを、１６×１６画素で構成される画像ブロックに分割し、また、画像ブロックの列方向の境界線Ｌ１と、隣接する行の画像ブロックの列方向の境界線Ｌ２とのずれ量を、画像ブロックの行方向の境界線の画素数の１／２である８画素とするとともに、処理ブロックを、４×４画素で構成するようにしたが、図１２に示すように、画像ブロックの行方向の境界線の長さをａと、処理ブロックの行方向の長さをｂと、画像ブロックの列方向の境界線と、隣接する行の画像ブロックの列方向の境界線との行方向のずれ量をｃと、それぞれ表すこととすると、これらは、次式を満たす必要がある。
【００７５】
【数１】
【００７６】
なお、式（１）は、画像データを、レンガ模様状の画像ブロックに分割した場合に、処理ブロックが画像データ上のどの位置にあっても、多くとも、画像ブロックの１つの頂点しか含まないこととする条件、即ち、処理ブロックが、画像ブロックの２以上の頂点（同一の画像ブロックの２以上の頂点と、異なる画像ブロックの２以上の頂点の両方を含む）を含まないこととする条件である。
【００７７】
次に、図６の画像処理部５には、前述したように、ＭＰＥＧ符号化において、動きベクトルを検出するためのブロックマッチングの他、所定の処理ブロックを対象に行われる各種の画像処理を行わせることができる。
【００７８】
そのような画像処理の１つとして、本件出願人が先に提案したデータ変換処理がある。
【００７９】
図１３は、本件出願人が先に提案したデータ変換処理を行う画像処理部５の構成例を示している。
【００８０】
図１３の実施の形態では、画像処理部５は、そこに供給される画像データを、第１の画像データとして、その第１の画像データを、その第１の画像データよりも高画質の第２の画像データに変換するデータ変換処理を行うようになっている。
【００８１】
ここで、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを高解像度の画像データとすれば、データ変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、データ変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像データを所定のサイズの画像データとするとともに、第２の画像データを、第１の画像データのサイズを大きくまたは小さくした画像データとすれば、データ変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００８２】
従って、データ変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
【００８３】
インタフェース２０は、タップ抽出部２１および２２からの要求にしたがい、所定の処理ブロックの供給を、メモリ制御部１１（図６）に要求する。なお、タップ抽出部２１および２２は、要求する処理ブロックの、例えば、左上隅や中心などにある画素の座標を、その処理ブロックを特定するための情報として、インタフェース２０に供給するようになっており、インタフェース２０は、その座標によって特定される処理ブロックの供給を、メモリ制御部１１に要求する。
【００８４】
タップ抽出部２１は、第２の画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、処理ブロックとして、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像データから、処理ブロックを構成する画素を、予測タップとして抽出する。
【００８５】
具体的には、タップ抽出部２１は、注目画素に対応する、第１の画像データの画素に対して、空間的または時間的に近い位置にある複数の画素、即ち、例えば、注目画素に対応する、第１の画像データの画素と、それに空間的に隣接する画素の、３×３画素などを、処理ブロックとして、インタフェース２０に要求する。この場合、インタフェース２０は、メモリ制御部１１に対して、処理ブロックを要求する。
【００８６】
ここで、メモリ４には、既に、データ変換対象のフレームの第１の画像データが記憶されているものとする。
【００８７】
メモリ制御部１１は、インタフェース２０から処理ブロックの要求を受信すると、その処理ブロックが跨る画像ブロックを、図１１で説明したように、メモリ４から読み出させ、データバス上に出力させる。インタフェース２０は、このデータバス上の画像ブロックの画像データを受信し、タップ抽出部２１に供給する。そして、タップ抽出部２１は、このようにしてインタフェース２０から供給される画像ブロックの画像データの中から、予測タップとする画素（の画素値）を抽出する。
【００８８】
なお、タップ抽出部２１では、注目画素に対応する、第１の画像データの画素を中心とする３×３画素を、予測タップとして抽出する他、例えば、注目画素に対応する、第１の画像データの画素の動きベクトルを検出し、その動きベクトルにしたがって、予測タップとして抽出する３×３画素の位置を変更するようにすることが可能である。
【００８９】
タップ抽出部２２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、処理ブロックとして、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像データから、処理ブロックを構成する画素を、クラスタップとして抽出する。
【００９０】
ここで、タップ抽出部２１と２２が要求する処理ブロックは、同一である必要はない。従って、予測タップとクラスタップは、同一のタップ構造とすることもできるし、異なるタップ構造とすることもできる。
【００９１】
タップ抽出部２１で得られた予測タップは、予測部２５に供給され、タップ抽出部２２で得られたクラスタップは、クラス分類部２３に供給される。
【００９２】
クラス分類部２３は、タップ抽出部２２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ２４に供給する。
【００９３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９４】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００９５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９６】
なお、クラス分類部２３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部２３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００９７】
従って、クラス分類部２３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００９８】
なお、クラス分類は、上述したように、クラスタップを構成する画素の画素値のレベル分布のパターンに基づいて行う他、例えば、そのクラスタップの注目画素に対応する画素の部分にエッジが存在するかどうかや、その画素の動きの有無（あるいは、動きの大きさや方向など）に基づいて行うことも可能である。
【００９９】
係数メモリ２４は、後述する学習装置において学習処理が行われることにより得られるクラスごとのタップ係数を記憶しており、その記憶しているタップ係数のうちの、クラス分類部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部２３から供給されるクラスコードが表すクラスのタップ係数）を読み出し、予測部２５に供給する。
【０１００】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１０１】
予測部２５は、タップ抽出部２１が出力する予測タップと、係数メモリ２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部２５は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１０２】
なお、予測部２５が出力する第１の画像データは、例えば、データバスおよびＨＤコントローラ２を介して、ＨＤ１に書き込まれ、あるいは、図示せぬモニタに供給されて表示され、または図示せぬ伝送媒体を介して伝送される。
【０１０３】
次に、図１４のフローチャートを参照して、図１３の画像処理部５の処理（データ変換処理）について説明する。
【０１０４】
ステップＳ３１では、タップ抽出部２１が、メモリ４（図６）に記憶された画像データを、データ変換処理対象の第１の画像データとして、その第１の画像データに対する第２の画像データ（データ変換処理後の画像データ）を構成する各画素を、順次、注目画素とし、その注目画素について、予測タップとする第１の画像データの画素でなる処理ブロックを、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像ブロックから、予測タップとするものを抽出する。さらに、ステップＳ３１では、タップ抽出部２２が、注目画素について、クラスタップとする第１の画像データの画素でなる処理ブロックを、インタフェース２０に要求し、その要求に応じて、インタフェース２０から供給される画像ブロックから、クラスタップとするものを抽出する。そして、予測タップは、タップ抽出部２１から予測部２５に供給され、クラスタップは、タップ抽出部２２からクラス分類部２３に供給される。
【０１０５】
クラス分類部２３は、タップ抽出部２２から、注目画素についてのクラスタップを受信し、ステップＳ３２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部２３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ２４に出力し、ステップＳ３３に進む。
【０１０６】
ステップＳ３３では、係数メモリ２４が、クラス分類部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、即ち、クラスコードに対応するクラスのタップ係数を読み出して出力する。さらに、ステップＳ３３では、予測部２５が、係数メモリ２４が出力するタップ係数を取得し、ステップＳ３４に進む。
【０１０７】
ステップＳ３４では、予測部２５が、タップ抽出部２１が出力する予測タップと、係数メモリ２４から取得したタップ係数とを用いて、所定の予測演算（後述する式（２）の予測演算）を行う。これにより、予測部２５は、注目画素の画素値を求め、ステップＳ３５に進む。
【０１０８】
ステップＳ３５では、タップ抽出部２１が、メモリ４（図６）に記憶された画像データとしての第１の画像データに対応する第２の画像データを構成する画素のうち、まだ、注目画素としていないものがあるかどうかを判定する。ステップＳ３５において、第２の画像データを構成する画素のうち、まだ、注目画素としていないものがあると判定された場合、ステップＳ３１に戻り、第２の画像データを構成する画素のうち、まだ、注目画素としていないもののうちの１つが、新たに注目画素とされ、その注目画素を対象に、以下、同様の処理が繰り返される。
【０１０９】
また、ステップＳ３５において、第２の画像データを構成する画素のうち、まだ、注目画素としていないものがないと判定された場合、即ち、メモリ４（図６）に記憶された１フレームの画像データ（第１の画像データ）を変換した画像データ（第２の画像データ）が得られた場合、予測部２５は、その画像データを出力し、処理を終了する。
【０１１０】
なお、図１４のデータ変換処理は、メモリ４に、順次、フレームごとの画像データを記憶させ、そのフレームごとの画像データを対象に、繰り返し行うようにすることができる。
【０１１１】
次に、図１３の予測部２５における予測演算と、係数メモリ２４に記憶させるクラスごとのタップ係数の学習について説明する。
【０１１２】
いま、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを抽出し、その予測タップと所定のタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１１３】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１１４】
【数２】
【０１１５】
但し、式（２）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。
【０１１６】
なお、式（２）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１１７】
ここで、高画質画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１１８】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１１９】
【数３】
【０１２０】
いま、式（３）の予測値ｙk’は、式（２）にしたがって求められるため、式（３）のｙk’を、式（２）にしたがって置き換えると、次式が得られる。
【０１２１】
【数４】
【０１２２】
但し、式（４）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１２３】
式（４）の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１２４】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１２５】
【数５】
【０１２６】
但し、式（５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１２７】
式（５）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０１２８】
【数６】
【０１２９】
そこで、上述の式（４）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１３０】
【数７】
【０１３１】
式（６）と（７）から、次式が得られる。
【０１３２】
【数８】
【０１３３】
式（８）のｅkに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【０１３４】
【数９】
【０１３５】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１３６】
式（９）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１３７】
図１５は、式（９）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行うタップ係数の学習装置の構成例を示している。
【０１３８】
学習装置には、学習に用いられる学習用画像データが入力されるようになっている。ここで、学習用画像データは、第２の画像データに対応するもので、例えば、解像度の高い高画質画像データを用いることができる。
【０１３９】
学習装置において、学習用画像データは、教師データ生成部３１と生徒データ生成部３３に供給される。
【０１４０】
教師データ生成部３１は、そこに供給される学習用画像データから教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像データとしての高画質画像データを、例えば、そのまま教師データとして、教師データ記憶部３２に供給する。
【０１４１】
教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像データを記憶する。
【０１４２】
生徒データ生成部３３は、学習用画像データから、第１の画像データに対応する生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３４に供給する。
【０１４３】
生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。
【０１４４】
タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを、インタフェース４０を介して抽出することにより、図１３のタップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。
【０１４５】
タップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを、インタフェース４０を介して抽出することにより、図１３のタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラス分類部３７に供給する。
【０１４６】
クラス分類部３７は、タップ抽出部３６が出力するクラスタップに基づき、図１３のクラス分類部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力する。
【０１４７】
足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データを対象とした足し込みを、クラス分類部３７から供給されるクラスコードごとに行う。
【０１４８】
即ち、足し込み部３８は、クラス分類部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）を用い、式（９）の左辺の行列におけるコンポーネントを求めるための生徒データどうしの乗算（ｘi,kｘj,k）と、サメーション（Σ）に相当する演算を行う。
【０１４９】
さらに、足し込み部３８は、やはり、クラス分類部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,kと、教師データｙkを用い、式（９）の右辺のベクトルにおけるコンポーネントを求めるための生徒データｘi,kと教師データｙkの乗算（ｘi,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１５０】
即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（９）における左辺の行列のコンポーネントと、右辺のベクトルのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントまたはベクトルのコンポーネントに対して、新たに注目教師画素とされた教師データについて、その教師データｙkと生徒データｘi,k(ｘj,k)を用いて計算される、対応するコンポーネントｘi,kｘj,kまたはｘi,kｙkをそれぞれ足し込む。
【０１５１】
そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。
【０１５２】
タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数ｗnを求めて出力する。
【０１５３】
インタフェース４０は、タップ抽出部３５または３６からの要求に応じて、生徒データ記憶部３４から、生徒データとしての画像データを読み出し、タップ抽出部３５または３６に供給する。即ち、タップ抽出部３５または３６は、図１３のタップ抽出部２１または２２における場合と同様に、予測タップまたはクラスタップを構成する複数の画素でなる処理ブロックの要求を、その処理ブロックを特定するための座標とともに、インタフェース４０に供給し、インタフェース４０は、その要求に応じて、処理ブロックの画像データを生徒データ記憶部３４から読み出し、タップ抽出部３５または３６に供給する。
【０１５４】
次に、図１６のフローチャートを参照して、図１５の学習装置の処理（学習処理）について説明する。
【０１５５】
まず最初に、ステップＳ４１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像データを、そのまま、教師データとして出力する。また、生徒データ生成部３１は、学習用画像データを、ＬＰＦによってフィルタリングすることにより、各フレーム（またはフィールド）の教師データ（学習用画像データ）について、生徒データを生成して出力する。
【０１５６】
教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。
【０１５７】
そして、ステップＳ４２に進み、タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ４３では、タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから、インタフェース４０を介して、予測タップとするものを抽出し、足し込み部３８に供給するとともに、タップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから、インタフェース４０を介して、クラスタップとするものを抽出し、クラス分類部３７に供給する。
【０１５８】
その後、ステップＳ４３に進み、クラス分類部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力して、ステップＳ４４に進む。
【０１５９】
ステップＳ４４では、足し込み部３８は、教師データ記憶部３２から注目教師画素を読み出し、その注目教師画素と、タップ抽出部３５から供給される予測タップを用い、式（９）における左辺の行列のコンポーネントｘi,Kｘj,Kと、右辺のベクトルのコンポーネントｘi,KｙKを計算する。さらに、足し込み部３８は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部３７からのクラスコードに対応するものに対して、注目画素と予測タップから求められた行列のコンポーネントｘi,Kｘj,Kとベクトルのコンポーネントｘi,KｙKをそれぞれ足し込み、ステップＳ４５に進む。
【０１６０】
ステップＳ４５では、タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ４５において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１６１】
また、ステップＳ４５において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部３８は、いままでの処理によって得られたクラスごとの式（９）における左辺の行列と、右辺のベクトルを、タップ係数算出部３９に供給し、ステップＳ４６に進む。
【０１６２】
ステップＳ４６では、タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの式（９）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１６３】
ここで、学習用画像データの数が十分でないこと等に起因して、タップ係数ｗnを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１６４】
なお、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像データを、その解像度を向上させた第２の画像データに変換する解像度向上処理としてのデータ変換処理を行うものを得ることができる。
【０１６５】
従って、画像処理部５の係数メモリ２４（図１３）に、そのタップ係数を記憶させることにより、画像処理部５では、画像データの空間解像度を向上させることができる。
【０１６６】
ここで、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、各種のデータ変換処理を行うものを得ることができる。
【０１６７】
即ち、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としてのデータ変換処理を行うものを得ることができる。
【０１６８】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、または、所定サイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素を所定の間引き率で間引いた画像データを教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、拡大または縮小した第２の画像データに変換するリサイズ処理としてのデータ変換処理を行うものを得ることができる。
【０１６９】
従って、画像処理部５の係数メモリ２４（図１３）に、ノイズ除去処理用のタップ係数や、リサイズ処理用のタップ係数を記憶させることにより、画像処理部５では、画像データのノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０１７０】
以上のように、タップ係数の学習に用いる教師データと生徒データのセットによって、タップ係数としては、解像度の向上や、ノイズ除去、リサイズ等の、各種の画質の改善を行うものを得ることができ、従って、このような各種の画質改善を行うタップ係数を、画像処理部５の係数メモリ２４に記憶させることにより、画像処理部５では、各種の画質改善のためのデータ変換処理を行うことができる。
【０１７１】
なお、その他、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データの空間解像度を低下させ、さらに、ノイズを重畳した画像データを生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像データを、そこに含まれるノイズを除去（低減）し、さらに、その空間解像度を向上させた第２の画像データに変換するノイズ除去処理と解像度向上処理の両方を、データ変換処理として行うものを得ることができる。
【０１７２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１７３】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１７４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１７５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１７６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１７７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述した画像ブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１７８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１７９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８０】
なお、本実施の形態では、図７および図８に示したように、画像ブロックの列方向の境界線が、隣接する行の画像ブロックの列方向の境界線とずれている画像ブロックとなるように、画像データを分割するようにしたが、画像データは、その他、例えば、図１８に示すように、画像ブロックの行方向の境界線が、隣接する列の画像ブロックの行方向の境界線とずれている画像ブロックとなるように分割することも可能である。
【０１８１】
また、本実施の形態では、メモリ４とメモリ制御部１１とを別構成にしたが、メモリ制御部１１は、メモリ４に内蔵させる形で構成することも可能である。
【０１８２】
さらに、メモリ制御部１１によるメモリ４に対する画像データの読み書き制御は、画像処理部５において、ＭＰＥＧ符号化や、上述したデータ変換処理を行う場合の他、図１５に示した学習装置における、生徒データ記憶部３４に対する画像データの読み書きにも適用可能である。
【０１８３】
また、メモリ制御部１１によるメモリ４に対する読み書き制御は、画像データ以外の２次元データを対象に行うことが可能である。即ち、例えば、図１５に示した学習装置において、例えば、画像データを教師データとするとともに、その画像データをＤＣＴ(Discrete Cosine Transform)変換して得られるＤＣＴ係数を生徒データとして、図１６の学習処理を行うことにより、ＤＣＴ係数を、画像データに変換するデータ変換処理を行うタップ係数を得ることができるが、このようなタップ係数を、図１３の係数メモリ２４に記憶させ、画像処理部５においてデータ変換処理を行う場合には、画像データをＤＣＴ変換して得られるＤＣＴ係数が、第１の画像データとして入力されることとなる。この場合、メモリ制御部１１においては、そのＤＣＴ係数を対象に、メモリ４に対する読み書き制御を行うようにすることが可能である。
【０１８４】
さらに、本実施の形態では、１フレームの画像データを、画像ブロックの頂点が、空間的に隣接する複数の画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割するようにしたが、時間方向に、そのような分割を行うようにすることも可能である。即ち、１フレームの画像データを、画像ブロックの頂点が、時間的に隣接する１フレーム前または１フレーム後のフレームの画像ブロックのうちの少なくとも１つ画像ブロックの頂点と一致しない画像ブロックに分割するようにすることが可能である。この場合、例えば、図１３の画像処理部５において、連続する複数フレームから画素を抽出して、予測タップやクラスタップを構成するときに、同時に読み出す必要のある画像ブロックの数を少なくすることができる。
【０１８５】
また、本実施の形態では、メモリ４を、３つのメモリバンク４1乃至４3で構成するようにしたが、メモリ４は、４以上のメモリバンクで構成することが可能である。なお、メモリ４を、４以上のメモリバンクで構成した場合であっても、画像データを、レンガ模様状の画像ブロックに分割して記憶させる限り、同時に読み出す必要のある画像ブロックは、最大でも、３つになる。
【０１８６】
【発明の効果】
以上の如く、本発明によれば、記憶装置におけるデータの読み書き速度を高速に維持したまま、その消費電力を低減することができる。
【図面の簡単な説明】
【図１】従来の画像処理装置の一例の構成を示すブロック図である。
【図２】処理ブロックを示す図である。
【図３】メモリ４の構成例を示す図である。
【図４】メモリ４への画像データの記憶させ方を説明する図である。
【図５】処理ブロックを読み出すのに、同時に読み出す必要のある画像ブロックが、最大で４つになることを説明する図である。
【図６】本発明を適用した画像処理装置の一例の構成例を示すブロック図である。
【図７】レンガ模様状の画像ブロックに分割された画像データを示す図である。
【図８】処理ブロックを読み出すのに、同時に読み出す必要のある画像ブロックが、最大で３つになることを説明する図である。
【図９】メモリ制御部１１による書き込み制御処理の第１実施の形態を説明するフローチャートである。
【図１０】メモリ制御部１１による書き込み制御処理の第１実施の形態を説明するフローチャートである。
【図１１】メモリ制御部１１による読み出し制御処理を説明するフローチャートである。
【図１２】画像ブロックの大きさａ、処理ブロックの大きさｂ、画像ブロックのずれ量ｃが満たすべき条件を説明する図である。
【図１３】画像処理部５の構成例を示すブロック図である。
【図１４】画像処理部５の処理を説明するフローチャートである。
【図１５】係数メモリ２４に記憶させるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１６】学習装置による学習処理を説明するフローチャートである。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示す画像ブロック図である。
【図１８】レンガ模様状の画像ブロックに分割された画像データを示す図である。
【符号の説明】
１ ＨＤ， ２ ＨＤコントローラ， ４ メモリ， ４1乃至４3 メモリバンク， ５ 画像処理部， ２０ インタフェース， ２１，２２ タップ抽出部， ２３ クラス分類部， ２４ 係数メモリ， ２５ 予測部， ３１ 教師データ生成部， ３２ 教師データ記憶部， ３３ 生徒データ生成部， ３４ 生徒データ記憶部， ３５，３６ タップ抽出部， ３７ クラス分類部，３８ 足し込み部， ３９ タップ係数算出部， ４０ インタフェース， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (5)
- １つのワード線上の複数のメモリセルに対して、データを同時に読み書きする記憶装置に、２次元のデータである２次元データを記憶させる記憶制御装置であって、
前記２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得手段と、
前記記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、前記データブロック単位の２次元データを記憶させる記憶選択手段と
を備え、
所定のデータ処理を行うデータ処理装置が、前記記憶装置に記憶された前記２次元データの矩形状の処理ブロックを対象として、前記所定のデータ処理を行う場合において、
前記データブロックの行方向の境界線の長さａ、
前記処理ブロックの行方向の長さｂ、
および前記データブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、
または、
前記データブロックの列方向の境界線の長さａ、
前記処理ブロックの列方向の長さｂ、
および前記データブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃ
は、式ｂ≦ｃ≦ａ−ｂを満たす
ことを特徴とする記憶制御装置。 - 前記２次元データは、画像データである
ことを特徴とする請求項１に記載の記憶制御装置。 - １つのワード線上の複数のメモリセルに対して、データを同時に読み書きする記憶装置に、２次元のデータである２次元データを記憶させる記憶制御方法であって、
前記２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、
前記記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、前記データブロック単位の２次元データを記憶させる記憶選択ステップと
を備え、
所定のデータ処理を行うデータ処理装置が、前記記憶装置に記憶された前記２次元データの矩形状の処理ブロックを対象として、前記所定のデータ処理を行う場合において、
前記データブロックの行方向の境界線の長さａ、
前記処理ブロックの行方向の長さｂ、
および前記データブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、
または、
前記データブロックの列方向の境界線の長さａ、
前記処理ブロックの列方向の長さｂ、
および前記データブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃ
は、式ｂ≦ｃ≦ａ−ｂを満たす
ことを特徴とする記憶制御方法。 - １つのワード線上の複数のメモリセルに対して、データを同時に読み書きする記憶装置に、２次元のデータである２次元データを記憶させる記憶制御処理を、コンピュータに行わせるプログラムであって、
前記２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、
前記記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、前記データブロック単位の２次元データを記憶させる記憶選択ステップと
を備え、
所定のデータ処理を行うデータ処理装置が、前記記憶装置に記憶された前記２次元データの矩形状の処理ブロックを対象として、前記所定のデータ処理を行う場合において、
前記データブロックの行方向の境界線の長さａ、
前記処理ブロックの行方向の長さｂ、
および前記データブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、
または、
前記データブロックの列方向の境界線の長さａ、
前記処理ブロックの列方向の長さｂ、
および前記データブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃ
は、式ｂ≦ｃ≦ａ−ｂを満たす
ことを特徴とするプログラム。 - １つのワード線上の複数のメモリセルに対して、データを同時に読み書きする記憶装置に、２次元のデータである２次元データを記憶させる記憶制御処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記２次元データを、矩形状のデータブロックであって、その頂点が、隣接する複数のデータブロックのうちの少なくとも１つデータブロックの頂点と一致せず、その列方向の境界線と、隣接する行のデータブロックの列方向の境界線とがずれているか、または、行方向の境界線と、隣接する列のデータブロックの行方向の境界線とがずれているデータブロックに分割した、そのデータブロック単位の２次元データを取得する取得ステップと、
前記記憶装置におけるワード線を選択することにより、そのワード線上のメモリセルに、前記データブロック単位の２次元データを記憶させる記憶選択ステップと
を備え、
所定のデータ処理を行うデータ処理装置が、前記記憶装置に記憶された前記２次元データの矩形状の処理ブロックを対象として、前記所定のデータ処理を行う場合において、
前記データブロックの行方向の境界線の長さａ、
前記処理ブロックの行方向の長さｂ、
および前記データブロックの列方向の境界線と、隣接する行のデータブロックの列方向の境界線との行方向のずれ量ｃ、
または、
前記データブロックの列方向の境界線の長さａ、
前記処理ブロックの列方向の長さｂ、
および前記データブロックの行方向の境界線と、隣接する列のデータブロックの行方向の境界線との列方向のずれ量ｃ
は、式ｂ≦ｃ≦ａ−ｂを満たす
プログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002023699A JP4058671B2 (ja) | 2002-01-31 | 2002-01-31 | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002023699A JP4058671B2 (ja) | 2002-01-31 | 2002-01-31 | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003223358A JP2003223358A (ja) | 2003-08-08 |
| JP4058671B2 true JP4058671B2 (ja) | 2008-03-12 |
Family
ID=27746334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002023699A Expired - Fee Related JP4058671B2 (ja) | 2002-01-31 | 2002-01-31 | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4058671B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085172B2 (en) * | 2004-01-05 | 2006-08-01 | Sony Corporation | Data storage apparatus, data storage control apparatus, data storage control method, and data storage control program |
| WO2016063716A1 (ja) * | 2014-10-24 | 2016-04-28 | ソニー株式会社 | メモリコントローラ、記憶装置、情報処理システムおよびメモリの制御方法 |
-
2002
- 2002-01-31 JP JP2002023699A patent/JP4058671B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003223358A (ja) | 2003-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100655837B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 및 그에 대한 기록매체 | |
| KR100746839B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| US7477786B2 (en) | Data conversion device, data conversion method, learning device, learning method, program, and recording medium | |
| US7876323B2 (en) | Display apparatus and display method, learning apparatus and learning method, and programs therefor | |
| JP4238516B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2000090256A (ja) | 記憶装置、並びに書き込み方法および読み出し方法 | |
| JP5316385B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2002300538A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体 | |
| JP4058671B2 (ja) | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2001084368A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4105257B2 (ja) | 記憶装置および記憶方法 | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4556694B2 (ja) | 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム | |
| JP2003316760A (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びに記録媒体 | |
| JP4395677B2 (ja) | 学習装置および学習方法、並びに記録媒体 | |
| JP4057503B2 (ja) | 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体 | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2007288761A (ja) | 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム | |
| JP2008118519A (ja) | 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム | |
| JP2005051638A (ja) | 信号処理装置および信号処理方法 | |
| JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070903 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131228 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |