JP4224876B2 - 記憶装置、並びに書き込み方法および読み出し方法 - Google Patents
記憶装置、並びに書き込み方法および読み出し方法 Download PDFInfo
- Publication number
- JP4224876B2 JP4224876B2 JP25787798A JP25787798A JP4224876B2 JP 4224876 B2 JP4224876 B2 JP 4224876B2 JP 25787798 A JP25787798 A JP 25787798A JP 25787798 A JP25787798 A JP 25787798A JP 4224876 B2 JP4224876 B2 JP 4224876B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- banks
- storage
- pixels
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Dram (AREA)
- Static Random-Access Memory (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、記憶装置、並びに書き込み方法および読み出し方法に関し、特に、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにする記憶装置、並びに書き込み方法および読み出し方法に関する。
【0002】
【従来の技術】
例えば、画像の符号化/復号等についての規格であるMPEG(Moving Picture Experts Group)における動き検出等の画像処理においては、処理対象となっている現フレームと、その現フレームに対して時間的に先行(過去)または後行(未来)するフレームとを比較して処理が行われる。
【0003】
図12は、そのような、従来の画像処理装置の一例の構成を示している。なお、この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する1フレーム前の画素を中心とする48画素×48ラインの範囲内の画素データを用いて、動き検出等の所定の処理が行われるようになされている。ここで、注目画素について所定の処理を行うために必要な画素の範囲(ここでは、48画素×48ライン)を、以下、適宜、必要範囲という。
【0004】
動画を構成するディジタル画像データを構成する画素データは、例えば、1フレーム分の記憶容量を有するフレームメモリ101に順次供給され、例えば、ラインスキャン順に記憶されていく。そして、フレームメモリ101に記憶された画素データは、ラインスキャン順に、順次読み出され、ラインメモリ部102に供給される。
【0005】
ラインメモリ部102は、必要範囲のライン数(ここでは、48ライン)の画素データを得るために、必要範囲のライン−1の数のラインメモリ、即ち、47個のラインメモリ1021乃至10247で構成されており、フレームメモリ101からの画素データは、ラインメモリ1021に供給されて記憶される。ラインメモリ1021に記憶された画素データは、フレームメモリ101から、新たに画素データが供給されるごとに、右にシフトされていき、ある画素データに注目した場合に、その注目画素データが、ラインメモリ1021に供給されてから、1ライン分の画素データが供給されると、注目画素データは、ラインメモリ1021から出力され、後段のラインメモリ1022に供給される。
【0006】
ラインメモリ1022においても、ラインメモリ1021における場合と同様に、ラインメモリ1022から供給された画素データが1ライン分だけ遅延され、後段のラインメモリ1023に供給される。以下、同様にして、ラインメモリ1023乃至10247それぞれにおいて、画素データは、1ライン分ずつ遅延されていく。
【0007】
フレームメモリ101が出力する画素データは、ラインメモリ部102に供給される他、2次元パラレルアレイ(2 dimension parallel array)103にも供給されるようになされている。2次元パラレルアレイ103は、必要範囲を構成する縦または横の画素数と同一数のレジスタが、垂直方向または水平方向にそれぞれ配置されて構成されており、即ち、ここでは、垂直方向および水平方向とも、48のレジスタが配置されて構成されており、フレームメモリ101が出力する画素データは、2次元パラレルアレイ103の第1行第1列のレジスタに供給されて記憶される。そして、2次元パラレルアレイ103では、第1行第1列のレジスタに記憶された画素データが、フレームメモリ101から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第48列のレジスタに記憶された後は、捨てられる(第47列のレジスタに記憶されている画素データが、第48列のレジスタにシフトされることで、第48列のレジスタに記憶されていたデータは消去される)。
【0008】
ラインメモリ1021が出力する画素データも、後段のラインメモリ1022に供給される他、2次元パラレルアレイ103に供給される。2次元パラレルアレイ103では、ラインメモリ1021からの画素データが、第2行第1列のレジスタに供給されて記憶される。そして、第2行第1列のレジスタに記憶された画素データは、ラインメモリ1021から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第48列のレジスタに記憶された後、捨てられる。
【0009】
ラインメモリ1022乃至10247が出力する画素データも、2次元パラレルアレイ103に供給され、2次元パラレルアレイ103では、ラインメモリ1022乃至10247からの画素データが、それぞれ、第3行第1列乃至第48行第1列のレジスタに供給されて記憶される。そして、第3行第1列乃至第48行第1列のレジスタに記憶された画素データは、それぞれ、ラインメモリ1022乃至10247から新たに画素データが供給されるごとに、右のレジスタにシフトされていき、第48列のレジスタに記憶された後、捨てられる。
【0010】
一方、フレームメモリ101に供給される画素データは、ラインメモリ106にも供給される。ラインメモリ106では、そこに入力される画素データが、1ライン分だけ遅延され、画像演算処理回路105に供給される。
【0011】
図12の画像処理装置では、このようにして、現フレームの画素データが、画像演算処理回路105に供給されるタイミングにおいて、その現フレームの画素データに対応する1フレーム前の画素を中心とする48画素×48ラインの画素データが、2次元パラレルアレイ103の48×48のレジスタに記憶された状態となるように、フレームメモリ101からの画素データの読み出しが開始されるようになされており、従って、画像演算処理回路105に、ある画素データが供給されたとき、2次元パラレルアレイ103には、その画素データについての必要範囲内の画素データが記憶されている。
【0012】
画素セレクタ104は、2次元パラレルアレイ103に記憶されている必要範囲内の画素データのうち、画像演算処理回路105が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、画素演算処理回路105に供給する。
【0013】
そして、画像演算処理回路105では、ラインメモリ106からの画素データと、画素セレクタ104からの画素データとを用いて、動き検出のための演算処理等の所定の処理が行われ、その処理結果が出力される。
【0014】
【発明が解決しようとする課題】
図12の画像処理装置では、現フレームの各画素データが、その前のフレームの画素データを用いて処理されるから、現フレームの処理の終了後は、次のフレームの各画素データが、現フレームの画素データを用いて処理される。従って、現フレームの画素データは、フレームメモリ101に、前のフレームの画素データが記憶された後に供給されるが、その現フレームの画素データは、次のフレームの画素データを処理するために、フレームメモリ101に記憶する必要がある。
【0015】
しかしながら、現フレームの画素データを、フレームメモリ101に記憶させると、その現フレームの画素データが記憶されたアドレスに記憶されていた前のフレームの画素データが消去されてしまうため、何らの手当も施さないと、現フレームの画素データの処理に、前のフレームの画素データを用いることができなくなる。
【0016】
そこで、図12の画像処理装置には、ラインメモリ部102が設けられており、このラインメモリ部102において、必要範囲のライン数−1だけのラインを保持しておくことで、画像のリアルタイム処理を可能としている。
【0017】
しかしながら、図12の画像処理装置を1チップ化(LSI(Large Scale Integration)化)することを考えた場合には、リアルタイム処理を行わないなら必要のないラインメモリ部102を設ける必要があり、その結果、チップサイズが大になる。即ち、図12においては、必要範囲のライン数が48ラインであるから、必要範囲のライン数の画素データを保持するために、47(=48−1)ものラインメモリを、チップに内蔵させる必要がある。
【0018】
また、チップサイズが制限されている場合等においては、チップに内蔵させることのできるラインメモリが制限される。さらに、チップのレイアウト等に起因して、チップに内蔵させることのできるラインメモリの数が制限される場合もある。このように、チップに内蔵させることのできるラインメモリの数が制限される場合においては、必要範囲も制限され、その結果、例えば、図12の画像処理装置を、MPEG等の動き検出や動き補償のためのブロックマッチングに適用したときに、いわゆるサーチ範囲も制限されることになる。
【0019】
さらに、1フレーム分の画素データを記憶可能なフレームメモリ101が設けられているのにもかかわらず、さらに、必要範囲のライン数−1のラインの画素データを記憶するラインメモリを設けることは、いわば余分なメモリを持つこととなるから、消費電力の観点からも好ましくない。
【0020】
本発明は、このような状況に鑑みてなされたものであり、例えば、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、水平方向と垂直方向とが所望の画素数で構成される画像データを得ることができるようにするものである。
【0021】
【課題を解決するための手段】
本発明の一側面の記憶装置は、複数の、半導体メモリである記憶バンクを有する記憶手段と、前記複数の記憶バンクのうちの1個を選択し、画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と、前記複数の記憶バンクのうちの他の2個以上を選択し、前記画像データを構成する垂直方向の画素データを読み出す読み出し用選択手段と、前記読み出し用選択手段が出力した前記画素データの選択を行うデータ選択手段とを備え、前記書き込み用選択手段は、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個を順次選択し、前記記憶バンクは、前記画素ブロックを構成する前記画素データを、1本のワード線上のメモリセルに記憶し、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記記憶バンクが記憶することのできる画素数をcと、前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記記憶バンクが同時に読み出すことのできる画素数をeと、前記データ選択手段において選択される画素数をfとそれぞれするとき、前記記憶手段は、式
h=F(a×b/c)+2、但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、前記読み出し用選択手段は、前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択し、前記画素データを読み出す記憶装置である。
【0022】
本発明の一側面の書き込み方法は、画像データを記憶する記憶装置が、複数のメモリバンクを有する記憶手段と、前記複数のメモリバンクのうちの1個を選択し、前記画像データを構成する水平方向の画素データを書き込む書き込み用選択手段とを備え、前記書き込み用選択手段に、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの1個を順次選択させ、前記メモリバンクに、前記画素ブロックを構成する前記画素データを、1本のワード線上のメモリセルに記憶させ、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記メモリバンクが記憶することのできる画素数をcと、前記メモリバンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記メモリバンクが同時に読み出すことのできる画素数をeと、それぞれするとき、前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記メモリバンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成される書き込み方法である。
【0023】
本発明の一側面の読み出し方法は、画像データを記憶する記憶装置が、複数の、半導体メモリである記憶バンクを有する記憶手段を備え、前記複数の記憶バンクのうちの1個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの2個以上を選択して、前記画像データを構成する垂直方向の画素データを読み出し、その読み出した画素データの選択を行って出力する読み出し方法であり、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの1本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてを同時に読み出し、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記記憶バンクが記憶することのできる画素数をcと、前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記記憶バンクから同時に読み出すことのできる画素数をeと、前記複数の記憶バンクのうちの2個以上から読み出された画像データから選択される画素数をfとそれぞれするとき、
前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択し、前記画素データを読み出す読み出し方法である。
【0024】
本発明の一側面の記憶装置においては、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個が順次選択され、前記記憶バンクでは、前記画素ブロックを構成する前記画素データが、1本のワード線上のメモリセルに記憶される。また、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記記憶バンクが記憶することのできる画素数をcと、前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記記憶バンクが同時に読み出すことのできる画素数をeと、前記データ選択手段において選択される画素数をfとそれぞれするとき、前記記憶手段は、式
h=F(a×b/c)+2、但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択され、前記画素データが読み出される。
【0025】
本発明の一側面の書き込み方法においては、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの1個が順次選択され、前記メモリバンクに、前記画素ブロックを構成する前記画素データが、1本のワード線上のメモリセルに記憶される。また、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記メモリバンクが記憶することのできる画素数をcと、前記メモリバンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記メモリバンクが同時に読み出すことのできる画素数をeと、それぞれするとき、前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記メモリバンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成される。
【0026】
本発明の一側面の読み出し方法においては、前記複数の記憶バンクのうちの1個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、前記複数の記憶バンクのうちの2個以上が選択されて、前記画像データを構成する垂直方向の画素データが読み出され、その読み出された画素データの選択が行われて出力される。具体的には、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個が順次選択され、前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの1本のワード線上のメモリセルに記憶される場合において、前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてが同時に読み出される。そして、1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、1個の前記記憶バンクが記憶することのできる画素数をcと、前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、前記記憶バンクから同時に読み出すことのできる画素数をeと、前記複数の記憶バンクのうちの2個以上から読み出された画像データから選択される画素数をfとそれぞれするとき、
前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択され、前記画素データが読み出される。
【0027】
【発明の実施の形態】
図1は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【0028】
この画像処理装置においては、現フレームのある画素に注目した場合に、その注目画素に対応する1フレーム前の画素を中心とする、例えば、48画素×48ラインの範囲を必要範囲として検出し、その必要範囲内の画素データを用いて処理を行うようになされている。
【0029】
動画を構成するディジタル画像データを構成する画素データとしての、例えば、シリアルの8ビットのデータは、ラインスキャン順に、バンクセレクタ1(書き込み用選択手段)および演算処理回路7に供給されるようになされている。ここで、画像データは、例えば、HD(High Density)画像のデータで、横または縦の画素数が、それぞれ1920画素または1080画素で構成されている。
【0030】
バンクセレクタ1は、メモリ2を構成するバンク(メモリバンク)B1乃至B18のうちの1個を順次選択し、その選択した1個のバンクに、そこに供給されるHD画像を構成する水平方向の画素データを書き込むようになされている。
【0031】
メモリ2(記憶手段)は、例えば、18M(メガ)ビットの記憶容量を有し、バンク切り替え機能を備えている。即ち、ここでは、メモリ2は、例えば、18個の1MビットのバンクB1乃至B18(複数の記憶バンク)を有している。なお、本実施の形態では、1フレームのHD画像が1920×1080画素で構成され、画素データは8ビットであるから、その容量は、16588800(=1920×1080×8)ビットとなる。一方、メモリ2の容量は、18Mビット(=18874368ビット)であるから、1フレームのHD画像の容量に対して、2Mビット程度多い。
【0032】
ここで、図1の画像処理装置では、図12の画像処理装置と同様に、横×縦が48画素×48画素を必要範囲として検出するようになされている。そして、この場合、図12の画像処理装置では、ラインメモリ部102において、上述したように、47個のラインメモリ1021乃至10247を必要とする。いま、図1および図12の画像処理装置において、上述したような横×縦が1920画素×1080画素のHD画像を処理するものとすると、ラインメモリ部102における1のラインメモリの容量は、HD画像の1ラインの容量である1920×8ビット(8は、画素データへの割り当てビット数)となるから、47のラインメモリでは、1920×8×47ビット、即ち、概算で、800Kビット程度となる。従って、1フレームのHD画像を記憶するためのメモリ容量に対して、図1の画像処理装置のメモリ容量は2Mビット程度多く、図12の画像処理装置のメモリ容量は800Kビット程度多い。即ち、図1の画像処理装置は、1フレーム分のメモリ容量の他に、図12の画像処理装置に比較して、約2.5倍のメモリ容量を余分に有している。
【0033】
しかしながら、図1の画像処理装置におけるメモリ2を構成するバンクB1乃至B18は、後述するように、DRAMで構成することができる。一方、図12の画像処理装置におけるラインメモリ1021乃至10247は、一般に、SRAM(Static RAM)で構成される。そして、同一容量のDRAMとSRAMを構成した場合、SRAMのチップサイズは、DRAMの約10乃至20倍になることが知られている。従って、図1の画像処理装置が余分に有するメモリ容量は、図12の画像処理装置が余分に有するメモリ容量の約2.5倍であるが、その余分なメモリ容量によるチップサイズの増加は、図12の画像処理装置における場合の約1/4乃至1/8程度となる。その結果、図1の画像処理装置においては、図12の画像処理装置に比較して、チップサイズを小さくすることができる(余分なメモリ容量によるチップサイズの増加が少ない)。
【0034】
バンクセレクタ3(読み出し用選択手段)は、メモリ2を構成するバンクB1乃至B18のうちの、例えば7個を順次選択し、その選択した7個のバンクから、HD画像を構成する垂直方向の画素データを読み出すようになされている。ここで、バンクB1乃至B18それぞれにおいては、後述するように、一度に、64ビットのデータの入出力が可能となっている。従って、本実施の形態では、上述したように、1の画素データが8ビットで構成されるから、バンクB1乃至B18それぞれからは、8画素(=64/8)分の画素データを一度に読み出すことができ、さらに、バンクセレクタ3では、7個のバンクから、画素データが読み出されるから、結局、バンクセレクタ3からは、56画素(=7×8)分の画素データ(7×8×8ビットのデータ)が、一度に出力される。
【0035】
バンクセレクタ3が出力する56画素の画素データは、ロード/シフト回路4に供給されるようになされている。ロード/シフト回路4(データ選択手段)は、バンクセレクタ3が出力する56画素の画素データから、必要範囲のライン数と同一の数だけの画素データを選択し、即ち、ここでは、48画素の画素データを選択し、2次元パラレルアレイ5に供給するようになされている。
【0036】
2次元パラレルアレイ5は、図12の2次元パラレルアレイ103と同様に、必要範囲を構成する画素と同様にレジスタが配置されて構成されている。即ち、即ち、2次元パラレルアレイ5は、横と縦に48ずつのレジスタが配置されて構成されている。そして、2次元パラレルアレイ5は、ロード/シフト回路4からの48の画素データを、第1行第1列乃至第48行第1列のレジスタにそれぞれ記憶し、以下、ロード/シフト回路4から、新たに48の画素データが供給されるごとに、各レジスタに記憶されている画素データを、その右隣のレジスタにシフトするようになされている。
【0037】
画素セレクタ6は、図12の画素セレクタ6と同様に、2次元パラレルアレイ5に記憶されている必要範囲内の画素データのうち、演算処理回路7が、そこに供給された画素データの処理に用いるものを必要に応じて選択し、演算処理回路7に供給するようになされている。演算処理回路7は、バンクセレクタ1に供給される画素データと、画素セレクタ6からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力するようになされている。
【0038】
次に、図2は、図1のメモリ2を構成するバンクB#i(i=1,2,・・・,18)の構成例を示している。
【0039】
バンクB#iは、例えば、16K(キロ)×64ビットのDRAM(Dynamic Random Access Memory)で構成され、従って、64ビット単位、即ち、本実施の形態では、8(=64/8)画素単位でのデータの読み書き(入出力(I/O(Input/Output)))が可能となっている。さらに、バンクB#iは、行アドレスまたは列アドレスが、それぞれ8ビットまたは6ビットで指定されるようになされており、また、いわゆるページモード機能を有している。
【0040】
バンクB#iは、行アドレスが8ビットで指定されることから、図2に示すように、256本のワード線を有している。そして、各ワード線には、4096(=16K×64ビット/256)個のメモリセル(図2において、二重線の四角形で示す)が配置されている。ここで、上述したように、画素データは8ビットで構成されるから、1ワード線上のメモリセルには、512(=4096/8)画素の画素データを記憶することができる。
【0041】
次に、図1の画像処理装置の動作について説明する。
【0042】
処理すべき画像データは、例えば、いわゆるラインスキャン順に、バンクセレクタ1および演算処理回路7に供給され、バンクセレクタ1は、メモリ2を構成するバンクB1乃至B18のうちの1個を順次選択し、その選択した1個のバンクに、そこに供給されるHD画像を構成する水平方向の画素データを書き込む。
【0043】
即ち、バンクセレクタ1は、HD画像を構成する画素データが、所定の画素ブロック単位で、バンクB1乃至B18それぞれに記憶されるように、バンクB1乃至B18を、1個ずつ順次選択する。
【0044】
ここで、画素ブロックは、バンクB#iの1ワード線上のメモリセルに記憶することのできる画素数(本実施の形態では、図2で説明したように512画素)と同一の画素数で構成される。さらに、画素ブロックの縦(垂直方向)の画素数は、バンクB#iに一度で読み書きすることのできる画素数(本実施の形態では、図2で説明したように8画素)と同一の画素数とされる。従って、本実施の形態では、図3に示すように、画素ブロックは512画素で構成され、その縦の画素数は8画素となる。なお、画素ブロックの横(水平方向)の画素数は、64(=512/8)画素となる。
【0045】
バンクセレクタ1において選択されたバンクB#iでは、1本のワード線上のメモリセルに、1の画素ブロックを構成する512画素の画素データが記憶される。さらに、そのとき、画素データは、画素ブロック(図3)における垂直方向の画素すべて、即ち、ここでは、垂直方向に並ぶ8画素の画素データすべてを同時に読み出すことができるように記憶される。
【0046】
また、バンクセレクタ1では、HD画像において隣接する画素ブロックが、異なるバンクに記憶されるように、複数のバンクB1乃至B18からのバンクの選択が行われる。即ち、バンクセレクタ1では、例えば、HD画像において水平方向に隣接する画素ブロックが、2個のバンクに交互に記憶されるように、かつ、HD画像において垂直方向に隣接する画素ブロックが、9個のバンクに周期的に記憶されるように、複数のバンクB1乃至B18からのバンクの選択が行われる。
【0047】
その結果、横×縦が、1920画素×1080画素のHD画像は、例えば、図4に示すように、バンクB1乃至B18それぞれにマッピングされる。
【0048】
即ち、HD画像の最も左上の第1行第1列の画素ブロックは、バンクB1に記憶され、その下に隣接する第2行第1列の画素ブロックは、バンクB2に記憶される。さらに、その下に隣接する第3行第1列の画素ブロックは、バンクB3に記憶され、以下、同様にして、上から72画素目までにある、残りの第4行第1列乃至第9行第1列の画素ブロックは、バンクB4乃至B9にそれぞれ記憶される。
【0049】
また、HD画像の第1行第1列の画素ブロックの左に隣接する、左から65乃至128画素目と、上から1乃至8画素目で構成される第1行第2列の画素ブロックは、バンクB10に記憶され、その下に隣接する第2行第2列の画素ブロックは、バンクB11に記憶される。さらに、その下に隣接する第3行第2列の画素ブロックは、バンクB12に記憶され、以下、同様にして、上から72画素目までにある、残りの第4行第2列乃至第9行第2列の画素ブロックは、バンクB13乃至B18にそれぞれ記憶される。
【0050】
そして、第1列の第10行以下の画素ブロックは、第1行第1列乃至第9行第1列の画素ブロックと同様に、バンク1乃至B9に同期的に記憶され、第2列の第10行以下の画素ブロックも、第1行第2列乃至第9行第2列の画素ブロックと同様に、バンクB10乃至B18に同期的に記憶される。さらに、第3列の画素ブロックは、第1列の画素ブロックと同様に、バンクB1乃至B9に記憶され、第4列のブロックは、第2列の画素ブロックと同様に、バンクB10乃至B18に記憶される。以下、同様にして、各列の画素ブロックは、バンクB1乃至B18に記憶される。
【0051】
即ち、HD画像における、最も左上の画素を頂点とする横×縦が128画素×72画素の範囲の画素データの、バンクB1乃至B18それぞれへのマッピングのパターンを、いわば基準のマッピングパターンとして、HD画像の、他の画素データの、バンクB1乃至B18それぞれへのマッピングが行われる。
【0052】
その結果、HD画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、2個のバンクに交互に記憶され、また、HD画像における垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、9個のバンクに周期的に記憶される。
【0053】
例えば、いま、第1フレームのHD画像が、図4に示すように、メモリ部2にマッピングされたとすると、第2フレームのHD画像は、例えば、図5に示すようにマッピングされる。
【0054】
即ち、第2フレームの最も左上の第1行第1列の画素ブロックは、バンクB5に記憶され、その下に隣接する第2行第1列の画素ブロックは、バンクB6に記憶される。さらに、その下に隣接する第3行第1列の画素ブロックは、バンクB7に記憶され、以下、同様にして、上から72画素目までにある、残りの第4行第1列乃至第9行第1列の画素ブロックは、バンクB8,B9,B1,B2,B3,B4にそれぞれ記憶される。
【0055】
また、HD画像の第1行第1列の画素ブロックの左に隣接する、左から65乃至128画素目と、上から1乃至8画素目で構成される第1行第2列の画素ブロックは、バンクB14に記憶され、その下に隣接する第2行第2列の画素ブロックは、バンクB15に記憶される。さらに、その下に隣接する第3行第2列の画素ブロックは、バンクB16に記憶され、以下、同様にして、上から72画素目までにある、残りの第4行第2列乃至第9行第2列の画素ブロックは、バンクB17,B18,B10,B11,B12,B13にそれぞれ記憶される。
【0056】
そして、第1列の第10行以下の画素ブロックは、第1行第1列乃至第9行第1列の画素ブロックと同様に、バンクB5乃至B9,B1乃至B4に同期的に記憶され、第2列の第10行以下の画素ブロックも、第1行第2列乃至第9行第2列の画素ブロックと同様に、バンクB14乃至B18,B10乃至B13に同期的に記憶される。さらに、第3列の画素ブロックは、第1列の画素ブロックと同様に、バンクB5乃至B9,B1乃至B4に記憶され、第4列のブロックは、第2列の画素ブロックと同様に、バンクB10乃至B18に記憶される。以下、同様にして、各列の画素ブロックは、バンクB14乃至B18,B10乃至B13に記憶される。
【0057】
即ち、第2フレームは、第1フレームにおけるマッピングのパターンに比較して、4画素ブロックだけ列方向(下方向)にずれた状態にマッピングされる。
【0058】
第3フレームも、第2フレームにおけるマッピングのパターンに比較して、4画素ブロックだけ列方向にずれた状態にマッピングされ、従って、図6に示すようにマッピングされる。以下、同様に、第4フレーム以降も、その1フレーム前におけるマッピングパターンに比較して、4画素ブロックだけ列方向にずれた状態にマッピングされていく。
【0059】
一方、バンクセレクタ3(図1)では、メモリ2を構成するバンクB1乃至B18のうちの7個が順次選択され、その選択された7個のバンクから、HD画像を構成する垂直方向の画素データが読み出される。
【0060】
即ち、バンクセレクタ3は、バンクセレクタ1が書き込もうとしている現フレームの画素データを有する画素ブロックに対応する前のフレームの画素ブロックを含む、その画素ブロックの上下それぞれ3個の画素ブロックの、合計7個の画素ブロックが書き込まれたバンクを選択する。そして、その選択された7個のバンクから、HD画像を構成する同一の列の画素データが読み出される。
【0061】
具体的には、例えば、いま、第1フレームのHD画像が、図4に示したように、メモリ2に記憶され、第2フレームのHD画像の供給が開始されたとする。そして、第2フレームの、例えば、第25行第30列の画素データに注目すると、この画素データは、図5に示したことから、第4行第1列の画素ブロックに属するので、バンクセレクタ1において、バンクB8が選択されて書き込まれる。
【0062】
一方、バンクセレクタ3では、第2フレームの第25行第30列の画素データを有する画素ブロックに対応する第1フレームの画素ブロックを含む、その画素ブロックの上下それぞれ3個の画素ブロックの、合計7個の画素ブロック、即ち、図4に示したように、第1フレームの第1行第1列乃至第7行第1列の画素ブロックそれぞれが書き込まれたバンクB1乃至B7が選択される。そして、バンクセレクタ3では、そのバンクB1乃至B7それぞれから、第1フレームにおける第1行第1列乃至第7行第1列の画素ブロックそれぞれの垂直方向の画素データが読み出される。
【0063】
即ち、上述したように、バンクB1乃至B18それぞれからは、1本のワード線上の8画素の画素データを一度に読み出すことができるようになされており、バンクセレクタ3は、バンクB1乃至B7から、第1フレームにおける第1行第1列乃至第7行第1列の画素ブロックそれぞれの同一列の8画素が読み出される。従って、バンクセレクタ3においては、メモリ2から、そこに記憶されたHD画像の垂直方向に連続する56画素(=8画素×7バンク)が読み出される。
【0064】
ここで、本実施の形態では、画素データの書き込み時に、HD画像において垂直方向に隣接する画素ブロックが、9個のバンクに周期的に記憶されるように、バンクの選択が行われる。従って、メモリ2に記憶されたHD画像において垂直方向に隣接する、任意の7個の画素ブロックそれぞれは、必ず、相互に異なるバンクに記憶されているから、バンク切り替えにより、そのような7個の画素ブロックの任意の同一列の56画素を、迅速に読み出すことができる。
【0065】
なお、バンクセレクタ3では、バンクセレクタ1が書き込んでいる画素データについての必要範囲を構成するための画素データが、メモリ2から、上述したような56画素単位で読み出される。
【0066】
即ち、いまの場合、第2フレームの第25行第30列の画素データが書き込まれている状態であるから、この画素データの必要範囲は、第1フレームの第25行第30列の画素データを中心とする横×縦が48画素×48画素の範囲である。バンクセレクタ3では、上述したように、第1フレームにおける第25行第30列の画素データを有する画素ブロックを含む、上下それぞれ3個の画素ブロックの、合計7個の画素ブロックから、同一列に配置された56画素が読みされるから、列方向については、バンクセレクタ3が出力する画素データには、必要範囲を構成するための画素データが含まれる。
【0067】
従って、行方向が問題となるが、バンクセレクタ3は、上述の同一列に配置された56画素を、第1フレームの第25行第30列の画素データを中心とする48列だけ順次読み出すようになされている。その結果、バンクセレクタ3では、第1フレームにおける第25行第30列の画素データを有する画素ブロックを含む、上下それぞれ3個の画素ブロックの、合計7個の画素ブロックに亘る56行と、第1フレームの第25行第30列の画素データを中心とする48列とによって規定される56行×48列の範囲の第1フレームの画素データが読み出されるから、これは、第2フレームの、第25行第30列の画素データについての必要範囲を含んでいる。
【0068】
ところで、第1フレームの第25行第30列の画素データを中心とする48列は、第6列乃至第53列(または第7列乃至第54列)であるから、第1フレームにおける第25行第30列の画素データを有する画素ブロックを含む、上下それぞれ3個の画素ブロックの、合計7個の画素ブロック、即ち、第1フレームの第1行第1列乃至第7行第1列の画素ブロックの中に含まれる。
【0069】
しかしながら、例えば、第2フレームの第25行第64列の画素データが書き込まれる場合においては、この画素データの必要範囲は、第1フレームの第25行第64列の画素データを中心とする横×縦が48画素×48画素の範囲であるから、第1フレームにおける第25行第64列の画素データを有する画素ブロックを含む、上下それぞれ3個の画素ブロックの、合計7個の画素ブロックである、第1フレームの第1行第1列乃至第7行第1列の画素ブロックから、右にはみ出すことになる。即ち、第2フレームの第25行第64列の画素データについての必要範囲は、第1フレームの第1行第1列乃至第7行第1列の画素ブロックそれぞれの右隣の第1行第2列乃至第7行第2列の画素ブロックにも及ぶ。
【0070】
このような場合、バンクセレクタ3は、第1フレームの第1行第1列乃至第7行第1列の画素ブロックそれぞれが記憶されたバンクB1乃至B7(図4)を選択して、第2フレームの第25行第64列の画素データについての必要範囲を構成する画素データを読み出した後、その右隣の第1フレームにおける第1行第2列乃至第7行第2列の画素ブロックそれぞれが記憶されたバンクB10乃至B16(図4)を選択して、第2フレームの第25行第64列の画素データについての必要範囲を構成する画素データを読み出すようになされている。
【0071】
ここで、画素データの書き込み時に、HD画像において水平方向に隣接する画素ブロックが、2個のバンクに交互に記憶されるように、バンクの選択が行われているから、上述したように、水平方向に隣接する2つの画素ブロックの画素データを読み出す場合でも、その読み出しを迅速に行うことができる。
【0072】
即ち、あるバンクを対象としたデータの連続した読み書きは、その読み書きする対象のメモリセルのワード線が異なると、そのワード線の切り替えに時間がかかることから、データを読み書きする時間が、同一のワード線上のメモリセルを対象とする場合に比較して増加する。このため、本実施の形態では、図2および図3で説明したように、1の画素ブロックを構成する画素データを、バンクの1本のワード線上のメモリセルに記憶させることにより、データを読み書きする時間の短縮化を図っている。
【0073】
具体的には、例えば、メモリ2から、第1行第1列の画素ブロックに続いて、その右隣の第1行第2列の画素ブロックの読み出しを行う場合に、これらの連続して読み出しを行おうとする2つの画素ブロックが、同一のバンクに記憶されている場合には、ワード線の切り替えに起因する読み出し時間の遅延が生じる。
【0074】
一方、図4では、第1行第1列の画素ブロックはバンクB1に、その右隣の第1行第2列の画素ブロックはバンクB2に、それぞれ記憶されている。従って、第1行第1列の画素ブロックに続いて、第1行第2列の画素ブロックの読み出しを行う場合には、それらの2つの画素ブロックが記憶されているバンクが異なることから、第1行第1列の画素ブロックの読み出し終了前に、その画素ブロックが記憶されたバンクB1とは異なるバンクB2の、第1行第2列の画素ブロックが記憶されたメモリセル上のワード線をアクティブにしておくことができ、その結果、上述したようなワード線の切り替えに起因する読み出し時間の遅延が生じることを防止することができる。
【0075】
次に、例えば、上述したように、第2フレームの第25行第30列の画素データに注目した場合には、バンクセレクタ1において、バンクB8が選択されて書き込まれる。さらに、このとき、バンクセレクタ3において、第2フレームの第25行第30列の画素データについての必要範囲を得るための画素データが、バンクB1乃至B7から読み出される。
【0076】
処理のリアルタイム性を確保するには、画素データの読み書きを同時に行う必要があるが、第2フレームの第25行第30列の画素データの書き込みは、バンクB8を対象とし、その必要範囲を得るための画素データの読み出しは、バンクB1乃至B7を対象として行われるから、即ち、画素データの書き込みと読み出しとが、異なるバンクを対象として行われるから、その書き込みと読み出しとを同時に行うことができる。
【0077】
次に、例えば、第2フレームの最も左上にある第1行第1列の画素データが書き込まれるバンクB5(図4)には、第2フレームの他の画素データについての必要範囲を構成する第1フレームの画素データが記憶されているから、その第1フレームの画素データを、その第1フレームの画素データを用いて必要範囲が構成される第2フレームの画素の書き込みが終了するまで保持しておかないと、処理が破綻することになる。
【0078】
即ち、バンクB5には、図4に示したように、第1フレームの第5行第1列の画素ブロックが最も早く記憶されており、従って、処理の順番からすれば、この画素ブロックが最も早く不要になる。そして、図4に示した第1フレームの第5行第1列の画素ブロックは、図5に示した第2フレームの第8行第1列の画素ブロックの3画素ブロックだけ上にあるから、その第2フレームの第8行第1列の画素ブロックを構成する画素データについての必要範囲を構成する画素データを有しており、従って、第2フレームの第8行第1列の画素ブロックを構成する画素データの書き込みが終了するまでは、第1フレームの第5行第1列の画素ブロックは、メモリ2に保持しておく必要がある。
【0079】
そこで、例えば、第1フレームの第5行第1列の画素ブロックを、ラインスキャン順に供給される第2フレームの第8行の画素ブロックの書き込みが終了するまで保持しておくものとすると、それまでに、第1フレームの第5行第1列の画素ブロックが記憶されたバンクB5(図4)には、図5に示したように、第2フレームの画素ブロックの第1行の画素ブロックを1つおきに書き込む必要がある。
【0080】
ここで、1フレームのHD画像は、本実施の形態では、横×縦が1920画素×1080画素で構成されており、画素ブロックは、横×縦が64×8画素で構成されるから、1フレームのHD画像を記憶するには、横が30(=1920/64)画素ブロック分で、縦が135(=1080/8)画素ブロック分の記憶容量を必要とする。
【0081】
また、第2フレームの画素ブロックの第1行を構成する画素ブロックは30個であり、バンクB5に書き込まれるのは、その半分の15画素ブロックということになる。
【0082】
以上から、第1フレームを書き込んだ後に、バンクB5に、15画素ブロック分の空き容量があれば、そこに、第2フレームの画素データを書き込むことで、第2フレームの第8行の画素ブロックの書き込みが終了するまで、第1フレームの第5行第1列の画素ブロックを保持しておくことが可能となる。
【0083】
そこで、上述したことから、1フレームのHD画像を記憶するには、30×135画素ブロック分の記憶容量を必要とする。本実施の形態では、メモリ2は18バンクで構成されているから、メモリ2を構成する各バンクに、1フレームのHD画像を、均一のデータ量ずつ記憶させると、各バンクに記憶されるデータ量は、30×135/18=225画素ブロック分になる。
【0084】
一方、メモリ2を構成する各バンクは、図2に示したように、256本のワード線を有し、各ワード線が1画素ブロックに対応するから、256画素ブロック分の容量を有する。従って、1フレームのHD画像をメモリ2に記憶させた場合、各バンクには、256−225=31ブロック分の空き容量がある。
【0085】
以上から、バンクB5は、第2フレームの15画素ブロック分を書き込む空き容量を十分有するから、そこに、第2フレームの画素データを書き込むことで、第2フレームの第8行の画素ブロックの書き込みが終了するまで、第1フレームの第5行第1列の画素ブロックを保持しておくことが可能となる。その結果、処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行うことができる。
【0086】
なお、他のバンクについても同様のことがいえる。また、例えば、上述の場合において、バンクB5に記憶されている第1フレームの第5行第1列の画素ブロックは、第2フレームの第8行の画素ブロックの書き込みの終了後は必要なくなるから、その後は、バンクB5の、第1フレームの第5行第1列の画素ブロックが記憶されていたメモリセルに、第2フレームの画素データを書き込むことが可能となる。
【0087】
ここで、以上のように処理を破綻させることなく、画素データの書き込みと読み出しとを同時に行う場合の、メモリ2へのアドレスの与え方については、本件出願人が先に出願した特願平10−32913号に、その詳細が開示されている。
【0088】
上述したようにして、バンクセレクタ3(図1)が出力する56画素の画素データは、ロード/シフト回路4に供給される。ロード/シフト回路4では、バンクセレクタ3が出力する56画素の画素データのうちの、必要範囲の縦方向を構成するものだけが選択され、即ち、ここでは、48画素の画素データが選択され、2次元パラレルアレイ5に供給される。
【0089】
ここで、現フレームのある画素データが、図1の画像処理装置に供給された場合、その画素データに対応する、既にメモリ2に記憶された画素データを有する画素ブロックを含む、上下それぞれ3個の画素ブロックの、合計7個の画素ブロックから、同一列に配置された56画素が読みされるから、上述したように、列方向については、バンクセレクタ3が出力する画素データには、現フレームの画素データについての必要範囲を構成するための画素データが、必ず含まれる。従って、ロード/シフト回路4においては、バンクセレクタ3が出力する56画素の画素データの中から、必要範囲の縦方向を構成するものだけを選択することができる。
【0090】
2次元パラレルアレイ5では、図12の2次元パラレルアレイ103と同様に、ロード/シフト回路4からの48の画素データが、第1行第1列乃至第48行第1列のレジスタにそれぞれ記憶され、以下、ロード/シフト回路4から、新たに48の画素データが供給されるごとに、各レジスタに記憶されている画素データが、その右隣のレジスタにシフトされていく。これにより、2次元パラレルアレイ5においては、バンクセレクタ1に供給された画素データについての必要範囲を構成する画素データが記憶される。
【0091】
そして、画素セレクタ6において、図12の画素セレクタ6と同様に、2次元パラレルアレイ5に記憶されている必要範囲内の画素データのうち、演算処理回路7が、そこに供給された画素データの処理に用いるものが適宜選択され、演算処理回路7に供給される。演算処理回路7は、バンクセレクタ1に供給される画素データと、画素セレクタ6からの画素データとを用いて、所定の演算処理等を行い、その処理結果を出力する。
【0092】
次に、図7および図8を参照して、メモリ2を構成するバンクへの、画像のマッピングの方法について、さらに説明する。
【0093】
いま、図7(A)に示すように、処理対象の1フレームの画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと表す。さらに、図7(B)に示すように、1個のバンクが記憶することのできる画素数をcと、バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、バンクが同時に読み出すことのできる画素数をeと、それぞれ表す。また、図7(C)に示すように、必要範囲の縦または横の画素数を、それぞれfまたはgと表す。
【0094】
この場合、図8(A)に示すように、メモリ2は、図7(B)のように構成されるバンクを、次式で表されるh個以上用いて構成する必要がある。
【0095】
h=F(a×b/c)+2
但し、F(x)は、x以上の最小の偶数を表す。
【0096】
また、画素ブロックは、図8(B)に示すように、垂直方向がe画素、水平方向がd/e画素で構成される。但し、d/eが整数でない場合には、水平方向の画素数はd/eの小数点以下を切り捨てた値とされる。
【0097】
そして、h個のバンクを、いま、バンク#1,#2,・・・,#h/2,・・・,#hと表すと、例えば、図8(C)に示すように、図7(A)に示した処理対象の画像の最も左上の第1行第1列の画素ブロック(上述したように、縦×横がe画素×d/e画素のブロック)は、バンク#1に記憶され、その下に隣接する第2行第1列の画素ブロックは、バンク#2に記憶される。さらに、その下に隣接する第3行第1列の画素ブロックは、バンク#3に記憶され、以下、同様にして、上からh/2個目までにある、残りの第4行第1列乃至第h/2行第1列の画素ブロックは、バンク#4乃至#h/2にそれぞれ記憶される。
【0098】
また、処理対象の第1行第1列の画素ブロックの左に隣接する第1行第2列の画素ブロックは、バンク#(h/2+1)に記憶され、その下に隣接する第2行第2列の画素ブロックは、バンク#(h/2+2)に記憶される。さらに、その下に隣接する第3行第2列の画素ブロックは、バンク#(h/2+3)に記憶され、以下、同様にして、上からh/2個目までにある、残りの第4行第2列乃至第h/2行第2列の画素ブロックは、バンク#(h/2+4)乃至#hにそれぞれ記憶される。
【0099】
そして、第1列の第h/2+1行以下の画素ブロックは、再び、バンク#1乃至#h/2に同期的に記憶され、第2列の第h/2+1行以下の画素ブロックも、バンク#(h/2+1)乃至#hに同期的に記憶される。さらに、第3列の画素ブロックは、第1列の画素ブロックと同様に、バンク#1乃至#h/2に記憶され、第4列のブロックは、第2列の画素ブロックと同様に、バンク#(h/2+1)乃至#hに記憶される。以下、同様にして、各列の画素ブロックは、バンク#1乃至#hに記憶される。
【0100】
即ち、HD画像における、最も左上の画素を頂点とする横×縦が2画素ブロック×h/2画素ブロックの範囲の画素データの、バンク#1乃至#hそれぞれへのマッピングのパターンを基準のマッピングパターンとして、処理対象の画像の、他の画素データの、バンク#1乃至#hそれぞれへのマッピングが行われる。
【0101】
その結果、処理対象の画像における水平方向の画素ブロックに注目すれば、いずれの行の画素ブロックも、2個のバンクに交互に記憶され、また、垂直方向の画素ブロックに注目すれば、いずれの列の画素ブロックも、h/2個のバンクに周期的に記憶される。
【0102】
なお、その他、例えば、第1行第1列の画素ブロックをバンク#1に、第1行第2列の画素ブロックをバンク#2に、第2行第1列の画素ブロックをバンク#3に、・・・というようにマッピングしてもよい。
【0103】
そして、読み出し時においては、バンクセレクタ3において、バンクセレクタ1に入力された画素データを有する画素ブロックに対応する、既にメモリ2に記憶された前のフレームの画素ブロックを含む、その上下それぞれに隣接する所定数個の画素ブロックの、合計でf/e+1個(但し、f/e+1が小数点以下の値を有する場合には、小数点以下を切り上げた値)の画素ブロックをそれぞれ記憶しているバンクが選択され、各バンクから、そこに記憶されている画素ブロックの同一列の画素データが読み出される。
【0104】
なお、リアルタイム性を確保するには、即ち、データの読み書きを同時に行うためには、バンクセレクタ3において選択されるバンク数がh/2−1以下である必要がある。
【0105】
以上のように、複数のバンクB1乃至B18のうちの1個を選択して、画素データを書き込むとともに、その複数のB1乃至B18のうちの他の2個以上を選択して、画素データを読み出し、そのうちの必要なものだけを選択するようにしたので、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される2次元の画素のブロックを得ることが可能となる。
【0106】
その結果、例えば、MPEGにおける動き検出を行う動き検出回路や、解像度想像を行うクラス分類適用処理回路、その他、画像から、2次元の画素のブロックを抽出して処理の対象とする回路等の小型化を図ることが可能となる。
【0107】
ここで、クラス分類適応処理について説明する。
【0108】
クラス分類適応処理では、例えば、SD(Standard Desity)画像と、所定の予測係数との線形結合により、HD(High Density)画像の画素の予測値を求める適応処理を行うことで、SD画像には含まれていない高周波成分が復元されるようになされている。
【0109】
即ち、例えば、いま、HD画像を構成する画素(以下、適宜、HD画素という)の画素値yの予測値E[y]を、幾つかのSD画素(SD画像を構成する画素)の画素値(以下、適宜、学習データという)x1,x2,・・・と、所定の予測係数w1,w2,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0110】
E[y]=w1x1+w2x2+・・・
・・・(1)
【0111】
そこで、一般化するために、予測係数wの集合でなる行列W、学習データの集合でなる行列X、および予測値E[y]の集合でなる行列Y’を、
【数1】
で定義すると、次のような観測方程式が成立する。
【0112】
XW=Y’
・・・(2)
【0113】
そして、この観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Y、およびHD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【数2】
で定義すると、式(2)から、次のような残差方程式が成立する。
【0114】
XW=Y+E
・・・(3)
【0115】
この場合、HD画素の画素値yに近い予測値E[y]を求めるための予測係数wiは、自乗誤差
【数3】
を最小にすることで求めることができる。
【0116】
従って、上述の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次式を満たす予測係数wiが、HD画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0117】
【数4】
・・・(4)
【0118】
そこで、まず、式(3)を、予測係数wiで微分することにより、次式が成立する。
【0119】
【数5】
・・・(5)
【0120】
式(4)および(5)より、式(6)が得られる。
【0121】
【数6】
・・・(6)
【0122】
さらに、式(3)の残差方程式における学習データx、予測係数w、教師データy、および残差eの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
【0123】
【数7】
・・・(7)
【0124】
式(7)の正規方程式は、求めるべき予測係数wの数と同じ数だけたてることができ、従って、式(7)を解くことで(但し、式(7)を解くには、式(7)において、予測係数wにかかる係数で構成される行列が正則である必要がある)、最適な予測係数wを求めることができる。なお、式(7)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを適用することが可能である。
【0125】
以上のようにして、最適な予測係数wを求めておき、さらに、その予測係数wを用い、式(1)により、HD画素の画素値yに近い予測値E[y]を求めるのが適応処理である。
【0126】
なお、適応処理は、SD画像には含まれていない、HD画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いての、いわば学習により求められるため、HD画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造(解像度想像)作用がある処理ということができる。
【0127】
図9は、以上のような適応処理により、SD画像をHD画像に変換するクラス分類適応処理回路の構成例を示している。
【0128】
SD画像は、クラス分類回路14および遅延回路18に供給されるようになされており、クラス分類回路14では、適応処理により予測値を求めようとするHD画素(以下、適宜、注目画素という)が、SD画像に基づいて、所定のクラスにクラス分類される。
【0129】
即ち、クラス分類回路14は、まず最初に、注目画素の周辺にあるSD画素として、例えば、注目画素からの距離が所定値以下のSD画素でなるブロック(以下、適宜、処理ブロックという)を、SD画像から抽出し、その処理ブロックを構成する、例えばすべてのSD画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ROM19のアドレス端子(AD)に供給する。
【0130】
具体的には、クラス分類回路14は、例えば、図10に示すように、注目画素を中心とする4×4のSD画素(同図において○印で示す)でなるクラスタップを、SD画像から抽出し、これらの16のSD画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【0131】
ここで、各SD画素の画素値を表すのに、例えば、8ビットなどの多くのビット数が割り当てられている場合、16のSD画素の画素値のパターン数は、(28)16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【0132】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するSD画素のビット数を低減するための処理である、例えばADRC(Adaptiv Dynamic Range Coding)処理などが施される。
【0133】
即ち、ADRC処理では、まず、クラスタップを構成する16のSD画素から、その画素値の最大のもの(以下、適宜、最大画素という)と最小のもの(以下、適宜、最小画素という)とが検出される。そして、最大画素の画素値MAXと最小画素の画素値MINとの差分DR(=MAX−MIN)が演算され、このDRをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないKビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値MINが減算され、各減算値が、DR/2Kで除算される。
【0134】
その結果、クラスタップを構成する各画素値はKビットで表現されるようになる。従って、例えばK=1とした場合、16のSD画素の画素値のパターン数は、(21)16通りになり、ADRC処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【0135】
係数ROM19は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路14からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路20に供給する。
【0136】
一方、遅延回路18では、予測演算回路20に対して、係数ROM19から予測係数が供給されるタイミングと、後述する予測タップ生成回路16から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、SD画像が遅延され、予測タップ生成回路16に供給される。
【0137】
予測タップ生成回路16では、そこに供給されるSD画像から、予測演算回路20において注目画素の予測値を求めるのに用いるSD画素が抽出され、これが予測タップとして、予測演算回路20に供給される。即ち、予測タップ生成回路16では、SD画像から、例えば、クラス分類回路14で抽出されたとの同一のクラスタップが抽出され、そのクラスタップを構成するSD画素が、予測タップとして、予測演算回路20に供給される。
【0138】
予測演算回路20では、係数ROM19からの予測係数w,w2,・・・と、予測タップ生成回路16からの予測タップx1,x2,・・・とを用いて、式(1)に示した演算が行われることにより、注目画素yの予測値E[y]が求められ、これが、HD画素の画素値として出力される。
【0139】
以下同様の処理が、その他のHD画素を注目画素として行われ、これにより、SD画像がHD画像に変換される。
【0140】
次に、図11は、図9の係数ROM19に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【0141】
学習における教師データyとなるべきHD画像が、間引き回路21および遅延回路28に供給されるようになされており、間引き回路21では、HD画像が、例えば、その画素数が間引かれることにより少なくされ、これによりSD画像とされる。このSD画像は、クラス分類回路26および予測タップ生成回路27に供給される。
【0142】
クラス分類回路26または予測タップ生成回路27では、図9のクラス分類回路14または予測タップ生成回路16における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路26が出力するクラスは、予測タップメモリ29および教師データメモリ30のアドレス端子(AD)に供給され、予測タップ生成回路27が出力する予測タップは、予測タップメモリ29に供給される。
【0143】
予測タップメモリ29では、クラス分類回路26から供給されるクラスに対応するアドレスに、予測タップ生成回路27から供給される予測タップが記憶される。
【0144】
一方、遅延回路28では、注目画素に対応するクラスが、クラス分類回路26から教師データメモリ30に供給される時間だけ、HD画像が遅延され、そのうちの、注目画素であるHD画素の画素値だけが、教師データとして、教師データメモリ30に供給される。
【0145】
そして、教師データメモリ30では、クラス分類回路26から供給されるクラスに対応するアドレスに、遅延回路28から供給される教師データが記憶される。
【0146】
以下同様の処理が、あらかじめ学習用に用意されたすべてのHD画像を構成するすべてのHD画素が注目画素とされるまで繰り返される。
【0147】
以上のようにして、予測タップメモリ29または教師データメモリ30の同一のアドレスには、図10において○印で示したSD画素または図10において×印で示したHD画素とそれぞれ同一の位置関係にあるSD画素またはHD画素が、学習データxまたは教師データyとして記憶される。
【0148】
なお、予測タップメモリ29と教師データメモリ30においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データxと教師データyを記憶することができるようになされている。
【0149】
その後、演算回路31は、予測タップメモリ29または教師データメモリ30から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのHD画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路31では、クラスごとに、式(7)に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【0150】
以上のようにして、演算回路31で求められたクラスごとの予測係数が、図9の係数ROM19における、そのクラスに対応するアドレスに記憶されている。
【0151】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【0152】
図1に示した、画像から必要範囲を検出して処理を行う画像処理装置は、画像からクラスタップおよび予測タップを検出して処理を行うクラス分類適応処理回路(図9)や、学習装置(図11)に適用することができる。
【0153】
なお、本実施の形態においては、画像から、空間方向に分布する画素を検出するようにしたが、時間方向に分布する画素を検出するようにすることも可能である。また、空間方向と時間方向の両方に分布する画素を検出する、即ち、3次元の必要範囲を検出するようにすることも可能である。
【0157】
【発明の効果】
本発明の一側面によれば、例えば、ラインスキャン順、即ち、水平方向に連続して入力される画像データを、必要なライン数の画像データを一時記憶しておくためのラインメモリを用いずに、垂直方向に連続した画像データに変換し、水平方向と垂直方向とが所望の画素数で構成される2次元の画素のブロックを得ることが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図2】図1のメモリ2を構成するバンクB1乃至B18の構成例を示す図である。
【図3】画素ブロックの構成例を示す図である。
【図4】メモリ2への、画素データのマッピングを説明するための図である。
【図5】メモリ2への、画素データのマッピングを説明するための図である。
【図6】メモリ2への、画素データのマッピングを説明するための図である。
【図7】メモリ2を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図8】メモリ2を構成するバンクへの、画像のマッピングの方法を説明するための図である。
【図9】クラス分類適応処理回路の構成例を示すブロック図である。
【図10】図9のクラス分類回路14の処理を説明するための図である。
【図11】学習装置の構成例を示すブロック図である。
【図12】従来の画像処理装置の一例の構成を示すブロック図である。
【符号の説明】
1 バンクセレクタ(書き込み用選択手段), 2 メモリ(記憶手段), 3 バンクセレクタ(読み出し用選択手段), 4 ロード/シフト回路(データ選択手段), 5 2次元パラレルアレイ, 6 画素セレクタ, 7 演算処理回路
Claims (11)
- 複数の、半導体メモリである記憶バンクを有する記憶手段と、
前記複数の記憶バンクのうちの1個を選択し、画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と、
前記複数の記憶バンクのうちの他の2個以上を選択し、前記画像データを構成する垂直方向の画素データを読み出す読み出し用選択手段と、
前記読み出し用選択手段が出力した前記画素データの選択を行うデータ選択手段と
を備え、
前記書き込み用選択手段は、前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個を順次選択し、
前記記憶バンクは、前記画素ブロックを構成する前記画素データを、1本のワード線上のメモリセルに記憶し、
1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、
1個の前記記憶バンクが記憶することのできる画素数をcと、
前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、
前記記憶バンクが同時に読み出すことのできる画素数をeと、
前記データ選択手段において選択される画素数をfと
それぞれするとき、
前記記憶手段は、式
h=F(a×b/c)+2、但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、
前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、
前記読み出し用選択手段は、前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択し、前記画素データを読み出す
記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて隣接する前記画素ブロックが、異なる前記記憶バンクに記憶されるように、前記複数の記憶バンクのうちの1つを選択する
請求項1に記載の記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて水平方向に隣接する前記画素ブロックが、2個の前記記憶バンクに交互に記憶されるように、前記複数の記憶バンクのうちの1個を選択する
請求項2に記載の記憶装置。 - 前記書き込み用選択手段は、前記画像データにおいて垂直方向に隣接する前記画素ブロックが、h/2個の前記記憶バンクに周期的に記憶されるように、前記複数の記憶バンクのうちの1個を選択する
請求項2に記載の記憶装置。 - 前記読み出し用選択手段が選択する前記記憶バンクの個数iは、h/2−1以下である
請求項4に記載の記憶装置。 - 画像データを記憶する記憶装置が、
複数のメモリバンクを有する記憶手段と、
前記複数のメモリバンクのうちの1個を選択し、前記画像データを構成する水平方向の画素データを書き込む書き込み用選択手段と
を備え、
前記書き込み用選択手段に、前記画素データが、所定の画素ブロック単位で、前記複数のメモリバンクそれぞれに記憶されるように、前記複数のメモリバンクのうちの1個を順次選択させ、
前記メモリバンクに、前記画素ブロックを構成する前記画素データを、1本のワード線上のメモリセルに記憶させ、
1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、
1個の前記メモリバンクが記憶することのできる画素数をcと、
前記メモリバンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、
前記メモリバンクが同時に読み出すことのできる画素数をeと、
それぞれするとき、
前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記メモリバンクを有し、
前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成される
書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて隣接する前記画素ブロックが、異なる前記メモリバンクに記憶されるように、前記複数のメモリバンクのうちの1つを選択させる
請求項6に記載の書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて水平方向に隣接する前記画素ブロックが、2個の前記メモリバンクに交互に記憶されるように、前記複数のメモリバンクのうちの1個を選択させる
請求項7に記載の書き込み方法。 - 前記書き込み用選択手段に、前記画像データにおいて垂直方向に隣接する前記画素ブロックが、h/2個の前記メモリバンクに周期的に記憶されるように、前記複数のメモリバンクのうちの1個を選択させる
請求項7に記載の書き込み方法。 - 画像データを記憶する記憶装置が、
複数の、半導体メモリである記憶バンクを有する記憶手段を備え、
前記複数の記憶バンクのうちの1個が順次選択され、前記画像データを構成する水平方向の画素データが書き込まれていく場合において、
前記複数の記憶バンクのうちの2個以上を選択して、前記画像データを構成する垂直方向の画素データを読み出し、
その読み出した画素データの選択を行って出力する
読み出し方法であり、
前記画像データを構成する画素データが、所定の画素ブロック単位で、前記複数の記憶バンクそれぞれに記憶されるように、前記複数の記憶バンクのうちの1個が順次選択され、
前記画素ブロックを構成する前記画素データが、選択された前記記憶バンクの1本のワード線上のメモリセルに記憶される場合において、
前記記憶バンクから、前記画素ブロックを構成する垂直方向に並ぶ前記画素データすべてを同時に読み出し、
1画面の前記画像データを構成する垂直方向または水平方向の画素数それぞれをaまたはbと、
1個の前記記憶バンクが記憶することのできる画素数をcと、
前記記憶バンクの1本のワード線上のメモリセルが記憶することができる画素数をdと、
前記記憶バンクから同時に読み出すことのできる画素数をeと、
前記複数の記憶バンクのうちの2個以上から読み出された画像データから選択される画素数をfと
それぞれするとき、
前記記憶手段は、式
h=F(a×b/c)+2、 但し、F(x)は、x以上の最小の偶数を表す
で表される数hの前記記憶バンクを有し、
前記画素ブロックは、垂直方向がe画素、水平方向がd/e以下の最大の整数に等しい画素で構成され、
前記複数の記憶バンクから、f/e+1以上の最小の整数iに等しい数だけ選択し、前記画素データを読み出す
読み出し方法。 - 前記画像データにおいて水平方向に隣接する前記画素ブロックが、2個の前記記憶バンクに交互に記憶され、かつ前記画像データにおいて垂直方向に隣接する前記画素ブロックが、h/2個の前記記憶バンクに周期的に記憶されるように、前記複数の記憶バンクのうちの1個が選択されて、前記画像データが記憶される場合において、
前記複数の記憶バンクから選択される前記記憶バンクの個数iは、h/2−1以下である
請求項10に記載の読み出し方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
US09/394,439 US6181632B1 (en) | 1998-09-11 | 1999-09-09 | Multiple memory bank device and method for image processing |
KR19990038608A KR100653562B1 (ko) | 1998-09-11 | 1999-09-10 | 메모리 디바이스와, 기록 방법 및 판독 방법 |
EP19990307211 EP0986266A3 (en) | 1998-09-11 | 1999-09-13 | Image memory device and writing/reading out method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25787798A JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000090256A JP2000090256A (ja) | 2000-03-31 |
JP4224876B2 true JP4224876B2 (ja) | 2009-02-18 |
Family
ID=17312431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25787798A Expired - Fee Related JP4224876B2 (ja) | 1998-09-11 | 1998-09-11 | 記憶装置、並びに書き込み方法および読み出し方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6181632B1 (ja) |
EP (1) | EP0986266A3 (ja) |
JP (1) | JP4224876B2 (ja) |
KR (1) | KR100653562B1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2826226A1 (fr) * | 2001-06-19 | 2002-12-20 | Koninkl Philips Electronics Nv | Circuit memoire concu pour un acces parallele en lecture ou en ecriture de donnees a plusieurs composantes |
US6901027B2 (en) * | 2002-04-30 | 2005-05-31 | Sony Corporation | Apparatus for processing data, memory bank used therefor, semiconductor device, and method for reading out pixel data |
US7386651B2 (en) * | 2003-07-03 | 2008-06-10 | Broadcom Corporation | System, method, and apparatus for efficiently storing macroblocks |
TWI289750B (en) * | 2004-01-05 | 2007-11-11 | Sony Corp | Data storage apparatus, and data storage controlling apparatus and method |
JP4534488B2 (ja) * | 2004-01-05 | 2010-09-01 | ソニー株式会社 | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
JP4735008B2 (ja) * | 2004-04-19 | 2011-07-27 | ソニー株式会社 | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム |
US7401177B2 (en) * | 2004-04-19 | 2008-07-15 | Sony Corporation | Data storage device, data storage control apparatus, data storage control method, and data storage control program |
JP4586627B2 (ja) | 2005-05-18 | 2010-11-24 | ソニー株式会社 | データアクセス装置、データアクセス方法、プログラムおよび記録媒体 |
JP5522893B2 (ja) * | 2007-10-02 | 2014-06-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5018486B2 (ja) * | 2008-01-10 | 2012-09-05 | セイコーエプソン株式会社 | 画像処理回路、画像処理装置 |
JP4992753B2 (ja) * | 2008-02-25 | 2012-08-08 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法 |
JP2009238323A (ja) | 2008-03-27 | 2009-10-15 | Fujitsu Microelectronics Ltd | 半導体記憶装置、画像処理システムおよび画像処理方法 |
US8189408B2 (en) * | 2009-11-17 | 2012-05-29 | Freescale Semiconductor, Inc. | Memory device having shifting capability and method thereof |
JP5777458B2 (ja) * | 2011-09-12 | 2015-09-09 | キヤノン株式会社 | パターン識別装置、パターン識別方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04354287A (ja) * | 1991-05-30 | 1992-12-08 | Sony Corp | 画像補間回路 |
JP3040275B2 (ja) * | 1993-02-15 | 2000-05-15 | 沖電気工業株式会社 | フォーマット変換回路 |
US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
JP3058795B2 (ja) * | 1994-03-30 | 2000-07-04 | 東芝テック株式会社 | 画情報転送装置 |
JP3803122B2 (ja) * | 1995-05-02 | 2006-08-02 | 松下電器産業株式会社 | 画像メモリ装置および動きベクトル検出回路 |
JPH0970053A (ja) * | 1995-08-30 | 1997-03-11 | Sony Corp | 信号処理装置 |
JPH1011009A (ja) * | 1996-04-23 | 1998-01-16 | Hitachi Ltd | 映像信号の処理装置及びこれを用いた表示装置 |
KR100413409B1 (ko) | 1996-06-03 | 2004-04-17 | 엘지전자 주식회사 | 에이치디티브이의수직영상포맷변환장치 |
JP4251675B2 (ja) * | 1997-07-30 | 2009-04-08 | ソニー株式会社 | 記憶装置およびアクセス方法 |
-
1998
- 1998-09-11 JP JP25787798A patent/JP4224876B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-09 US US09/394,439 patent/US6181632B1/en not_active Expired - Lifetime
- 1999-09-10 KR KR19990038608A patent/KR100653562B1/ko not_active IP Right Cessation
- 1999-09-13 EP EP19990307211 patent/EP0986266A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP0986266A3 (en) | 2004-09-22 |
KR20000023062A (ko) | 2000-04-25 |
EP0986266A2 (en) | 2000-03-15 |
US6181632B1 (en) | 2001-01-30 |
KR100653562B1 (ko) | 2006-12-05 |
JP2000090256A (ja) | 2000-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6252611B1 (en) | Storage device having plural memory banks concurrently accessible, and access method therefor | |
JP4224876B2 (ja) | 記憶装置、並びに書き込み方法および読み出し方法 | |
JP3278756B2 (ja) | 画像処理方法及び装置 | |
JP3787823B2 (ja) | 画像処理装置および画像処理方法 | |
JP2004192110A (ja) | 半導体装置及び画像データ処理装置 | |
KR100528560B1 (ko) | 계층적 코딩에 이용하기 위한 저장 장치 및 기록 및 판독 방법 | |
KR101106080B1 (ko) | 데이터 저장 제어 장치, 데이터 저장 제어 방법 및 데이터 저장 제어 프로그램이 기록된 기록 매체 | |
US6278806B1 (en) | Storage apparatus and storage method | |
US5977996A (en) | Storage device for storing hierarchically coded data and access method thereof | |
US20070217714A1 (en) | Image processing apparatus and image processing method | |
JP4395677B2 (ja) | 学習装置および学習方法、並びに記録媒体 | |
JP4210950B2 (ja) | 画像処理装置および画像処理方法 | |
US7697817B2 (en) | Image processing apparatus and method, and recorded medium | |
JP3937418B2 (ja) | 記憶装置および記憶読み出し制御方法 | |
JP4273695B2 (ja) | 動きベクトル検出装置 | |
JP4003529B2 (ja) | 動きベクトル検出回路と動きベクトル検出方法 | |
JP4650459B2 (ja) | 半導体装置およびデータ処理装置 | |
JPH05260451A (ja) | 画像符号化処理用lsi | |
JPH032941A (ja) | 画像メモリ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |