JP4821410B2 - MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM - Google Patents
MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM Download PDFInfo
- Publication number
- JP4821410B2 JP4821410B2 JP2006103345A JP2006103345A JP4821410B2 JP 4821410 B2 JP4821410 B2 JP 4821410B2 JP 2006103345 A JP2006103345 A JP 2006103345A JP 2006103345 A JP2006103345 A JP 2006103345A JP 4821410 B2 JP4821410 B2 JP 4821410B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- memory
- image processing
- row
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、小容量のメモリで高速に画像処理を行うための技術に関する。 The present invention relates to a technique for performing image processing at high speed with a small-capacity memory.
画像処理には、例えばフィルタ処理やブロック処理のように、複数行複数列の画素からなるブロックに対して処理を行うものがある。このような画像処理を行う画像処理装置は、画像データを行(ライン)方向について記憶するラインメモリを備える構成が一般的である。例えば、5×5画素のブロック単位で画像処理を行う画像処理装置であれば、4個のラインメモリで画像データの4ライン分のデータを保持すれば十分である。このような画像処理装置に画像データを転送する際には、DRAM(Dynamic Random Access Memory)がよく用いられる。これは、DRAMはアドレスが連続するデータを高速に転送することができるため、ラインメモリへのデータ転送に適しているからである。しかも、DRAMはSRAM(Static Random Access Memory)等よりも安価で構造も比較的簡素であるため、回路規模やコストという観点からも有利であると言える。
ところで、上述の画像処理装置においては、各ラインメモリは必ずしも画像データのライン全体を保持する必要はない。例えば、上述した例であれば、各ラインメモリは5画素分のデータを保持できれば十分である。しかしながら、DRAMは複数ラインに渡る小容量のデータの読み出しには適していないため、従来は処理対象のブロック以外の画像データについてもまとめて読み出し、これをラインメモリに保持させる構成が一般的であった。そのため、ラインメモリのメモリ容量を大きくせざるを得ず、画像処理装置が複雑かつ高価になってしまうという不都合があった。かといって、単にラインメモリを削減し、DRAMからは必要な画像データのみを読み出したのでは、読み出し動作がボトルネックとなって処理速度が低下してしまうという不都合があった。 By the way, in the image processing apparatus described above, each line memory does not necessarily have to hold the entire line of image data. For example, in the example described above, it is sufficient that each line memory can hold data for five pixels. However, since a DRAM is not suitable for reading a small amount of data over a plurality of lines, conventionally, it has been a general configuration that image data other than a block to be processed is also read together and stored in a line memory. It was. For this reason, the memory capacity of the line memory has to be increased, and the image processing apparatus becomes complicated and expensive. However, if the line memory is simply reduced and only the necessary image data is read from the DRAM, the read operation becomes a bottleneck and the processing speed is reduced.
このような不都合を解消するためには、特許文献1に記載の技術を適用することもある程度は有効である。しかし、特許文献1に記載の技術は水平方向(行方向)の連続アクセスと特定の矩形領域の連続アクセスを高速に行うことのみが可能であるために汎用性が低く、種々多様な画像処理に適用することは困難である。
In order to eliminate such inconvenience, it is also effective to some extent to apply the technique described in
本発明はかかる事情に鑑みてなされたものであり、その目的は、ラインメモリを用いる種々の画像処理装置において、少ないメモリ容量で高速な処理を可能にするための技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for enabling high-speed processing with a small memory capacity in various image processing apparatuses using a line memory.
上述の目的を達成するために、本発明は、複数行複数列の画素の配列を表す画像データを記憶可能な複数のメモリバンクを有するメモリを介して、当該画像データを複数種類の画像処理のいずれかを実行する画像処理装置に供給するためのメモリ制御装置であって、前記メモリに前記画像データを書き込む書込手段と、前記書込手段により前記メモリに書き込まれた画像データを、前記複数の画像処理のうちの前記画像処理装置が実行する画像処理に応じた順序で読み出す読出手段と、前記読出手段により前記メモリから読み出された画像データを供給する供給手段とを備え、前記書込手段は、入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記メモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込むとともに、当該画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが互いに異なるメモリバンクにそれぞれ記憶されるように書き込み、前記読出手段は、前記第1の行において行方向に連続する複数の前記分割画像データのうちの前記画像処理装置が実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出すメモリ制御装置を提供する。 In order to achieve the above-mentioned object, the present invention provides a plurality of types of image processing of the image data via a memory having a plurality of memory banks capable of storing image data representing an array of pixels of a plurality of rows and a plurality of columns . a memory control device for supplying to an image processing apparatus for executing one, and writing means for writing the image data in the memory, the image data written in the memory by the writing means, said plurality A reading means for reading out the image processing apparatus in an order corresponding to the image processing executed by the image processing apparatus, and a supply means for supplying the image data read from the memory by the reading means. And means for dividing each of the plurality of columns of divided image data obtained by dividing the first row of the input image data by a predetermined division unit, wherein the continuous divided image data is the memo. Each of the divided image data of a plurality of columns formed by dividing the second row adjacent to the first row of the image data by the division unit. Writing and reading so that the divided image data corresponding to the same column in the first row is stored in a memory bank different from the memory bank in which the divided image data is stored in different memory banks. means, in the first row after the image processing apparatus of the plurality of the divided image data continuous in the row direction is read out one corresponding to the image processing to be executed, the first row read the There is provided a memory control device for reading out the divided image data in the second row corresponding to the same column as the divided image data.
また、本発明は、複数行複数列の画素の配列を表す画像データを記憶可能な複数のメモリバンクを有する第1のメモリと、前記第1のメモリに記憶された画像データを記憶可能な第2のメモリと、前記第2のメモリに記憶された画像データに複数種類の画像処理のいずれかを行う画像処理手段と、前記第1のメモリに画像データを書き込む第1の書込手段と、前記第1の書込手段により前記第1のメモリに書き込まれた画像データを、前記複数の画像処理のうちの実行する画像処理に応じた順序で読み出す第1の読出手段と、前記第1の読出手段により前記第1のメモリから読み出された画像データを前記第2のメモリに書き込む第2の書込手段と、前記第2の書込手段により前記第2のメモリに書き込まれた画像データを供給する第2の読出手段とを備え、前記第1の書込手段は、入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記第1のメモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込むとともに、当該画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが前記第1のメモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込み、前記第1の読出手段は、前記第1の行において行方向に連続する複数の前記分割画像データのうちの実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す画像処理装置を提供する。
なお、この画像処理装置において、前記第1のメモリは前記第2のメモリよりも多くのデータを記憶可能であり、前記第2のメモリは前記第1のメモリよりも高速にデータの書き込みおよび読み出しが可能である構成であることが望ましい。さらに、前記第1のメモリがDRAMであり、前記第2のメモリがSRAMであることが望ましい。
The present invention also provides a first memory having a plurality of memory banks capable of storing image data representing an array of pixels in a plurality of rows and a plurality of columns, and a first memory capable of storing the image data stored in the first memory. 2 memory, image processing means for performing any one of a plurality of types of image processing on the image data stored in the second memory, first writing means for writing image data in the first memory, First reading means for reading image data written in the first memory by the first writing means in an order corresponding to image processing to be executed among the plurality of image processing ; Second writing means for writing image data read from the first memory by the reading means to the second memory; and image data written to the second memory by the second writing means. the second reading for supplying the And the first writing means continuously outputs divided image data of a plurality of columns obtained by dividing the first row of the input image data by a predetermined division unit. The data is written so as to be stored in different memory banks of the first memory, and the second row adjacent to the first row of the image data is divided into a plurality of columns divided by the division unit. Each of the divided image data is stored in a memory bank different from the memory bank in which the divided image data corresponding to the same column in the first row is stored, and the continuous divided image data is different from each other in the first memory. write as respectively stored in the memory banks, said first reading means executes one of the plurality of the divided image data continuous in the row direction in the first row image After reading those corresponding to the processing, to provide an image processing apparatus for reading out the divided image data of the second row corresponding to the same column as the divided image data of the first row read the.
In this image processing apparatus, the first memory can store more data than the second memory, and the second memory can write and read data at a higher speed than the first memory. It is desirable that the configuration be capable of. Further, it is desirable that the first memory is a DRAM and the second memory is an SRAM.
このようなメモリ制御装置や画像処理装置によれば、行方向および列方向に連続的に読み出される分割画像データが、互いに異なるメモリバンクに記憶される。そのため、行方向および列方向のいずれについても効率的に画像データの読み出しが可能となり、いわゆる「横読み(行方向の連続読み出し)」と「縦読み(列方向の連続読み出し)」の双方を高速に行うことができる。また、このメモリ制御装置や画像処理装置は、画像処理を実行するブロックの単位が特に限定されないので、実行する画像処理が異なるさまざまな画像処理装置に対して適用可能である。
なお、上述のメモリ制御装置および画像処理装置においては、前記画像データにおいて行方向または列方向に連続する前記分割画像データを連続的に読み出す、とあるが、行方向または列方向に連続する分割画像データの全てを1回で読み出すとは限らず、例えば、第1の行の行方向に連続する2つの分割画像データを連続的に読み出し、その後、第2の行の行方向に連続する2つの分割画像データを連続的に読み出す、といった動作であってもよい。
According to such a memory control device and image processing device, the divided image data that are continuously read in the row direction and the column direction are stored in different memory banks. Therefore, it is possible to efficiently read image data in both the row direction and the column direction, and so-called “horizontal reading (continuous reading in the row direction)” and “vertical reading (continuous reading in the column direction)” are performed at high speed. Can be done. Further, the memory control device and the image processing device are not particularly limited in units of blocks for executing image processing, and therefore can be applied to various image processing devices having different image processing to be executed.
In the memory control device and the image processing device described above, the divided image data continuous in the row direction or the column direction is continuously read out from the image data. However, the divided image continuous in the row direction or the column direction is used. It is not always possible to read out all of the data at once. For example, two pieces of divided image data continuous in the row direction of the first row are read out continuously, and then two pieces of continuous data in the row direction of the second row are read. An operation of continuously reading the divided image data may be performed.
さらに、本発明は、メモリ制御装置が画像処理装置に画像データを供給するためのメモリ制御方法や、この方法を実現するためのプログラムとしても提供され得るものである。すなわち、本発明は、メモリ制御装置が、複数行複数列の画素の配列を表す画像データを記憶可能な複数のメモリバンクを有するメモリを用いて、当該画像データを複数種類の画像処理のいずれかを実行する画像処理装置に供給するために行うメモリ制御方法であって、入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記メモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第1のステップと、前記入力された画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第2のステップと、前記第1および第2のステップにおいて前記メモリに書き込まれた分割画像データを、前記複数の画像処理のうちの前記画像処理装置が実行する画像処理に応じた順序で読み出して供給するステップであって、前記第1の行において行方向に連続する複数の前記分割画像データのうちの前記画像処理装置が実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す第3のステップとを有するメモリ制御方法や、この方法を実現するためのプログラムとしても特定され得るものである。 Furthermore, the present invention can be provided as a memory control method for the memory control device to supply image data to the image processing device, and a program for realizing the method. That is, according to the present invention, a memory control device uses a memory having a plurality of memory banks capable of storing image data representing an array of pixels in a plurality of rows and a plurality of columns, and converts the image data into one of a plurality of types of image processing . Is a memory control method for supplying to an image processing apparatus that executes the following: each of divided image data of a plurality of columns obtained by dividing the first row of the input image data by a predetermined division unit A first step of writing so that continuous divided image data is stored in different memory banks of the memory, and a second row adjacent to the first row of the input image data. Each of the divided image data in a plurality of columns divided in units is recorded in a memory bank different from the memory bank in which the divided image data corresponding to the same column is stored in the first row. Is, and, a second step of writing to the divided image data to be continuous are respectively stored in different memory banks, the divided image data written in the memory in the first and second step, the plurality a step for supplying reads in order according to the image processing by the image processing device executes one of the image processing, the one of the plurality of the divided image data continuous in the row direction in the first row After reading out the one corresponding to the image processing executed by the image processing apparatus, the third divided image data in the second row corresponding to the same column as the divided image data in the read first row is read out. And a memory control method having steps, and a program for realizing the method.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下に示す実施形態においては、「画像データ」は点順次形式で入力される1画素当たり32ビットのデータであるとする。この画像データは、上位8ビットは画像処理装置が行う画像処理とは無関係なダミーデータ等のデータ(以下「0データ」という。)であり、残りの24ビットは、R(レッド)、G(グリーン)およびB(ブルー)の各色についての8ビットの色成分(以下、それぞれ「Rデータ」、「Gデータ」および「Bデータ」という。)であるとする。また、以下に示す実施形態においては、1ワードは16ビットであるとする。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the embodiment described below, it is assumed that “image data” is 32-bit data per pixel input in a dot sequential format. In the image data, the upper 8 bits are data such as dummy data (hereinafter referred to as “0 data”) irrelevant to the image processing performed by the image processing apparatus, and the remaining 24 bits are R (red), G ( It is assumed that they are 8-bit color components (hereinafter referred to as “R data”, “G data”, and “B data”, respectively) for each color of green and B (blue). In the embodiment described below, it is assumed that one word is 16 bits.
[構成]
図1は、本発明の一実施形態である画像処理装置100の構成を概略的に示したブロック図である。同図に示すように、画像処理装置100は、DRAM10と、SRAM20と、画像処理部30と、SRAM40と、DRAM50と、メモリ制御部60とを備える。なお、同図において、破線で示した矢印は画像データの転送経路を示している。画像データは、図示せぬ上位装置から図示せぬ入出力インターフェースを介して入力される。
[Constitution]
FIG. 1 is a block diagram schematically showing the configuration of an image processing apparatus 100 according to an embodiment of the present invention. As shown in the figure, the image processing apparatus 100 includes a
DRAM10および50は、それぞれ、物理的あるいは論理的に4個に区分されるメモリセルアレイを有するいわゆる4バンク構成のメモリである。DRAM10および50のそれぞれのメモリセルは、キャパシタに蓄積された電荷により2値情報を保持する。DRAM10および50はその位置が異なるのみであって、具体的な構成に差異はない。なお、本実施形態においては、説明の便宜上、DRAM10および50はクロック信号に同期して動作するSDRAM(Synchronous DRAM)であり、そのバースト長は「8(ワード)」であるとする。また、以下においては、物理的あるいは論理的に区分されるメモリセルアレイのそれぞれを「(メモリ)バンク」といい、「バンク0」、「バンク1」、「バンク2」、「バンク3」と記載して各メモリバンクを区別する。
The
SRAM20および40は、それぞれフリップフロップにより2値情報を保持するメモリである。SRAM20および40は上述のDRAM10および50よりも高速にデータを読み出し、あるいは書き込むことが可能であるが、その容量はDRAM10および50よりも小さく構成されている。なお、SRAM20および40はその位置が異なるのみであって、具体的な構成に差異はない。
The
画像処理部30は、複数のラインメモリと、フィルタ処理やブロック処理等の所定の画像処理を実行するためのASIC(Application Specific Integrated Circuit)とを備える。画像処理部30が行う画像処理は任意であり、ラインメモリの数は画像処理部30が行う画像処理の態様に応じて異なるが、本実施形態においては、画像処理部30は5×5画素の画像データを用いたフィルタ処理を行うものとし、4ライン分のラインメモリを有するとする。
The
メモリ制御部60は、上述のDRAM10、50およびSRAM20、40の読み出しと書き込みに関する動作を制御するLSI(Large Scale Integration)等を備える。メモリ制御部60は読み出しあるいは書き込みを行うデータのアドレスを所定の演算により発生させ、各メモリ間のデータ転送を制御する。
The memory control unit 60 includes an LSI (Large Scale Integration) that controls operations related to reading and writing of the
[動作]
以上の構成のもと、画像処理装置100は図示せぬ外部装置から入力された画像データにフィルタ処理を行い、処理後の画像データを出力する。画像データは図1において破線で示した矢印に沿って転送されるので、DRAM10およびSRAM20には処理前の画像データが記憶され、SRAM40およびDRAM50には処理後の画像データが記憶されることになる。以下では、画像処理装置100が実行する各種動作について具体的に説明する。
[Operation]
With the above configuration, the image processing apparatus 100 performs a filtering process on image data input from an external apparatus (not shown), and outputs the processed image data. Since the image data is transferred along the arrow indicated by a broken line in FIG. 1, the image data before processing is stored in the
なお、本実施形態の画像処理装置100は、いわゆるバンディングにより画像処理を行う。ここでバンディングとは、画像データを所定の矩形領域(バンド)で分割し、分割した領域毎に画像処理を実行する方式のことである。ここでは、バンドの行方向のサイズ(以下「バンド長さ」という。)は画像データの行方向のサイズに一致するものとし、バンドの列方向のサイズ(以下「バンド高さ」という。)は「5(画素)」であるとする。 Note that the image processing apparatus 100 according to the present embodiment performs image processing by so-called banding. Here, banding is a method of dividing image data into predetermined rectangular areas (bands) and executing image processing for each divided area. Here, the size of the band in the row direction (hereinafter referred to as “band length”) is the same as the size of the image data in the row direction, and the size of the band in the column direction (hereinafter referred to as “band height”). It is assumed that “5 (pixel)”.
(1)DRAM10への書き込み動作
はじめに、画像処理装置100のメモリ制御部60がDRAM10に画像データを書き込むときの動作を説明する。図2は、メモリ制御部60が画像データをDRAM10に書き込むために生成するアドレスを説明するために示した画像データの模式図である。同図に示すように、メモリ制御部60は、画像データの奇数行目のデータについてはバンク0とバンク1を指定するアドレスを交互に生成し、偶数行目のデータについてはバンク2とバンク3を指定するアドレスを交互に生成する。本実施形態においてはバースト長が「8」であるから、1回の書き込み動作で8ワード分の画像データが書き込まれる。画像データは各画素が32ビット、すなわち2ワード分に相当するので、バンク0には1回のバースト転送で4画素分の画像データが順次記憶され、バンク1にはバンク0に直前に書き込まれた画像データに連続する4画素分の画像データが順次記憶される。また、同様の要領で、バンク2およびバンク3にも4画素分の画像データが順次記憶される。なお、画像データが各メモリバンクに記憶されるときの具体的なアドレスは特に限定されないが、順次記憶される画像データがメモリバンク内において互いに連続するように記憶されるのが望ましい。
(1) Write Operation to
このようにしてメモリ制御部60は画像データの1行目から順次アドレスを生成し、このアドレスにより特定される記憶領域に画像データを記憶させる。その結果、画像データは4画素(すなわち8ワード)毎に分割されてDRAM10のメモリバンクに記憶される。このバースト長に相当する単位で構成された画像データのことを、以下では「分割画像データ」という。図2に示されているように、隣り合う分割画像データは、いずれも、行方向と列方向のいずれについても同一のメモリバンクに記憶されないようになっている。このように分割画像データを記憶するのは、後述する読み出し動作を高速に行うことを可能にするためである。
In this way, the memory control unit 60 sequentially generates addresses from the first line of the image data, and stores the image data in the storage area specified by this address. As a result, the image data is divided every 4 pixels (that is, 8 words) and stored in the memory bank of the
(2)DRAM10からの読み出し動作
続いて、画像処理装置100のメモリ制御部60がDRAM10に記憶された画像データを読み出すときの動作を説明する。メモリ制御部60は、各メモリバンクに記憶された分割画像データの連続する8ワード分(すなわち4画素分)を1回のバースト転送で読み出し、この動作をもとの画像データの5行分について行う、という処理を1サイクルとし、このサイクルを繰り返すことにより画像データ全体を読み出す。
(2) Reading Operation from
図3は、このときメモリ制御部60が行う読み出し動作と従来の読み出し動作とを示したタイミングチャートである。また、図4は、図3(a)に示したタイミングチャートに従って読み出される分割画像データのもとの画像データにおける位置を示した図である。なお、この読み出し動作において、CASレイテンシは「2.5」であるとする。また、図3において、「CLK」はクロック信号、「Command」は入力されるコマンド、「Address」は選択されたアドレス、「Data」は読み出されるデータをそれぞれ示している。そして、図3(a)に示した矢印はメモリバンクの切り替えタイミングを表している。例えば、図3(a)の6クロック目に示した矢印は、選択するメモリバンクをバンク0からバンク1に切り替えていることを表している。つまり、この切り替えの前後では、バンク0に対するリード・コマンド(read)の入力後に選択するメモリバンクをバンク1に切り替え、バンク1に対するアクティブ・コマンド(ACT)を入力する、という動作が行われる。
FIG. 3 is a timing chart showing a read operation performed by the memory control unit 60 at this time and a conventional read operation. FIG. 4 is a diagram showing the position in the original image data of the divided image data read according to the timing chart shown in FIG. In this read operation, the CAS latency is assumed to be “2.5”. In FIG. 3, “CLK” indicates a clock signal, “Command” indicates an input command, “Address” indicates a selected address, and “Data” indicates data to be read. The arrow shown in FIG. 3A represents the memory bank switching timing. For example, the arrow shown at the sixth clock in FIG. 3A indicates that the memory bank to be selected is switched from bank 0 to
図3(a)に示すように、バンク0の行アドレス(ROW0)と列アドレス(COL0)とを選択してバンク0の分割画像データを読み出す旨のコマンド(read)を入力し、その直後に、メモリバンクを切り替えてバンク1に対して同様の動作を行うと、バンク0に記憶されたデータ(00〜07)を読み出した直後にバンク1に記憶されたデータ(10〜17)を読み出すことができる。また、同様の要領で、バンク1に記憶されたデータ(10〜17)を読み出した直後にバンク2に記憶されたデータ(20〜27)を読み出し、バンク2に記憶されたデータ(20〜27)を読み出した直後にバンク3に記憶されたデータ(30〜37)を読み出すことができる。これにより、図4に示すように、もとの画像データの2行分に相当する分割画像データが連続的に読み出されることとなる。
As shown in FIG. 3A, a command (read) for selecting the row address (ROW0) and column address (COL0) of bank 0 and reading the divided image data of bank 0 is input, and immediately thereafter. When the same operation is performed on the
そして、図5において矢印で示すように、この動作を1行目のバンク0→1行目のバンク1→2行目のバンク2→2行目のバンク3→3行目のバンク0→…→5行目のバンク1、といった具合にバンド高さに相当するだけ繰り返すと、フィルタ処理に必要な画素を含む分割画像データを全て読み出すことができる。図5から明らかなように、分割画像データの読み出しに際しては、同一のメモリバンクの分割画像データを繰り返し読み出すことなく、読み出すメモリバンクを順次切り替えることが可能となっている。そのため、データの読み出しが行われない時間を生じさせることなく、必要なデータを効率的に読み出すことが可能となっている。これに対して、図3(b)に示すようにメモリバンクを切り替えずに他の行のデータを読み出そうとすると、データの読み出しが連続的にならず、遅延が生じる。これは、同一のメモリバンク内で異なる行のメモリセルにアクセスしようとした場合には、プリチャージ・コマンド(図示しない)を入力するまでは新たなアクティブ・コマンドを入力することができないからである。
Then, as shown by an arrow in FIG. 5, this operation is performed by bank 0 in the first row →
(3)SRAM20への書き込み・読み出し動作
続いて、画像処理装置100のメモリ制御部60がDRAM10から読み出された画像データをSRAM20に書き込み、これを読み出すときの動作を説明する。まず、メモリ制御部60は、画像データをDRAM10から読み出した順に逐次SRAM20に記憶させる。すなわち、メモリ制御部60は、読み出された画像データが順次SRAM20に記憶されるようなアドレスを演算により発生させる。
(3) Writing / Reading Operation to / from
図6は、このときSRAM20に記憶されるデータを示した模式図である。なお、同図において、各データに付された「00」、「01」、「02」等の番号は図3(a)や図4に示したデータとの対応を示すものであり、各データはそれぞれ1ワード分のデータ容量を有している。画像データが点順次形式で入力される32ビットのデータであることから、各データは「0データとRデータ」あるいは「GデータとBデータ」の1つのまとまりを構成している。つまり、データ「00」と「01」で1つの画素を構成し、以下同様に、連続する2ワード分のデータが1つの画素を構成している。
FIG. 6 is a schematic diagram showing data stored in the
また、画像処理部30は、各色の色成分毎に画像処理を行う。すなわち、Rデータ、GデータおよびBデータのそれぞれを5×5画素分用いて3回のフィルタ処理を行うことで、このブロックに対する処理を行う。そのため、メモリ制御部60は、各色の色成分毎に5×5画素分のデータを順次画像処理部30に供給するべくSRAM20からデータを読み出す。
The
図7は、メモリ制御部60がSRAM20からデータを読み出す手順を説明するための図である。同図において、図7(a)、(b)および(c)は、それぞれ、Rデータ、GデータおよびBデータを読み出す手順を示している。図7(a)に示すように、Rデータを読み出す場合には、メモリ制御部60はデータ「00」のうちのRデータに相当するデータを読み出す。すなわち、このときメモリ制御部60はデータ「00」の下位8ビットを読み出すべくアドレスを発生させる。そして、メモリ制御部60は、直前に読み出すために指定したアドレスに24ビット分を加算したアドレスを指定することにより、隣接する次の画素に相当するRデータ、すなわちデータ「02」の下位8ビットを読み出す。メモリ制御部60は同様の動作を第1行に相当する5画素分のRデータについて行い、5画素分のRデータを読み出す。その後、メモリ制御部60は第2行〜第5行のRデータを同様の要領で読み出し、最終的に5×5画素分のRデータを画像処理部30に供給する。そして、画像処理部30はこのRデータをラインメモリに格納するなどし、フィルタ処理を実行する。
FIG. 7 is a diagram for explaining a procedure by which the memory control unit 60 reads data from the
続いて、メモリ制御部60はGデータおよびBデータをSRAM20から読み出す動作を実行する。これらの動作も、上述したRデータの読み出し動作とほぼ同様の手順にて行われる。しかしながら、図7(b)および(c)に示すように、データの読み出しに際して指定するアドレスは当然異なる。メモリ制御部60は、Gデータを読み出すときには、データ「01」、「03」、「05」等の上位8ビットを読み出すためのアドレスを指定し、Bデータを読み出すときには、データ「01」、「03」、「05」等の下位8ビットを読み出すためのアドレスを指定する。そして、このようにして読み出された5×5画素分のGデータとBデータとを、それぞれ画像処理部30に供給する。
Subsequently, the memory control unit 60 executes an operation of reading G data and B data from the
(4)画像処理の実行後の動作
続いて、画像処理部30がフィルタ処理を行った後の画像データの取り扱いを説明する。画像処理部30が出力したデータは、SRAM40に書き込まれ、その後、DRAM50に書き込まれる。このときメモリ制御部60が行う読み出し・書き込み動作については、画像データが画像処理装置100から出力された後に行われる後段の処理に応じて決定すればよい。例えば、画像データを画像処理装置100に入力されたときと同じ形式で出力するのであれば、DRAM10およびSRAM20において行った動作を逆の手順で行うことによって、フィルタ処理後の画像データをDRAM10に記憶された形式と同一の形式でDRAM50に記憶させることが可能である。もっとも、メモリ制御部60の読み出し・書き込み動作は特に上述の例に限定されるものではなく、画像処理装置100からの出力の態様に適合するようなものであればよい。
(4) Operation after Execution of Image Processing Next, the handling of image data after the
[効果]
以上に説明したように、本実施形態の画像処理装置100によれば、隣り合う分割画像データのそれぞれがいずれも同一のメモリバンクに記憶されないように分割画像データを書き込むことにより、分割画像データを連続的に読み出すことを可能としている。これにより、画像処理装置100は、画像処理部30に効率的にデータを供給することが可能となる。また、この画像処理装置100によれば、ある行の画像データ全体を読み出すときであっても、2つメモリバンクを切り替えながら順次読み出すことができるので、いわゆる横読みを高速に行うことが可能である。さらに、この画像処理装置100によれば、画像データの複数行の読み出しをそれらの行全体を読み出すことなく、かつ高速に行うことができる。そのため、この画像処理装置100によれば、主としてDRAMを用いた比較的安価な構成であっても、いわゆる縦読みを高速に行うことが可能である。
[effect]
As described above, according to the image processing apparatus 100 of the present embodiment, the divided image data is written by writing the divided image data so that none of the adjacent divided image data is stored in the same memory bank. It is possible to read continuously. As a result, the image processing apparatus 100 can efficiently supply data to the
また、本実施形態の画像処理装置100は、DRAM10からの読み出し動作を変更することにより、種々の画像処理に適用することが可能である。例えば、画像処理部30が行う処理が3×3画素の画像データを用いたフィルタ処理であるとすれば、図8に矢印で示すように3行分の分割画像データを列方向に連続的に読み出せばよい。また、例えば、画像処理部30が行う処理が8×8画素の画像データを用いたブロック処理であるとすれば、図9に矢印で示すように、もとの画像データにおいて行方向に連続する2つの分割画像データを連続的に読み出す動作を8行分行えばよい。
Further, the image processing apparatus 100 according to the present embodiment can be applied to various image processing by changing the reading operation from the
[変形例]
以上の説明においては、本発明の一の好適な実施形態を例示したが、本発明は上述の実施形態に限定されるものではなく、その他の種々の態様にて実施することが可能である。本発明においては、例えば、上述した実施形態に対して以下のような変形を適用することができる。なお、これらの変形は、各々を適宜に組み合わせることも可能である。
[Modification]
In the above description, one preferred embodiment of the present invention has been illustrated, but the present invention is not limited to the above-described embodiment, and can be implemented in various other modes. In the present invention, for example, the following modifications can be applied to the above-described embodiment. These modifications can be combined as appropriate.
上述の実施形態においては、説明の便宜上、ワード長やバースト長等を限定したが、本発明は上述した例に限らず、画像処理装置やこれを搭載するコンピュータの仕様に応じた種々の値を用いることが可能である。また、画像データも32ビットのいわゆるRGBデータに限らず、上述の0データを含まない24ビットのRGBデータであってもよいし、輝度成分(Y)のみからなる画像データや、輝度成分と色差成分(Cb、Cr)からなる画像データであってもよい。また、画像データは点順次形式に限らず、面順次形式であってもよい。 In the above-described embodiment, the word length, burst length, and the like are limited for the sake of convenience of explanation. It is possible to use. Also, the image data is not limited to so-called RGB data of 32 bits, and may be 24-bit RGB data not including the above-described 0 data, or image data consisting of only the luminance component (Y), or luminance component and color difference. It may be image data composed of components (Cb, Cr). Further, the image data is not limited to the dot sequential format but may be a frame sequential format.
また、上述の実施形態においては、DRAM10および50をシンクロナスDRAM(SDRAM)であるとしたが、非同期のDRAMを用いることも可能である。非同期のDRAMを用いる場合、制御信号の論理レベルの組み合わせにより上述のコマンドに相当する機能を実現することができる。
In the above-described embodiment, the
また、上述の実施形態においては、DRAM10と画像処理部30の間にSRAM20を設けたが、本発明はこのSRAM20を設けない構成においても適用できる場合がある。つまり、画像データの形式や画像処理装置100各部の仕様次第では、DRAM10から読み出された画像データをその読み出された順序で画像処理部30に供給することも可能である。例えば、画像処理部が供給された画像データを展開して必要なデータを選択可能な構成であれば、SRAM20に相当するメモリは不要となる。
In the above-described embodiment, the
また、上述の実施形態においては、DRAM10を4バンク構成としたが、メモリバンクの数は2以上であればいくつであってもよい。例えば、DRAMがバンク0とバンク1の2バンク構成であるとすれば、図10に示すように、連続する分割画像データが互いに異なるメモリバンクに記憶され、かつ、もとの画像データにおいて、隣り合う行において同列に相当する分割画像データが互いに異なるメモリバンクに記憶されるように画像データを書き込むことにより、もとの画像データの行方向と列方向のいずれについても連続的に読み出すことができ、複数行に渡る分割画像データの集合を高速に読み出すことが可能となる。
In the above-described embodiment, the
また、上述の実施形態においては、メモリ制御部60はLSI等により構成されると説明したが、メモリ制御部60に相当する機能を実現するプログラムによってこのメモリ制御部を構成することも可能である。すなわち、本発明は、上述の画像処理装置やメモリ制御部(メモリ制御装置)としてのみならず、メモリ制御部の機能を実現するプログラムとしても特定され得るものである。また、同様に、本発明はメモリ制御部が行うメモリの制御方法としても特定され得るものである。 In the above-described embodiment, it has been described that the memory control unit 60 is configured by an LSI or the like. However, the memory control unit can be configured by a program that realizes a function corresponding to the memory control unit 60. . That is, the present invention can be specified not only as the above-described image processing device and memory control unit (memory control device) but also as a program that realizes the function of the memory control unit. Similarly, the present invention can also be specified as a memory control method performed by the memory control unit.
100…画像処理装置、10、50…DRAM、20、40…SRAM、30…画像処理部、60…メモリ制御部
DESCRIPTION OF SYMBOLS 100 ...
Claims (9)
入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記メモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第1のステップと、
前記入力された画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第2のステップと、
前記第1および第2のステップにおいて前記メモリに書き込まれた分割画像データを、前記複数の画像処理のうちの前記画像処理装置が実行する画像処理に応じた順序で読み出して供給するステップであって、前記第1の行において行方向に連続する複数の前記分割画像データのうちの前記画像処理装置が実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す第3のステップと
を有することを特徴とするメモリ制御方法。 Using a memory having a plurality of memory banks capable of storing image data representing an array of pixels in a plurality of rows and a plurality of columns, to supply the image data to an image processing apparatus that performs one of a plurality of types of image processing A memory control method to perform,
Each of a plurality of columns of divided image data obtained by dividing the first row of the input image data by a predetermined division unit is stored in different memory banks of the memory. A first step of writing,
Each of divided image data of a plurality of columns obtained by dividing a second row adjacent to the first row of the input image data in the division unit is a divided image corresponding to the same column in the first row. A second step of writing such that the data is stored in a memory bank different from the memory bank in which the data is stored, and the successive divided image data are stored in different memory banks, respectively;
Reading and supplying the divided image data written in the memory in the first and second steps in an order corresponding to the image processing executed by the image processing device of the plurality of image processing; The division of the first row that has been read out after reading out the plurality of divided image data that are continuous in the row direction in the first row according to the image processing executed by the image processing device. And a third step of reading out the divided image data in the second row corresponding to the same column as the image data.
前記メモリに前記画像データを書き込む書込手段と、
前記書込手段により前記メモリに書き込まれた画像データを、前記複数の画像処理のうちの前記画像処理装置が実行する画像処理に応じた順序で読み出す読出手段と、
前記読出手段により前記メモリから読み出された画像データを供給する供給手段とを備え、
前記書込手段は、
入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記メモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込むとともに、当該画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが互いに異なるメモリバンクにそれぞれ記憶されるように書き込み、
前記読出手段は、
前記第1の行において行方向に連続する複数の前記分割画像データのうちの前記画像処理装置が実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す
ことを特徴とするメモリ制御装置。 For supplying the image data to an image processing apparatus that performs one of a plurality of types of image processing via a memory having a plurality of memory banks capable of storing image data representing an array of pixels in a plurality of rows and a plurality of columns. A memory control device,
Writing means for writing the image data into the memory;
Reading means for reading the image data written in the memory by the writing means in an order according to the image processing executed by the image processing apparatus of the plurality of image processing ;
Supply means for supplying image data read from the memory by the reading means;
The writing means includes
Each of a plurality of columns of divided image data obtained by dividing the first row of the input image data by a predetermined division unit is stored in different memory banks of the memory. Each of the divided image data in a plurality of columns obtained by dividing the second row adjacent to the first row of the image data by the division unit corresponds to the same column in the first row. Write so that the divided image data is stored in a different memory bank from the memory bank in which the divided image data is stored, and the continuous divided image data is stored in different memory banks.
The reading means includes
After reading out the plurality of divided image data continuous in the row direction in the first row according to the image processing executed by the image processing device, the divided image of the read first row The memory control device , wherein the divided image data of the second row corresponding to the same column as the data is read.
前記第1のメモリに記憶された画像データを記憶可能な第2のメモリと、
前記第2のメモリに記憶された画像データに複数種類の画像処理のいずれかを行う画像処理手段と、
前記第1のメモリに画像データを書き込む第1の書込手段と、
前記第1の書込手段により前記第1のメモリに書き込まれた画像データを、前記複数の画像処理のうちの実行する画像処理に応じた順序で読み出す第1の読出手段と、
前記第1の読出手段により前記第1のメモリから読み出された画像データを前記第2のメモリに書き込む第2の書込手段と、
前記第2の書込手段により前記第2のメモリに書き込まれた画像データを供給する第2の読出手段とを備え、
前記第1の書込手段は、
入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記第1のメモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込むとともに、当該画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが前記第1のメモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込み、
前記第1の読出手段は、
前記第1の行において行方向に連続する複数の前記分割画像データのうちの実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す
ことを特徴とする画像処理装置。 A first memory having a plurality of memory banks capable of storing image data representing an array of pixels in a plurality of rows and columns;
A second memory capable of storing image data stored in the first memory;
Image processing means for performing any one of a plurality of types of image processing on the image data stored in the second memory;
First writing means for writing image data into the first memory;
First reading means for reading image data written in the first memory by the first writing means in an order corresponding to image processing to be executed among the plurality of image processing ;
Second writing means for writing image data read from the first memory by the first reading means to the second memory;
Second reading means for supplying image data written to the second memory by the second writing means;
The first writing means includes:
Each of the divided image data of a plurality of columns obtained by dividing the first row of the input image data by a predetermined division unit is divided into different memory banks in which the continuous divided image data is different from each other in the first memory. Each of the plurality of columns of divided image data obtained by dividing the second row adjacent to the first row of the image data in the division unit is written in the same row in the first row. Is stored in a memory bank different from the memory bank in which the divided image data is stored, and continuous divided image data is written to be stored in different memory banks of the first memory,
The first reading means includes:
After reading the one corresponding to the image processing to be executed from among the plurality of the divided image data continuous in the row direction in the first row, corresponding to the same column as the divided image data of the first row read An image processing apparatus that reads the divided image data of the second row .
前記第1の書込手段は、前記第1の行の分割画像データを書き込むメモリバンクと前記第2の行の分割画像データを書き込むメモリバンクとを互いに異ならせる
ことを特徴とする請求項3に記載の画像処理装置。 The first memory is a memory having four or more memory banks,
The said 1st writing means makes the memory bank which writes the division | segmentation image data of the said 1st line different from the memory bank which writes the division | segmentation image data of the said 2nd line mutually. The image processing apparatus described.
前記第2のメモリは前記第1のメモリよりも高速にデータの書き込みおよび読み出しが可能である
ことを特徴とする請求項3に記載の画像処理装置。 The first memory can store more data than the second memory;
The image processing apparatus according to claim 3, wherein the second memory is capable of writing and reading data at a higher speed than the first memory.
前記コンピュータに、
入力された前記画像データの第1の行を決められた分割単位で分割してなる複数列の分割画像データの各々を、連続する分割画像データが前記メモリの互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第1の機能と、
前記入力された画像データの前記第1の行と隣り合う第2の行を前記分割単位で分割してなる複数列の分割画像データの各々を、前記第1の行において同列に相当する分割画像データが記憶されたメモリバンクと異なるメモリバンクに記憶され、かつ、連続する分割画像データが互いに異なるメモリバンクにそれぞれ記憶されるように書き込む第2の機能と、
前記第1および第2の機能により前記メモリに書き込まれた分割画像データを、前記複数の画像処理のうちの前記画像処理装置が実行する画像処理に応じた順序で読み出して供給する機能であって、前記第1の行において行方向に連続する複数の前記分割画像データのうちの前記画像処理装置が実行する画像処理に応じたものを読み出した後に、当該読み出した前記第1の行の前記分割画像データと同列に相当する前記第2の行の前記分割画像データを読み出す第3のステップと
を実現させるためのプログラム。 Using a memory having a plurality of memory banks capable of storing image data representing an arrangement of pixels in a plurality of rows and a plurality of columns, the computer supplies the image data to an image processing apparatus that executes one of a plurality of types of image processing. A program for
In the computer,
Each of a plurality of columns of divided image data obtained by dividing the first row of the input image data by a predetermined division unit is stored in different memory banks of the memory. A first function to write,
Each of divided image data of a plurality of columns obtained by dividing a second row adjacent to the first row of the input image data in the division unit is a divided image corresponding to the same column in the first row. A second function for writing data such that data is stored in a memory bank different from the memory bank in which the data is stored, and continuous divided image data is stored in different memory banks,
A function of reading and supplying the divided image data written in the memory by the first and second functions in an order corresponding to the image processing executed by the image processing apparatus among the plurality of image processing; The division of the first row that has been read out after reading out the plurality of divided image data that are continuous in the row direction in the first row according to the image processing executed by the image processing device. And a third step of reading out the divided image data in the second row corresponding to the same column as the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006103345A JP4821410B2 (en) | 2006-04-04 | 2006-04-04 | MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006103345A JP4821410B2 (en) | 2006-04-04 | 2006-04-04 | MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007279902A JP2007279902A (en) | 2007-10-25 |
JP4821410B2 true JP4821410B2 (en) | 2011-11-24 |
Family
ID=38681305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006103345A Expired - Fee Related JP4821410B2 (en) | 2006-04-04 | 2006-04-04 | MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4821410B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63118886A (en) * | 1986-11-06 | 1988-05-23 | Sumitomo Electric Ind Ltd | Converter for digital image |
US6496192B1 (en) * | 1999-08-05 | 2002-12-17 | Matsushita Electric Industrial Co., Ltd. | Modular architecture for image transposition memory using synchronous DRAM |
JP3682239B2 (en) * | 2001-03-29 | 2005-08-10 | 株式会社東芝 | Digital filter processor |
-
2006
- 2006-04-04 JP JP2006103345A patent/JP4821410B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007279902A (en) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3816907B2 (en) | Display data storage device | |
EP1993100A2 (en) | Memory device, memory controller and memory system | |
JPH08278779A (en) | Frame memory controller for graphics | |
JP2002108268A5 (en) | ||
JPH0141994B2 (en) | ||
JP4964091B2 (en) | MEMORY ACCESS METHOD AND MEMORY CONTROL DEVICE | |
US20180173456A1 (en) | Multiport memory architecture | |
JP4378015B2 (en) | Memory chip | |
JP4821410B2 (en) | MEMORY CONTROL METHOD, MEMORY CONTROL DEVICE, IMAGE PROCESSING DEVICE, AND PROGRAM | |
JP5001638B2 (en) | Exposure data creation device | |
US20070030535A1 (en) | Data scan system and data scan method using ddr | |
JPH1078770A (en) | Display control device | |
JP3288327B2 (en) | Video memory circuit | |
US6680736B1 (en) | Graphic display systems having paired memory arrays therein that can be row accessed with 2(2n) degrees of freedom | |
JP2008136125A (en) | Image processing apparatus | |
KR100217277B1 (en) | A sdram interface of pdp-tv | |
JPH09180433A (en) | First-in/first-out memory device | |
JPH06325566A (en) | Addressing method for frame data in memory | |
JP2633251B2 (en) | Image memory device | |
JPS60182098A (en) | Refresh control system | |
KR100217281B1 (en) | Pdp-tv using sdram interface equipment | |
JP4997418B2 (en) | DRAM access method | |
JPH10162131A (en) | Image processor | |
JPH05151771A (en) | Frame memory device | |
JP2007323260A (en) | Image memory system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110809 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4821410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |