JP4790545B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP4790545B2
JP4790545B2 JP2006237756A JP2006237756A JP4790545B2 JP 4790545 B2 JP4790545 B2 JP 4790545B2 JP 2006237756 A JP2006237756 A JP 2006237756A JP 2006237756 A JP2006237756 A JP 2006237756A JP 4790545 B2 JP4790545 B2 JP 4790545B2
Authority
JP
Japan
Prior art keywords
image data
address
storage means
signal processing
work area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006237756A
Other languages
Japanese (ja)
Other versions
JP2008059452A (en
Inventor
健太 角光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006237756A priority Critical patent/JP4790545B2/en
Publication of JP2008059452A publication Critical patent/JP2008059452A/en
Application granted granted Critical
Publication of JP4790545B2 publication Critical patent/JP4790545B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

従来より、入力画像を分割し、分割された画像毎に処理を行い、処理された画像を出力する技術がある。例えば、特許文献1には、入力画像データを処理する際に、使用する内蔵メモリの記憶容量を低減するために、画像を分割することで得られたデータ量の少ない画像に対して処理する技術が開示されている。また、特許文献2には、分割した画像の入出力制御において、外部メモリアドレスのオフセットを制御する技術が開示されている。   Conventionally, there is a technique for dividing an input image, processing each divided image, and outputting the processed image. For example, Patent Document 1 discloses a technique for processing an image with a small amount of data obtained by dividing an image in order to reduce the storage capacity of a built-in memory used when processing input image data. Is disclosed. Patent Document 2 discloses a technique for controlling an offset of an external memory address in input / output control of divided images.

このような従来技術におけるハードウェア構成の例は、図15に示されるようなCPU(Central Processing Unit)、DMAC(Direct Memory Access Controller)、SDRAM(Synchronous DRAM)、内蔵バッファ、及び信号処理回路からなる構成となっている。この構成において、SDRAMから内蔵バッファにデータを転送する場合、従来の技術では、図16に示されるように、SDRAMに記憶されている画像データが示す画像を水平方向に矩形状(短冊状)に分割した画像(以下、短冊と記す)の分割幅(以下、短冊幅と記す)が決定された後、DMACがSDRAMにおけるアドレッシングを行っている。   An example of such a hardware configuration in the prior art includes a CPU (Central Processing Unit), a DMAC (Direct Memory Access Controller), an SDRAM (Synchronous DRAM), a built-in buffer, and a signal processing circuit as shown in FIG. It has a configuration. In this configuration, when data is transferred from the SDRAM to the built-in buffer, according to the conventional technique, as shown in FIG. 16, the image indicated by the image data stored in the SDRAM is horizontally rectangular (striped). After the division width (hereinafter referred to as strip width) of the divided image (hereinafter referred to as strip width) is determined, the DMAC performs addressing in the SDRAM.

この場合、CPUは、DMACに対して種々の設定を行う必要がある。まず、入出力の短冊幅での1行における転送回数(バースト幅とブロック列バースト数)を設定する。次に、1行の転送が終了した後にジャンプするためのアドレス幅(行オフセット)を設定する。さらに、短冊の垂直方向の分割数を示すブロック数と、ブロック内の行数を示すブロック行数を設定する。また、所定のブロック行数の転送が終了した後にジャンプするためのアドレス幅(ブロックオフセット)を設定する。そして、1短冊の転送が完了した際にジャンプするアドレス幅(ラインオフセット)を設定する。
特開2002−304624号公報 特開2004−220584号公報
In this case, the CPU needs to make various settings for the DMAC. First, the number of transfers (burst width and the number of block column bursts) in one line at the input / output strip width is set. Next, an address width (line offset) for jumping after the transfer of one line is completed is set. Further, the number of blocks indicating the number of vertical divisions of the strip and the number of block rows indicating the number of rows in the block are set. Also, an address width (block offset) for jumping after the transfer of a predetermined number of block rows is completed is set. Then, an address width (line offset) that jumps when transfer of one strip is completed is set.
JP 2002-304624 A Japanese Patent Laid-Open No. 2004-220484

このように、画像を分割して処理する際の画像データを転送する従来の技術では、CPUが行う設定は複雑なものであった。   As described above, in the conventional technique for transferring image data when an image is divided and processed, the setting performed by the CPU is complicated.

本発明は上記問題点に鑑み、CPUが行う設定を簡略化した画像処理装置、画像処理方法を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide an image processing apparatus and an image processing method that simplify settings performed by a CPU.

上記目的を達成するために、請求項1の発明は、入力画像データ及び出力画像データを記憶可能な作業領域として機能するとともに、前記入力画像データ及び前記出力画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記作業領域におけるメモリ空間でのアドレスとが1対1で対応づけられた第1の記憶手段と、前記入力画像データ予め定められた信号処理を施す際に用いられる第2の記憶手段と、前記入力画像データが示す2次元画像を前記作業領域においてX方向に複数の2次元画像に分割する分割手段と、前記分割して得られた2次元分割画像の画像データの画素に対応した前記作業領域における位置を示す第1の位置座標を設定する第1の設定手段と、前記作業領域の第1の先頭アドレス、前記2次元分割画像のX方向の幅サイズ、前記2次元分割画像の画像データにおける1画素分の画素サイズ、及び前記2次元分割画像の先頭座標に基づき、前記設定された第1の位置座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成手段と、前記第1のアドレス生成手段で生成されたアドレスにしたがって、前記第1の記憶手段に記憶された前記入力画像データを前記2次元分割画像毎に前記第2の記憶手段に転送する第1の転送手段と、前記第2の記憶手段に転送された前記2次元分割画像の画像データに対して前記信号処理を施す信号処理手段と、前記信号処理が施された画像データの画素に対応した前記作業領域における位置を示す第2の位置座標を設定する第2の設定手段と、前記作業領域の第2の先頭アドレス、前記信号処理が施された画像データが示す2次元画像のX方向の幅サイズ、前記信号処理が施された画像データにおける1画素分の画素サイズ、及び前記信号処理が施された画像データが示す2次元画像の先頭座標に基づき、前記設定された第2の位置座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成手段と、前記第2のアドレス生成手段で生成されたアドレスにしたがって、前記信号処理が施された画像データを前記出力画像データとして前記第2の記憶手段から前記第1の記憶手段に転送するとともに、該転送の際、前記第2の記憶手段に転送された最後の入力画像データの次に該第2の記憶手段に転送される入力画像データと、前記信号処理が施され前記第1の記憶手段に転送される出力画像データとが前記作業領域において重ならないよう、該次に転送される入力画像データを前記作業領域においてX方向にずらし、該ずらした跡領域に該信号処理が施された出力画像データを上書きする第2の転送手段と、を有する。 In order to achieve the above object, the invention of claim 1 functions as a work area capable of storing input image data and output image data, and displays a two-dimensional image indicated by the input image data and the output image data on an XY plane. the image above, the coordinates in the XY plane, a first storage means and the address of the memory space is associated one-to-one at the work area, the predetermined signal processing on the input image data A second storage means used when applying, a dividing means for dividing the two-dimensional image indicated by the input image data into a plurality of two-dimensional images in the X direction in the work area, and the two-dimensional obtained by the division first setting means and a first start address of the work area for setting the first position coordinates indicating a position at the work area corresponding to the pixel of the image data of the divided image, the X-direction width size dimension divided images, the pixel size of one pixel in the image data of the two-dimensional image segment and on the basis of the start coordinates of the two-dimensional image segment corresponding to the first coordinates in which the set A first address generation unit configured to generate an address in the memory space; and the input image data stored in the first storage unit according to the address generated by the first address generation unit First transfer means for transferring each divided image to the second storage means; signal processing means for performing the signal processing on the image data of the two-dimensional divided image transferred to the second storage means; A second setting means for setting a second position coordinate indicating a position in the work area corresponding to a pixel of the image data subjected to the signal processing; and a second head address of the work area. The width size in the X direction of the two-dimensional image indicated by the image data subjected to the signal processing, the pixel size of one pixel in the image data subjected to the signal processing, and the image data subjected to the signal processing A second address generation unit configured to generate an address in the memory space corresponding to the set second position coordinate based on the leading coordinates of the two-dimensional image shown; and generated by the second address generation unit According to the address, the image data subjected to the signal processing is transferred as the output image data from the second storage means to the first storage means, and at the time of the transfer, transferred to the second storage means The input image data transferred to the second storage means next to the last input image data that has been processed and the output image data that has been subjected to the signal processing and transferred to the first storage means Second transfer that shifts the input image data to be transferred next in the X direction in the work area so as not to overlap in the work area, and overwrites the output image data subjected to the signal processing in the shifted trace area. Means .

ここで本発明では、第2の記憶手段から第1の記憶手段に転送する際、第2の記憶手段に転送された信号処理前の最後の画像データの次に第2の記憶手段に転送される入力画像データと、信号処理が施されて第1の記憶手段に転送される出力画像データとが、作業領域において重ならないよう、上記次に転送される入力画像データを作業領域においてX方向にずらし、そのようにずらした跡領域に、信号処理が施された出力画像データを上書きするので、画像データのDMA転送において使用するメモリ領域を大幅に削減することができる画像処理装置を提供することができる。 Here, in the present invention, when transferring from the second storage means to the first storage means, it is transferred to the second storage means next to the last image data before signal processing transferred to the second storage means. The input image data to be transferred next is X direction in the work area so that the input image data to be output and the output image data that has been subjected to signal processing and transferred to the first storage means do not overlap in the work area. To provide an image processing apparatus capable of greatly reducing the memory area used in the DMA transfer of image data because the output image data subjected to signal processing is overwritten on the shifted trace area. Can do.

一方、上記目的を達成するために、請求項の発明は、入力画像データ及び出力画像データを記憶可能な作業領域として機能するとともに、前記入力画像データ及び前記出力画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記作業領域におけるメモリ空間でのアドレスとが1対1で対応づけられた第1の記憶手段を準備する段階と、前記入力画像データ予め定められた信号処理を施す際に用いられる第2の記憶手段を準備する段階と、前記入力画像データが示す2次元画像を前記作業領域においてX方向に複数の2次元画像に分割する分割段階と、前記分割して得られた2次元分割画像の画像データの画素に対応した前記作業領域における位置を示す第1の位置座標を設定する第1の設定段階と、前記作業領域の第1の先頭アドレス、前記2次元分割画像のX方向の幅サイズ、前記2次元分割画像の画像データにおける1画素分の画素サイズ、及び前記2次元分割画像の先頭座標に基づき、前記設定された第1の位置座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成段階と、前記第1のアドレス生成段階で生成されたアドレスにしたがって、前記第1の記憶手段に記憶された前記入力画像データを前記2次元分割画像毎に前記第2の記憶手段に転送する第1の転送段階と、前記第2の記憶手段に転送された前記2次元分割画像の画像データに対して前記信号処理を施す信号処理段階と、前記信号処理が施された画像データの画素に対応した前記作業領域における位置を示す第2の位置座標を設定する第2の設定段階と、前記作業領域の第2の先頭アドレス、前記信号処理が施された画像データが示す2次元画像のX方向の幅サイズ、前記信号処理が施された画像データにおける1画素分の画素サイズ、及び前記信号処理が施された画像データが示す2次元画像の先頭座標に基づき、前記設定された第2の位置座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成段階と、前記第2のアドレス生成段階で生成されたアドレスにしたがって、前記信号処理が施された画像データを前記出力画像データとして前記第2の記憶手段から前記第1の記憶手段に転送するとともに、該転送の際、前記第2の記憶手段に転送された最後の入力画像データの次に該第2の記憶手段に転送される入力画像データと、前記信号処理が施され前記第1の記憶手段に転送される出力画像データとが前記作業領域において重ならないよう、該次に転送される入力画像データを前記作業領域においてX方向にずらし、該ずらした跡領域に該信号処理が施された出力画像データを上書きする第2の転送段階と、を有する。 On the other hand, in order to achieve the above object, the invention of claim 2 functions as a work area capable of storing the input image data and the output image data, and the two-dimensional image indicated by the input image data and the output image data. the image on the XY plane, the coordinates in the XY plane, the method comprising the address of the memory space providing a first storage means associated with one-to-one at the work area, in advance in the input image data A step of preparing a second storage means to be used when performing predetermined signal processing, and a division step of dividing a two-dimensional image indicated by the input image data into a plurality of two-dimensional images in the X direction in the work area; a first setting step of setting the first position coordinates indicating a position at the work area corresponding to the pixel of the image data of the two-dimensional division images obtained by the divided, the The first head address of work area, the X-direction width size of the two-dimensional image segment pixel size of one pixel in the image data of the two-dimensional image segment and on the basis of the start coordinates of the two-dimensional image segment wherein A first address generation stage for generating an address in the memory space corresponding to the set first position coordinate, and the first storage means according to the address generated in the first address generation stage. A first transfer step of transferring the stored input image data to the second storage means for each of the two-dimensionally divided images; and image data of the two-dimensional divided images transferred to the second storage means A signal processing stage for performing the signal processing on the second stage, and a second setting stage for setting a second position coordinate indicating a position in the work area corresponding to a pixel of the image data subjected to the signal processing. A second head address of the work area, a width size in the X direction of the two-dimensional image indicated by the image data subjected to the signal processing, a pixel size corresponding to one pixel in the image data subjected to the signal processing, and A second address generation step of generating an address in the memory space corresponding to the set second position coordinate based on the leading coordinates of the two-dimensional image indicated by the image data subjected to the signal processing; According to the address generated in the second address generation stage, the image data subjected to the signal processing is transferred as the output image data from the second storage means to the first storage means, and the transfer In this case, the input image data transferred to the second storage means next to the last input image data transferred to the second storage means, and the first storage hand subjected to the signal processing. The input image data to be transferred next is shifted in the X direction in the work area so that the output image data transferred to the stage does not overlap in the work area, and the signal processing is applied to the shifted trace area. A second transfer stage for overwriting the output image data .

ここで、請求項の発明も、請求項1の発明と同様に作用するので、請求項1の発明と同様な効果が得られる。 Here, since the invention of claim 2 operates in the same manner as the invention of claim 1, the same effect as the invention of claim 1 can be obtained.

本発明によれば、CPUが行う設定を簡略化した画像処理装置、画像処理方法を提供することができるという効果が得られる。   According to the present invention, it is possible to provide an image processing apparatus and an image processing method that simplify the settings performed by the CPU.

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態に係る画像処理装置は、例えばデジタルカメラなど、画像データを扱う機器に搭載されるものを想定している。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that the image processing apparatus according to the present embodiment is assumed to be mounted on a device that handles image data, such as a digital camera.

図1は、本実施の形態における画像処理装置のハードウェア構成を示す図である。同図に示される画像処理装置は、アドレス生成回路10、内蔵バッファ12、DMAC14、SDRAM16、信号処理回路18、及びCPU20を有する。CPU20、DMAC14、SDRAM16、アドレス生成回路10、内蔵バッファ12はそれぞれバスを介して電気的に接続されている。また、信号処理回路18は、内蔵バッファ12に電気的に接続されており、これにより信号処理が施される画像データ(以下、入力データと記す)、及び信号処理が施された画像データである処理済み画像データ(以下、出力データと記す)のSDRAM16と内蔵バッファ12間でのやり取りが可能となっている。なお、以下の説明で用いられる入出力データとは、入力データ及び出力データを示すこととする。   FIG. 1 is a diagram illustrating a hardware configuration of an image processing apparatus according to the present embodiment. The image processing apparatus shown in the figure includes an address generation circuit 10, a built-in buffer 12, a DMAC 14, an SDRAM 16, a signal processing circuit 18, and a CPU 20. The CPU 20, the DMAC 14, the SDRAM 16, the address generation circuit 10, and the built-in buffer 12 are electrically connected to each other via a bus. Further, the signal processing circuit 18 is electrically connected to the built-in buffer 12, and thereby image data to be subjected to signal processing (hereinafter referred to as input data) and image data subjected to signal processing. Exchange of processed image data (hereinafter referred to as output data) between the SDRAM 16 and the built-in buffer 12 is possible. The input / output data used in the following description indicates input data and output data.

次に、入出力データの流れについて説明する。本実施の形態に係る画像処理装置は、SDRAM16に記憶された入力データを、DMAC14が内蔵バッファ12に転送し、信号処理回路18は、入力データに画像処理を施し、画像処理された出力データは、再びDMAC14によりSDRAM16に転送され記憶される。   Next, the flow of input / output data will be described. In the image processing apparatus according to this embodiment, the DMAC 14 transfers the input data stored in the SDRAM 16 to the built-in buffer 12, and the signal processing circuit 18 performs image processing on the input data. The data is again transferred to and stored in the SDRAM 16 by the DMAC 14.

次に、上記構成における個々の詳細について説明する。まず、SDRAM16は上述したように入出力データが記憶されるが、これら入出力データのSDRAM上での位置は、アドレスに対応した座標を用いて表現することが可能となっている。   Next, each detail in the said structure is demonstrated. First, the SDRAM 16 stores input / output data as described above, and the position of the input / output data on the SDRAM can be expressed using coordinates corresponding to addresses.

また、アドレス生成回路10は、DMAC14に通知する入出力データのアドレスを生成する。具体的にアドレス生成回路10は、DMAC14が内蔵バッファ12に転送する入力データの位置を示す座標から、その座標に対応するSDRAM16におけるアドレスを生成する。同様に、アドレス生成回路10は、DMAC14が出力データを記憶するSDRAM16におけるアドレスを生成する。従って、アドレス生成回路10に設けられた後述するアドレス出力回路は、入出力データ毎に設けられている。このアドレス生成回路10におけるアドレス生成方法の詳細については後述する。   The address generation circuit 10 generates an input / output data address to be notified to the DMAC 14. Specifically, the address generation circuit 10 generates an address in the SDRAM 16 corresponding to the coordinates from the coordinates indicating the position of the input data that the DMAC 14 transfers to the internal buffer 12. Similarly, the address generation circuit 10 generates an address in the SDRAM 16 in which the DMAC 14 stores output data. Therefore, an address output circuit, which will be described later, provided in the address generation circuit 10 is provided for each input / output data. Details of the address generation method in the address generation circuit 10 will be described later.

内蔵バッファ12は、上記入出力データを一時的に記憶すると共に、DMAC14とのやり取り行うための機能を有する。   The built-in buffer 12 temporarily stores the input / output data and has a function for exchanging with the DMAC 14.

DMAC14は、SDRAM16から内蔵バッファ12に入力データを転送し、内蔵バッファ12からSDRAMに出力データを転送する。   The DMAC 14 transfers input data from the SDRAM 16 to the internal buffer 12 and transfers output data from the internal buffer 12 to the SDRAM.

次に、アドレス生成方法について図2を用いて説明する。アドレス生成回路10は、同図に示されるように、水平画像サイズ、1画素データサイズ、座標(x、y)、及び画像先頭アドレスが入力されると、座標(x、y)に対応するアドレスを出力するアドレス出力回路を含む。ここで、本実施の形態における座標は、XY平面上での座標であり、図3に示されるように、画像データが示す2次元画像をXY平面上の画像として表現するためのものである。この座標は、SDRAM16における画像データの位置を示す座標でもあり、通常のXY座標とはY軸の向きが逆の座標である。なお、この座標は、入出力データ共通で用いられる。すなわち、入出力データはいずれもSDRAM16上に記憶されるため、同一の座標上で表現することが可能である。   Next, an address generation method will be described with reference to FIG. As shown in the figure, the address generation circuit 10 receives an address corresponding to the coordinates (x, y) when the horizontal image size, the one-pixel data size, the coordinates (x, y), and the image head address are input. Is included. Here, the coordinates in the present embodiment are coordinates on the XY plane, and are for expressing the two-dimensional image indicated by the image data as an image on the XY plane, as shown in FIG. This coordinate is also a coordinate indicating the position of the image data in the SDRAM 16, and is a coordinate whose direction of the Y axis is opposite to that of the normal XY coordinate. These coordinates are used in common for input / output data. That is, since all the input / output data is stored on the SDRAM 16, it can be expressed on the same coordinates.

そのため、上記座標(x、y)とは、DMAC14が入力データを内蔵バッファ12へ転送するSDRAM16上の位置を示す座標、及びDMAC14が内蔵バッファ12から出力データを転送するSDRAM16上の位置を示す座標である。また、水平画像サイズとは、図3に示されるように、画像のX軸方向のサイズをバイト単位で示したものである。   Therefore, the coordinates (x, y) are the coordinates indicating the position on the SDRAM 16 where the DMAC 14 transfers the input data to the internal buffer 12, and the coordinates indicating the position on the SDRAM 16 where the DMAC 14 transfers the output data from the internal buffer 12. It is. The horizontal image size is the size of the image in the X-axis direction in bytes, as shown in FIG.

また、1画素データサイズとは、1画素のサイズをバイト単位(Byte Per Pixel)で示したものである。この1画素データサイズは、入出力データで値が異なる場合もある。また、画像先頭アドレスとは、図3に示されるように、入出力データの先頭アドレスを示している。   The 1-pixel data size is the size of one pixel in bytes (Byte Per Pixel). The one-pixel data size may vary depending on input / output data. Further, the image head address indicates the head address of input / output data as shown in FIG.

なお、上記アドレス出力回路は、乗算器11a、11bと、加算器13a、13bとで構成される。乗算器11aは、水平画像サイズとyとを乗算し、求まった値を加算器13aに出力する。加算器13aは、乗算器11aから出力された値とxとを加算し、これによって求められた値を乗算器11bに出力する。乗算器11bは、加算器13aから出力された値と1画素データサイズとを乗算し、これによって求められた値を加算器13bに出力する。加算器13bは、乗算器11bから出力された値と画像先頭アドレスとを加算し、これによって求められた値を座標(x、y)に対応するアドレスとして出力する。   The address output circuit includes multipliers 11a and 11b and adders 13a and 13b. The multiplier 11a multiplies the horizontal image size by y and outputs the obtained value to the adder 13a. The adder 13a adds the value output from the multiplier 11a and x, and outputs the value obtained thereby to the multiplier 11b. The multiplier 11b multiplies the value output from the adder 13a and the one-pixel data size, and outputs the value obtained thereby to the adder 13b. The adder 13b adds the value output from the multiplier 11b and the image head address, and outputs the value obtained thereby as an address corresponding to the coordinates (x, y).

従って、水平画像サイズをL、1画素データサイズをM、画像先頭アドレスをAとしたとき、上記アドレス出力回路は、アドレス(Ly+x)M+Aを求める回路となっている。   Therefore, when the horizontal image size is L, the pixel data size is M, and the image head address is A, the address output circuit is a circuit for obtaining an address (Ly + x) M + A.

また、入出力データの転送は、図3に示されるように画像を水平方向に分割した短冊ごとに行われる。入出力データは、上記アドレス出力回路の出力に基づき転送されるので、図4に示されるように、短冊1の先頭であるstart1から1行ずつ折り返しながらend1まで転送し、その後、短冊2の先頭であるstart2からend2まで同様に転送するというように、分割した短冊ごとに転送が行われる。この場合の水平画像サイズLは、各短冊の水平幅のサイズ(バイト数)を示している。   The input / output data is transferred for each strip obtained by dividing the image in the horizontal direction as shown in FIG. Since the input / output data is transferred based on the output of the address output circuit, as shown in FIG. 4, it is transferred from the start 1 which is the top of the strip 1 to end 1 while returning one line at a time, and then the top of the strip 2 The transfer is performed for each of the divided strips, such as the same transfer from start2 to end2. The horizontal image size L in this case indicates the size (number of bytes) of the horizontal width of each strip.

上述した転送処理の詳細について、図5のフローチャートを用いて説明する。図5に示される処理は、CPU20及びアドレス生成回路10で実行される処理である。   Details of the transfer processing described above will be described with reference to the flowchart of FIG. The process shown in FIG. 5 is a process executed by the CPU 20 and the address generation circuit 10.

まず、ステップ101で、CPU20は、画像情報をDMAC14に設定する。ここでの画像情報とは、入出力データの先頭アドレス、入出力データにおける短冊の水平幅のサイズ、及び入出力データでの1画素データサイズである。さらにCPU20は、ステップ102で、入出力データの短冊先頭座標(x、y)をアドレス生成回路10に設定する。   First, in step 101, the CPU 20 sets image information in the DMAC 14. Here, the image information is the leading address of the input / output data, the horizontal width of the strip in the input / output data, and the one pixel data size in the input / output data. Further, in step 102, the CPU 20 sets the strip leading coordinates (x, y) of the input / output data in the address generation circuit 10.

次のステップ103で、アドレス生成回路10は、短冊先頭座標(x、y)、水平画像サイズ、及び1画素データサイズに基づき、図2を参照して説明したアドレス出力回路による演算により、内蔵バッファ12にSDRAM16から転送する入力データの座標(x、y)に対応する転送元アドレスと、内蔵バッファ12から出力データをSDRAM16に記憶する座標(x、y)に対応する転送先アドレスとを求める。   In the next step 103, the address generation circuit 10 performs the calculation by the address output circuit described with reference to FIG. 2 on the basis of the strip leading coordinates (x, y), the horizontal image size, and the one-pixel data size. 12, the transfer source address corresponding to the coordinates (x, y) of the input data transferred from the SDRAM 16 and the transfer destination address corresponding to the coordinates (x, y) for storing the output data in the SDRAM 16 from the built-in buffer 12 are obtained.

次にアドレス生成回路10は、ステップ104で、入出力データの先頭アドレスをDMAC14に通知することで、ステップ105でDMA転送が行われる。   Next, the address generation circuit 10 notifies the DMAC 14 of the leading address of the input / output data in step 104, so that DMA transfer is performed in step 105.

ここで、内蔵バッファ12及びアドレス生成回路10におけるDMAC14とのハンドシェイクは、図6に示されるように、まずアドレス生成回路10が上述したアドレスをDMAC14に通知し、その後内蔵バッファ12がデータ要求を行い、内蔵バッファ12がDMAC14から画像データを受信するようになっている。   Here, as shown in FIG. 6, the handshake between the built-in buffer 12 and the address generation circuit 10 with the DMAC 14 first notifies the DMAC 14 of the address described above, and then the built-in buffer 12 makes a data request. The built-in buffer 12 receives image data from the DMAC 14.

図5のフローチャートに戻り、入出力データの転送が終了すると、アドレス生成回路10は、次の入出力データを転送するために、ステップ106で、入出力データにおけるX座標を1つ増分する。次に、アドレス生成回路10は、ステップ107で、増分したX座標が次の短冊の先頭のX座標から1を減算した値に一致するかどうか判断する。この判断は、短冊の右端まで転送が終了したか否かを判断するためのものである。   Returning to the flowchart of FIG. 5, when the transfer of the input / output data is completed, the address generation circuit 10 increments the X coordinate in the input / output data by one in step 106 in order to transfer the next input / output data. Next, in step 107, the address generation circuit 10 determines whether or not the incremented X coordinate matches the value obtained by subtracting 1 from the top X coordinate of the next strip. This determination is for determining whether or not the transfer has been completed to the right end of the strip.

ステップ107で、アドレス生成回路10が否定判断した場合、再びステップ104の処理が実行される。アドレス生成回路10が肯定判断した場合、アドレス生成回路10は、ステップ108で入出力データにおけるY座標を1つ増分し、ステップ109でX座標を短冊の先頭のX座標とする。   If the address generation circuit 10 makes a negative determination in step 107, the process of step 104 is executed again. If the address generation circuit 10 makes an affirmative determination, the address generation circuit 10 increments the Y coordinate in the input / output data by one in step 108, and sets the X coordinate to the first X coordinate of the strip in step 109.

次に、アドレス生成回路10は、ステップ110で、SDRAM16に転送された出力データのY座標が垂直画像サイズに一致したか否か判断する。ここで、垂直画像サイズとは、短冊のY軸方向のサイズをバイト単位で示したものである。ステップ110で、アドレス生成回路10が否定判断した場合、再びステップ103の処理が実行される。アドレス生成回路10が肯定判断した場合、CPU20は、ステップ111で全ての短冊での処理が終了したかどうか判断する。ステップ111で、CPU20が否定判断した場合、ステップ112で転送する対象を入力データにおける次の短冊へと移動し、再びステップ102の処理が実行される。CPU20が肯定判断した場合、処理が終了する。   Next, the address generation circuit 10 determines in step 110 whether the Y coordinate of the output data transferred to the SDRAM 16 matches the vertical image size. Here, the vertical image size indicates the size of the strip in the Y-axis direction in bytes. If the address generation circuit 10 makes a negative determination in step 110, the process of step 103 is executed again. If the address generation circuit 10 makes an affirmative determination, the CPU 20 determines in step 111 whether processing for all strips has been completed. If the CPU 20 makes a negative determination in step 111, the object to be transferred in step 112 is moved to the next strip in the input data, and the process of step 102 is executed again. If the CPU 20 makes a positive determination, the process ends.

なお、デジタルカメラにおいては、図7に示される画像データ24が入力データであり、その入力データから斜線が引かれた領域(所謂のりしろ)を除く画像データ26を出力データとすることが多い。この場合、同図に示されるように、入力データと出力データとでは短冊のX軸方向のサイズ(以下、短冊幅と記す)が異なる。なお、こののりしろは、信号処理回路18で短冊のエッジ部分(外周部分)の画素に対してその周辺画素を用いた画像処理を行うために用いられるものである。   Note that in a digital camera, the image data 24 shown in FIG. 7 is input data, and the image data 26 excluding a hatched area (so-called margin) from the input data is often output data. In this case, as shown in the figure, the size of the strip in the X-axis direction (hereinafter referred to as strip width) is different between the input data and the output data. This margin is used for the image processing using the peripheral pixels of the strip edge portion (outer peripheral portion) pixels in the signal processing circuit 18.

以上説明した図5のフローチャートに示される処理が基本的な処理であるが、この処理をワークエリアに対応させた処理について説明する。ワークエリアに対応させた処理とは、図8に示されるように、ワークエリア30内に入力データである画像データ32が記憶されており、ワークエリアの先頭アドレスを原点とする座標でアドレスを求める処理である。   The process shown in the flowchart of FIG. 5 described above is a basic process, and a process in which this process is associated with a work area will be described. As shown in FIG. 8, the processing corresponding to the work area stores image data 32 as input data in the work area 30, and obtains an address using coordinates with the start address of the work area as the origin. It is processing.

この場合のアドレス生成方法について、図9を用いて説明する。アドレス生成回路10は、同図に示されるように、ワークエリア水平サイズ、1画素データサイズ、座標(x、y)、画像データ先頭座標(p、q)、及びワークエリア先頭アドレスが入力されると、座標(x、y)に対応するアドレスを出力するアドレス出力回路を含む。   An address generation method in this case will be described with reference to FIG. As shown in the figure, the address generation circuit 10 receives a work area horizontal size, a pixel data size, coordinates (x, y), image data start coordinates (p, q), and a work area start address. And an address output circuit for outputting an address corresponding to the coordinates (x, y).

なお、上記座標(x、y)とは、図8に示された座標において、DMAC14が入力データを内蔵バッファ12へ転送するSDRAM16上の位置を示す座標、及びDMAC14が内蔵バッファ12から出力データを転送するSDRAM16上の位置を示す座標である。また、ワークエリア水平サイズとは、図8に示されるように、ワークエリアのX軸方向のサイズをバイト単位で示したものである。また、ワークエリア先頭アドレスとは、図8に示されるように、ワークエリアの先頭アドレス(図8では、0x002A0000:16進表記)を示している。   The coordinates (x, y) are the coordinates indicating the position on the SDRAM 16 where the DMAC 14 transfers the input data to the built-in buffer 12 in the coordinates shown in FIG. 8, and the DMAC 14 outputs the output data from the built-in buffer 12. It is a coordinate which shows the position on SDRAM16 to transfer. The work area horizontal size is the size of the work area in the X-axis direction in bytes, as shown in FIG. Also, the work area head address indicates the head address of the work area (in FIG. 8, 0x002A0000: hexadecimal notation), as shown in FIG.

なお、上記アドレス出力回路は、加算器15a、15b、15c、14dと、乗算器17a、17bとで構成される。加算器15aは、qとyとを加算し、これにより求められた値を乗算器17aに出力する。乗算器17aは、加算器15aから出力された値とワークエリア水平サイズとを乗算し、これにより求められた値を加算器15cに出力する。   The address output circuit includes adders 15a, 15b, 15c and 14d and multipliers 17a and 17b. The adder 15a adds q and y, and outputs the value obtained thereby to the multiplier 17a. The multiplier 17a multiplies the value output from the adder 15a by the work area horizontal size, and outputs the value obtained thereby to the adder 15c.

一方、加算器15bは、pとxとを加算し、これにより求められた値を加算器15cに出力する。加算器15cは、乗算器17aから出力された値と加算器15bから出力された値とを加算し、これにより求められた値を乗算器17bに出力する。加算器15dは、乗算器17bから出力された値とワークエリア先頭アドレスとを加算し、これにより求められた値を座標(x、y)に対応するアドレスとして出力する。   On the other hand, the adder 15b adds p and x, and outputs the value obtained thereby to the adder 15c. The adder 15c adds the value output from the multiplier 17a and the value output from the adder 15b, and outputs the value obtained thereby to the multiplier 17b. The adder 15d adds the value output from the multiplier 17b and the work area head address, and outputs the value obtained thereby as an address corresponding to the coordinates (x, y).

従って、ワークエリア水平サイズをK、1画素データサイズをM、画像先頭アドレスをAとしたとき、アドレス生成回路10は、図9に示されるように、アドレス(K(y+q)+x+p)M+Aを求める回路である。求まった値は座標(x、y)に対応するアドレスを示している。   Therefore, when the work area horizontal size is K, the pixel data size is M, and the image head address is A, the address generation circuit 10 obtains an address (K (y + q) + x + p) M + A as shown in FIG. Circuit. The obtained value indicates an address corresponding to the coordinates (x, y).

このようにワークエリアに対応させることで、図10に示されるようにSDRAM16を効率的に用いることができる。図10には、出力データ34、入力データ36、及び短冊38、40が示されている。図に示されるように、出力データ34と入力データ36とが重なっているが、これは出力データ34の短冊38が、次に転送される入力データ36の短冊40に重ならないために上書きが可能となっている。実際、図10に示されるように、出力データ34の各短冊は、次に転送される入力データ36の各短冊には重なっていない。   By corresponding to the work area in this way, the SDRAM 16 can be used efficiently as shown in FIG. FIG. 10 shows output data 34, input data 36, and strips 38 and 40. As shown in the figure, the output data 34 and the input data 36 overlap, but this can be overwritten because the strip 38 of the output data 34 does not overlap the strip 40 of the input data 36 to be transferred next. It has become. In fact, as shown in FIG. 10, each strip of output data 34 does not overlap each strip of input data 36 to be transferred next.

この処理により、図11に示される重ね書きしない場合のメモリマップと比較して分かるように、SDRAM16の使用量を大幅に削減することが可能となる。   With this processing, as can be seen from comparison with the memory map in the case of not overwriting shown in FIG. 11, the amount of use of the SDRAM 16 can be greatly reduced.

以上説明したワークエリアに対応した処理は、図5で説明したフローチャートにおいて、ステップ101で設定する画像情報を、ワークエリア先頭アドレス、ワークエリア水平サイズ、入出力データの先頭アドレス、入出力データにおける1短冊のサイズ、及び入出力データでの1画素データサイズとし、ステップ103でのアドレス生成処理に、図9で説明したアドレス生成回路10を用いた処理となる。   The processing corresponding to the work area described above is the same as the image information set in step 101 in the flowchart described with reference to FIG. The strip size and the one-pixel data size of the input / output data are used, and the address generation processing described in FIG.

次に、高速処理を実現するための構成について説明する。図12は、図1で説明した画像処理装置の構成に更に出力幅カウンタ42が加わった構成を示している。この出力幅カウンタ42は、アドレス生成回路10と一体化しており、アドレス生成回路10に設定される短冊先頭座標などの情報は出力幅カウンタ42でも参照できる。   Next, a configuration for realizing high-speed processing will be described. FIG. 12 shows a configuration in which an output width counter 42 is further added to the configuration of the image processing apparatus described in FIG. The output width counter 42 is integrated with the address generation circuit 10, and information such as strip leading coordinates set in the address generation circuit 10 can be referred to by the output width counter 42.

また、出力幅カウンタ42は、アドレス生成回路10に対して入出力データの短冊先頭座標のうちのX座標を出力するものである。この出力幅カウンタ42の構成を、図13を用いて説明する。   The output width counter 42 outputs the X coordinate of the strip leading coordinates of the input / output data to the address generation circuit 10. The configuration of the output width counter 42 will be described with reference to FIG.

出力幅カウンタ42は、同図に示されるように、出力データの先頭座標のX座標であるX1、入力データの先頭座標のX座標であるX2、出力データの短冊幅である出力短冊幅、出力データのX軸方向の長さをバイト単位で示した出力データ水平幅、及び入力ずらし量が入力され、入力データ及び出力データの短冊先頭座標のうちのX座標を出力する。   As shown in the figure, the output width counter 42 has an X coordinate that is the X coordinate of the leading coordinate of the output data, an X coordinate that is the X coordinate of the leading coordinate of the input data, an output strip width that is the strip width of the output data, and an output The horizontal width of the output data indicating the length of the data in the X-axis direction in bytes and the input shift amount are input, and the X coordinate of the strip start coordinates of the input data and output data is output.

この出力幅カウンタ42は、セレクタ41a、41b、加算器43a、43b、及び比較器45で構成される。セレクタ41aは、X1又は加算器43aの出力のいずれか一方を出力するもので、最初にX1を出力した後は加算器43aから入力された値を出力する。   The output width counter 42 includes selectors 41a and 41b, adders 43a and 43b, and a comparator 45. The selector 41a outputs either X1 or the output of the adder 43a, and outputs the value input from the adder 43a after first outputting X1.

加算器43aは、セレクタ41aからの出力と、出力データにおける出力短冊幅とを加算し、アドレス生成回路10及び比較器45に出力する。比較器45は、出力データ水平幅と加算器43aからの出力を比較し、加算器43aから出力された値が出力水平幅以上の場合、処理が終了したことを示す信号を出力する。   The adder 43 a adds the output from the selector 41 a and the output strip width in the output data, and outputs the result to the address generation circuit 10 and the comparator 45. The comparator 45 compares the output data horizontal width with the output from the adder 43a. If the value output from the adder 43a is equal to or larger than the output horizontal width, the comparator 45 outputs a signal indicating that the processing is completed.

一方、セレクタ41bは、X2又は加算器43bの出力のいずれか一方を出力するもので、最初にX2を出力した後は加算器43bから入力された値を出力する。   On the other hand, the selector 41b outputs either X2 or the output of the adder 43b, and outputs the value input from the adder 43b after first outputting X2.

加算器43bは、セレクタ41bからの出力と、入力データにおける入力ずらし量とを加算し、アドレス生成回路10に出力する。   The adder 43 b adds the output from the selector 41 b and the input shift amount in the input data, and outputs the result to the address generation circuit 10.

上述した出力幅カウンタ42を用いた転送処理の詳細について、図14のフローチャートを用いて説明する。図14に示される処理は、CPU20、アドレス生成回路10、及び出力幅カウンタ42で実行される処理である。   Details of the transfer process using the output width counter 42 will be described with reference to the flowchart of FIG. The process shown in FIG. 14 is a process executed by the CPU 20, the address generation circuit 10, and the output width counter 42.

まず、ステップ201で、CPU20は、DMAC14に画像情報を設定する。ここでの画像情報とは、ワークエリア先頭アドレス、入出力データの先頭座標、入出力データにおける短冊の水平幅のサイズ、入出力データでの1画素データサイズ、入力ずらし幅、及び出力データの短冊幅である。   First, in step 201, the CPU 20 sets image information in the DMAC 14. The image information here is the work area start address, the start coordinates of the input / output data, the horizontal width of the strip in the input / output data, the one pixel data size in the input / output data, the input shift width, and the strip of output data. Width.

さらにCPU20は、ステップ202で、短冊先頭座標(x、y)をアドレス生成回路10に設定する。次のステップ203で、アドレス生成回路10は、設定内容に基づき、図13を参照して説明したで説明したアドレス出力回路による演算により、入力データの座標(x、y)に対応する転送元アドレスと、出力データを記憶する座標(x、y)に対応する転送先アドレスとを求める。次にアドレス生成回路10は、ステップ204で、入出力データの先頭アドレスをDMAC14に通知することで、ステップ205でDMA転送が行われる。   Further, the CPU 20 sets the strip leading coordinates (x, y) in the address generation circuit 10 in step 202. In the next step 203, the address generation circuit 10 performs the transfer source address corresponding to the coordinates (x, y) of the input data by the calculation by the address output circuit described with reference to FIG. And a transfer destination address corresponding to the coordinates (x, y) for storing the output data. Next, the address generation circuit 10 notifies the DMAC 14 of the leading address of the input / output data in step 204, so that DMA transfer is performed in step 205.

入出力データの転送が終了すると、次の入力データを転送するために、ステップ206で、アドレス生成回路10は、入出力データにおけるX座標を1つ増分する。次に、アドレス生成回路10は、ステップ207で、増分したX座標が次の短冊の先頭のX座標から1を減算した値に一致するか否か判断する。この判断は、短冊の右端まで転送が終了したか否かを判断するためのものである。   When the transfer of the input / output data is completed, in order to transfer the next input data, in step 206, the address generation circuit 10 increments the X coordinate in the input / output data by one. Next, in step 207, the address generation circuit 10 determines whether or not the incremented X coordinate matches the value obtained by subtracting 1 from the top X coordinate of the next strip. This determination is for determining whether or not the transfer has been completed to the right end of the strip.

ステップ207で、アドレス生成回路10が否定判断した場合、再びステップ204の処理が実行される。アドレス生成回路10が肯定判断した場合、アドレス生成回路10は、ステップ208で入出力データにおけるY座標を1つ増分し、ステップ209でX座標を短冊の先頭のX座標とする。   If the address generation circuit 10 makes a negative determination in step 207, the process of step 204 is executed again. If the address generation circuit 10 makes an affirmative determination, the address generation circuit 10 increments the Y coordinate in the input / output data by one in step 208, and sets the X coordinate to the first X coordinate of the strip in step 209.

次に、アドレス生成回路10は、ステップ210で、SDRAM16に転送された出力データのY座標が垂直画像サイズに一致したかどうか判断する。ステップ210で、アドレス生成回路10が否定判断した場合、再びステップ203の処理が実行される。アドレス生成回路10が肯定判断した場合、出力幅カウンタ42は、ステップ211でX1に出力短冊幅を加えたものを改めてX1とし、X2に入力ずらし幅を加えたものを改めてX2とする。   Next, the address generation circuit 10 determines in step 210 whether the Y coordinate of the output data transferred to the SDRAM 16 matches the vertical image size. If the address generation circuit 10 makes a negative determination in step 210, the process of step 203 is executed again. When the address generation circuit 10 makes an affirmative determination, the output width counter 42 again sets X1 plus the output strip width to X1 in step 211, and X2 plus X2 plus the input shift width.

次に、出力幅カウンタ42は、ステップ212で出力データのサイズが出力データ水平幅サイズに一致したか否か判断する。この判断は、上述した比較器45により行われるもので、全ての出力データがSDRAM16に記憶されたかどうかの判断である。比較器45は、ステップ212で肯定判断するとCPU20に信号を出力するので、処理が終了する。   Next, the output width counter 42 determines in step 212 whether the size of the output data matches the output data horizontal width size. This determination is made by the comparator 45 described above, and is a determination of whether all output data has been stored in the SDRAM 16. If the affirmative determination is made in step 212, the comparator 45 outputs a signal to the CPU 20, and thus the processing ends.

一方、ステップ212で、比較器45が否定判断した場合、再びステップ202の処理が実行される。   On the other hand, if the comparator 45 makes a negative determination in step 212, the process of step 202 is executed again.

以上説明した図14における処理と、上述した図5で説明した処理とを比較すると、図5のステップ111及びステップ112はCPU20が処理しているが、これらの処理は、図14ではハードウェアであるアドレス生成回路10及び出力幅カウンタ42が実行するため、高速に処理を実行することが可能となる。   Comparing the processing in FIG. 14 described above with the processing described in FIG. 5 described above, the CPU 20 performs processing in step 111 and step 112 in FIG. 5, but these processing is performed by hardware in FIG. Since an address generation circuit 10 and an output width counter 42 execute, processing can be executed at high speed.

以上説明したように、本実施の形態では、画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記画像データを記憶可能な第1の記憶手段(SDRAM16)におけるメモリ空間でのアドレスとが1対1で対応づけられており、前記画像データの前記第1の記憶手段における先頭アドレスである第1の先頭アドレス、前記XY平面上での前記2次元画像の前記X軸方向に対するサイズである第1の幅サイズ、及び前記画像データにおける1画素分のサイズである第1の画素サイズの設定値に基づき、設定された座標から該座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成手段(アドレス生成回路10)と、前記第1の先頭アドレス、前記第1の幅サイズ、及び前記第1の画素サイズを前記第1のアドレス生成手段に対して設定する設定手段(CPU20)と、前記XY平面上で前記2次元画像が存在する座標を前記第1のアドレス生成手段に対して設定する座標設定手段(CPU20)と、前記第1のアドレス生成手段で生成されたアドレスから前記第1の画素サイズだけ前記第1の記憶手段に記憶された前記画像データを予め定められた信号処理を施す際に用いられる第2の記憶手段(内蔵バッファ12)に転送する転送手段(DMAC14)と、を有する。   As described above, in the present embodiment, the two-dimensional image indicated by the image data is an image on the XY plane, and the coordinates in the XY plane and the first storage means (SDRAM 16) capable of storing the image data are used. There is a one-to-one correspondence with an address in the memory space, a first head address that is a head address in the first storage means of the image data, and the two-dimensional image on the XY plane. Based on the set value of the first width size that is the size with respect to the X-axis direction and the first pixel size that is the size of one pixel in the image data, the memory space corresponding to the coordinates from the set coordinates First address generation means (address generation circuit 10) for generating the first address, the first head address, the first width size, and the first pixel size Setting means (CPU 20) for setting the first address generation means, and coordinate setting means (CPU 20) for setting the coordinates where the two-dimensional image exists on the XY plane for the first address generation means. ) And the first data used for performing predetermined signal processing on the image data stored in the first storage unit by the first pixel size from the address generated by the first address generation unit. Transfer means (DMAC 14) for transferring to two storage means (built-in buffer 12).

また、本実施の形態では、前記信号処理が施された画像データである処理済み画像データを前記第2の記憶手段(内蔵バッファ12)から前記第1の記憶手段(SDRAM16)に転送する際に、転送された前記処理済み画像データが記憶される前記第1の記憶手段における先頭アドレスである第2の先頭アドレス、前記XY平面上で前記処理済み画像データが示す2次元画像の前記X軸方向に対するサイズである第2の幅サイズ、及び前記処理済み画像データにおける1画素分のサイズである第2の画素サイズの設定値に基づき、設定された座標から該座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成手段(アドレス生成回路10)を更に有し、前記設定手段(CPU20)は、前記第2の先頭アドレス、前記第2の幅サイズ、及び前記第2の画素サイズを前記第2のアドレス生成手段に対して更に設定し、前記座標設定手段(CPU20)は、前記XY平面上で前記処理済み画像データが示す2次元画像が存在する座標を前記第2のアドレス生成手段に対して設定し、前記転送手段(DMAC14)は、前記第2のアドレス生成手段で生成されたアドレスから前記第2の画素サイズだけ前記第2の記憶手段に記憶された前記処理済み画像データを前記第1の記憶手段に転送する。   In the present embodiment, when the processed image data, which is the image data subjected to the signal processing, is transferred from the second storage means (built-in buffer 12) to the first storage means (SDRAM 16). A second start address that is a start address in the first storage means in which the transferred processed image data is stored, and the X-axis direction of the two-dimensional image indicated by the processed image data on the XY plane On the basis of a set value of a second width size that is a size for and a second pixel size that is a size of one pixel in the processed image data, in the memory space corresponding to the coordinates from the set coordinates Second address generation means (address generation circuit 10) for generating an address is further included, and the setting means (CPU 20) is configured to provide the second head address, the second address And the second pixel size are further set for the second address generation means, and the coordinate setting means (CPU 20) is configured to display the two-dimensional image indicated by the processed image data on the XY plane. Is set for the second address generation means, and the transfer means (DMAC 14) sets the second pixel size from the address generated by the second address generation means by the second pixel size. The processed image data stored in the storage unit is transferred to the first storage unit.

また、本実施の形態では、前記2次元画像をY軸と平行な線分により分割して得られた画像である分割画像(短冊)毎に前記画像データを前記第1の記憶手段(SDRAM16)から前記第2の記憶手段(内蔵バッファ12)に転送する場合、前記設定手段(CPU20)は、前記第1のアドレス生成手段に設定する前記第1の幅サイズを、前記分割画像の前記X軸方向に対するサイズとする一方、前記座標設定手段(CPU20又は出力幅カウンタ42)は、次に転送すべき分割画像が存在する場合、当該分割画像が存在する前記XY平面上の座標を前記第1のアドレス生成手段(アドレス生成回路10)に設定する。   In the present embodiment, the image data is stored in the first storage means (SDRAM 16) for each divided image (strip) that is an image obtained by dividing the two-dimensional image by a line segment parallel to the Y axis. When transferring from the first storage unit (internal buffer 12) to the second storage unit, the setting unit (CPU 20) sets the first width size set in the first address generation unit to the X axis of the divided image. On the other hand, the coordinate setting means (CPU 20 or output width counter 42), when there is a divided image to be transferred next, sets the coordinates on the XY plane where the divided image exists as the first size. It is set in the address generation means (address generation circuit 10).

更に、本実施の形態では、前記2次元画像をY軸と平行な線分により分割して得られた画像である分割画像(短冊)毎に前記処理済み画像データを前記第2の記憶手段(内蔵バッファ12)から前記第1の記憶手段(SDRAM16)に転送する場合、前記設定手段(CPU20)は、前記第2のアドレス生成手段に設定する前記第2の幅サイズを、前記分割画像の前記X軸方向に対するサイズとする一方、前記座標設定手段(CPU20又は出力幅カウンタ42)は、次に転送すべき分割画像が存在する場合、当該分割画像が存在する前記XY座標平面上の座標を前記第2のアドレス生成手段(アドレス生成回路10)に設定する。   Furthermore, in the present embodiment, the processed image data is stored in the second storage means (for each divided image (strip) that is an image obtained by dividing the two-dimensional image by a line segment parallel to the Y axis. When transferring from the built-in buffer 12) to the first storage means (SDRAM 16), the setting means (CPU 20) sets the second width size set in the second address generation means to the value of the divided image. On the other hand, the coordinate setting means (the CPU 20 or the output width counter 42) determines the coordinates on the XY coordinate plane where the divided image exists when there is a divided image to be transferred next, while the size is set in the X axis direction. The second address generation means (address generation circuit 10) is set.

一方、本実施の形態では、画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記画像データを記憶可能な第1の記憶手段(SDRAM16)におけるメモリ空間でのアドレスとが1対1で対応づけられており、前記画像データの前記第1の記憶手段における先頭アドレスである第1の先頭アドレス、前記XY平面上での前記2次元画像の前記X軸方向に対するサイズである第1の幅サイズ、及び前記画像データにおける1画素分のサイズである第1の画素サイズの設定値に基づき、設定された座標から該座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成手段(アドレス生成回路10)に対して、前記第1の先頭アドレス、前記第1の幅サイズ、及び前記第1の画素サイズを設定する設定段階(ステップ101)と、前記XY平面上で前記2次元画像が存在する座標を前記第1のアドレス生成手段に対して設定する座標設定段階(ステップ102)と、前記第1のアドレス生成手段で生成されたアドレスから前記第1の画素サイズだけ前記第1の記憶手段に記憶された前記画像データを予め定められた信号処理を施す際に用いられる第2の記憶手段に転送する転送段階(ステップ105)と、を有する。   On the other hand, in the present embodiment, the two-dimensional image indicated by the image data is an image on the XY plane, the coordinates on the XY plane, and the memory space in the first storage means (SDRAM 16) capable of storing the image data. 1-to-1 address is associated with the first start address that is the start address in the first storage means of the image data, and the X-axis direction of the two-dimensional image on the XY plane Based on the set value of the first width size that is the size and the first pixel size that is the size of one pixel in the image data, an address in the memory space corresponding to the coordinates is generated from the set coordinates The first head address, the first width size, and the first pixel size are set for first address generation means (address generation circuit 10) that performs A setting step (step 101), a coordinate setting step (step 102) for setting the coordinates where the two-dimensional image exists on the XY plane to the first address generation unit, and the first address generation unit A transfer step of transferring the image data stored in the first storage unit by the first pixel size from the address generated in step (2) to a second storage unit used when performing predetermined signal processing ( Step 105).

また、本実施の形態では、前記信号処理が施された画像データである処理済み画像データを前記第2の記憶手段(内蔵バッファ12)から前記第1の記憶手段(SDRAM16)に転送する際に、転送された前記処理済み画像データが記憶される前記第1の記憶手段における先頭アドレスである第2の先頭アドレス、前記XY平面上で前記処理済み画像データが示す2次元画像の前記X軸方向に対するサイズである第2の幅サイズ、及び前記処理済み画像データにおける1画素分のサイズである第2の画素サイズの設定値に基づき、設定された座標から該座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成手段(アドレス生成回路10)に対して、前記設定段階(ステップ101)では、前記第2の先頭アドレス、前記第2の幅サイズ、及び前記第2の画素サイズを更に設定し、前記座標設定段階(ステップ102)では、前記XY平面上で前記処理済み画像データが示す2次元画像が存在する座標を前記XY平面における座標として前記第2のアドレス生成手段に対して更に設定し、前記転送段階(ステップ105)では、前記第2のアドレス生成手段で生成されたアドレスから前記第2の画素サイズだけ前記第2の記憶手段に記憶された前記処理済み画像データを前記第1の記憶手段に転送する。   In the present embodiment, when the processed image data, which is the image data subjected to the signal processing, is transferred from the second storage means (built-in buffer 12) to the first storage means (SDRAM 16). A second start address that is a start address in the first storage means in which the transferred processed image data is stored, and the X-axis direction of the two-dimensional image indicated by the processed image data on the XY plane On the basis of a set value of a second width size that is a size for and a second pixel size that is a size of one pixel in the processed image data, in the memory space corresponding to the coordinates from the set coordinates For the second address generation means (address generation circuit 10) for generating an address, in the setting step (step 101), the second head address, the previous address A second width size and the second pixel size are further set, and in the coordinate setting step (step 102), coordinates where the two-dimensional image indicated by the processed image data exists on the XY plane are set as the XY. The coordinates in the plane are further set for the second address generation means, and in the transfer step (step 105), the second pixel size is set by the second pixel size from the address generated by the second address generation means. The processed image data stored in the storage means is transferred to the first storage means.

また、請求項7の発明は、前記2次元画像をY軸と平行な線分により分割して得られた画像である分割画像(短冊)毎に前記画像データを前記第1の記憶手段(SDRAM16)から前記第2の記憶手段(内蔵バッファ12)に転送する場合、前記設定段階(ステップ101)では、前記第1のアドレス生成手段に設定する前記第1の幅サイズを、前記分割画像の前記X軸方向に対するサイズとし、前記座標設定段階(ステップ102)では、次に転送すべき分割画像が存在する場合、当該分割画像が存在する前記XY平面上の座標を前記第1のアドレス生成手段に設定する。   According to a seventh aspect of the present invention, the image data is stored in the first storage means (SDRAM 16) for each divided image (strip) which is an image obtained by dividing the two-dimensional image by a line segment parallel to the Y axis. ) To the second storage means (internal buffer 12), in the setting step (step 101), the first width size set in the first address generation means is set to the first width size of the divided image. In the coordinate setting step (step 102), when there is a divided image to be transferred next, the coordinates on the XY plane where the divided image exists are stored in the first address generation unit. Set.

更に、本実施の形態では、前記2次元画像をY軸と平行な線分により分割して得られた画像である分割画像(短冊)毎に前記処理済み画像データを前記第2の記憶手段(内蔵バッファ)から前記第1の記憶手段(SDRAM16)に転送する場合、前記設定段階(ステップ101)では、前記第2のアドレス生成手段(アドレス生成回路10)に設定する前記第2の幅サイズを、前記分割画像の前記X軸方向に対するサイズとし、前記座標設定段階(ステップ102)では、次に転送すべき分割画像が存在する場合、当該分割画像が存在する前記XY座標平面上の座標を前記第2のアドレス生成手段に設定する。   Furthermore, in the present embodiment, the processed image data is stored in the second storage means (for each divided image (strip) that is an image obtained by dividing the two-dimensional image by a line segment parallel to the Y axis. When transferring from the built-in buffer) to the first storage means (SDRAM 16), in the setting step (step 101), the second width size set in the second address generation means (address generation circuit 10) is set. In the coordinate setting step (step 102), when there is a divided image to be transferred next, the coordinates on the XY coordinate plane where the divided image exists are set as the size of the divided image in the X-axis direction. Set to the second address generation means.

実施の形態に係る画像処理装置のハードウェア構成(その1)を示す図である。It is a figure which shows the hardware constitutions (the 1) of the image processing apparatus which concerns on embodiment. アドレス出力回路(その1)を示す図である。It is a figure which shows an address output circuit (the 1). 実施の形態に係るXY座標を示す図である。It is a figure which shows XY coordinate which concerns on embodiment. 画像データの転送を分割した短冊ごとに行う様子を示す図である。It is a figure which shows a mode that the transfer of image data is performed for every divided strip. 転送処理を示すフローチャート(その1)である。It is a flowchart (the 1) which shows a transfer process. アドレス生成回路、DMAC、及び内蔵バッファにより行われるハンドシェイクを示す図である。It is a figure which shows the handshake performed by an address generation circuit, DMAC, and a built-in buffer. のりしろを示す図である。It is a figure which shows the margin. ワークエリアを用いた場合の座標における画像を示す図である。It is a figure which shows the image in the coordinate at the time of using a work area. アドレス出力回路(その2)を示す図である。It is a figure which shows an address output circuit (the 2). 出力データを転送が終了した入力データに上書きする場合のメモリマップを示す図である。It is a figure which shows a memory map in case output data is overwritten on the input data which complete | finished transfer. 出力データを入力データに上書きしない場合のメモリマップを示す図である。It is a figure which shows a memory map when not overwriting output data with input data. 実施の形態に係る画像処理装置のハードウェア構成(その2)を示す図である。It is a figure which shows the hardware constitutions (the 2) of the image processing apparatus which concerns on embodiment. 出力幅カウンタを示す図である。It is a figure which shows an output width counter. 転送処理を示すフローチャート(その2)である。It is a flowchart (the 2) which shows a transfer process. 従来技術におけるデータ転送に係るハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions which concern on the data transfer in a prior art. 従来技術における短冊毎に画像データを転送する様子を示す図である。It is a figure which shows a mode that image data is transferred for every strip in a prior art.

符号の説明Explanation of symbols

10 アドレス生成回路
12 内蔵バッファ
14 DMAC
18 信号処理回路
20 CPU
30 ワークエリア
42 出力幅カウンタ
10 Address generation circuit 12 Built-in buffer 14 DMAC
18 Signal processing circuit 20 CPU
30 Work area 42 Output width counter

Claims (2)

入力画像データ及び出力画像データを記憶可能な作業領域として機能するとともに、前記入力画像データ及び前記出力画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記作業領域におけるメモリ空間でのアドレスとが1対1で対応づけられた第1の記憶手段と、
前記入力画像データ予め定められた信号処理を施す際に用いられる第2の記憶手段と、
前記入力画像データが示す2次元画像を前記作業領域においてX方向に複数の2次元画像に分割する分割手段と、
前記分割して得られた2次元分割画像の画像データの画素に対応した前記作業領域における位置を示す第1の位置座標を設定する第1の設定手段と、
前記作業領域の第1の先頭アドレス、前記2次元分割画像のX方向の幅サイズ、前記2次元分割画像の画像データにおける1画素分の画素サイズ、及び前記2次元分割画像の先頭座標に基づき、前記設定された第1の位置座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成手段と、
前記第1のアドレス生成手段で生成されたアドレスにしたがって、前記第1の記憶手段に記憶された前記入力画像データを前記2次元分割画像毎に前記第2の記憶手段に転送する第1の転送手段と、
前記第2の記憶手段に転送された前記2次元分割画像の画像データに対して前記信号処理を施す信号処理手段と、
前記信号処理が施された画像データの画素に対応した前記作業領域における位置を示す第2の位置座標を設定する第2の設定手段と、
前記作業領域の第2の先頭アドレス、前記信号処理が施された画像データが示す2次元画像のX方向の幅サイズ、前記信号処理が施された画像データにおける1画素分の画素サイズ、及び前記信号処理が施された画像データが示す2次元画像の先頭座標に基づき、前記設定された第2の位置座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成手段と、
前記第2のアドレス生成手段で生成されたアドレスにしたがって、前記信号処理が施された画像データを前記出力画像データとして前記第2の記憶手段から前記第1の記憶手段に転送するとともに、該転送の際、前記第2の記憶手段に転送された最後の入力画像データの次に該第2の記憶手段に転送される入力画像データと、前記信号処理が施され前記第1の記憶手段に転送される出力画像データとが前記作業領域において重ならないよう、該次に転送される入力画像データを前記作業領域においてX方向にずらし、該ずらした跡領域に該信号処理が施された出力画像データを上書きする第2の転送手段と、
を備える画像処理装置。
While functioning as a work area capable of storing input image data and output image data, the two-dimensional image indicated by the input image data and the output image data is an image on the XY plane, the coordinates on the XY plane, and the work area First storage means in which the addresses in the memory space are associated one-to-one ;
Second storage means for use in performing a predetermined signal processing on the input image data,
Dividing means for dividing the two-dimensional image indicated by the input image data into a plurality of two-dimensional images in the X direction in the work area;
First setting means for setting first position coordinates indicating positions in the work area corresponding to pixels of image data of the two-dimensional divided image obtained by the division;
The first head address of the working area, on the basis of the start coordinates of the X-direction width size of the two-dimensional image segment pixel size of one pixel in the image data of the two-dimensional image segment and the two-dimensional image segment First address generation means for generating an address in the memory space corresponding to the set first position coordinate;
First transfer for transferring the input image data stored in the first storage means to the second storage means for each of the two-dimensionally divided images according to the address generated by the first address generation means. Means,
Signal processing means for performing the signal processing on the image data of the two-dimensionally divided image transferred to the second storage means;
Second setting means for setting a second position coordinate indicating a position in the work area corresponding to a pixel of the image data subjected to the signal processing;
A second head address of the work area, a width size in the X direction of the two-dimensional image indicated by the image data subjected to the signal processing, a pixel size corresponding to one pixel in the image data subjected to the signal processing, and Second address generation means for generating an address in the memory space corresponding to the set second position coordinate based on the leading coordinates of the two-dimensional image indicated by the image data subjected to signal processing;
According to the address generated by the second address generation means, the image data subjected to the signal processing is transferred as the output image data from the second storage means to the first storage means, and the transfer In this case, the input image data transferred to the second storage means next to the last input image data transferred to the second storage means, and the signal processing is performed and transferred to the first storage means Output image data obtained by shifting the input image data to be transferred next in the X direction in the work area and performing the signal processing on the shifted trace area so that the output image data does not overlap in the work area. A second transfer means for overwriting,
An image processing apparatus comprising:
入力画像データ及び出力画像データを記憶可能な作業領域として機能するとともに、前記入力画像データ及び前記出力画像データが示す2次元画像をXY平面上の画像とし、該XY平面における座標と、前記作業領域におけるメモリ空間でのアドレスとが1対1で対応づけられた第1の記憶手段を準備する段階と、
前記入力画像データ予め定められた信号処理を施す際に用いられる第2の記憶手段を準備する段階と、
前記入力画像データが示す2次元画像を前記作業領域においてX方向に複数の2次元画像に分割する分割段階と、
前記分割して得られた2次元分割画像の画像データの画素に対応した前記作業領域における位置を示す第1の位置座標を設定する第1の設定段階と、
前記作業領域の第1の先頭アドレス、前記2次元分割画像のX方向の幅サイズ、前記2次元分割画像の画像データにおける1画素分の画素サイズ、及び前記2次元分割画像の先頭座標に基づき、前記設定された第1の位置座標に対応する前記メモリ空間でのアドレスを生成する第1のアドレス生成段階と、
前記第1のアドレス生成段階で生成されたアドレスにしたがって、前記第1の記憶手段に記憶された前記入力画像データを前記2次元分割画像毎に前記第2の記憶手段に転送する第1の転送段階と、
前記第2の記憶手段に転送された前記2次元分割画像の画像データに対して前記信号処理を施す信号処理段階と、
前記信号処理が施された画像データの画素に対応した前記作業領域における位置を示す第2の位置座標を設定する第2の設定段階と、
前記作業領域の第2の先頭アドレス、前記信号処理が施された画像データが示す2次元画像のX方向の幅サイズ、前記信号処理が施された画像データにおける1画素分の画素サイズ、及び前記信号処理が施された画像データが示す2次元画像の先頭座標に基づき、前記設定された第2の位置座標に対応する前記メモリ空間でのアドレスを生成する第2のアドレス生成段階と、
前記第2のアドレス生成段階で生成されたアドレスにしたがって、前記信号処理が施された画像データを前記出力画像データとして前記第2の記憶手段から前記第1の記憶手段に転送するとともに、該転送の際、前記第2の記憶手段に転送された最後の入力画像データの次に該第2の記憶手段に転送される入力画像データと、前記信号処理が施され前記第1の記憶手段に転送される出力画像データとが前記作業領域において重ならないよう、該次に転送される入力画像データを前記作業領域においてX方向にずらし、該ずらした跡領域に該信号処理が施された出力画像データを上書きする第2の転送段階と、
を備える画像処理方法。
While functioning as a work area capable of storing input image data and output image data, the two-dimensional image indicated by the input image data and the output image data is an image on the XY plane, the coordinates on the XY plane, and the work area Preparing a first storage means having a one-to-one correspondence with an address in a memory space in
Preparing a second storage means used when applying predetermined signal processing to the input image data,
A division step of dividing the two-dimensional image indicated by the input image data into a plurality of two-dimensional images in the X direction in the work area;
A first setting step of setting a first position coordinate indicating a position in the work area corresponding to a pixel of image data of the two-dimensional divided image obtained by the division;
The first head address of the working area, on the basis of the start coordinates of the X-direction width size of the two-dimensional image segment pixel size of one pixel in the image data of the two-dimensional image segment and the two-dimensional image segment A first address generation step of generating an address in the memory space corresponding to the set first position coordinate;
First transfer for transferring the input image data stored in the first storage means to the second storage means for each of the two-dimensionally divided images according to the address generated in the first address generation step. Stages,
A signal processing stage for performing the signal processing on the image data of the two-dimensionally divided image transferred to the second storage means;
A second setting step of setting a second position coordinate indicating a position in the work area corresponding to a pixel of the image data subjected to the signal processing;
A second head address of the work area, a width size in the X direction of the two-dimensional image indicated by the image data subjected to the signal processing, a pixel size corresponding to one pixel in the image data subjected to the signal processing, and A second address generation step of generating an address in the memory space corresponding to the set second position coordinate based on the leading coordinates of the two-dimensional image indicated by the image data subjected to signal processing;
According to the address generated in the second address generation stage, the image data subjected to the signal processing is transferred as the output image data from the second storage means to the first storage means, and the transfer In this case, the input image data transferred to the second storage means next to the last input image data transferred to the second storage means, and the signal processing is performed and transferred to the first storage means Output image data obtained by shifting the input image data to be transferred next in the X direction in the work area and performing the signal processing on the shifted trace area so that the output image data does not overlap in the work area. A second transfer stage overwriting
An image processing method comprising:
JP2006237756A 2006-09-01 2006-09-01 Image processing apparatus and image processing method Expired - Fee Related JP4790545B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006237756A JP4790545B2 (en) 2006-09-01 2006-09-01 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006237756A JP4790545B2 (en) 2006-09-01 2006-09-01 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2008059452A JP2008059452A (en) 2008-03-13
JP4790545B2 true JP4790545B2 (en) 2011-10-12

Family

ID=39242078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006237756A Expired - Fee Related JP4790545B2 (en) 2006-09-01 2006-09-01 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4790545B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469433B2 (en) * 2009-10-30 2014-04-16 株式会社キーエンス Image processing apparatus and image processing method
JP6442867B2 (en) 2014-05-14 2018-12-26 株式会社ソシオネクスト Image processing apparatus, imaging apparatus, and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304624A (en) * 2001-04-05 2002-10-18 Canon Inc Filter processor and imaging device
JP3781634B2 (en) * 2001-04-26 2006-05-31 シャープ株式会社 Image processing apparatus, image processing method, and portable video device
JP2004220584A (en) * 2002-12-26 2004-08-05 Canon Inc Image processing device and image processing method

Also Published As

Publication number Publication date
JP2008059452A (en) 2008-03-13

Similar Documents

Publication Publication Date Title
JP5593060B2 (en) Image processing apparatus and method of operating image processing apparatus
JP2002328881A (en) Image processor, image processing method and portable video equipment
WO2022267361A1 (en) Image processing assembly, chip, image processing method and storage medium
JP5706754B2 (en) Data processing apparatus and data processing method
JP2013073508A (en) Data processing device, data processing method, and program
JP4790545B2 (en) Image processing apparatus and image processing method
JP2006202211A (en) Image drawing device and image drawing method
JP2010176547A (en) Controller included in image processor, control method and control processing program
JP2006301724A (en) Memory controller, image processing controller and electronic equipment
JP2004159330A (en) Image processing apparatus and method for conversion between image data of raster scan order and image data of block scan order
JP5327482B2 (en) Image processing apparatus and image processing method
JP4970378B2 (en) Memory controller and image processing apparatus
JP5040285B2 (en) Address generation circuit, buffer circuit, information processing apparatus, and imaging system
JPWO2008105494A1 (en) DMA transfer apparatus and method
JP5583563B2 (en) Data processing device
JP6099418B2 (en) Semiconductor device and data processing method thereof
JP5501298B2 (en) Image processing device
JP6241670B2 (en) Image processing device
JP5606341B2 (en) Image processing apparatus and image processing system
JP4835872B2 (en) Image processing device
JP2012089947A (en) Image reduction system
JP2007087181A (en) Data transfer unit
JP2011134085A (en) Image processor
JP2005227479A (en) Image processor, image processing method, and program having image processing method executed by computer
JP2009090543A (en) Information processor, printing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees