JP4854042B2 - Image generation method, image generation apparatus, and image generation program - Google Patents

Image generation method, image generation apparatus, and image generation program Download PDF

Info

Publication number
JP4854042B2
JP4854042B2 JP2008208018A JP2008208018A JP4854042B2 JP 4854042 B2 JP4854042 B2 JP 4854042B2 JP 2008208018 A JP2008208018 A JP 2008208018A JP 2008208018 A JP2008208018 A JP 2008208018A JP 4854042 B2 JP4854042 B2 JP 4854042B2
Authority
JP
Japan
Prior art keywords
image
pixel
autocorrelation coefficient
calculation
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008208018A
Other languages
Japanese (ja)
Other versions
JP2010044576A (en
Inventor
正寛 大峯
敏夫 古閑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Engineering Ltd
Original Assignee
NEC Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Engineering Ltd filed Critical NEC Engineering Ltd
Priority to JP2008208018A priority Critical patent/JP4854042B2/en
Publication of JP2010044576A publication Critical patent/JP2010044576A/en
Application granted granted Critical
Publication of JP4854042B2 publication Critical patent/JP4854042B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、ディジタル画像からエッジを検出する方法に関し、特に、複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する、画像生成方法および画像生成装置に関する。   The present invention relates to a method for detecting an edge from a digital image, and more particularly to an image generation method and an image generation apparatus that generate a second image including edge information from a first image composed of a plurality of pixels.

ディジタル画像からエッジを検出する方法としては、画像中のある画素とその近傍画素、あるいは近接画素との差分値を用いる方法や、ラプラシアンフィルタ等のフィルタを用いた方法が知られている。   As a method for detecting an edge from a digital image, a method using a difference value between a certain pixel in the image and its neighboring pixels or neighboring pixels, and a method using a filter such as a Laplacian filter are known.

このようなエッジ検出方法には、画像中のノイズによる影響を強く受けるという問題がある。この問題点を解決するため方法として、ノイズ成分を除去する帯域制限フィルタや、ガウシアンフィルタ等の平滑化処理を行うことでノイズの影響を低減する方法が知られている。   Such an edge detection method has a problem that it is strongly influenced by noise in the image. As a method for solving this problem, a method of reducing the influence of noise by performing a smoothing process such as a band limiting filter for removing noise components or a Gaussian filter is known.

例えば、特開平8−315157号公報(特許文献1)では、低域通過フィルタを用いて入力される画像に含まれるノイズを除去し、ノイズの除去された画像のエッジを検出する、発明を記載している。エッジの形状を保存しながらノイズを除去できるので、有効なエッジを適切に抽出することができる。   For example, Japanese Patent Application Laid-Open No. 8-315157 (Patent Document 1) describes an invention in which noise included in an image input using a low-pass filter is removed and an edge of the image from which noise is removed is detected. is doing. Since noise can be removed while preserving the shape of the edge, effective edges can be extracted appropriately.

また、ラプラシアンフィルタによるエッジ検出やガウシアンフィルタによる平滑化については、非特許文献1等に公知技術として記載されている。   Further, edge detection using a Laplacian filter and smoothing using a Gaussian filter are described as non-patent documents 1 as well-known techniques.

また、画像によって、検出したいエッジの強度や、除去したいノイズの強度は異なる。その為、ノイズの影響を排除しつつ所望のエッジを検出するためには、ノイズ除去処理におけるパラメータとエッジ検出処理のパラメータとをそれぞれ適切に設定する必要がある。ここでいうパラメータとは、例えば、フィルタの係数を指す。   Further, the intensity of the edge to be detected and the intensity of the noise to be removed differ depending on the image. Therefore, in order to detect a desired edge while eliminating the influence of noise, it is necessary to appropriately set a parameter for noise removal processing and a parameter for edge detection processing. The parameter here refers to, for example, a filter coefficient.

本発明に関連する他の先行技術文献も種々知られている。例えば、特開2000−32402号公報(特許文献2)は、領域切り出し部と特徴量抽出部とを含む画像変換装置を開示している。領域切り出し部は、入力された画像データの中から、所定の画素データを切り出す。特徴量抽出部は、入力された各画像データに対する自己相関係数を局所毎に、算出する。この自己相関係数を画像データのぼけ量を表す特徴量の尺度に利用している。特徴量抽出部では、2個の自己相関係数を算出している。また、特徴量抽出部は、正規化された自己相関係数(傾斜量)を判定し、対応するコードを出力する。   Various other prior art documents related to the present invention are also known. For example, Japanese Patent Laying-Open No. 2000-32402 (Patent Document 2) discloses an image conversion apparatus including an area cutout unit and a feature amount extraction unit. The area cutout unit cuts out predetermined pixel data from the input image data. The feature amount extraction unit calculates an autocorrelation coefficient for each input image data for each local area. This autocorrelation coefficient is used as a measure of the feature amount representing the blur amount of the image data. The feature quantity extraction unit calculates two autocorrelation coefficients. In addition, the feature amount extraction unit determines a normalized autocorrelation coefficient (inclination amount) and outputs a corresponding code.

特開2005−190400号公報(特許文献3)は、エッジ算出部を含む顔画像検出システムを開示している。顔画像検出システムでは、先ず検出対象となる領域を決定し、検出対象領域を所定のサイズに正規化し、正規化した領域のエッジ強度を各画素について求めている。正規化した領域内を、自己相関係数に基づいてブロック化している(複数のブロックに分割している)。   Japanese Patent Laying-Open No. 2005-190400 (Patent Document 3) discloses a face image detection system including an edge calculation unit. In the face image detection system, first, a detection target area is determined, the detection target area is normalized to a predetermined size, and the edge strength of the normalized area is obtained for each pixel. The normalized area is blocked based on the autocorrelation coefficient (divided into a plurality of blocks).

特開2008−15814号公報(特許文献4)は、3次元特徴抽出部を含む画像解析装置を開示している。3次元特徴抽出部は、入力された画像データから特徴ベクトルを算出する。特徴ベクトルの算出方法として、立体高次局所自己相関を用いている。局所領域を参照点の周辺3×3×3の領域に限定している。   Japanese Patent Laying-Open No. 2008-15814 (Patent Document 4) discloses an image analysis apparatus including a three-dimensional feature extraction unit. The three-dimensional feature extraction unit calculates a feature vector from the input image data. As a method for calculating a feature vector, a cubic higher-order local autocorrelation is used. The local area is limited to a 3 × 3 × 3 area around the reference point.

特開平8−315157号公報(図1、段落0007、0015)JP-A-8-315157 (FIG. 1, paragraphs 0007 and 0015) 特開2000−32402号公報(図1、図4、段落0017〜0023)JP 2000-32402 A (FIG. 1, FIG. 4, paragraphs 0017 to 0023) 特開2005−190400号公報(図1、図3、段落0028〜0030、0042〜0044)JP-A-2005-190400 (FIGS. 1 and 3, paragraphs 0028 to 0030 and 0042 to 0044) 特開2008−15814号公報(図1、図9、段落0061〜0062)JP 2008-15814 A (FIG. 1, FIG. 9, paragraphs 0061 to 0062) 末松良一、山田宏尚 共著、「画像処理工学」、コロナ社、P100〜103、P96〜97Ryoichi Suematsu and Hirohisa Yamada, “Image Processing Engineering”, Corona, P100-103, P96-97

しかしながら、上記非特許文献1記載の公知技術によるエッジ検出方法や、上記特許文献1記載の方法では、ノイズ除去の処理とエッジ検出の処理との両方の処理が必要となる。その結果、ノイズの影響を排除しつつ所望のエッジを検出するために設定すべきパラメータが多いという問題点がある。また、検出したいエッジの方向が横、縦のいずれか一方である場合には、それぞれの場合に応じて適切な設定パラメータを用いる必要がある。   However, the edge detection method based on the known technique described in Non-Patent Document 1 and the method described in Patent Document 1 require both noise removal processing and edge detection processing. As a result, there is a problem that there are many parameters to be set in order to detect a desired edge while eliminating the influence of noise. Further, when the edge direction to be detected is either horizontal or vertical, it is necessary to use an appropriate setting parameter depending on each case.

前述した特許文献2は、第1の画像信号を、その第1の画像信号より画質改善された信号である第2の画像信号に変換する画像変換装置を開示しているに過ぎない。また特許文献2では、入力された各画像データに対する自己相関係数を局所的に算出しているが、その算出した自己相関係数を画像データのぼけ量を表す特徴量の尺度に利用しているだけである。   Patent Document 2 described above merely discloses an image conversion apparatus that converts a first image signal into a second image signal that is a signal whose image quality is improved from that of the first image signal. In Patent Document 2, the autocorrelation coefficient for each input image data is calculated locally. The calculated autocorrelation coefficient is used as a measure of the feature amount representing the blur amount of the image data. There is only.

特許文献3は、正規化したエッジの強度を各画素について求め、自己相関係数に基づいてブロック化する技術的思想を開示しているに過ぎない。換言すれば、特許文献3では、ブロックの大きさを自己相関係数に基づいて決定している。   Patent Document 3 merely discloses a technical idea of obtaining normalized edge strength for each pixel and forming a block based on the autocorrelation coefficient. In other words, in Patent Document 3, the block size is determined based on the autocorrelation coefficient.

特許文献4は、特徴ベクトルを立体高次局所自己相関を用いて算出する技術的思想を開示している。   Patent Document 4 discloses a technical idea of calculating a feature vector using a cubic higher-order local autocorrelation.

とにかく、特許文献1〜4や非特許文献1のいずれも、自己相関係数を用いてエッジを検出することについては何ら開示せず、示唆する記載もない。   In any case, none of Patent Documents 1 to 4 and Non-Patent Document 1 disclose or suggest any detection of an edge using an autocorrelation coefficient.

したがって、本発明の解決課題は、画像のノイズ除去処理を前もって行うことなく、画像中からエッジを検出する方法を提供することにある。   Therefore, a problem to be solved by the present invention is to provide a method for detecting an edge from an image without performing image noise removal processing in advance.

本発明の他の解決課題は、少ないパラメータ設定により、画像中からエッジを検出する方法を提供することにある。   Another object of the present invention is to provide a method for detecting an edge from an image with a small number of parameter settings.

本発明の第1の態様は、複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する方法であって、前記第1の画像から注目画素を順次に選択するステップと、該選択した注目画素を含む小領域を抽出するステップと、前記小領域内の画素を用いて前記注目画素に対する少なくとも1個の局所自己相関係数を算出するステップと、前記選択するステップ、前記抽出するステップ、および前記算出するステップを繰り返し実行させるステップと、該繰り返し実行ステップによって得られる、前記第1の画像に対する局所自己相関係数群を用いて前記第2の画像を生成するステップと、を含む画像生成方法。   A first aspect of the present invention is a method for generating a second image including edge information from a first image composed of a plurality of pixels, the step of sequentially selecting a pixel of interest from the first image Extracting a small region including the selected pixel of interest; calculating at least one local autocorrelation coefficient for the pixel of interest using pixels in the small region; and selecting The step of repeatedly executing the step of extracting and the step of calculating; and the step of generating the second image using a local autocorrelation coefficient group for the first image obtained by the step of repeatedly executing; And an image generation method.

本発明の第2の態様は、複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する画像生成装置であって、前記第1の画像に対して、該第1の画像中から選択した注目画素に対し、当該注目画素を含む小領域を抽出する小領域抽出手段と、該小領域内の画素を用いて前記注目画素に対する局所自己相関係数を少なくとも1個算出する自己相関係数算出手段と、あらかじめ定められた順序で前記第1の画像中でまだ注目画素に選ばれていない画素から新たな注目画素を選び、該選択した新たな注目画素に対して前記小領域抽出手段による小領域抽出と前記自己相関係数算出手段による局所自己相関係数算出との繰り返し実行を指示する実行指示手段と、該繰り返し実行により得られた前記第1の画像に対する局所自己相関係数群を用いて前記第2の画像を生成する画像変換手段と、を具備する画像生成装置。   According to a second aspect of the present invention, there is provided an image generation apparatus that generates a second image including edge information from a first image composed of a plurality of pixels, wherein the first image is generated with respect to the first image. For a target pixel selected from the image, a small region extraction unit that extracts a small region including the target pixel and at least one local autocorrelation coefficient for the target pixel is calculated using the pixels in the small region Autocorrelation coefficient calculating means for selecting a new pixel of interest from pixels that have not yet been selected as the pixel of interest in the first image in a predetermined order, and for the selected new pixel of interest, Execution instruction means for instructing repeated execution of small area extraction by the small area extraction means and local autocorrelation coefficient calculation by the autocorrelation coefficient calculation means; and local self for the first image obtained by the repeated execution Relationship Image generating apparatus comprising an image converting means for generating the second image using the group.

本発明の第3の態様は、複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成するコンピュータに、前記第1の画像から注目画素を順次に選択する手順と、該選択した注目画素を含む小領域を抽出する手順と、前記小領域内の画素を用いて前記注目画素に対する少なくとも1個の局所自己相関係数を算出する手順と、前記選択する手順、前記抽出する手順、および前記算出する手順を繰り返し実行させる手順と、該繰り返し実行手順によって得られる、前記第1の画像に対する局所自己相関係数群を用いて前記第2の画像を生成する手順と、
を実行させるための画像生成プログラム。
According to a third aspect of the present invention, a computer that generates a second image including edge information from a first image including a plurality of pixels, and sequentially selecting a target pixel from the first image; A procedure for extracting a small region including the selected pixel of interest, a procedure for calculating at least one local autocorrelation coefficient for the pixel of interest using a pixel in the small region, the procedure for selecting, and the extraction A procedure for repeatedly executing the calculating procedure, a procedure for generating the second image using a local autocorrelation coefficient group for the first image obtained by the repeated execution procedure,
An image generation program for executing

本発明のエッジ検出方法は、まず最初に第1の画像中の画素に対して注目画素を含む小領域内に限定した範囲での局所自己相関係数を繰り返し算出し、次に繰り返し算出した局所自己相関係数群を用いて第2の画像(エッジ検出画像)を生成する。このとき、局所自己相関係数の演算によりエッジの検出と合わせて領域内の平滑化処理も行われる。よって、領域内の自己相関係数の算出の処理のみによって、ノイズを除去するための平滑化処理と、エッジ検出処理とを同時に実現できる。   In the edge detection method of the present invention, first, the local autocorrelation coefficient in a range limited to a small region including the pixel of interest is first calculated with respect to the pixels in the first image, and then the repeatedly calculated local autocorrelation coefficient is calculated. A second image (edge detection image) is generated using the autocorrelation coefficient group. At this time, smoothing processing within the region is also performed together with edge detection by calculating the local autocorrelation coefficient. Therefore, the smoothing process for removing noise and the edge detection process can be realized simultaneously only by the process of calculating the autocorrelation coefficient in the region.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[第1の実施形態]
図1を参照して、本発明の第1の実施形態に係る画像生成装置10について説明する。画像生成装置10は、複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する装置である。
[First Embodiment]
An image generation apparatus 10 according to the first embodiment of the present invention will be described with reference to FIG. The image generation device 10 is a device that generates a second image including edge information from a first image composed of a plurality of pixels.

図示の画像生成装置10は、ディジタル画像入力部12と、エッジ検出対象領域設定部14と、繰返実行支持部16と、小領域抽出部18と、計算対象領域設定部20と、局所自己相関係数算出部22と、係数記憶部24と、全画素完了判定部26と、エッジ画像生成部28と、エッジ画像出力部30とから構成されている。   The illustrated image generating apparatus 10 includes a digital image input unit 12, an edge detection target region setting unit 14, a repeated execution support unit 16, a small region extraction unit 18, a calculation target region setting unit 20, a local self-phase. The relation number calculation unit 22, the coefficient storage unit 24, the all pixel completion determination unit 26, the edge image generation unit 28, and the edge image output unit 30 are configured.

ディジタル画像入力部12は、入力画像の入力を行い、ディジタル画像信号(a)を出力する。エッジ検出対象領域設定部14は、ディジタル画像信号(a)を入力して、ディジタル画像信号(a)の全体または一部からエッジ検出の実施対象とする領域を選定して得られる、第1の画像(b)を生成する。   The digital image input unit 12 inputs an input image and outputs a digital image signal (a). The edge detection target area setting unit 14 receives the digital image signal (a) and selects a first area to be subjected to edge detection from the whole or a part of the digital image signal (a). An image (b) is generated.

繰返実行指示部16は、第1の画像(b)に対し、処理の開始時においては任意の1画素を注目画素(d)として設定する。それ以降においては、繰返実行指示部16は、後述する全画素完了判定部26より供給される未完了判定(h)に基づいて、まだ注目画素に選ばれていない画素から新たな注目画素を選択して、注目画素(d)を設定する。とにかく、繰返実行指示部16は、第1の画像から注目画素を順次に選択する注目画素選択部として働く。   The repeat execution instructing unit 16 sets an arbitrary pixel as the target pixel (d) at the start of processing for the first image (b). Thereafter, the repeat execution instructing unit 16 selects a new target pixel from pixels that have not yet been selected as the target pixel based on the incomplete determination (h) supplied from the all-pixel completion determination unit 26 described later. Select and set the pixel of interest (d). In any case, the repeated execution instruction unit 16 functions as a target pixel selection unit that sequentially selects target pixels from the first image.

小領域抽出部18は、繰返実行指示部16より指定される注目画素(d)に基づき、この注目画素(d)を含む小領域(e)を抽出する。とにかく、小領域抽出部18は、繰返実行指示部(注目画素選択部)16で選択した注目画素(d)を含む小領域(e)を抽出する。   The small area extraction unit 18 extracts a small area (e) including the target pixel (d) based on the target pixel (d) specified by the repeated execution instruction unit 16. At any rate, the small area extraction unit 18 extracts the small area (e) including the target pixel (d) selected by the repeated execution instruction unit (target pixel selection unit) 16.

計算対象領域設定部20は、小領域抽出部18より供給される小領域(e)内に含まれる、後述する局所自己相関係数群(g)を算出するための1個以上の計算対象領域(f)を設定する。換言すれば、計算対象領域設定部20は、注目画素(d)を含む縦および横をそれぞれ独立して設定できる計算対象領域(f)を小領域(e)内に少なくとも1個設定する。   The calculation target area setting unit 20 includes one or more calculation target areas for calculating a local autocorrelation coefficient group (g), which will be described later, included in the small area (e) supplied from the small area extraction unit 18. Set (f). In other words, the calculation target area setting unit 20 sets at least one calculation target area (f) in the small area (e) that can set the vertical and horizontal including the target pixel (d) independently.

局所自己相関係数算出部22は、計算対象領域設定部20より供給される1個以上の計算対象領域(f)から、後述するようにして、局所自己相関係数群(g)を算出する。換言すれば、局所自己相関係数算出部22は、計算対象領域(f)中の画素を用いて当該計算対象領域(f)の各々に対応する局所自己相関係数(g)を少なくとも1個算出する。   The local autocorrelation coefficient calculation unit 22 calculates a local autocorrelation coefficient group (g) from one or more calculation target regions (f) supplied from the calculation target region setting unit 20 as described later. . In other words, the local autocorrelation coefficient calculation unit 22 uses at least one local autocorrelation coefficient (g) corresponding to each calculation target area (f) using the pixels in the calculation target area (f). calculate.

とにかく、計算対象領域設定部20と局所自己相関係数算出部22との組み合わせは、小領域(e)内の画素を用いて注目画素(d)に対する少なくとも1個の局所自己相関係数(g)を算出する算出部として働く。尚、この算出部は、後述するように、少なくとも1画素に変位量を設定して、同一注目画素(d)に対する局所自己相関係数(g)を少なくとも1個算出する。   In any case, the combination of the calculation target region setting unit 20 and the local autocorrelation coefficient calculation unit 22 uses at least one local autocorrelation coefficient (g) for the pixel of interest (d) using the pixels in the small region (e). ) To calculate. As will be described later, this calculation unit sets a displacement amount to at least one pixel and calculates at least one local autocorrelation coefficient (g) for the same target pixel (d).

係数記憶部24は、この局所自己相関係数算出部22より算出される1個以上の局所自己相関係数群(g)の値と、算出時の注目画素(d)の座標とを記録して、履歴情報(c)として出力する。   The coefficient storage unit 24 records the values of one or more local autocorrelation coefficient groups (g) calculated by the local autocorrelation coefficient calculation unit 22 and the coordinates of the target pixel (d) at the time of calculation. And output as history information (c).

全画素完了判定部26は、係数記憶部24より供給される履歴情報(c)に基づき、第1の画像(b)の中に、注目画素(d)として選択されていない画素が存在するかどうかを判定する。完了時には、全画素完了判定部26は、完了判定(k)をエッジ画像生成部28に供給する。未完了時には、全画素完了判定部26は、未完了判定(h)を上記繰返実行指示部16に供給する。   Based on the history information (c) supplied from the coefficient storage unit 24, the all-pixel completion determination unit 26 determines whether there is a pixel not selected as the target pixel (d) in the first image (b). Determine if. At completion, the all-pixel completion determination unit 26 supplies the completion determination (k) to the edge image generation unit 28. When not completed, the all-pixel completion determination unit 26 supplies the incomplete determination (h) to the repeat execution instruction unit 16.

とにかく、全画素完了判定部26は、繰返実行指示部16と協働して、繰返実行指示部(注目画素選択部)16、小領域抽出部18、および算出部(計算対象領域設定部20、局所自己相関係数算出部22)を繰り返し実行させる繰り返し実行部として働く。   In any case, the all-pixel completion determination unit 26 cooperates with the repetition execution instruction unit 16 to perform the repetition execution instruction unit (target pixel selection unit) 16, the small region extraction unit 18, and the calculation unit (calculation target region setting unit). 20, the local autocorrelation coefficient calculation unit 22) functions as an iterative execution unit that repeatedly executes.

エッジ画像生成部28は、全画素完了判定部26が完了判定(k)を出力した場合に、上記係数記憶部24に記録されている履歴情報(c)に基づき、全ての局所自己相関係数群(g)から、エッジ画像を示す第2の画像(l)を生成する。換言すれば、エッジ画像生成部28は、上記繰り返し実行部によって得られる、第1の画像(b)に対する局所自己相関係数群(c)を用いて第2の画像(l)を生成する。   The edge image generation unit 28 generates all local autocorrelation coefficients based on the history information (c) recorded in the coefficient storage unit 24 when the all-pixel completion determination unit 26 outputs the completion determination (k). From the group (g), a second image (l) indicating an edge image is generated. In other words, the edge image generation unit 28 generates the second image (l) using the local autocorrelation coefficient group (c) for the first image (b) obtained by the repetitive execution unit.

なお、後述するように、エッジ画像生成部28は、局所自己相関係数群(g)中の各自己相関係数がとる値を予め定められた範囲に収まるように変換し、同一注目画素(d)に対して変換した局所自己相関係数(g)が複数個得られる場合には、その中の1つを選択する。   As will be described later, the edge image generation unit 28 converts the values of each autocorrelation coefficient in the local autocorrelation coefficient group (g) so as to be within a predetermined range, and the same target pixel ( When a plurality of local autocorrelation coefficients (g) converted with respect to d) are obtained, one of them is selected.

エッジ画像出力部30は、エッジ画像生成部28において生成されたエッジ画像を示す第2の画像(l)を出力画像として出力する。   The edge image output unit 30 outputs the second image (l) indicating the edge image generated by the edge image generation unit 28 as an output image.

なお、図1に示した画像生成装置10を実現するハードウェア構成(コンピュータシステム)は、図示はしないが、入力装置と、出力装置と、情報処理装置とから構成され得る。入力装置は、ディジタル画像入力部12に相当する。出力装置は、エッジ画像出力部30に相当する。情報処理装置は、エッジ検出対象領域設定部14、繰返実行指示部16、小領域抽出部18、計算対象領域設定部20、局所自己相関係数算出部22、係数記憶部24、全画素完了判定部26、およびエッジ画像生成部28に相当する。入力装置は、例えば、イメージスキャナや、CCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像センサ等からなる。出力装置は、例えば、液晶ディスプレイやCRT(cathode ray tube)ディスプレイ等から成る。情報処理装置は、プログラムやデータを記憶する記憶部(ROMやRAM)と、この記憶部に格納されたプログラムに従って、入力装置、出力装置、および記憶部を制御するための処理部(CPU)とから成る。   The hardware configuration (computer system) that realizes the image generation apparatus 10 illustrated in FIG. 1 may be configured by an input device, an output device, and an information processing device, although not illustrated. The input device corresponds to the digital image input unit 12. The output device corresponds to the edge image output unit 30. The information processing apparatus includes an edge detection target region setting unit 14, a repeat execution instruction unit 16, a small region extraction unit 18, a calculation target region setting unit 20, a local autocorrelation coefficient calculation unit 22, a coefficient storage unit 24, and all pixel completion. It corresponds to the determination unit 26 and the edge image generation unit 28. The input device includes, for example, an image sensor, an imaging sensor such as a CCD (Charge Coupled Device) sensor, and a CMOS (Complementary Metal Oxide Semiconductor) sensor. The output device includes, for example, a liquid crystal display or a CRT (cathode ray tube) display. The information processing apparatus includes a storage unit (ROM or RAM) that stores programs and data, and a processing unit (CPU) that controls the input device, the output device, and the storage unit in accordance with the program stored in the storage unit. Consists of.

次に、各構成要素の動作について説明する。   Next, the operation of each component will be described.

ディジタル画像入力部12は、入力画像の入力を行い、ディジタル画像信号(a)を出力する。   The digital image input unit 12 inputs an input image and outputs a digital image signal (a).

図2は、エッジ検出対象領域設定部14の動作形態を示す図である。エッジ検出対象領域設定部14は、ディジタル画像信号(a)を入力して、ディジタル画像信号(a)の全体または一部からエッジ検出の実施対象とする領域を選定して得られる、第1の画像(b)を生成する。   FIG. 2 is a diagram illustrating an operation mode of the edge detection target region setting unit 14. The edge detection target area setting unit 14 receives the digital image signal (a) and selects a first area to be subjected to edge detection from the whole or a part of the digital image signal (a). An image (b) is generated.

処理対象領域を画像全体だけに限定せず、画面の一部に限定する方法も許容することにより、必要な領域のみエッジ検出を行う場合に効率良く適用が可能としている。   By allowing a method of limiting the processing target area not only to the entire image but also to a part of the screen, it is possible to efficiently apply the method when edge detection is performed only on a necessary area.

エッジ検出対象領域設定部14にて生成された第1の画像(b)に対して、処理の開始時において、繰返実行指示部16は、任意の1画素を注目画素(d)の初期注目画素として設定する。   At the start of processing for the first image (b) generated by the edge detection target area setting unit 14, the repeat execution instructing unit 16 sets any one pixel as the initial target of the target pixel (d). Set as pixel.

初期注目画素以降においては、繰返実行指示部16は、全画素完了判定部26からの未完了判定(h)の通知を受けた場合、小領域(e)の抽出と局所自己相関係数群(g)算出の繰り返し実行を行うため、新たな注目画素を選択して更新注目画素を生成し、注目画素(d)として小領域抽出部18へ与える。   After the initial pixel of interest, the repeat execution instructing unit 16 receives the notification of the incomplete determination (h) from the all pixel completion determining unit 26, and extracts the small region (e) and the local autocorrelation coefficient group. (G) In order to repeatedly execute the calculation, a new target pixel is selected to generate an updated target pixel, which is given to the small region extraction unit 18 as the target pixel (d).

注目画素(d)の更新である更新注目画素の生成は、係数記憶部24より供給される履歴情報(c)に基づき、初期注目画素並びに更新注目画素の設定履歴から、まだ注目画素に設定されていない画素の中から更新注目画素を選択する。この履歴の管理は、第1の画像(b)に含まれる全ての画像を漏らさず注目画素(d)に設定する事を目的としている。   The generation of the updated target pixel, which is the update of the target pixel (d), is still set as the target pixel from the initial target pixel and the updated target pixel setting history based on the history information (c) supplied from the coefficient storage unit 24. The update target pixel is selected from the pixels that have not been updated. This history management is intended to set all the images included in the first image (b) as the target pixel (d) without leaking.

図3は、小領域抽出部18の動作形態を示す図である。小領域抽出部18は、繰返実行指示部16より指定される注目画素(d)に基づき、注目画素(d)を含む小領域(e)を抽出する。   FIG. 3 is a diagram illustrating an operation mode of the small region extraction unit 18. The small region extraction unit 18 extracts a small region (e) including the target pixel (d) based on the target pixel (d) specified by the repeated execution instruction unit 16.

詳述すると、1つの注目画素(d)に対して、後述する計算対象領域設定部20においては、8×8画素領域、4×4画素領域、4×2画素領域などの1種類あるいは複数種類の計算対象領域(f)を設定する。小領域抽出部18は、1個以上の各計算対象領域(f)のすべてを、この小領域(e)内に設定する。また、8×8画素領域などすべての場合に、8×8画素領域の外側の近傍画素も局所自己相関係数群(g)の計算に必要となる。そこで、小領域抽出部18は、小領域(e)を、これら外側の近傍領域も含めて設定する。   Specifically, with respect to one target pixel (d), the calculation target area setting unit 20 described later uses one or more types such as an 8 × 8 pixel area, a 4 × 4 pixel area, and a 4 × 2 pixel area. The calculation target area (f) is set. The small area extraction unit 18 sets all the one or more calculation target areas (f) in the small area (e). In all cases such as the 8 × 8 pixel region, neighboring pixels outside the 8 × 8 pixel region are also required for the calculation of the local autocorrelation coefficient group (g). Therefore, the small area extraction unit 18 sets the small area (e) including these outer neighboring areas.

計算対象領域設定部20は、小領域抽出部18より供給される小領域(e)内に含まれる領域として、局所自己相関係数群(g)を算出するための1個以上の計算対象領域(f)を設定する。   The calculation target region setting unit 20 calculates one or more calculation target regions for calculating a local autocorrelation coefficient group (g) as a region included in the small region (e) supplied from the small region extraction unit 18. Set (f).

このような計算対象領域設定部20によれば、8×8画素領域、4×4画素領域、4×2画素領域あるいは、4×4画素領域の水平と垂直の2種類、あるいは他のサイズで水平・垂直などの複数種類の計算対象領域(f)を設定することで、適切な大きさを有する平滑度、横方向のエッジ保存度、縦方向のエッジ保存度を設定可能である。   According to such a calculation target area setting unit 20, the horizontal and vertical types of the 8 × 8 pixel area, the 4 × 4 pixel area, the 4 × 2 pixel area, the 4 × 4 pixel area, or other sizes are used. By setting a plurality of types of calculation target areas (f) such as horizontal and vertical, it is possible to set smoothness having an appropriate size, horizontal edge preservation, and vertical edge preservation.

図4は、計算対象領域設定部4の動作形態を示す図である。図4においては、一例として3個の計算対象領域(f)を例示している。すなわち、図4に示された3種類の計算対象領域(f)は、4×2画素領域よりなる第1の計算対象領域R1、4×4画素領域よりなる第2の計算対象領域R2、及び8×8画素領域よりなる第3の計算対象領域R3である。   FIG. 4 is a diagram illustrating an operation mode of the calculation target area setting unit 4. In FIG. 4, three calculation object areas (f) are illustrated as an example. That is, the three types of calculation target regions (f) shown in FIG. 4 are a first calculation target region R1 composed of 4 × 2 pixel regions, a second calculation target region R2 composed of 4 × 4 pixel regions, and This is a third calculation target region R3 including an 8 × 8 pixel region.

局所自己相関係数算出部22は、計算対象領域設定部20より供給される1個以上の各計算対象領域(f)からそれぞれに対応した局所自己相関係数を算出して、局所自己相関係数群(g)を導出する。   The local autocorrelation coefficient calculation unit 22 calculates a local autocorrelation coefficient corresponding to each of the one or more calculation target regions (f) supplied from the calculation target region setting unit 20, and calculates the local autocorrelation relationship. A number group (g) is derived.

局所自己相関係数算出部22の動作について詳述するために、以下を仮定する。小領域(e)内の画素をI(x、y)と表現するものとする。x方向、y方向の変位量をそれぞれ、τ1、τ2と表現するものとする。また、8×8画素領域、4×4画素領域、4×2画素領域などの各計算対象領域(f)を計算対象領域変数Riで表現するものとする。   In order to describe the operation of the local autocorrelation coefficient calculation unit 22 in detail, the following is assumed. A pixel in the small area (e) is expressed as I (x, y). The displacement amounts in the x direction and the y direction are expressed as τ1 and τ2, respectively. In addition, each calculation target region (f) such as an 8 × 8 pixel region, a 4 × 4 pixel region, or a 4 × 2 pixel region is represented by a calculation target region variable Ri.

この時、I(x、y)の画素に対する、計算対象領域変数Riにおける、変位量τ1、τ2だけ離れた画素間の局所自己相関係数ρ_Ri(x、y、τ1、τ2)の算出は、下記の式(1)に示す演算による。   At this time, the calculation of the local autocorrelation coefficient ρ_Ri (x, y, τ1, τ2) between the pixels separated by the displacement amounts τ1, τ2 in the calculation target region variable Ri for the pixel of I (x, y) is By the calculation shown in the following formula (1).

Figure 0004854042
Figure 0004854042

ここで、E_Ri[計算式]の演算は、計算対象領域変数Riにおける[計算式]で示される演算結果の平均値を示す。 Here, the calculation of E_Ri [calculation formula] indicates an average value of calculation results indicated by [calculation formula] in the calculation target region variable Ri.

注目画素(d)1個に対して、計算対象領域変数Ri、変位量τ1、τ2の組合わせの数に一致するだけ算出される、局所自己相関係数が存在する。ここでは、それら局所自己相関係数を局所自己相関係数群(g)と総称する。   For one pixel of interest (d), there is a local autocorrelation coefficient calculated as much as the number of combinations of the calculation target region variable Ri and the displacement amounts τ1 and τ2. Here, these local autocorrelation coefficients are collectively referred to as a local autocorrelation coefficient group (g).

図4において一例として例示した、オーバーラップする3個の計算対象領域(f)の場合には、オーバーラップ部分に該当する先に演算したI(x、y)・I(x+τ1),(y+τ2)の乗算結果を後で演算する領域に対して使用することで、処理の高速化を図る事が可能である。この高速化については、後述する第2の実施形態において詳しく述べる。   In the case of three overlapping calculation target regions (f) exemplified as an example in FIG. 4, I (x, y) · I (x + τ1), (y + τ2) previously calculated corresponding to the overlap portion It is possible to increase the processing speed by using the result of multiplication for the area to be calculated later. This speeding up will be described in detail in a second embodiment to be described later.

以下、一例として、計算対象領域が8×8画素の場合における局所自己相関係数の計算方法の例を示す。   Hereinafter, as an example, an example of a method for calculating the local autocorrelation coefficient when the calculation target region is 8 × 8 pixels will be described.

このとき、注目画素に対する計算対象領域の取り方は複数考えられる。しかしながら、自己相関係数の算出という点を考えると、計算対象領域の中心に注目画素が位置するように計算対象領域を取ることが望ましい。但し、計算対象領域の大きさが偶数である場合は中心となる画素が存在しないため、縦、横ともに1画素ずれることになる。これらの点を踏まえて、式(1)を表現すると、下記の式(2)となる。   At this time, a plurality of calculation target areas can be considered for the target pixel. However, considering the calculation of the autocorrelation coefficient, it is desirable to take the calculation target region so that the target pixel is located at the center of the calculation target region. However, when the size of the calculation target area is an even number, there is no center pixel, so that the vertical and horizontal shifts by one pixel. In consideration of these points, when Expression (1) is expressed, the following Expression (2) is obtained.

Figure 0004854042
Figure 0004854042

式(2)において、int(z)は値zに対する小数点の切捨て演算である。 In equation (2), int (z) is a decimal point truncation operation on the value z.

例えば、注目画素I(x、y)の座標をx=10、y=10、変位量τ1、τ2をそれぞれ、τ1=1、τ2=1としたとする。この場合、式(2)における右辺の分子は、I(6,6)×I(7,7)からI(15,15)×I(16,16)の和を64で除した値となり、右辺の分母は、I(6,6)からI(15,15)の和を64で除した値となる。このとき、分子、分母での演算で使用する画素が異なるが、これらの画素はいずれも小領域(e)に含まれている。 For example, assume that the coordinates of the pixel of interest I (x, y) are x = 10, y = 10, and the displacement amounts τ1, τ2 are τ1 = 1 and τ2 = 1, respectively. In this case, the numerator on the right side in the formula (2) is a value obtained by dividing the sum of I (15,15) × I (16,16) by 64 from I (6,6) × I (7,7), The denominator on the right side is a value obtained by dividing the sum of I (15,15) 2 by 64 from I (6,6) 2 . At this time, the pixels used in the calculation in the numerator and denominator are different, but these pixels are all included in the small region (e).

係数記憶部24は、局所自己相関係数算出部22により算出された1つ以上の局所自己相関係数群(g)の値を、算出時の注目画素(d)の座標とともに記憶して、履歴情報(c)として管理する。   The coefficient storage unit 24 stores the values of one or more local autocorrelation coefficient groups (g) calculated by the local autocorrelation coefficient calculation unit 22 together with the coordinates of the target pixel (d) at the time of calculation, Managed as history information (c).

全画素完了判定部26は、第1の画像(b)の中に、注目画素(d)として選択されていない画素が存在するかどうかを判定する。注目画素(d)として選択されていない画素が存在する場合、全画素完了判定部26は、未完了判定(h)を繰返実行指示部16に対して通知する。第1の画像(b)の画素すべてが注目画素(d)として選択されており、注目画素(d)として選択されていない画素がもはや存在しない場合、全画素完了判定部26は、完了判定(k)をエッジ画像生成部28に対して通知する。   The all-pixel completion determination unit 26 determines whether there is a pixel that is not selected as the target pixel (d) in the first image (b). When there is a pixel that is not selected as the target pixel (d), the all-pixel completion determination unit 26 notifies the repeated execution instruction unit 16 of the incomplete determination (h). When all the pixels of the first image (b) are selected as the target pixel (d) and there are no longer any pixels that are not selected as the target pixel (d), the all-pixel completion determination unit 26 determines the completion ( k) is notified to the edge image generation unit 28.

全画素完了判定部26から完了判定(k)の通知を受けた場合、エッジ画像生成部28は、第1の画像(b)の各注目画素(d)ごとに算出された、局所自己相関係数群(g)に含まれる1個以上の局所自己相関係数に対して、一定の法則に従って代表値となる局所自己相関係数(g)を選択する。エッジ画素生成部28は、注目画素(d)ごとに代表局所自己相関係数を選択した後、エッジ画素値に変換する。エッジ画像生成部28は、第1の画像(b)の全ての各注目画素(d)に対して、エッジ画素値への変換を実施することで、第2の画像(l)を生成する。   When the completion determination (k) is received from the all-pixel completion determination unit 26, the edge image generation unit 28 calculates the local self-phase relationship calculated for each target pixel (d) of the first image (b). For one or more local autocorrelation coefficients included in the number group (g), a local autocorrelation coefficient (g) that is a representative value is selected according to a certain rule. The edge pixel generation unit 28 selects a representative local autocorrelation coefficient for each target pixel (d) and then converts the representative local autocorrelation coefficient into an edge pixel value. The edge image generation unit 28 generates a second image (l) by performing conversion into edge pixel values for all the target pixels (d) of the first image (b).

図5はエッジ画像生成部28の動作形態を示すブロック図である。図5は、動作形態の一例として、4×2画素領域よりなる第1の計算対象領域R1、4×4画素領域よりなる第2の計算対象領域R2、及び8×8画素領域よりなる第3の計算対象領域R3の、3種類の計算対象領域(f)に対しての演算結果として例示されている。また、x方向、y方向の変位量を示す、τ1、τ2の値はそれぞれ、1画素の固定値として例示している。従ってこの動作例では、各注目画素(d)毎に、局所自己相関係数群(g)として、3種類の局所自己相関係数、すなわち、第1の局所自己相関係数ρ1=ρ_R1(x、y、1,1)、第2の局所自己相関係数ρ2=ρ_R2(x、y、1,1)、第3の局所自己相関係数ρ3=ρ_R3(x,y,1,1)を保有する。   FIG. 5 is a block diagram showing an operation mode of the edge image generation unit 28. FIG. 5 illustrates, as an example of the operation mode, a first calculation target region R1 including a 4 × 2 pixel region, a second calculation target region R2 including a 4 × 4 pixel region, and a third calculation target region R2 including an 8 × 8 pixel region. The calculation result for three types of calculation target regions (f) of the calculation target region R3 is illustrated. Further, the values of τ1 and τ2 indicating the displacement amounts in the x direction and the y direction are illustrated as fixed values of one pixel, respectively. Therefore, in this operation example, for each target pixel (d), as the local autocorrelation coefficient group (g), three types of local autocorrelation coefficients, that is, the first local autocorrelation coefficient ρ1 = ρ_R1 (x , Y, 1, 1), the second local autocorrelation coefficient ρ2 = ρ_R2 (x, y, 1, 1), and the third local autocorrelation coefficient ρ3 = ρ_R3 (x, y, 1, 1). Possess.

エッジ画像生成部28は、これら自己相関係数群(g)中の各自己相関係数がとる値をあらかじめ定められた範囲に収まるように変換する。具体的には、エッジ画像生成部28は、各局所自己相関係数ごとに、両端値を含む[0≦ρ≦1]の範囲に制限処理を施す。これは、各種の水平・垂直のブロックサイズや変位量τ1、τ2の値に対する局所自己相関係数の算出結果は計算対象領域が狭い場合には、本来は0〜1の範囲に収めるために実施する正規化の後にも1を超えるケースが存在するため、最大値を1に抑える強制的な制限処理を実施するものである。   The edge image generation unit 28 converts the values taken by the autocorrelation coefficients in the autocorrelation coefficient group (g) so that they fall within a predetermined range. Specifically, the edge image generation unit 28 performs a restriction process on a range of [0 ≦ ρ ≦ 1] including both end values for each local autocorrelation coefficient. This is because the calculation results of local autocorrelation coefficients for various horizontal and vertical block sizes and displacement values τ1 and τ2 are originally in the range of 0 to 1 when the calculation target region is narrow. Since there are cases where the number exceeds 1 even after normalization, forcible restriction processing is performed to keep the maximum value to 1.

[0≦ρ≦1]への制限処理が実施された後、エッジ画像生成部28は、各局所自己相関係数に対して独立に255を乗じてINT演算により切り捨て整数化を行って、X1、X2、X3で図5に示されるエッジ画素値を算出する。   After the restriction process to [0 ≦ ρ ≦ 1] is performed, the edge image generation unit 28 independently multiplies each local autocorrelation coefficient by 255, rounds it down by an INT operation, and performs X1 , X2, and X3 calculate the edge pixel values shown in FIG.

更に、エッジ画像生成部28は、得られた第1の画像(b)中の各注目画素(d)に対して1個〜複数個得られたすべてのエッジ画素値からMIN演算により最小値を選択して、当該注目画素(d)に対してエッジ画素値を形成する。   Further, the edge image generation unit 28 sets a minimum value by MIN calculation from all the edge pixel values obtained from one to plural for each target pixel (d) in the obtained first image (b). Select and form an edge pixel value for the pixel of interest (d).

こうして形成したエッジ画素値より構成される画像が、第2の画像(l)である。   The image composed of the edge pixel values formed in this way is the second image (l).

尚、ここでMIN演算による最小値の選択に関しては、0〜255の範囲内に変換後に実施したが、変換の前と後のいずれであっても構わない。   Here, the selection of the minimum value by the MIN calculation is performed after the conversion within the range of 0 to 255, but it may be performed before or after the conversion.

一般的に、隣接画素間の平均自乗誤差εと、信号の分散σ、変位量が1画素の場合の自己相関係数ρとの間には、以下で示す式(3)の関係がある。 In general, the relationship of the following equation (3) is present between the mean square error ε 2 between adjacent pixels, the signal variance σ 2 , and the autocorrelation coefficient ρ when the displacement amount is 1 pixel. is there.

Figure 0004854042
Figure 0004854042

これより、自己相関係数ρは、平均自乗誤差εと、信号の分散σとを用いて表現する、以下に示す式(4)が導出される。 As a result, the autocorrelation coefficient ρ is expressed using the mean square error ε 2 and the signal variance σ 2, and the following equation (4) is derived.

Figure 0004854042
Figure 0004854042

この式(4)は、相関の強弱がエッジの弱強に対応することを意味しており、自己相関係数ρがエッジ領域の輝度成分とエッジ領域の強度とに強く関係していることを意味している。   This equation (4) means that the strength of the correlation corresponds to the strength of the edge, and that the autocorrelation coefficient ρ is strongly related to the luminance component of the edge region and the strength of the edge region. I mean.

このため、局所自己相関係数を画素値0〜255に変換することにより、出力エッジ検出画像中のエッジ画素値としてX(x、y)を得ることが可能である。   For this reason, it is possible to obtain X (x, y) as the edge pixel value in the output edge detection image by converting the local autocorrelation coefficient to the pixel value 0 to 255.

エッジ画像出力部30は、エッジ画像生成部28において生成されたエッジ画像を示す第2の画像(l)を出力画像として出力する。   The edge image output unit 30 outputs the second image (l) indicating the edge image generated by the edge image generation unit 28 as an output image.

以上のように、本発明の第1の実施形態によれば、次の効果が得られる。   As described above, according to the first embodiment of the present invention, the following effects can be obtained.

ノイズの除去のための処理を別に行うことなく、画像中のエッジを検出することが可能である。画像中の縦方向のエッジをより精度良く検出したい場合には、領域の縦サイズを横サイズより大きくすることにより、画像中の縦方向のエッジをより精度良く検出することが可能である。画像中の横方向のエッジをより精度良く検出したい場合には、領域の横サイズを縦サイズより大きくすることにより画像中の横方向のエッジをより精度良く検出することが可能である。すなわち、領域の縦サイズ、横サイズのわずか2つのパラメータの設定により、画像中のノイズの程度、検出したいエッジの強度、並びに方向に応じた柔軟なエッジ検出が可能となる。   Edges in an image can be detected without separately performing a process for removing noise. When it is desired to detect the vertical edge in the image with higher accuracy, the vertical edge in the image can be detected with higher accuracy by making the vertical size of the region larger than the horizontal size. When it is desired to detect the horizontal edge in the image with higher accuracy, it is possible to detect the horizontal edge in the image with higher accuracy by making the horizontal size of the region larger than the vertical size. That is, by setting only two parameters, the vertical size and horizontal size of the area, it is possible to perform flexible edge detection according to the degree of noise in the image, the strength of the edge to be detected, and the direction.

また、例えば領域の縦サイズを横サイズより大きく設定してエッジ検出を行った後、領域の横サイズを縦サイズより大きく設定してエッジ検出を行い、それらの結果を統合するなど、領域のサイズを変更しつつ複数回のエッジ検出処理を行うことで、さらに多様な要求に対応可能である。   In addition, for example, after performing edge detection with the vertical size of the region set larger than the horizontal size, set the horizontal size of the region larger than the vertical size to perform edge detection, and integrating the results. By performing edge detection processing a plurality of times while changing the above, it is possible to respond to various requests.

[第2の実施形態]
次に、本発明の第2の実施形態に係る画像生成装置について説明する。この第2の実施形態に係る画像生成装置は、図1に示した第1の実施形態に係る画像生成装置10に合計計算量を削減する改善を加えたものであり、構成、動作については図1に示した第1の実施形態に係る画像生成装置10と重複する部分が多い。そのため、以下では、第1の実施形態に係る画像生成装置10と異なる部分についてのみ説明する。
[Second Embodiment]
Next, an image generation apparatus according to the second embodiment of the present invention will be described. The image generation apparatus according to the second embodiment is obtained by adding an improvement to reduce the total calculation amount to the image generation apparatus 10 according to the first embodiment shown in FIG. There are many parts that overlap with the image generation apparatus 10 according to the first embodiment shown in FIG. Therefore, below, only a different part from the image generation apparatus 10 which concerns on 1st Embodiment is demonstrated.

この第2の実施形態に係る画像生成装置では、居所自己相関係数算出部22における動作が、第1の実施形態に係る画像生成装置10と異なり、局所自己相関係数群(g)の算出時の演算量を削減する改良を加えている。   In the image generating apparatus according to the second embodiment, the operation in the location autocorrelation coefficient calculating unit 22 is different from the image generating apparatus 10 according to the first embodiment, and the local autocorrelation coefficient group (g) is calculated. Improvements to reduce the amount of computation at the time are added.

一例として、注目画素をI(x,y)、変位量τ1、τ2をτ1=1、τ2=0、計算対象領域m×nを4×2とした場合における、局所自己相関係数の算出過程について説明する。   As an example, the process of calculating the local autocorrelation coefficient when the pixel of interest is I (x, y), the displacements τ1, τ2 are τ1 = 1, τ2 = 0, and the calculation target region m × n is 4 × 2. Will be described.

上記第1の実施形態の画像生成装置10において示した、局所自己相関係数の算出式、式(2)は分母と分子に共通に乗ぜられる係数1/mnを約分すると、次の式(5)で示される。   The expression for calculating the local autocorrelation coefficient shown in the image generation apparatus 10 of the first embodiment, Expression (2), is obtained by dividing the coefficient 1 / mn that is commonly multiplied by the denominator and the numerator, and the following expression ( 5).

Figure 0004854042
Figure 0004854042

この式(5)の各変数に今回の例における値を代入すると、下記の式(6)が得られる。   By substituting the values in this example into the variables of this equation (5), the following equation (6) is obtained.

Figure 0004854042
Figure 0004854042

ここで、次の注目画素が右に1画素ずれた画素、I(x+1、y)である場合、この画素に対する局所自己相関係数の算出は、次の式(7)で表される。   Here, when the next pixel of interest is a pixel shifted by one pixel to the right, I (x + 1, y), the calculation of the local autocorrelation coefficient for this pixel is expressed by the following equation (7).

Figure 0004854042
Figure 0004854042

式(6)の演算後に行われる式(7)の演算において、例えば、式(6)における分母、   In the calculation of Expression (7) performed after the calculation of Expression (6), for example, the denominator in Expression (6),

Figure 0004854042
Figure 0004854042

を一旦記録しておき、これに対して、右に1画素ずれたことによって不必要になる左端の列、i=−1に対する演算部分 For the leftmost column, i = −1, which becomes unnecessary when the pixel is shifted to the right by one pixel.

Figure 0004854042
Figure 0004854042

を差し引き、右に1画素ずれたことによって新たに計算対象領域に入る右端の列、i=3に対する演算部分 Is the rightmost column that newly enters the calculation target area by shifting one pixel to the right, and the calculation part for i = 3

Figure 0004854042
Figure 0004854042

を加算すると、式(7)における分母の演算結果が得られる。すなわち、不必要になった列に対する計算結果を差し引き、新たに必要になる列に対する計算結果のみを加算することを繰り返すことで、合計計算量を減らすことが出来る。 Is added, the denominator calculation result in equation (7) is obtained. That is, the total calculation amount can be reduced by repeatedly subtracting the calculation results for the columns that are no longer needed and adding only the calculation results for the columns that are newly required.

ここでは一例として、注目画素が水平方向(1画素右)にずれる例で説明したが、垂直方向にずれる場合でも同様に実行できる。   Here, as an example, the example in which the target pixel is shifted in the horizontal direction (one pixel right) has been described.

本発明の第1の態様による画像生成方法において、算出するステップは、注目画素(d)を含む縦および横をそれぞれ独立して設定できる計算対象領域(f)を、小領域(e)内に少なくとも1個設定するステップと、計算対象領域(f)中の画素を用いて当該計算対象領域(f)の各々に対応する局所自己相関係数(g)を少なくとも1個算出するステップと、を含んでよい。また、算出するステップは、少なくとも1画素に変位量を設定して、同一注目画素(d)に対する局所自己相関係数(g)を少なくとも1個算出してよい。生成するステップは、局所自己相関係数群(g)中の各自己相関係数がとる値を予め定められた範囲に収まるように変換するステップと、同一注目画素(d)に対して変換した局所自己相関係数が複数個得られる場合には、その中の1つを選択するステップと、を含んでよい。   In the image generation method according to the first aspect of the present invention, the calculating step includes a calculation target area (f) in which the vertical and horizontal including the target pixel (d) can be set independently in the small area (e). Setting at least one, and calculating at least one local autocorrelation coefficient (g) corresponding to each calculation target region (f) using pixels in the calculation target region (f). May include. In the calculating step, at least one local autocorrelation coefficient (g) for the same target pixel (d) may be calculated by setting a displacement amount for at least one pixel. In the generating step, the value taken by each autocorrelation coefficient in the local autocorrelation coefficient group (g) is converted so as to be within a predetermined range, and the same target pixel (d) is converted. If a plurality of local autocorrelation coefficients are obtained, a step of selecting one of them may be included.

本発明の第2の態様による画像生成装置において、ディジタル画像(a)の全体または一部から第1の画像(b)を生成するエッジ検出対象領域設定部を更に有してよい。自己相関係数算出手段は、小領域(e)内の一部あるいはすべての画素を用いて、局所自己相関係数(g)を算出してよい。自己相関係数算出手段は、注目画素(d)を含む縦および横の幅をそれぞれ独立して設定できる計算対象領域(f)を小領域(e)内に少なくとも1個設定する計算対象領域設定部と、この計算対象領域(f)中の画素を用いて計算対象領域(f)の各々に対応する局所自己相関係数(g)を少なくとも1個計算する局所自己相関係数算出部と、を有してよい。自己相関係数算出手段は、変位量を少なくとも1画素に設定して、同一注目画素(d)に対する局所自己相関係数(g)を少なくとも1個算出してよい。画像変換手段は、局所自己相関係数群(g)中の各自己相関係数がとる値をあらかじめ定められた範囲に収まるように変換し、同一注目画素(d)に対して局所自己相関係数が複数個得られる場合にはその中の1つを選択することにより、第2の画像(l)を生成してよい。   The image generation apparatus according to the second aspect of the present invention may further include an edge detection target region setting unit that generates the first image (b) from all or part of the digital image (a). The autocorrelation coefficient calculating means may calculate the local autocorrelation coefficient (g) using a part or all of the pixels in the small region (e). The autocorrelation coefficient calculating means sets at least one calculation target area (f) within the small area (e) in which the vertical and horizontal widths including the target pixel (d) can be set independently. A local autocorrelation coefficient calculating unit that calculates at least one local autocorrelation coefficient (g) corresponding to each of the calculation target areas (f) using the pixels in the calculation target area (f), May be included. The autocorrelation coefficient calculating means may calculate at least one local autocorrelation coefficient (g) for the same target pixel (d) by setting the displacement amount to at least one pixel. The image conversion means converts the value of each autocorrelation coefficient in the local autocorrelation coefficient group (g) so that it falls within a predetermined range, and the local autocorrelation relationship with respect to the same target pixel (d). When a plurality of numbers are obtained, the second image (l) may be generated by selecting one of them.

本発明の第3の態様による画像生成プログラムにおいて、算出する手順は、注目画素(d)を含む縦および横をそれぞれ独立して設定できる計算対象領域(f)を、小領域(e)内に少なくとも1個設定する手順と、計算対象領域(f)中の画素を用いて当該計算対象領域(f)の各々に対応する局所自己相関係数(g)を少なくとも1個算出する手順と、を含んでよい。算出する手順は、少なくとも1画素に変位量を設定して、同一注目画素(d)に対する局所自己相関係数(g)を少なくとも1個算出してよい。生成する手順は、記局所自己相関係数群(g)中の各自己相関係数がとる値を予め定められた範囲に収まるように変換する手順と、同一注目画素(d)に対して変換した局所自己相関係数が複数個得られる場合には、その中の1つを選択する手順と、を含んでよい。   In the image generation program according to the third aspect of the present invention, the calculation procedure is as follows: a calculation target area (f) in which the vertical and horizontal including the target pixel (d) can be set independently is set in the small area (e). A procedure for setting at least one, and a procedure for calculating at least one local autocorrelation coefficient (g) corresponding to each of the calculation target regions (f) using pixels in the calculation target region (f). May include. In the calculation procedure, at least one local autocorrelation coefficient (g) for the same target pixel (d) may be calculated by setting a displacement amount for at least one pixel. The procedure for generating is the same as the procedure for converting the values taken by each autocorrelation coefficient in the local autocorrelation coefficient group (g) so as to be within a predetermined range, and the same target pixel (d). If a plurality of local autocorrelation coefficients obtained are obtained, a procedure for selecting one of them may be included.

小領域(e)のサイズm、nを大きく設定すると、平滑化の程度が大きくなり、ノイズを除去する効果が強まるとともに、エッジの強調の効果は弱まる。また、m、nを小さく設定すると、平滑化の程度が小さくなり、ノイズを除去する効果が弱まるとともに、エッジの強調の効果は強まる。   When the sizes m and n of the small area (e) are set large, the degree of smoothing increases, and the effect of removing noise increases and the effect of edge enhancement decreases. If m and n are set to be small, the degree of smoothing is reduced, the effect of removing noise is weakened, and the effect of edge enhancement is enhanced.

また、m、nを、mがnより大きくなるように設定すると、領域の縦方向の平滑化の程度が小さくなり、横方向のエッジが良く保存され、横方向のエッジ強調の効果が大きくなる。   If m and n are set so that m is larger than n, the degree of smoothing in the vertical direction of the region is reduced, the horizontal edges are well preserved, and the effect of horizontal edge enhancement is increased. .

一方、m、nを、nがmより大きくなるように設定すると、領域の横方向の平滑化の程度が小さくなり、縦方向のエッジが良く保存され、縦方向のエッジ強調の効果が大きくなる。   On the other hand, if m and n are set so that n is larger than m, the degree of horizontal smoothing of the region is reduced, the vertical edges are well preserved, and the effect of vertical edge enhancement is increased. .

以上、本発明について好ましい実施形態について説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨(主題)を逸脱しない範囲内で種々の変形・変更が可能なのは勿論である。   As mentioned above, although preferred embodiment was described about this invention, this invention is not limited to embodiment mentioned above, Of course, various deformation | transformation and change are possible within the range which does not deviate from the meaning (theme) of this invention. is there.

本発明の活用例として典型的な産業上の利用の一例は、画像から人物などの抽出を行うことである。   An example of typical industrial use as an application example of the present invention is to extract a person or the like from an image.

本発明の第1の実施形態に係る画像生成装置を示すブロック図である。1 is a block diagram illustrating an image generation apparatus according to a first embodiment of the present invention. 図1に示した画像生成装置で使用されるエッジ検出領域設定部の動作形態を説明するための図である。It is a figure for demonstrating the operation | movement form of the edge detection area | region setting part used with the image generation apparatus shown in FIG. 図1に示した画像生成装置で使用される小領域抽出部の動作形態を説明するための図である。It is a figure for demonstrating the operation | movement form of the small area extraction part used with the image generation apparatus shown in FIG. 図1に示した画像生成装置で使用される計算対象領域設定部の動作形態を説明するための図である。It is a figure for demonstrating the operation | movement form of the calculation object area | region setting part used with the image generation apparatus shown in FIG. 図1に示した画像生成装置で使用されるエッジ画像生成部の動作形態を説明するためのブロック図である。It is a block diagram for demonstrating the operation | movement form of the edge image generation part used with the image generation apparatus shown in FIG.

符号の説明Explanation of symbols

10 画像生成装置
12 ディジタル画像入力部
14 エッジ検出対象領域設定部
16 繰返実行指示部
18 小領域抽出部
20 計算対象領域設定部
22 局所自己相関係数算出部
24 係数記憶部
26 全画像完了判定部
28 エッジ画像生成部
30 エッジ画像出力部
DESCRIPTION OF SYMBOLS 10 Image generation apparatus 12 Digital image input part 14 Edge detection object area | region setting part 16 Repeat execution instruction part 18 Small area extraction part 20 Calculation object area | region setting part 22 Local autocorrelation coefficient calculation part 24 Coefficient memory | storage part 26 Determination of completion of all images Unit 28 edge image generation unit 30 edge image output unit

Claims (5)

複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する方法であって、
前記第1の画像から注目画素を順次に選択するステップと、
該選択した注目画素を含む小領域を抽出するステップと、
前記注目画素を含む縦および横をそれぞれ独立して設定できる計算対象領域を、前記小領域内に少なくとも1個設定するステップと、
前記計算対象領域中の画素を用いて当該計算対象領域の各々に対応する局所自己相関係数を少なくとも1個算出するステップであって、前記小領域内の画素をI(x、y)と表現したときに、x方向、y方向の変位量τ1、τ2を設定して、同一注目画素に対する前記局所自己相関係数を少なくとも1個算出するステップと、
前記選択するステップ、前記抽出するステップ、前記設定するステップ、および前記算出するステップを繰り返し実行させるステップと、
該繰り返し実行ステップによって得られる、前記第1の画像に対する局所自己相関係数中の各自己相関係数がとる値を予め定められた範囲に収まるように変換するステップと、
同一注目画素に対して前記変換した局所自己相関係数が複数個得られる場合には、その中の最小値を選択することにより、前記第2の画像を生成するステップと、
を含む画像生成方法。
A method for generating a second image including edge information from a first image composed of a plurality of pixels,
Sequentially selecting pixels of interest from the first image;
Extracting a small region including the selected pixel of interest;
Setting at least one calculation target area within the small area, which can independently set the vertical and horizontal including the pixel of interest;
Calculating at least one local autocorrelation coefficient corresponding to each of the calculation target regions using the pixels in the calculation target region, and expressing the pixels in the small region as I (x, y) a step of when, x-direction, y-direction displacement amount .tau.1, by setting the .tau.2, at least one calculating the local autocorrelation coefficient for the same pixel of interest,
Repeatedly executing the selecting step, the extracting step, the setting step, and the calculating step;
Converting each autocorrelation coefficient in the local autocorrelation coefficient for the first image obtained by the repetitive execution step so as to fall within a predetermined range;
If a plurality of the converted local autocorrelation coefficients are obtained for the same pixel of interest, the step of generating the second image by selecting the minimum value among them ,
An image generation method including:
複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成する画像生成装置であって、
前記第1の画像に対して、該第1の画像中から選択した注目画素に対し、当該注目画素を含む小領域を抽出する小領域抽出手段と、
前記注目画素を含む縦および横をそれぞれ独立して設定できる計算対象領域を前記小領域内に少なくとも1個設定する計算対象領域設定部と、
該計算対象領域中の画素を用いて該計算対象領域の各々に対応する局所自己相関係数を少なくとも1個計算する局所自己相関係数算出部であって、前記小領域内の画素をI(x、y)と表現したときに、x方向、y方向の変位量τ1、τ2を設定して、同一注目画素に対する前記局所自己相関係数を少なくとも1個算出する自己相関係数算出部と、
あらかじめ定められた順序で前記第1の画像中でまだ注目画素に選ばれていない画素から新たな注目画素を選び、該選択した新たな注目画素に対して前記小領域抽出手段による小領域抽出と、前記計算対象領域設定部による計算対象領域の設定と、前記自己相関係数算出部による局所自己相関係数算出との繰り返し実行を指示する実行指示手段と、
該繰り返し実行により得られた前記第1の画像に対する局所自己相関係数群中の各自己相関係数がとる値をあらかじめ定められた範囲に収まるように変換し、同一注目画素に対して該局所自己相関係数が複数個得られる場合にはその中の最小値を選択することにより、前記第2の画像を生成する画像変換手段と、
を具備することを特徴とする画像生成装置。
An image generation device that generates a second image including edge information from a first image composed of a plurality of pixels,
A small region extracting means for extracting a small region including the target pixel for the target pixel selected from the first image with respect to the first image;
A calculation target region setting unit that sets at least one calculation target region in the small region that can independently set the vertical and horizontal including the pixel of interest;
A local autocorrelation coefficient calculating unit that calculates at least one local autocorrelation coefficient corresponding to each of the calculation target areas using pixels in the calculation target area, wherein the pixels in the small area are represented by I ( x, when expressed as y), x-direction, y-direction displacement amount .tau.1, by setting the .tau.2, and self correlation coefficient calculation unit for at least one calculating the local autocorrelation coefficient for the same pixel of interest,
Selecting a new pixel of interest from pixels that have not yet been selected as the pixel of interest in the first image in a predetermined order, and extracting the small region by the small region extraction means for the selected new pixel of interest; Execution instruction means for instructing repeated execution of setting of a calculation target area by the calculation target area setting unit and calculation of a local autocorrelation coefficient by the autocorrelation coefficient calculation unit ;
A value taken by each autocorrelation coefficient in the group of local autocorrelation coefficients for the first image obtained by the repeated execution is converted so as to fall within a predetermined range, and When a plurality of autocorrelation coefficients are obtained, by selecting a minimum value among them, an image conversion means for generating the second image;
An image generation apparatus comprising:
ディジタル画像の全体または一部から前記第1の画像を生成するエッジ検出対象領域設定部を更に有する、請求項2に記載の画像生成装置。 The image generation apparatus according to claim 2 , further comprising an edge detection target region setting unit that generates the first image from all or part of the digital image. 前記自己相関係数算出部は、前記小領域内の一部あるいはすべての画素を用いて、前記局所自己相関係数を算出する、請求項2又は3に記載の画像生成装置。 The image generation apparatus according to claim 2 , wherein the autocorrelation coefficient calculation unit calculates the local autocorrelation coefficient using a part or all of the pixels in the small region. 複数の画素からなる第1の画像から、エッジ情報を含む第2の画像を生成するコンピュータに、
前記第1の画像から注目画素を順次に選択する手順と、
該選択した注目画素を含む小領域を抽出する手順と、
前記注目画素を含む縦および横をそれぞれ独立して設定できる計算対象領域を、前記小領域内に少なくとも1個設定する手順と、
前記計算対象領域中の画素を用いて当該計算対象領域の各々に対応する局所自己相関係数を少なくとも1個算出する手順であって、前記小領域内の画素をI(x、y)と表現したときに、x方向、y方向の変位量τ1、τ2を設定して、同一注目画素に対する前記局所自己相関係数を少なくとも1個算出する手順と、
前記選択する手順、前記抽出する手順、前記設定する手順、および前記算出する手順を繰り返し実行させる手順と、
該繰り返し実行手順によって得られる、前記第1の画像に対する局所自己相関係数群中の各自己相関係数がとる値を予め定められた範囲に収まるように変換する手順と、
同一注目画素に対して前記変換した局所自己相関係数が複数個得られる場合には、その中の最小値を選択することにより、前記第2の画像を生成する手順と、
を実行させるための画像生成プログラム。
A computer that generates a second image including edge information from a first image composed of a plurality of pixels,
A procedure for sequentially selecting a target pixel from the first image;
A procedure for extracting a small region including the selected pixel of interest;
A procedure for setting at least one calculation target area in the small area, which can independently set the vertical and horizontal including the pixel of interest;
A procedure for calculating at least one local autocorrelation coefficient corresponding to each of the calculation target areas using the pixels in the calculation target area, and expressing the pixels in the small area as I (x, y) when, the procedure x-direction, y-direction displacement amount .tau.1, by setting the .tau.2, at least one calculating the local autocorrelation coefficient for the same pixel of interest,
A step of repeatedly executing the step of selecting, the step of extracting, the step of setting, and the step of calculating;
A procedure of converting the values taken by each autocorrelation coefficient in the group of local autocorrelation coefficients for the first image, obtained by the iterative execution procedure, to fall within a predetermined range;
In the case where a plurality of the converted local autocorrelation coefficients are obtained for the same pixel of interest, a procedure for generating the second image by selecting the minimum value among them ,
An image generation program for executing
JP2008208018A 2008-08-12 2008-08-12 Image generation method, image generation apparatus, and image generation program Expired - Fee Related JP4854042B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008208018A JP4854042B2 (en) 2008-08-12 2008-08-12 Image generation method, image generation apparatus, and image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008208018A JP4854042B2 (en) 2008-08-12 2008-08-12 Image generation method, image generation apparatus, and image generation program

Publications (2)

Publication Number Publication Date
JP2010044576A JP2010044576A (en) 2010-02-25
JP4854042B2 true JP4854042B2 (en) 2012-01-11

Family

ID=42015913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008208018A Expired - Fee Related JP4854042B2 (en) 2008-08-12 2008-08-12 Image generation method, image generation apparatus, and image generation program

Country Status (1)

Country Link
JP (1) JP4854042B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5605214B2 (en) * 2010-12-24 2014-10-15 コニカミノルタ株式会社 Image processing apparatus and image processing method
DE102015112628A1 (en) * 2015-07-31 2017-02-02 Carl Zeiss Microscopy Gmbh Method for generating a digital fluorescence image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2803067B2 (en) * 1993-12-09 1998-09-24 大日本スクリーン製造株式会社 Inspection equipment for periodic patterns
JPH08287258A (en) * 1995-04-19 1996-11-01 Fuji Xerox Co Ltd Color image recognition device
JP4035895B2 (en) * 1998-07-10 2008-01-23 ソニー株式会社 Image conversion apparatus and method, and recording medium
JP2003109016A (en) * 2001-09-28 2003-04-11 Keyence Corp Circuit, method and program for processing edge detection, and computer readable recording medium
JP2003157439A (en) * 2001-11-20 2003-05-30 National Institute Of Advanced Industrial & Technology Correlation extracting method of image feature amount by image categorization and correlation extracting device thereof
JP4079136B2 (en) * 2003-12-10 2008-04-23 日産自動車株式会社 Motion detection device and motion detection method
JP2006025394A (en) * 2004-06-11 2006-01-26 Seiko Epson Corp Camera shake direction judging method, camera shake degree judging method, and program used therefor
JP2008072479A (en) * 2006-09-14 2008-03-27 Canon Inc Image forming apparatus capable of processing ground tint

Also Published As

Publication number Publication date
JP2010044576A (en) 2010-02-25

Similar Documents

Publication Publication Date Title
JP5452116B2 (en) High resolution video acquisition apparatus and method
EP1843294A1 (en) Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
JP5241410B2 (en) Image processing apparatus, image processing method, and computer program
JP5700968B2 (en) Image processing apparatus, image processing method, and program
JP2007000205A (en) Image processing apparatus, image processing method, and image processing program
JP2015232869A (en) Image processor, image processing method and image processing program
JP2009212969A (en) Image processing apparatus, image processing method, and image processing program
JP5653104B2 (en) Image processing apparatus, image processing method, and program
US20130142422A1 (en) Image processing method, and image processor
CN104134189B (en) A kind of method and device of image amplification
US20180033156A1 (en) Method and device for filtering texture, using patch shift
KR101038690B1 (en) Image processing apparatus and image processing method, and recording medium
JP2019074496A (en) Crack detector, crack detection method, and computer program
WO2015198368A1 (en) Image processing device and image processing method
US6876778B2 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
JP4854042B2 (en) Image generation method, image generation apparatus, and image generation program
WO2013132836A1 (en) Object detection device, object detection method, and object detection program
JP2017076240A (en) Image processing apparatus, image processing method, and program
JPWO2011033744A1 (en) Image processing apparatus, image processing method, and image processing program
US11282237B2 (en) Image display apparatus and method of controlling the same
EP3125191A1 (en) Image processing device
JP5804818B2 (en) Image processing apparatus, image processing method, and program
JP2010157877A (en) Image processing apparatus, image processing method and computer program
JP2010039968A (en) Object detecting apparatus and detecting method
JP2007156954A (en) Reliability table creation method, optical flow estimation method, reliability table creation device, optical flow estimation device, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111021

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees