JP4344007B2 - Fine crack width calibration method - Google Patents
Fine crack width calibration method Download PDFInfo
- Publication number
- JP4344007B2 JP4344007B2 JP2009028003A JP2009028003A JP4344007B2 JP 4344007 B2 JP4344007 B2 JP 4344007B2 JP 2009028003 A JP2009028003 A JP 2009028003A JP 2009028003 A JP2009028003 A JP 2009028003A JP 4344007 B2 JP4344007 B2 JP 4344007B2
- Authority
- JP
- Japan
- Prior art keywords
- color density
- density data
- data
- crack width
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims 1
- 238000012952 Resampling Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
この発明は微細ひび割れ幅検量方法、詳しくはデジタルカメラ（デジタルビデオカメラを含む）により撮影された画像から、１画素に満たないサブピクセルの微細なひび割れ幅を検量可能な微細ひび割れ幅検量方法に関する。 The present invention relates to a fine crack width calibration method, and more particularly to a fine crack width calibration method capable of calibrating a fine crack width of a sub-pixel less than one pixel from an image taken by a digital camera (including a digital video camera).
トンネル（鉄道用、自動車道用）、橋架、モノレール軌道桁などのコンクリート構造物に生じたひび割れを検出する方法として、例えば特許文献１のように、ＣＣＤデジタルビデオカメラ（以下、ビデオカメラ）を利用したひび割れ幅検量方法が開発されている。ＣＣＤとは、画像部の各エレメントに、光量に応じて蓄積された電荷を出力する素子である。
特許文献１では、コンクリート構造物のひび割れをＣＣＤデジタルビデオカメラにより撮影し、その後、カメラ画像上でひび割れ幅の画素数を計測し、その計測値に１画素の一辺の長さ（以下、１画素の長さ）を乗算することで、ひび割れ幅を算出する。これは、最新のオプトエレクトロニクスとコンピュータとを駆使した高精度で高効率な画像処理技術を基礎とする。得られた精細なカラー画像と、ひび割れデータとは、コンクリート構造物に対する詳細な損傷劣化の把握を可能とし、コンクリート構造物の健全性の評価も可能としている。
As a method for detecting cracks generated in concrete structures such as tunnels (for railways, motorways), bridges, monorail track girders, etc., a CCD digital video camera (hereinafter referred to as a video camera) is used as disclosed in Patent Document 1, for example. A crack width calibration method has been developed. The CCD is an element that outputs charges accumulated in accordance with the amount of light to each element in the image portion.
In Patent Document 1, a crack of a concrete structure is photographed with a CCD digital video camera, and then the number of pixels of the crack width is measured on the camera image, and the length of one side of one pixel (hereinafter, one pixel) is measured. The crack width is calculated. This is based on highly accurate and efficient image processing technology that makes full use of the latest optoelectronics and computers. The obtained fine color image and crack data make it possible to grasp the detailed damage and deterioration of the concrete structure and to evaluate the soundness of the concrete structure.
コンクリート構造物のひび割れ幅の検量では、ひび割れ幅を正確に量ることが重要である。しかしながら、特許文献１では、ビデオカメラのサブピクセルの微細なひび割れ、例えば１画素の長さが１ｍｍの場合に、幅０．１ｍｍの微細なひび割れは検量不可能であった。これは、１画素全体で検量されたひび割れ（幅１ｍｍ）の色濃度が、２５６階調の色濃度値で例えば２０の場合、幅０．１ｍｍの微細なひび割れを含む１画素の色濃度が、例えば１４０と著しく高くなる（明るくなる）ためである。 In calibration of crack width of concrete structures, it is important to accurately measure the crack width. However, in Patent Document 1, when a minute crack of a subpixel of a video camera, for example, when a length of one pixel is 1 mm, a minute crack having a width of 0.1 mm cannot be calibrated. This is because, when the color density of a crack (width 1 mm) calibrated in one pixel is, for example, a color density value of 256 gradations, the color density of one pixel including a fine crack having a width of 0.1 mm is For example, 140 is extremely high (becomes brighter).
そこで、発明者は、鋭意研究の結果、ＣＣＤが、カメラの画像部の各エレメントに、光量に応じて蓄積された電荷を出力する点に着目した。すなわち、被写体からの受光量に差が存在すれば、蓄積される電荷にも差が生じる。電荷の差は、画像上では色濃度（輝度）の違いとして表示される。このことは、サブピクセル幅の微細なひび割れを撮影した場合でも、色濃度の差が小さくなるだけで同じとなる。すなわち、微細なひび割れを含む１画素分の画像は、特許文献１などの従来法では検量できないものの、実際にはコンクリートの表面の一部にその微細なひび割れが混在した特定の色濃度を有している。従って、微細なひび割れを含むひび割れの分布は、色濃度分布として表示可能であることを見出し、この発明を完成させた。 Thus, as a result of earnest research, the inventor has paid attention to the fact that the CCD outputs charges accumulated according to the amount of light to each element of the image portion of the camera. That is, if there is a difference in the amount of light received from the subject, a difference also occurs in the accumulated charge. The difference in charge is displayed as a difference in color density (luminance) on the image. This is the same even when a fine crack with a sub-pixel width is photographed only by reducing the difference in color density. That is, an image for one pixel including a fine crack cannot be calibrated by a conventional method such as Patent Document 1, but actually has a specific color density in which the fine crack is mixed in a part of the concrete surface. ing. Therefore, the present inventors have found that the distribution of cracks including fine cracks can be displayed as a color density distribution, thereby completing the present invention.
この発明は、サブピクセルサイズのひび割れ幅を検量することができる微細ひび割れ幅検量方法を提供することを目的としている。
この発明は、微細なひび割れを含む１画素分の色濃度データを高い精度で得ることができる微細ひび割れ幅検量方法を提供することを目的としている。
An object of the present invention is to provide a fine crack width calibration method capable of calibrating a crack width of a subpixel size.
An object of the present invention is to provide a fine crack width calibration method capable of obtaining color density data for one pixel including a fine crack with high accuracy.
請求項１に記載の発明は、サブピクセルサイズの微細なひび割れが存在する１画素の色濃度データを、背景画像の色濃度毎に微細なひび割れ幅のサイズを変更して取得し、データベースに該取得された色濃度データを背景画像の色濃度毎にグループ分けして蓄積するデータベース作成工程と、被写体の微細なひび割れが発生している部分をデジタルカメラで撮像し、該撮像された画像を複数の画素毎に区画し、該区画された画像領域内の平均色濃度データを求める実測平均色濃度データ取得工程と、前記実測平均色濃度データ取得工程で求められた平均色濃度データを、前記データベースに蓄積された色濃度データと照合し、最も近似した色濃度データを選出する背景画像用色濃度データ選出工程と、前記背景画像用色濃度データ選出工程で選出された色濃度データが固有する背景画像の色濃度のデータを識別し、該識別された色濃度のデータを前記画像領域の中心位置に存在する１画素の背景画像の色濃度として取得する背景画像色濃度取得工程と、前記撮像された画像の前記画像領域の中心位置に存在する１画素の色濃度データを求める実測色濃度データ取得工程と、前記実測色濃度データ取得工程で求められた色濃度データを、前記データベースに蓄積され、かつ、背景画像の色濃度が前記背景画像色濃度取得工程で取得された色濃度と同一である色濃度データと照合し、最も近似した色濃度データを選出するひび割れ幅用色濃度データ選出工程と、前記ひび割れ幅用色濃度データ選出工程で選出された色濃度データが固有するひび割れ幅のデータから、前記画像領域の中心位置に存在する１画素に記録された微細なひび割れ幅を求めるひび割れ幅検量工程とを備えた微細ひび割れ幅検量方法である。 According to the first aspect of the present invention, the color density data of one pixel in which fine cracks of sub-pixel size exist are acquired by changing the size of the fine crack width for each color density of the background image, and the database stores the data. a database creation process of accumulation of acquired color density data grouped for each color density of the background image, the portion where fine cracks of the subject is generated by imaging with a digital camera, which is the captured image was divided into each of a plurality of pixels, and the measured average color density data acquisition step of obtaining the average color density data of said compartment image area, the average color density data obtained by the actual average color density data acquisition step, against the stored color density data in the database, and the color density data selecting process for the background image to elect the color density data most approximate, by the background image color density data selecting step Background out color density data to identify the data of the color density of the intrinsic background image to obtain data of said identified color density as the color density of the background image of one pixel at the center position of the image area and image color density acquisition step, the measured color density data acquisition process asking you to color density data of one pixel at the center position of the image region of the captured image, determined by the actual color density data acquisition process The color density data is collated with the color density data stored in the database and the background image color density is the same as the color density acquired in the background image color density acquisition step, and the closest color density data is obtained. a color density data selecting step for crack width of selecting, from the data of crack width of the color density data selected by the crack width for color density data selecting process is unique, the center of the image area A fine crack width calibration method and a crack width calibration step of determining a recorded fine crack width to one pixel present in location.
請求項１に記載の発明によれば、例えば、ＣＣＤデジタルカメラによる被写体の撮影では、ＣＣＤからカメラの画像部の各エレメントに対して、光量に応じて蓄積された電荷が出力される。そのため、被写体からの受光量に差が存在すれば、蓄積される電荷にも差が生じる。この電荷の差は、カメラ画像上では色濃度の違いとして表示される。すなわち、サブピクセル幅のひび割れの場合でも、微小ではあるが同様に色濃度の違いとして表示される。
そこで、実測平均色濃度データを、データベースに蓄積された１画素の色濃度データと照合し、最も近似した色濃度データを選出する。その後、選出された色濃度データが固有する背景画像の色濃度のデータから、区画された画像領域の中心位置に存在する１画素における背景画像の色濃度を取得する。次に、この中心位置の１画素の色濃度データを求め、この１画素の色濃度データを、選出された色濃度データが属する色濃度のグループの１画素の濃度データと照合し、最も近似した１画素の色濃度データを選出する。そして、選出された１画素の色濃度データが固有する微細なひび割れ幅のデータから、区画された画像領域の中心位置の１画素に記録された微細なひび割れ幅を取得する。その結果、サブピクセルサイズのひび割れ幅を検量することができる。
According to the first aspect of the present invention, for example, when photographing a subject with a CCD digital camera, the charge accumulated according to the amount of light is output from the CCD to each element of the image portion of the camera. For this reason, if there is a difference in the amount of light received from the subject, a difference also occurs in the accumulated charge. This difference in charge is displayed as a difference in color density on the camera image. That is, even when the sub-pixel width is cracked, it is displayed as a difference in color density although it is very small.
Therefore, the measured average color density data is collated with the color density data of one pixel stored in the database , and the closest color density data is selected. Thereafter, the color density of the background image in one pixel existing at the center position of the partitioned image area is acquired from the color density data of the background image inherent in the selected color density data. Next, the color density data of one pixel at the center position is obtained, and the color density data of this one pixel is compared with the density data of one pixel of the group of color density to which the selected color density data belongs and is most approximate Color density data for one pixel is selected. Then, the fine crack width recorded in one pixel at the center position of the partitioned image region is acquired from the fine crack width data inherent in the selected color density data of one pixel. As a result, the crack width of the subpixel size can be calibrated.
被写体としては、例えば鉄道用のトンネル、自動車道用のトンネル、地下鉄用のトンネル、モノレール軌道桁などのコンクリート壁が挙げられる。ただし、これには限定されない。
微細なひび割れを含む１画素の色濃度データを求める方法は限定されない。例えば、再標本化法などを採用することができる。
デジタルカメラは、撮像を電子的に処理可能なカメラであれば限定されない。例えば、デジタルビデオカメラ、デジタルスチールカメラなどを採用することができる。このうち、連続的に撮像可能なデジタルビデオカメラが好ましい。
例えば、トンネルの内部壁面のひび割れ検量時において、デジタルビデオカメラは、トンネルの幅方向に複数台並べて配置され、しかも内部壁面に対向してトンネルの貫通方向に走行する台車に載せて撮像し、実測データは、台車の走行位置とともに得られるデータとしてもよい。
Examples of the subject include concrete walls such as a railway tunnel, a motorway tunnel, a subway tunnel, and a monorail track girder. However, it is not limited to this.
The method for obtaining color density data for one pixel including a fine crack is not limited. For example, a resampling method can be employed.
The digital camera is not limited as long as the camera can electronically process imaging. For example, a digital video camera, a digital still camera, or the like can be employed. Of these, a digital video camera capable of continuous imaging is preferable.
For example, when calibrating cracks on the inner wall surface of a tunnel, a plurality of digital video cameras are arranged side by side in the width direction of the tunnel, and mounted on a carriage that runs in the tunnel penetration direction facing the inner wall surface. The data may be data obtained together with the traveling position of the carriage.
色濃度データを求めるために必要な画素数は、２つ以上であればよい。 The number of pixels necessary for obtaining color density data may be two or more.
請求項２に記載の発明は、前記デジタルカメラがデジタルビデオカメラである請求項１に記載の微細ひび割れ幅検量方法である。
デジタルビデオカメラを採用することで、被写体の露出面に存在する微細なひび割れ部分の撮影時間を短縮することができる。
デジタルビデオカメラの種類は限定されない。
The invention according to claim 2 is the fine crack width calibration method according to claim 1, wherein the digital camera is a digital video camera.
By adopting a digital video camera, it is possible to shorten the shooting time of minute cracks on the exposed surface of the subject.
The type of digital video camera is not limited.
請求項１に記載の発明によれば、まず実測平均色濃度データをデータベース中のデータと照合して最も近似した１画素の色濃度データを選出する。次に、そのデータが固有する背景画像の色濃度のデータから、区画された画像領域の中心位置に存在する１画素（以下、中心画素）の背景画像の色濃度を取得し、その中心画素の色濃度データを、選出された１画素の色濃度データが属する色濃度のグループ中のデータと照合して最も近似した１画素の色濃度データを選出後、そのデータが固有する微細なひび割れ幅のデータから、区画された画像領域の中心位置の１画素に記録された微細なひび割れ幅を取得することで、サブピクセルサイズのひび割れ幅を検量することができる。 According to the first aspect of the present invention, the measured average color density data is first compared with the data in the database , and the color density data of one pixel that is most approximated is selected. Next, the color density of the background image of one pixel (hereinafter referred to as the center pixel) existing at the center position of the partitioned image region is acquired from the color density data of the background image that is unique to the data . The color density data is compared with the data in the color density group to which the selected color density data of one pixel belongs, and the closest color density data of one pixel is selected, and then the minute crack width inherent to the data is selected. By acquiring the fine crack width recorded in one pixel at the center position of the partitioned image area from the data, the crack width of the sub-pixel size can be calibrated.
以下、この発明の実施例を図面を参照して説明する。ここでは、トンネルのコンクリート壁に発生したひび割れの幅を求める微細ひび割れ幅検出方法を例にとる。 Embodiments of the present invention will be described below with reference to the drawings. Here, a fine crack width detection method for obtaining the width of a crack generated in a concrete wall of a tunnel is taken as an example.
この発明の参考例１に係る微細ひび割れ幅検量方法を、図１〜図８を参照して説明する。
まず、この発明の参考例１の微細ひび割れ幅検出方法で使用されるコンクリート壁のひび割れ検出装置（以下、ひび割れ検出装置）を説明する。ひび割れ検出装置は、トンネルのアーチ型の内部壁面を撮像し、デジタル量の画像データを取得する撮像装置を備えている。撮像装置は、トンネルの内部壁面に対向して、アーチの頂上から左右に等間隔で周方向の曲面に沿って撮像可能な４台のＣＣＤデジタルビデオカメラ（以下、ビデオカメラ）と、各ビデオカメラによって明瞭な画面が得られるように、各ビデオカメラの視野より広い範囲の撮像面に照明を当てる照明装置と、画像記憶媒体とを備えている。
A fine crack width calibration method according to Reference Example 1 of the present invention will be described with reference to FIGS.
First, a concrete wall crack detection apparatus (hereinafter, crack detection apparatus) used in the fine crack width detection method of Reference Example 1 of the present invention will be described. The crack detection device includes an imaging device that captures an image of a tunnel arch-shaped inner wall surface and acquires digital image data. The imaging device includes four CCD digital video cameras (hereinafter referred to as video cameras) that are capable of imaging along the circumferential curved surface at equal intervals from the top of the arch to the left and right, facing the inner wall surface of the tunnel, and each video camera. Are provided with an illuminating device that illuminates an imaging surface in a range wider than the field of view of each video camera, and an image storage medium.
各ビデオカメラにより撮像された画像データはデジタル量として出力され、画像記憶媒体（ここではＤＶＤ）に記憶される。各ビデオカメラ、照明装置を有する撮像装置は、トンネルの長さ方向に向かって、トンネルの内部壁面と平行に移動する台車を備えた移動装置に載置されている。
各ビデオカメラにより撮像された画像は、撮像装置により、各ビデオカメラが撮像した画像データの頭部が揃えられる。ビデオカメラは、例えば１秒間に３０コマ程度の複数の連続した画像を録画する。したがって、台車の走行により、各ビデオカメラがトンネルの長さ方向に移動しながら録画すると、台車の走行位置とともに画像データが得られる。
Image data picked up by each video camera is output as a digital quantity and stored in an image storage medium (DVD in this case). The imaging device having each video camera and illumination device is placed on a moving device having a carriage that moves in parallel with the inner wall surface of the tunnel in the length direction of the tunnel.
The image captured by each video camera is aligned with the heads of the image data captured by each video camera by the imaging device. For example, the video camera records a plurality of continuous images of about 30 frames per second. Therefore, if each video camera is recorded while traveling in the length direction of the tunnel by traveling of the carriage, image data is obtained together with the traveling position of the carriage.
次に、図１のフローシートを参照し、参考例１の微細ひび割れ幅検出方法を説明する。ここでは、１台のビデオカメラを使用した微細ひび割れ幅検出方法を例とする。
まず、サブピクセルのひび割れが存在する画素を含む１５個程度の画素を円形に区画し、画素領域Ｒとする。この画素領域Ｒ内の各画素の色濃度を求め、その平均値を平均色濃度データとする。平均色濃度データを微細なひび割れ幅のサイズ毎に取得して、多数の平均色濃度データが集積された第１のデータベースを作成する（Ｓ１００／第１のデータベース化工程）。第１のデータベースは、前記画像記憶媒体に登録される。
Next, the fine crack width detection method of Reference Example 1 will be described with reference to the flow sheet of FIG. Here, a fine crack width detection method using one video camera is taken as an example.
First, about 15 pixels including pixels in which cracks of subpixels exist are sectioned into circles to form a pixel region R. The color density of each pixel in the pixel region R is obtained, and the average value is used as average color density data. Average color density data is acquired for each size of a fine crack width, and a first database in which a large number of average color density data is accumulated is created (S100 / first database creation step). The first database is registered in the image storage medium.
微細なひび割れを含む１画素分の色濃度データは、再標本化法により求められる。具体的には、１画素の原画像を縦横ｎ倍し、ｎ×ｎの画素数を有した拡大画像を求める。次に、拡大画像の中に１画素分の幅のひび割れを作成し、この拡大画像を縦横１／ｎ倍して原寸に戻す。その後、原寸に戻された原画像の輝度から色濃度を計測する。この再標本化法により、微細なひび割れを含む１画素分の色濃度データを高い精度で得ることができる。 Color density data for one pixel including a fine crack is obtained by a resampling method. Specifically, the original image of one pixel is multiplied by n times vertically and horizontally to obtain an enlarged image having n × n pixel numbers. Next, a crack having a width of one pixel is created in the enlarged image, and the enlarged image is multiplied by 1 / n in length and width to return to the original size. Thereafter, the color density is measured from the luminance of the original image returned to the original size. By this resampling method, color density data for one pixel including a fine crack can be obtained with high accuracy.
以下、図２のグラフを参照して、再標本化法を具体的に説明する。ここでは、原画像の寸法の縦横２〜１６倍（ｎ＝２〜１６）まで拡大した画像上にひび割れを入れた後、１／２〜１／１６に縮小し、再び原画像の寸法に戻した場合のモデル画像と色濃度との度数分布を求めた。
そのうち、ｎ＝１０の場合を詳述する。まず、１／１０にするということは、原画像の縦横寸法の１０倍、すなわち１００倍の画素を有する画像上に、１画素の幅を有するひび割れを作成し（図２（ａ））、再び縦横比を１／１０にして原画像の寸法に戻すことを意味する（図２（ａ））。これが再標本化である。その際、１／ｎを再標本化度という。縮小後の１画素は、１０×１０画素に存在するひび割れと、コンクリート表面の色濃度とを平均化した色濃度である。図２は、１画素以下のひび割れをＣＣＤが捉えた状態を模擬的に示している。
Hereinafter, the resampling method will be described in detail with reference to the graph of FIG. Here, after cracking an image enlarged to 2 to 16 times (n = 2 to 16) in length and breadth of the original image, the image is reduced to 1/2 to 1/16 and returned to the original image size again. The frequency distribution of the model image and the color density was obtained.
Of these, the case of n = 10 will be described in detail. First, 1/10 means that a crack having a width of 1 pixel is created on an image having 10 times the vertical and horizontal dimensions of the original image, that is, 100 times (FIG. 2A), and again. This means that the aspect ratio is reduced to 1/10 and the dimensions of the original image are restored (FIG. 2A). This is resampling. At that time, 1 / n is referred to as a resampling degree. One pixel after the reduction is a color density obtained by averaging the cracks existing in 10 × 10 pixels and the color density of the concrete surface. FIG. 2 schematically shows a state where a CCD captures a crack of one pixel or less.
ここで、再標本化度と色濃度との関係を図３のグラフに示す。縦軸は色濃度の平均値、横軸は再標本化度である。ただし、コンクリートの表面の色濃度とひび割れ部分の色濃度とは、再標本化度と画素の色濃度との関係におけるパラメータである。図３のグラフは、コンクリートの表面の平均色濃度を１４０とし、ひび割れ部分の平均色濃度を２０と設定した場合のものである。このグラフにおける関係式は、
ｙ＝−０．００８３６ｘ＋１．１８０６０ (1)
（ｘ；平均色濃度、ｙ；再標本化度）
である。
Here, the relationship between the degree of resampling and the color density is shown in the graph of FIG. The vertical axis represents the average value of color density, and the horizontal axis represents the resampling degree. However, the color density of the concrete surface and the color density of the cracked part are parameters in the relationship between the resampling degree and the pixel color density. The graph of FIG. 3 is obtained when the average color density of the concrete surface is set to 140 and the average color density of the cracked portion is set to 20. The relational expression in this graph is
y = −0.00836x + 1.18060 (1)
(X: average color density, y: resampling degree)
It is.
図３のグラフに示す関係をひび割れ幅の検量に適用するには、再標本化度を実寸法値に対応させる必要がある。そこで、視野角を３番目のパラメータとする。視野角と１画素相当の被写体の実寸法との間には、次の関係式が成り立つ。
１画素当たりの視野角水平方向寸法
＝視野角水平方向寸法／ビデオカメラの水平方向画素数 (2)
被写体実寸法＝１画素当たりの視野角水平方向寸法×再標本化度 (3)
ここでは、ビデオカメラの水平方向画素数を１０００、再標本化度を１／ｎとする。
In order to apply the relationship shown in the graph of FIG. 3 to crack width calibration, it is necessary to make the resampling degree correspond to the actual dimension value. Therefore, the viewing angle is set as the third parameter. The following relational expression holds between the viewing angle and the actual size of the subject corresponding to one pixel.
Viewing angle horizontal dimension per pixel
= Viewing angle horizontal dimension / Video camera horizontal pixel count (2)
Actual size of subject = viewing angle per pixel horizontal size x resampling degree (3)
Here, the number of horizontal pixels of the video camera is 1000, and the resampling degree is 1 / n.
次に、サブピクセルのひび割れが存在する画素を含み、かつ平均色濃度データを求める際と同じ画素数で円形に区画された画素領域Ｒ内での色濃度分布データ（図６）を求め、色濃度分布データを微細なひび割れ幅のサイズ毎に取得して、複数の色濃度分布データが集積された第２のデータベースを作成する（Ｓ１０１／第２のデータベース化工程）。第２のデータベースも、前記画像記憶媒体に登録される。 Next, the color density distribution data (FIG. 6) in the pixel region R including the pixel where the sub-pixel crack is present and which is divided into a circle with the same number of pixels as the average color density data is obtained is obtained. The density distribution data is acquired for each size of the fine crack width, and a second database in which a plurality of color density distribution data is accumulated is created (S101 / second database creation step). A second database is also registered in the image storage medium.
次に、トンネルのコンクリート壁の微細なひび割れ部分をデジタルビデオカメラで撮影し（図４）、撮像された画像のうち、微細なひび割れが抽出された画像を読み込む（Ｓ１０２）。次に、読み込まれた抽出画像について、モニタ画面の左上の１画素を走査する（Ｓ１０３）。次にまた、平均色濃度データを求める際と同じ画素数で円形に区画し、その区画された画素領域Ｒ内の色濃度分布である実測色濃度分布データを計算する（Ｓ１０４／実測分布データ取得工程）。
それから、実測色濃度分布データを、第２のデータベースに蓄積された色濃度分布データと照合し（Ｓ１０５）、最も近似した色濃度分布データを選出する（Ｓ１０６／分布データ選出工程）。ここでは、色濃度が１５０にピークが存在した色濃度分布データを例示する（図５）。
Next, a fine crack portion of the concrete wall of the tunnel is photographed with a digital video camera (FIG. 4), and an image from which fine cracks are extracted is read from the captured images (S102). Next, the pixel extracted at the upper left of the monitor screen is scanned for the read extracted image (S103). Next, the measured color density distribution data, which is a color density distribution in the divided pixel region R, is calculated by dividing into a circle with the same number of pixels as when obtaining the average color density data (S104 / actual distribution data acquisition). Process).
Then, the actually measured color density distribution data is collated with the color density distribution data stored in the second database (S105), and the closest color density distribution data is selected (S106 / distribution data selection step). Here, color density distribution data having a peak at a color density of 150 is exemplified (FIG. 5).
選出された色濃度分布データが固有する平均色濃度データと、第１のデータベースに蓄積された平均色濃度データとを照合し、最も近似した平均色濃度データを選出し（平均色濃度データ選出工程）、選出された平均色濃度データが固有する微細なひび割れ幅のデータから、実測色濃度分布データに記録された微細なひび割れ幅を取得する（Ｓ１０７／ひび割れ幅検量工程）。
ここで、図７のグラフを参照し、平均色濃度データが固有するひび割れ幅と平均色濃度との関係を説明する。選出されたコンクリートの表面の平均色濃度は１４０、ひび割れ部分の色濃度は２０である。図７のグラフを用いることで、平均色濃度が１２０の場合、ひび割れ幅は０．３ｍｍであることが簡単に導き出される。
その後、モニタ画面上の全画素の走査が終了するまで、上述したモニタ画面上の左上より順の１画素の走査（Ｓ１０３）から、微細ひび割れ幅の取得（Ｓ１０７）までの処理を繰り返す。
The average color density data inherent to the selected color density distribution data is compared with the average color density data stored in the first database, and the closest average color density data is selected (average color density data selection step) ) The fine crack width recorded in the actually measured color density distribution data is acquired from the fine crack width data inherent in the selected average color density data (S107 / crack width calibration step).
Here, the relationship between the crack width inherent to the average color density data and the average color density will be described with reference to the graph of FIG. The average color density of the selected concrete surface is 140, and the color density of the cracked portion is 20. By using the graph of FIG. 7, when the average color density is 120, it can be easily derived that the crack width is 0.3 mm.
Thereafter, until the scanning of all the pixels on the monitor screen is completed, the processes from the scanning of one pixel in order from the upper left on the monitor screen (S103) to the acquisition of the fine crack width (S107) are repeated.
また、図８のフローシートに示すように、これらのＳ１０３からＳ１０７までの工程は、選出された平均色濃度データに基づき、ひび割れ幅と平均色濃度の関係式から微細なひび割れ幅を計算する工程（Ｓ２０５）に変更して簡略化してもよい。
ここでの関係式とは、コンクリートの表面の平均色濃度を１４０とし、ひび割れ部分の平均色濃度を２０としたとき、
ｙ＝ｈ×（−０．００８３６ｘ＋１．１８０６０） (4)
（ｘ；平均色濃度、ｙ；再標本化度、ｈ；１画素あたりの視野角水平方向寸法）である。この式は、(1) 式により導き出される。
Further, as shown in the flow sheet of FIG. 8, these steps from S103 to S107 are steps of calculating a fine crack width from the relational expression between the crack width and the average color density based on the selected average color density data. It may be simplified by changing to (S205).
The relational expression here is that when the average color density of the concrete surface is 140 and the average color density of the cracked part is 20,
y = h × (−0.00836x + 1.18060) (4)
(X: average color density, y: resampling degree, h: viewing angle horizontal dimension per pixel). This equation is derived from equation (1).
このように、参考例１では、実測色濃度分布データを第２のデータベースの色濃度分布データと照合して最も近似した色濃度分布データを選出後、得られた色濃度分布データが固有する平均色濃度データと、第１のデータベースの平均色濃度データとを照合して最も近似した平均色濃度データを選出し、この選出された平均色濃度データが固有する微細なひび割れ幅のデータから、実測色濃度分布データに記録された微細なひび割れ幅を取得する。その結果、サブピクセルサイズのひび割れ幅を高精度に検量することができる。 As described above, in Reference Example 1, the measured color density distribution data is compared with the color density distribution data in the second database, and the color density distribution data that is most approximated is selected. By comparing the color density data with the average color density data of the first database, the closest average color density data is selected, and measurement is performed from the fine crack width data inherent to the selected average color density data. The fine crack width recorded in the color density distribution data is acquired. As a result, the crack width of the subpixel size can be calibrated with high accuracy.
なお、この発明の微細ひび割れ幅検量方法は、上述した参考例１には限定されない。例えば、サブピクセルのひび割れを含む１画素の色濃度データを求め、この色濃度データを微細なひび割れ幅のサイズ毎に取得して、複数の色濃度データが集積されたデータベースを作成するデータベース化工程と、被写体の微細なひび割れ部分をデジタルビデオカメラで撮影し、撮像された微細なひび割れ部分における各画素毎の色濃度の実測データを取得する実測データ取得工程と、実測データを、データベースに蓄積された色濃度データと照合し、最も近似した色濃度データを選出するデータ選出工程と、選出された色濃度データが固有する微細なひび割れ幅のデータから、実測データに記録された微細なひび割れ幅を得るひび割れ幅検量工程とを備えた微細ひび割れ幅検量方法であってもよい。 The fine crack width calibration method of the present invention is not limited to the above-described Reference Example 1. For example, obtaining a color density data of one pixel including a crack of a subpixel, obtaining the color density data for each size of a fine crack width, and creating a database in which a plurality of color density data are accumulated The actual data acquisition process, which captures the minute cracks of the subject with a digital video camera, and obtains the actual measurement data of the color density of each pixel in the captured fine cracks, is stored in the database. From the data selection process that selects the color density data that is closest to the selected color density data, and the fine crack width data that is unique to the selected color density data, the fine crack width recorded in the measured data is obtained. It may be a fine crack width calibration method including a crack width calibration step to obtain.
この場合、例えばＣＣＤデジタルビデオカメラによる被写体の撮影では、ＣＣＤからビデオカメラの画像部の各エレメントに対して、光量に応じて蓄積された電荷が出力される。そのため、被写体からの受光量に差が存在すれば、蓄積される電荷にも差が生じる。この電荷の差は、カメラ画像上では色濃度の違いとして表示される。すなわち、サブピクセル幅のひび割れの場合でも、微小ではあるが同様に色濃度の違いとして表示される。
そこで、まずデジタルビデオカメラで被写体の微細なひび割れ部分を撮影して実測データを取得し、次に、得られた実測データをデータベース中の色濃度データと照合して、最も近似した色濃度データを選出する。選出された色濃度データ中には、予め色濃度に応じた微細なひび割れ幅のデータが含まれている。そこで、微細なひび割れ幅のデータ値を、従来法では検量できなかった実測データ中の微細なひび割れ幅と見なす。これにより、サブピクセルサイズのひび割れ幅を検量することができる。
In this case, for example, when photographing a subject with a CCD digital video camera, the charge accumulated according to the amount of light is output from the CCD to each element of the image portion of the video camera. For this reason, if there is a difference in the amount of light received from the subject, a difference also occurs in the accumulated charge. This difference in charge is displayed as a difference in color density on the camera image. That is, even when the sub-pixel width is cracked, it is displayed as a difference in color density although it is very small.
Therefore, first, a digital video camera captures the minute cracked part of the subject to obtain actual measurement data, and then compares the actual measurement data obtained with the color density data in the database to obtain the closest color density data. elect. The selected color density data includes data on a fine crack width corresponding to the color density in advance. Therefore, the data value of the fine crack width is regarded as the fine crack width in the measured data that could not be calibrated by the conventional method. Thereby, the crack width of the subpixel size can be calibrated.
このとき、微細なひび割れを含む１画素の色濃度データは、１画素の原画像を縦横ｎ倍した拡大画像の中に、１画素分の幅のひび割れを作成し、その後、前記拡大画像を縦横１／ｎ倍して原寸に戻す再標本化法を利用して求めることができる。これにより、微細なひび割れを含む１画素分の色濃度データを高い精度で得ることができる。 At this time, the color density data of one pixel including a fine crack creates a crack with a width of one pixel in an enlarged image obtained by multiplying an original image of one pixel vertically and horizontally, and then the enlarged image is vertically and horizontally It can be obtained by using a resampling method that is multiplied by 1 / n and returned to the original size. Thereby, the color density data for one pixel including a fine crack can be obtained with high accuracy.
次に、図９〜図１１を参照してこの発明の実施例１に係る微細ひび割れ幅検量方法を説明する。
図９のフローシートに示すように、まずサブピクセルサイズの微細なひび割れが存在する１画素の色濃度の平均値により１画素平均色濃度データを求め、１画素平均色濃度データを背景画像の色濃度毎に微細なひび割れ幅のサイズを変更して取得し、これらの１画素平均色濃度データが背景画素の色濃度毎にグループ分けして集積された１画素濃度データベースを作成する（Ｓ３００／１画素濃度データベース化工程）。図１０のグラフには、背景画素の色濃度毎のグループ（ＣB1〜ＣB3）に分けられた１画素の平均色濃度と再標本化度との関係を示す。
１画素平均色濃度データは、前記再標本化法を利用して求められる。図１０のグラフに示す関係をひび割れ幅の検量に適用するには、再標本化度を実寸法値に対応させる前記(2) 式、(3) 式を使用し、視野角をパラメータとした画角補正を行う。
Next, a fine crack width calibration method according to Embodiment 1 of the present invention will be described with reference to FIGS.
As shown in the flow sheet of FIG. 9, first, one-pixel average color density data is obtained from the average value of the color density of one pixel in which fine cracks of the sub-pixel size exist, and the one-pixel average color density data is used as the color of the background image. A one-pixel density database is created in which the size of the fine crack width is changed for each density, and the one-pixel average color density data is grouped and accumulated for each color density of the background pixels (S300 / 1). Pixel density database creation process). The graph of FIG. 10 shows the relationship between the average color density of one pixel divided into groups (C B1 to C B3 ) for each color density of the background pixels and the resampling degree.
The one-pixel average color density data is obtained using the resampling method. In order to apply the relationship shown in the graph of FIG. 10 to crack width calibration, use the above-mentioned formulas (2) and (3) that correspond the resampling degree to the actual size values, and use the viewing angle as a parameter. Perform angle correction.
次に、トンネルのコンクリート壁の微細なひび割れ部分をデジタルビデオカメラで撮影し（図４）、撮像された画像のうち、微細なひび割れが抽出された画像を読み込む（Ｓ３０１）。次いで、読み込まれた抽出画像を、モニタ画面の左上の１画素を走査する（Ｓ３０２）。それから、この走査画素を中心とした画素領域Ｒ内の平均色濃度を計算し、実測平均色濃度データを求める（Ｓ３０３／実測色濃度データ取得工程）。
次いで、実測平均色濃度データを、１画素濃度データベースに蓄積された１画素平均色濃度データと照合し（Ｓ３０４）、最も近似した１画素濃度データベースを選出する（Ｓ３０５／背景画像用色濃度データ選出工程）。
Next, the fine crack part of the concrete wall of a tunnel is image | photographed with a digital video camera (FIG. 4), and the image from which the fine crack was extracted among the imaged images is read (S301). Next, the extracted image that has been read is scanned by one pixel at the upper left of the monitor screen (S302). Then, the average color density in the pixel region R centering on this scanning pixel is calculated to obtain the measured average color density data (S303 / measured color density data acquisition step).
Next, the actual average color density data is collated with the one-pixel average color density data stored in the one-pixel density database (S304), and the most approximate one-pixel density database is selected (S305 / background image color density data selection). Process).
その後、選出された１画素平均色濃度データが固有する背景画像の色濃度のデータから、画像領域Ｒの中心位置に存在する１画素の背景画像の色濃度を取得する（背景画像色濃度取得工程／Ｓ３０６）。
それから、画像領域Ｒの中心位置に存在する１画素の平均色濃度データを求め、該平均色濃度データを、選出された１画素平均色濃度データが属する色濃度のグループ（例えばＣB1）の１画素平均色濃度データと照合し、最も近似した１画素平均色濃度データを選出する（Ｓ３０７／ひび割れ幅用色濃度データ選出工程）。
選出された１画素平均色濃度データが固有する微細なひび割れ幅のデータから、区画された画像領域の中心位置の１画素に記録された微細なひび割れ幅を取得する（Ｓ３０８／ひび割れ幅検量工程）。
Thereafter, the color density of the background image of one pixel existing at the center position of the image region R is acquired from the color density data of the background image inherent to the selected one-pixel average color density data (background image color density acquisition step). / S306).
Then, average color density data of one pixel existing at the center position of the image area R is obtained, and the average color density data is obtained as 1 of the color density group (for example, C B1 ) to which the selected one-pixel average color density data belongs. The pixel average color density data is collated and the most approximate one-pixel average color density data is selected (S307 / crack width color density data selection step).
The fine crack width recorded in one pixel at the center position of the partitioned image area is acquired from the fine crack width data inherent to the selected one-pixel average color density data (S308 / crack width calibration step). .
ここで、図１１のグラフを参照し、平均色濃度データが固有するひび割れ幅と平均色濃度との関係を説明する。選出されたコンクリートの表面の平均色濃度は１４０、ひび割れ部分の平均色濃度は２０である。図１１のグラフを用いることで、平均色濃度が１２０の場合、ひび割れ幅は０．３ｍｍであることが簡単に導き出される。
その後、モニタ画面上の全画素の走査が終了するまで、上述したモニタ画面の左上より順の１画素の走査（Ｓ３０２）から、微細ひび割れ幅の取得（Ｓ３０８）までの処理を繰り返す（Ｓ３０９）。これにより、サブピクセルサイズのひび割れ幅を高精度に検量することができる。
その他の構成、作用および効果は参考例１から推測可能な範囲であるので、説明を省略する。
Here, the relationship between the crack width inherent to the average color density data and the average color density will be described with reference to the graph of FIG. The average color density of the surface of the selected concrete is 140, and the average color density of the cracked portion is 20. By using the graph of FIG. 11, when the average color density is 120, it is easily derived that the crack width is 0.3 mm.
Thereafter, until the scanning of all the pixels on the monitor screen is completed, the processes from the scanning of one pixel in order from the upper left of the monitor screen (S302) to the acquisition of the fine crack width (S308) are repeated (S309). Thereby, the crack width of the sub-pixel size can be calibrated with high accuracy.
Other configurations, operations, and effects are in a range that can be inferred from Reference Example 1, and thus description thereof is omitted.
Claims (2)
被写体の微細なひび割れが発生している部分をデジタルカメラで撮像し、該撮像された画像を複数の画素毎に区画し、該区画された画像領域内の平均色濃度データを求める実測平均色濃度データ取得工程と、
前記実測平均色濃度データ取得工程で求められた平均色濃度データを、前記データベースに蓄積された色濃度データと照合し、最も近似した色濃度データを選出する背景画像用色濃度データ選出工程と、
前記背景画像用色濃度データ選出工程で選出された色濃度データが固有する背景画像の色濃度のデータを識別し、該識別された色濃度のデータを前記画像領域の中心位置に存在する１画素の背景画像の色濃度として取得する背景画像色濃度取得工程と、
前記撮像された画像の前記画像領域の中心位置に存在する１画素の色濃度データを求める実測色濃度データ取得工程と、
前記実測色濃度データ取得工程で求められた色濃度データを、前記データベースに蓄積され、かつ、背景画像の色濃度が前記背景画像色濃度取得工程で取得された色濃度と同一である色濃度データと照合し、最も近似した色濃度データを選出するひび割れ幅用色濃度データ選出工程と、
前記ひび割れ幅用色濃度データ選出工程で選出された色濃度データが固有するひび割れ幅のデータから、前記画像領域の中心位置に存在する１画素に記録された微細なひび割れ幅を求めるひび割れ幅検量工程とを備えた微細ひび割れ幅検量方法。 The color density data of one pixel in which fine cracks of sub-pixel size exist are acquired by changing the size of the fine crack width for each color density of the background image , and the acquired color density data is stored in the database. a database creation step of accumulated grouped for each color density of the image,
Parts fine cracks of the subject is generated by imaging with a digital camera, to partition the images image pickup for each of a plurality of pixels, measured average color density for obtaining the average color density data of said compartment image area Data acquisition process;
An average color density data obtained by the actual average color density data acquisition step, against the stored color density data in the database, and the color density data selecting process for the background image to elect the color density data most approximate,
The background image color density data selected in the background image color density data selection step identifies the color density data of the background image, and the identified color density data is one pixel located at the center of the image area. A background image color density acquisition step of acquiring as a background image color density;
The measured color density data acquisition process asking you to color density data of one pixel at the center position of the image region of the captured image,
The color density data obtained in the actual color density data acquisition step is accumulated in the database, and the color density data of the background image is the same as the color density acquired in the background image color density acquisition step and it compares the color density data selecting step for crack width of selecting the color density data most approximate,
From the data of crack width of the color density data selected by the crack width for color density data selecting process is unique, crack width calibration obtaining a fine crack width of the center position is recorded in 1 pixels present in the image area And fine crack width calibration method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009028003A JP4344007B2 (en) | 2009-02-10 | 2009-02-10 | Fine crack width calibration method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009028003A JP4344007B2 (en) | 2009-02-10 | 2009-02-10 | Fine crack width calibration method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004052390A Division JP4292095B2 (en) | 2004-02-26 | 2004-02-26 | Fine crack width calibration method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009103719A JP2009103719A (en) | 2009-05-14 |
| JP4344007B2 true JP4344007B2 (en) | 2009-10-14 |
Family
ID=40705494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009028003A Expired - Lifetime JP4344007B2 (en) | 2009-02-10 | 2009-02-10 | Fine crack width calibration method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4344007B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6516384B2 (en) * | 2017-09-22 | 2019-05-22 | エヌ・ティ・ティ・コムウェア株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
| CN109059761B (en) * | 2018-08-01 | 2020-06-19 | 西安交通大学 | EIV model-based handheld target measuring head calibration method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH087157B2 (en) * | 1988-01-30 | 1996-01-29 | 鹿島建設株式会社 | Method for measuring cracks on concrete surface |
| JP4232064B2 (en) * | 1999-10-25 | 2009-03-04 | 株式会社ニコン | Crack evaluation system using image processing |
| JP2003214827A (en) * | 2002-01-29 | 2003-07-30 | Ohbayashi Corp | Method for measuring craze by image processing |
-
2009
- 2009-02-10 JP JP2009028003A patent/JP4344007B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009103719A (en) | 2009-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4232064B2 (en) | Crack evaluation system using image processing | |
| JP3276621B2 (en) | Crack detection method for inner wall of tunnel | |
| JP4292095B2 (en) | Fine crack width calibration method | |
| JP2004109106A (en) | Method and apparatus for inspecting surface defect | |
| JP6875836B2 (en) | Wire rope measuring device and method | |
| JP3828283B2 (en) | Image acquisition method for flat panel display inspection, image acquisition apparatus for flat panel display inspection | |
| JP2005016991A (en) | Infrared structure diagnosis system | |
| JP2004132881A (en) | Method for inspecting arrangement structure | |
| JP4295819B2 (en) | Fine crack width calibration method | |
| JP2005016995A (en) | Infrared structure diagnosis method | |
| JP4344007B2 (en) | Fine crack width calibration method | |
| TW200908017A (en) | Structure visual inspection apparatus and inspection method therefor | |
| CN109919839B (en) | Tunnel graph splicing method | |
| JP4723777B2 (en) | Image inspection method and image inspection apparatus | |
| JP5149403B2 (en) | Image inspection method and image inspection apparatus | |
| JP3668653B2 (en) | Dimension and shape measurement method using digital camera | |
| JP6602624B2 (en) | Structure inspection system | |
| JPH11337322A (en) | Method for measuring appearance by two-dimensional image comparison, and device therefor | |
| JP2005038035A (en) | Image processor, image processing method and program | |
| JP4165115B2 (en) | Pattern erasing method and defect inspection method | |
| JP3133424B2 (en) | Concrete structure deterioration inspection method | |
| JP3855062B2 (en) | Method and apparatus for measuring shape of continuous object by monotonically increasing waveform projection | |
| JPS60195406A (en) | Two-dimensional distortion measuring method by scanning moire method | |
| JP2003348607A5 (en) | ||
| JP5134097B2 (en) | Image inspection method and image inspection apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090212 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20090212 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20090312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090703 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4344007 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150717 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |