JP4189061B2 - コンクリート表面のクラック検出方法 - Google Patents

コンクリート表面のクラック検出方法 Download PDF

Info

Publication number
JP4189061B2
JP4189061B2 JP19594798A JP19594798A JP4189061B2 JP 4189061 B2 JP4189061 B2 JP 4189061B2 JP 19594798 A JP19594798 A JP 19594798A JP 19594798 A JP19594798 A JP 19594798A JP 4189061 B2 JP4189061 B2 JP 4189061B2
Authority
JP
Japan
Prior art keywords
crack
cracks
region
image
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19594798A
Other languages
English (en)
Other versions
JP2000028541A (ja
Inventor
洋 河西
昇平 御園
寿 袋井
康雄 酒井
定男 出川
博 藤原
将 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP19594798A priority Critical patent/JP4189061B2/ja
Publication of JP2000028541A publication Critical patent/JP2000028541A/ja
Application granted granted Critical
Publication of JP4189061B2 publication Critical patent/JP4189061B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、鋼橋等の床版などコンクリート表面の劣化を検査するためのコンクリート表面のクラック検出方法に関するものである。
【0002】
【従来の技術】
橋梁や鋼橋等の床版等のコンクリート表面に発生するクラックの調査は、人手により行われることが多かったが、近年、赤外線カメラを用いた計測方法が検討され始めている。
【0003】
【発明が解決しようとする課題】
しかし、赤外線カメラは、高価であることや、使用するときの条件が限定されるなどの問題があった。また、赤外線カメラによる映像を解析する限りでは、クラックの状態を精度良く検出することは困難で、クラックの長さや分岐などを検出することは事実上困難である。
【0004】
一方、コヒーレント光線(レーザ光線)を用いる方法も提案(「建設の機械化」1996年3月,コンクリート床版自動点検システム、「電力土木」1993年11月,レーザを利用したトンネル内面クラック探査装置の開発)されているが、装置が大がかりになり、コストもかかるという問題がある。
【0005】
さらに、一眼レフカメラにより撮影された映像を用いてクラックを検査する方法がある。しかし、一般に、クラック領域の濃度分布は濃淡変化を繰り返している。そのため、非常に低い閾値で2値化処理を行いクラックを抽出しようとした場合、確実にクラックの暗い部分は抽出されるものの、領域は断続的にしか得られない。一方、連続的な線分として抽出することを目指して閾値を高くすると、クラック以外の誤抽出された領域の方が圧倒的に多くなるため、単純に閾値を上げるだけでは安定的な抽出は困難である。
【0006】
そこで、本発明の目的は、上記課題を解決し、画像情報として入力した被検査対象から画像処理技術を用いて、クラックを抽出するコンクリートの表面のクラック検出方法を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するために請求項1の発明は、検査すべきコンクリート面の画像情報を取り込み、その原画像の濃淡値のヒストグラムからピークを検出し、ピークがクラックのみ存在する1つのときは、原画像からそのままクラック検出を行い、ピークがクラックと遊離石灰の2つあるときに原画像を明暗分割し、その明暗分割した明部と暗部の各クラック処理領域におけるクラック抽出を行った後、明暗部のクラック処理領域で抽出されたクラックの論理和を取ってクラックを検出するようにしたコンクリート表面のクラック検出方法である。
【0008】
請求項2の発明は、明暗分割した各画像のマスク領域をスムージング処理し、マスク領域外の明暗部のクラック処理領域からそれぞれクラックを抽出する請求項1記載のコンクリート表面のクラック検出方法である。
【0009】
請求項3の発明は、クラックの抽出は、濃淡モフォロジィ処理した領域を多重多段階スライス法にてクラック候補領域を抽出する請求項2記載のコンクリート表面のクラック検出方法である。
【0010】
請求項4の発明は、クラック候補領域を抽出した後、クラックの連続性を探索してクラック候補を統合する請求項3記載のコンクリート表面のクラック検出方法である。
【0011】
【発明の実施の形態】
以下本発明の好適実施の形態を説明する。
【0012】
先ず、鋼橋の床版等のコンクリート表面の画像情報を得るには、検査対象となるコンクリート面を、カメラ、ビデオカメラなどで撮像して取り込み、これを画像処理装置に入力して行う。
【0013】
次に図1により処理フローを説明する。
【0014】
被検査対象の画像入力がなされ、クラック検出が開始10されると、step1で、原画像に対する画像ヒストグラムから画像状況による明暗分割するかどうかの判断を行い、必要がなければ(いいえ)、多重多段階スライス法によるクラック候補領域の抽出11を行い、クラック探索処理12を行って終了13する。
【0015】
このstep1の判断で、画像ヒストグラムに遊離石灰が現れていない場合はあまりなく、本発明の明暗分割処理をする(はい)。
【0016】
この場合、明部領域マスクスムージング処理14を行い、その明部領域に対して、多重多段階スライス法によるクラック候補領域の抽出15を行い、クラック探索処理16を行う。また暗部領域マスクスムージング処理17を行い、その暗部領域に対して、多重多段階スライス法によるクラック候補領域の抽出18を行い、クラック探索処理19を行う。
【0017】
このようにして明暗部領域のクラック探索処理16,19を終えたなら、論理和20を取ってクラックの抽出を終了13する。
【0018】
以下これらの処理を詳しく説明する。
【0019】
(1)画像状況による明暗分割処理
クラックの発生形態としては、クラックのみが存在する場合と、クラックから遊離石灰が現れている場合に分けられる。
【0020】
クラックのみが存在する場合の画像ヒストグラムは図2に示すように濃淡値が分布し、遊離石灰がある場合には、図3に示すように濃淡値が分布する。
【0021】
このように、画像の濃淡値のヒストグラムは、図2に示すようにピークを1つもつ場合と、それ以外の場合、図3のようにピークが2つもつ場合とに分かれる。
【0022】
一般に画像処理のパラメータを固定とするために画像の正規化処理を行うが、これは画像の濃淡ヒストグラムが正規分布に近い場合に有効である。従って、図3のように遊離石灰を含みヒストグラムのピークが2つある場合は、正規化処理を行ってもパラメータを固定することは困難である。
【0023】
そこで、画像処理のパラメータを固定できるように、ヒストグラムの濃淡分布のピークを判断し、ヒストグラムに1つのピークが存在する場合には、明暗の領域分割は行わずに、画像全体に対して正規化処理を行い、それ以外の場合には、遊離石灰を含む領域(明部クラック処理領域)と含まない領域(暗部クラック処理領域)とに分割して、それぞれの領域に対して正規化処理を行う。
【0024】
ここで、ヒストグラムのピークが1つであるか否かの判定を行う評価尺度として、基本統計量の1つであるヒストグラムのヒズミ量を用いる。ヒズミ量とは、ヒストグラムの分布の非対称性を評価するための特徴量であり、数1で表すことができる。
【0025】
【数1】
Figure 0004189061
【0026】
この数1のbの値の絶対値が1を越えた場合には、画像のヒストグラムが非対称な分布をしている。そこでヒズミの絶対値が1を越えた場合には、入力画像を明暗クラック処理領域に分割するために2値化を行う。2値化の閾値の決定には、明暗クラック処理領域をより安定に分割するために判別分析法を用いる。
【0027】
(2)マスク領域スムージング処理
遊離石灰を含む入力画像に対して、明暗クラック処理領域の分割を行って、それぞれの領域のマスク領域(クラック処理を行わない領域)を作成する。すなわち、明部クラック処理領域のクラックを抽出する際は、暗部クラック領域をマスク領域とし、逆に暗部クラック領域のクラックを抽出する際は、明部クラック領域をマスク領域とする。ここで明暗分割処理だけでは、2値化後にマスク領域内に穴が存在したり、クラック抽出処理の対象とならない微小な孤立領域が残ってしまう。
【0028】
このような現象を避けるために、微小な孤立領域除去や穴埋め処理を行うマスク領域スムージング処理を加える。
【0029】
以上の処理から得られたマスク領域を用いることによって、明部クラック処理領域、暗部クラック処理領域におけるクラック抽出を独立して行うことができる。
【0030】
この明暗分割処理とマスク領域スムージング処理を図4により更に詳しく説明する。
【0031】
図4(a)は、原画像22を示し、灰色で示した部分が暗部領域23,24,25、白色で示した部分が明部領域26であり、暗部領域23には、抽出すべきクラック28、穴などの微小ノイズ29、その他クラック以外の線状ノイズ30があり、明部領域26には、クラック31,微小ノイズ32があるとする。
【0032】
この原画像22を濃淡ヒストグラムを基に2値化し、2値化により明暗部を分けて、図4(b)に示すように暗部領域をマスク領域33とし、明部領域をクラック抽出領域34とした明部処理画像35と、図4(c)に示すように明部領域をマスク領域36とし、暗部領域をクラック抽出領域37とした暗部処理画像38とに分ける。
【0033】
この明暗分割処理した画像35,38中のクラック抽出領域34,37中にはクラック抽出の対象とはならない、ノイズ29,30,32が含まれており、マスク領域スムージング(平滑化)処理を行って、これらノイズ29,30,32を除去して、図4(d)に示すように、原画像22の暗部領域23,24,25の全体をスムージング処理したマスク領域39とし、マスク領域39以外を明部クラック処理領域40とする画像41と、原画像22の明部領域26の全体をスムージング処理したマスク領域42とし、それ以外を暗部クラック処理領域43とする画像44とに分け、これら画像41,44中のクラック処理領域40,43中のクラックを多重多段階スライス法にて抽出する。
【0034】
(3)多重多段階スライス法によるクラック候補領域の抽出
多重多段階スライス法とは、図5に示すように局所的な濃淡を繰り返すクラックを抽出し、かつノイズの包含を避ける方法である。
【0035】
基本原理は、先ず上述したクラック処理領域40,43内の正規化画像を濃淡モフォロジィ処理し、これを処理対象画像とする。この濃淡モフォロジィ処理した画像に対して多重多段階スライス法により、すなわち多段階の閾値T4 〜T0 で2値化してクラック候補を抽出する。
【0036】
この場合、実際のクラック領域46とノイズ領域47が、図5の上部の位置の濃度のグラフに示したような濃度分布48にあるときを例に説明する。
【0037】
▲1▼ 非常に低い閾値T1 で対象画像を2値化する。これにより、断片的ではあるが確実にクラックの一部であると判定される部分50を抽出する。
【0038】
▲2▼ 次いで、対象画像に対してT1 よりも少し高い濃度閾値範囲{T1 <T<T2 }の部分51を抽出する。
【0039】
▲3▼ ▲2▼の各抽出部分51の領域が、▲1▼の抽出部分50の領域と近接しているか否かを調べ、近接している領域については、クラック領域52として拡張登録する。この際クラック領域46にある中央の抽出部分51c は、▲1▼の抽出部分50の領域と近接していないため、拡張登録されず、同様にノイズ領域47の抽出部分51n は、▲1▼の抽出部分50の領域と近接していないため、拡張登録されない。
【0040】
▲4▼ 対象画像に対して、より閾値の高い濃度の閾値範囲{T2 <T<T3 }の部分53を抽出する。
【0041】
▲5▼ ▲4▼の抽出部分53の領域が、▲3▼のクラック領域52と近接しているか否かを調べ、近接している領域については、クラック領域54として拡張登録する。また、クラック領域46にある抽出部分53c は、▲3▼のクラック領域52と近接していないため、拡張登録されず、同様にノイズ領域47の抽出部分53n は、▲3▼のクラック領域52と近接していないため、拡張登録されない。
【0042】
▲6▼ 対象画像に対して、さらに高い濃度の閾値範囲{T3 <T<T4 }の部分55を抽出する。
【0043】
▲7▼ ▲6▼の抽出部分55が、▲5▼のクラック領域54と近接しているかどうかを調べ、近接している領域については、クラック領域56として拡張登録する。同様にノイズ領域47の抽出部分55n については、▲5▼のクラック領域54と近接していないため、拡張登録されない。
【0044】
▲8▼ ▲1▼〜▲7▼の処理を同じ濃度閾値範囲で再び行うことで、▲5▼のクラック領域54に連結されなかった▲4▼の抽出部分53c がクラック領域56と近接しているため、拡張登録されて、クラック領域57とされる。また、ノイズである▲4▼の抽出部分53n は、近接していないため拡張登録されない。
【0045】
▲9▼ ▲8▼で得られた拡張登録したクラック領域57の画像を新たな▲1▼の画像とみなして、さらに▲1▼〜▲7▼の処理を行ってクラック候補領域58を抽出する。この際、ノイズ領域47の抽出部分51n ,53n ,55n は、クラック領域57と近接せず、かつ▲8▼の抽出部分57と近接していないため、ノイズ領域59とされる。
【0046】
この▲1▼〜▲9▼の例では、3回の拡張処理を3回繰り返しているが、拡張回数N回、繰り返し回数M回として一般化できる。
【0047】
(4)クラック探索処理
クラック探索処理は、クラック候補領域の抽出処理により得られた領域から、クラックの連続性に着目し、真のクラックを抽出する処理である。これまでに得られた領域から、クラック候補領域は、それぞれ幅を持っているので、以後の探索処理を効率よく実行するために、クラック候補領域の幅を全て1画素となるように細線化処理を施す。
【0048】
この時点では、コンピュータとしては画像の各画素毎の処理しか行っていないので、隣接関係や幾何学的な形状に関する情報は何も得られていない。そこで、一連の線情報を全て折れ線ベクトルで近似表現する処理を施す。すなわち、一つながりの曲線を複数の折れ線で近似することによって、その長さや各折れ線の傾き等の幾何学的形状をコンピュータ内に記述する。これによって始めて抽出した全てのクラック候補群を記号として認識できる。このクラック候補群を、クラック候補領域セグメント群と呼ぶ。
【0049】
さらに次の処理として、このクラック候補領域セグメント群の中で、クラックの探索を行うが、その探索領域を極力減らし、処理効率を上げるために、真のクラックの一部であろうと推定される長い直線セグメントを選び、探索の起点とする。以後、この直線セグメントをベースセグメントと呼ぶ。このベースセグメントを基に探索処理を行う。
【0050】
このクラック探索処理を図6,図7により説明する。
【0051】
図6は、クラック候補領域を抽出した画像65を示し、この画像65中、左方にあるクラック候補領域をベースセグメント60とし、このベースセグメント60の傾きを示す線Lを中心に幅方向Wの破線61,61間の領域内にある実線で示したセグメント62をクラック候補領域セグメント群とし、領域外にある点線で示したセグメント63は領域外として局所的探索を行ってセグメント62を結合する。
【0052】
すなわち、ベースセグメント60に対して局所的にみて近距離にあり、かつ方向の連続性の保たれているものを統合する。
【0053】
先ずベースセグメント60の端点より半径rの円内のセグメント62を探索する。この場合円内には、2つのセグメント62a,62bの端点が入っているが、一方のセグメント62aは線Lの傾きが相違し、方向の連続性が保たれていないため、統合せず他方の方向性が保たれている他方のセグメント62bを統合し、以下同様にして統合したセグメント62bの端点を起点に線Lに沿ったセグメント62を順次探索すると共に統合していく。
【0054】
この操作を成長が止まるまで繰り返し、この結果により図7に示すように比較的良好にクラック70を抽出することができる。
【0055】
【発明の効果】
以上要するに本発明によれば、次の如き効果を発揮する。
【0056】
(1)画像状況による明暗分割処理を行うことで、以後の処理における画像パラメータをほぼ固定することが可能となり、自動化を図れることが可能となる。また、クラック抽出精度の向上にもつながる。
【0057】
(2)マスク領域スムージング処理を行うことで、明部クラック処理領域、暗部クラック処理領域におけるクラック抽出を独立して行うことができる。
【0058】
(3)多重多段階スライス法によるクラック候補領域の抽出を行うことで、ノイズを抑え、かつクラック候補領域全体を抽出することができる。
【0059】
(4)クラック探索処理を行うことで、クラックが途切れて抽出されている可能性のあるクラック候補領域の中から、クラックの連続性に着目し、クラックだけを精度良く抽出することができる。
【図面の簡単な説明】
【図1】本発明の処理フローを示す図である。
【図2】本発明において、クラックのみ存在する場合の濃淡ヒストグラムを示す図である。
【図3】本発明において、クラックから遊離石灰が現れている場合の濃淡ヒストグラムを示す図である。
【図4】本発明において、原画像からマスク領域をスムージング処理にて作成するための説明図である。
【図5】本発明において、クラック候補領域を抽出するときの多重多段階スライス法を説明する図である。
【図6】本発明において、クラック候補を局所的探索によりクラック探索するための説明図である。
【図7】図6においてのクラック探索結果を示す説明図である。
【符号の説明】
22 原画像
28,31 クラック
40 明部クラック処理領域
43 暗部クラック処理領域

Claims (4)

  1. 検査すべきコンクリート面の画像情報を取り込み、その原画像の濃淡値のヒストグラムからピークを検出し、ピークがクラックのみ存在する1つのときは、原画像からそのままクラック検出を行い、ピークがクラックと遊離石灰の2つあるときに原画像を明暗分割し、その明暗分割した明部と暗部の各クラック処理領域におけるクラック抽出を行った後、明暗部のクラック処理領域で抽出されたクラックの論理和を取ってクラックを検出することを特徴とするコンクリート表面のクラック検出方法。
  2. 明暗分割した各画像のマスク領域をスムージング処理し、マスク領域外の明暗部のクラック処理領域からそれぞれクラックを抽出する請求項1記載のコンクリート表面のクラック検出方法。
  3. クラックの抽出は、濃淡モフォロジィ処理した領域を多重多段階スライス法にてクラック候補領域を抽出する請求項2記載のコンクリート表面のクラック検出方法。
  4. クラック候補領域を抽出した後、クラックの連続性を探索してクラック候補を統合する請求項3記載のコンクリート表面のクラック検出方法。
JP19594798A 1998-07-10 1998-07-10 コンクリート表面のクラック検出方法 Expired - Fee Related JP4189061B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19594798A JP4189061B2 (ja) 1998-07-10 1998-07-10 コンクリート表面のクラック検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19594798A JP4189061B2 (ja) 1998-07-10 1998-07-10 コンクリート表面のクラック検出方法

Publications (2)

Publication Number Publication Date
JP2000028541A JP2000028541A (ja) 2000-01-28
JP4189061B2 true JP4189061B2 (ja) 2008-12-03

Family

ID=16349633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19594798A Expired - Fee Related JP4189061B2 (ja) 1998-07-10 1998-07-10 コンクリート表面のクラック検出方法

Country Status (1)

Country Link
JP (1) JP4189061B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364408A (zh) * 2013-07-10 2013-10-23 三峡大学 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010088253A (ko) * 2000-03-11 2001-09-26 유승룡 크랙 변형율 측정기
JP4031608B2 (ja) * 2000-04-18 2008-01-09 三菱重工業株式会社 材料の寿命評価方法
DE102004026375B4 (de) * 2004-05-29 2007-03-22 Isra Glass Vision Gmbh Vorrichtung und Verfahren zur Detektion von Kratzern
JP5351673B2 (ja) * 2009-09-09 2013-11-27 パナソニック株式会社 外観検査装置、外観検査方法
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
JP6108603B2 (ja) * 2013-02-01 2017-04-05 東日本旅客鉄道株式会社 コンクリート構造物補修方法、コンクリート構造物補修構造、及びコンクリート構造物補修システム
CN108431584B (zh) 2015-12-25 2021-04-27 富士胶片株式会社 损伤信息处理装置及损伤信息处理方法
JP6563038B2 (ja) * 2015-12-25 2019-09-04 富士フイルム株式会社 情報処理装置及び情報処理方法
JP6833356B2 (ja) * 2016-06-16 2021-02-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018216629A1 (ja) 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019009214A1 (ja) * 2017-07-07 2019-01-10 キヤノン株式会社 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
KR102141352B1 (ko) * 2018-09-11 2020-08-05 동의대학교 산학협력단 영상 처리 기법을 이용한 콘크리트 구조물 균열 폭 평가 방법
CN109685759B (zh) * 2018-11-05 2022-05-10 北京中企卓创科技发展有限公司 一种加速混凝土开裂设备及其测试方法
JP7225810B2 (ja) 2019-01-11 2023-02-21 富士通株式会社 ひび線抽出装置、ひび線抽出方法、及び、ひび線抽出プログラム
CN113791078B (zh) * 2021-09-02 2023-06-13 中国农业机械化科学研究院 一种玉米种子内部裂纹批量检测方法及装置
CN116698854B (zh) * 2023-08-04 2023-11-21 广州市市政工程试验检测有限公司 一种工程结构健康检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364408A (zh) * 2013-07-10 2013-10-23 三峡大学 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法
CN103364408B (zh) * 2013-07-10 2015-09-09 三峡大学 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法

Also Published As

Publication number Publication date
JP2000028541A (ja) 2000-01-28

Similar Documents

Publication Publication Date Title
JP4189061B2 (ja) コンクリート表面のクラック検出方法
Hoang Detection of surface crack in building structures using image processing technique with an improved Otsu method for image thresholding
US9075026B2 (en) Defect inspection device and defect inspection method
Sun et al. Weighted neighborhood pixels segmentation method for automated detection of cracks on pavement surface images
JP4275345B2 (ja) パターン検査方法及びパターン検査装置
US9430841B2 (en) Defect inspection method
CN111369516A (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
CN111507971A (zh) 一种隧道表面缺陷检测方法
JP3494429B2 (ja) 構造物表面のひび割れ計測方法
JP2008267943A (ja) ひび割れ検出方法
JP3635795B2 (ja) 微細線状欠陥の検出方法及びその装置
JP4211092B2 (ja) 放射線透過検査における溶接欠陥自動検出法
JPH09119900A (ja) コンクリート欠陥の自動評価方法
JP2006090921A (ja) 外観検査装置、閾値決定方法、外観検査方法、およびコンピュータを外観検査装置として機能させるためのプログラム
JPH0961138A (ja) ひび割れ抽出装置
CN116596921B (zh) 一种焚烧炉渣分选方法及系统
JPH02242382A (ja) 欠陥検査方法
JP4189060B2 (ja) コンクリート表面の遊離石灰抽出方法
JP4395057B2 (ja) 帯状体や柱状体の周期疵検出方法およびその装置
JP2009236550A (ja) 欠陥検出方法
JP2008185510A (ja) ひび割れ検出方法
JP3753234B2 (ja) 欠陥検出方法
CN112767414B (zh) 用于微纳光学元件的图像分割方法及自动检测方法
JP3771809B2 (ja) 材料寿命の評価システム
JP2008058124A (ja) 欠陥検査方法及び欠陥検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050421

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20051215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080912

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees