JP4241818B2 - 内部検査装置 - Google Patents

内部検査装置 Download PDF

Info

Publication number
JP4241818B2
JP4241818B2 JP2006337373A JP2006337373A JP4241818B2 JP 4241818 B2 JP4241818 B2 JP 4241818B2 JP 2006337373 A JP2006337373 A JP 2006337373A JP 2006337373 A JP2006337373 A JP 2006337373A JP 4241818 B2 JP4241818 B2 JP 4241818B2
Authority
JP
Japan
Prior art keywords
vibration
learning
neuron
category
inspection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006337373A
Other languages
English (en)
Other versions
JP2008151538A (ja
Inventor
良仁 橋本
秀和 姫澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Corp
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Works Ltd filed Critical Panasonic Corp
Priority to JP2006337373A priority Critical patent/JP4241818B2/ja
Priority to EP07024229A priority patent/EP1933135B1/en
Priority to US12/000,590 priority patent/US7930259B2/en
Priority to CN2007103009722A priority patent/CN101206196B/zh
Publication of JP2008151538A publication Critical patent/JP2008151538A/ja
Application granted granted Critical
Publication of JP4241818B2 publication Critical patent/JP4241818B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/045Analysing solids by imparting shocks to the workpiece and detecting the vibrations or the acoustic waves caused by the shocks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481Neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/022Liquids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/023Solids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/028Material parameters
    • G01N2291/0289Internal structure, e.g. defects, grain size, texture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、検査対象の内部に生じた空洞、ひび、割れなどを検査対象を破壊することなく検査する内部検査装置に関するものである。
従来から、建築物の壁面における浮きや剥がれの検査のために、ハンマで壁面を叩いたときの音を人が耳で聞く検査方法が知られている。また、西瓜のような青果物では、手で叩いたときの音の具合によって、善し悪しを判断することが広く行われている。
このように、打撃することにより検査対象に振動を与え、その振動により生じる音を人が耳で聞くことによって検査対象の内部の状態を推定する方法は、多くの分野で採用されている。
また、超音波エコーに代表されるように、超音波のような音波を検査対象に与えて音響的振動を検査対象の内部に伝え、検査対象の内部での反射あるいは検査対象の内部を透過した音響的振動を解析することにより、検査対象の内部の状態を推定する技術も広く採用されている。
ところで、検査対象を打撃したときの音を人が耳で聞くことにより検査対象の内部の状態を推定する方法は、経験者でなければ聞き分けることができず、検査に携わる人員が限られるという問題がある。一方、超音波エコーのような装置は、検査対象の内部からの反射波を可視化するから、検査対象の内部形状などを知ることができるが、検査対象の内部の位置情報を検出するように構成されるから、構成が複雑であり高価であるという問題を有している。
この種の問題を解決可能な技術としては、打撃などにより検査対象を加振したときの振動をニューラルネットワークにより解析する技術ある(たとえば、特許文献1、特許文献2参照)。
特許文献1には、ハンマで検査対象を打撃する際の打撃音の減衰パターンおよび音色パターンを良品と不良品とについて記憶しておき、検査対象を打撃したときの打撃音と記憶している打撃音とをニューラルネットワークにより比較し、検査対象の良否を判定することが記載されている。
また、特許文献2には、インパルスハンマリングを用いる代わりに検査対象を加振し、検査対象から得られる振動波形の特徴量の良否判定を、良品の特徴量を用いてあらかじめ学習した境界学習型ニューラルネットワークで行う技術が記載されている。境界学習型ニューラルネットワークについては、学習データに対応した出力ユニット(つまり、出力層のニューロン)群の出力パターンをあらかじめ定めた教師パターンと比較して両者の誤差に基づいて重み係数を補正する操作を繰り返す動作で学習を行い、検査対象の特徴量に対する出力ユニット群の出力パターンを、学習後の出力パターンと対比するパターンマッチング方法を基本とする旨の記載がある。また、学習データについては、平均値付近で所定のばらつきを有するデータとみなしており、良品の分布が正規分布であるという仮定に基づいている。
特開平7−311185号公報 特開2006−38478号公報
特許文献1に記載には、打撃音についてニューラルネットワークを用いて良否判定を行うことは記載されているものの、ニューラルネットワークを用いた良否判定の精度を向上させるための技術についてはとくに記載されていない。
一方、特許文献2には、境界学習型ニューラルネットワークを用いて、出力パターンのパターンマッチングにより良否の判定を行う技術が記載され、良否判定の精度の向上が期待できるものの良否の分布が正規分布であるという仮定に基づいているが、検査対象に生じるひびや割れにはほとんど法則性がないから、良品の全体を正規分布とみなしてしまうと、良品のカテゴリの一部に不良品のカテゴリが重複する可能性が高くなる。つまり、良品の分布を正規分布とみなすと、カテゴリが良品である領域が平均値の周囲に凸形状に形成されるから、カテゴリが良品である領域の一部が凹形状となるような分布を有する場合には、特許文献2の技術は採用することができないという問題がある。言い換えると、検査対象によっては、良否判定の精度が低下するという問題を有している。
本発明は上記事由に鑑みて為されたものであり、その目的は、従来は人の聴覚に頼っていた検査と同様の検査を競合学習型ニューラルネットワークを用いて行うことにより、熟練を要することなく検査対象の内部の状態を推定可能にするとともに、出力層のニューロンごとに特徴量の帰属度を定めることにより推定精度を高めることができる内部検査装置を提供することにある。
請求項1の発明は、振動発生源を用いて検査対象の内部に伝達させた振動を検出するセンサ部と、センサ部から出力された電気信号から対象信号を抽出する信号入力部と、対象信号から抽出される複数の周波数の周波数成分を特徴量として抽出する特徴量抽出部と、特徴量抽出部により抽出した特徴量を検査対象の内部の状態に関してあらかじめ学習データを用いて学習したカテゴリに分類する競合学習型ニューラルネットワークを備える判定部とを備え、判定部は、学習データで発火したニューロンへの学習データの帰属度の分布を重みベクトルと学習データとの距離に対応付けて設定し、帰属度の分布が設定されたニューロンの重みベクトルと検査対象から得られた特徴量との距離が前記分布において規定の閾値以下の帰属度に対応するときに前記特徴量が当該ニューロンに設定したカテゴリに属していると判断するものであって、前記ニューロンに設定する前記帰属度の分布をガウス分布とし、ガウス分布は、学習後の競合学習型ニューラルネットワークに学習データを再入力したときに発火する各ニューロンの重みベクトルと当該学習データとの距離により分散を決定し、発火したニューロンの重みベクトルを平均としていることを特徴とする。
請求項2の発明では、請求項1の発明において、前記振動発生源が、前記検査対象を打撃することにより検査対象の内部に振動を伝達するハンマ部を備えることを特徴とする。
請求項3の発明では、請求項1の発明において、前記振動発生源が、振動としての音波を発生する音波発生源であることを特徴とする。
請求項1の発明の構成によれば、振動発生源を用いて検査対象の内部に伝達させた振動の周波数成分を特徴量として特徴量を競合学習型ニューラルネットワークを用いて分類するから、競合学習型ニューラルネットワークを適切に学習させておけば、人の聴覚で音を聞き分ける検査と同様の検査を競合学習型ニューラルネットワークを用いて行うことが可能になり、熟練を要することなく検査対象の内部の状態が推定可能になる。検査対象としては、建築物、鋼材(鉄骨、パイプ、板材)、青果物(スイカやメロンなど)などであって、ひび、剥がれ、割れ、空洞などを異常として検出することが可能である。しかも、出力層のニューロンごとに帰属度を設定しているから、正常のカテゴリに属する領域を任意の形状に設定することができ、良品の分布が正規分布ではないような検査対象であっても精度よく良否判定を行うことができる。加えて、競合学習型ニューラルネットワークを用いるから、構成が簡単である上に、カテゴリ毎の学習データを収集し、カテゴリ別に学習データを与えるだけで簡単に学習させることができる。
さらに、ニューロンごとにカテゴリの帰属度の分布をガウス分布で設定しているから、ニューロン毎に帰属度を設定しながらも帰属度を比較的容易に設定することができる。また、ガウス分布を用いることにより閾値を分散や総和を基準として設定することができるから、判定基準としての閾値を設定する方法を定式化して自動的に設定することができる。
請求項2の発明の構成によれば、振動発生源がハンマ部を備え、検査対象をハンマ部で打撃することにより検査対象に振動を生じさせるから、内部の状態に異常があればハンマ部で打撃した場所に応じて異常が生じている箇所を推定することができる。また、ハンマ部による打撃で生じた振動成分を認識すればよいから、特徴量を抽出する期間の特定が容易であり、つねにほぼ同じ条件で検査が可能になる。つまり、異常検出に際しての信頼性が高くなる。また、打撃後の周波数成分とともに打撃後の時間変化に着目すればインパルス応答によって検査対象の内部の状態を詳細に推定することが可能になる。
請求項3の発明の構成によれば、振動発生源として音波を発生する音波発生源を用いているから、音波を連続的に発生させるとともに検査対象の全体に音波を走査すれば、異常の発生箇所を見落とすことなく検出することが可能になる。また、音波の発生の仕方を変化させることによって、インパルス応答やステップ応答を監視することができるから、異常が存在すると推定された箇所について、複数の方法で応答を監視することにより異常の有無や種類を詳細に推定することが可能になる。
(実施形態1)
本実施形態では、検査対象を打撃することにより検査対象に振動を生じさせる振動発生源2を用いる例を説明する。上述したように、建築物、鋼材(鉄骨、パイプ、板材)、青果物(スイカやメロンなど)などの検査対象を検査することができるが、本実施形態では、図1に示すように、鋼材を検査対象Xとする場合を想定し、検査対象Xの内部にはクラックCが生じているものとする。
振動発生源2は、検査対象Xを叩くハンマ部21と、ハンマ部21を進退させる駆動部22とを備える。ハンマ部21は打撃時に検査対象Xに振動を生じさせるとともに検査対象Xに傷を付けることがないように、金属材料の表面を弾性材料で覆ったものを用いるのが望ましい。駆動部22は、電磁石(プランジャを直進駆動するソレノイド)の駆動力を用いて発生させた衝撃力をハンマ部21に伝達する構成を有する。
振動発生源2として、人手によって金槌で検査対象Xを打撃することも考えられるが、打撃によって検査対象Xに与える衝撃力が打撃毎に変化し、異常の検出精度が低下するので、駆動部22によりハンマ部21を進退させる振動発生源2を用いることにより打撃力を一定にするのが望ましい。また、振動発生源2には、検査対象Xの表面に当接して検査対象Xとハンマ部21との距離を一定に保つための脚部23を設けるのが望ましい。
振動発生源2での打撃により検査対象Xの内部に伝達された振動を監視して検査対象Xの内部の状態を推定するために内部検査装置1が設けられる。内部検査装置1は、振動発生源2から検査対象Xの内部に伝達させた振動を検出するセンサ部11を備える。センサ部11としては加速度ピックアップからなる振動センサを用い、検査対象Xにセンサ部11を当接させて振動を検出する。ただし、センサ部11にはマイクロホンを用い、検査対象Xから離間させて振動(振動音)を検出することも可能である。
振動発生源2とセンサ部11とは位置関係(とくに、検査対象Xの表面に沿った距離)を一定にすることが望ましいが、センサ部11の検査対象Xに対する位置を固定しておき振動発生源2を検査対象Xのさまざまな位置に移動させたり、逆に、振動発生源2の検査対象Xに対する位置を固定しておきセンサ部11を検査対象Xのさまざまな位置に移動させたりしてもよい。どちらの場合も、センサ部11と振動発生源2との位置関係が変化するが、検査対象Xの内部における異常の有無は検出可能である。
振動発生源2とセンサ部11との位置関係を一定にするときには、両者をアーム24で結合する。ただし、振動発生源2とセンサ部11とをそれぞれ検査対象Xに当接させることができるように、振動発生源2とセンサ部11との少なくとも一方はアーム24に対して位置調節が可能になるように取り付けておく。たとえば、振動発生源2およびセンサ部11をアーム24に対して進退可能になるように取り付け、さらに、振動発生源2およびセンサ部11をばねで付勢して検査対象Xに当接させるようにしておけば、検査対象Xの表面形状にかかわらず、振動発生源2とセンサ部11とを検査対象Xに当接させることが可能になる。
内部検査装置1は、センサ部11から出力される電気信号の特徴に関するカテゴリをニューラルネットワーク10aを用いて分類する。ニューラルネットワーク10aについては後述する。センサ部11から出力される電気信号は、振動発生源2で検査対象Xに打撃を与えた後であって、打撃により検査対象Xの内部に伝達された振動が継続している期間のみカテゴリの分類に用いられる。この期間においてセンサ部11から出力される電気信号を対象信号として抽出するために、センサ部11から出力される電気信号は信号入力部12に入力される。
信号入力部12では、図2に示すように、センサ部11から出力される電気信号のうち振動発生源2で検査対象Xに打撃を与えた後に設定されているゲート期間Tg内の電気信号を用い、当該ゲート期間Tgをさらに複数の単位期間Tuに分割して各単位期間Tuにおける電気信号を対象信号Stとして用いる。振動発生源2で検査対象Xに打撃を与えた時点t0からゲート期間Tgを開始するまでの時間(t1−t0)と、ゲート期間Tgの長さ(t2−t1)とは適宜に調節され、ゲート期間Tgにおける単位期間Tuの個数についても適宜に調節される。この調節は信号入力部12に付設した調節部12aで行う。
たとえば、検査対象Xが金属製のパイプなどであって、打撃からの残響が長時間継続する場合には、ゲート期間Tgを長く設定し、また振動発生源2とセンサ部11との距離が大きい場合には、打撃を与えた時点t0からゲート期間Tgを開始するまでの時間(t1−t0)を長くとる。なお、ゲート期間Tgの開始を打撃と同時にしないのは、検査対象Xを打撃するのに伴って振動発生源2から生じるノイズが対象信号として検出されるのを防止するためである。
信号入力部12は、センサ部11から出力された電気信号をデジタル信号に変換するA/D変換器と、ゲート期間Tgに得られデジタル信号に変換された電気信号を記憶するバッファメモリとを備える。信号入力部2において、単位期間Tuごとの対象信号Stに分割する処理は、バッファメモリに記憶した電気信号を対象にして行う。また、信号入力部2では、必要に応じて周波数帯域を制限するなどしてノイズを低減させる。
信号入力部12で得られた対象信号Stは特徴量抽出部13に入力され、特徴量抽出部13では各対象信号Stごとに周波数成分を特徴量として抽出する。また、特徴量抽出部13では、打撃後の振動の減衰特性によって検査対象Xのインパルス応答を検出するために、各対象信号Stごとのパワーの実効値を求め、ゲート期間Tgにおける実効値の時系列を特徴量として抽出する。検査対象Xの内部の割れや空洞の存在は、振動の伝達経路を変えて振動の減衰特性に影響を与えるから、周波数成分だけではなく、インパルス応答を検出すると内部の状態を詳細に推定できるようになる。
特徴量抽出部13において周波数成分を抽出するには、FFT(高速フーリエ変換)の技術を用いる。どの周波数を特徴量に用いるかは、対象とする検査対象Xに応じて適宜に選択される。なお、一般に次数が高くなると、線形回帰でスペクトルを求めるよりもFFTでスペクトルを求めるほうが短時間で特徴量を抽出することができる。
上述のようにして対象信号Stごとの周波数成分と、ゲート期間Tgにおけるパワーの時系列とをパラメータとする特徴量を判定部10に入力することにより、特徴量のカテゴリを分類する。判定部10では、特徴量のカテゴリを分類するために、教師なしの競合学習型ニューラルネットワーク(以下、とくに必要がなければ単に「ニューラルネット」と呼ぶ)10aを用いている。ニューラルネットワークとしては、教師有りのバックプロパゲーション型のものを用いることが可能であるが、競合学習型ニューラルネットワーク(自己組織化マップ=SOM)はバックプロパゲーション型のニューラルネットワークよりも構成が簡単であり、カテゴリ毎の学習データを用いて学習させるだけでよく、一旦学習した後も追加学習によって学習を強化させることが可能である。
ニューラルネット10aは、図3に示すように、それぞれ入力層L1と出力層L2との2層からなり、出力層L2の各ニューロンN2が入力層L1のすべてのニューロンN1とそれぞれ結合された構成を有している。ニューラルネット10aは、逐次処理型のコンピュータで適宜のアプリケーションプログラムを実行することにより実現する場合を想定しているが、専用のニューロコンピュータを用いることも可能である。
ニューラルネット10aの動作には、学習モードと検査モードとがあり、学習モードにおいて適宜の学習データを用いて学習した後に、検査モードにおいて実際の対象信号から得られる複数のパラメータからなる特徴量(検査データ)のカテゴリを分類する。
入力層L1のニューロンN1と出力層L2のニューロンN2との結合度(重み係数)は可変であり、学習モードにおいて、学習データをニューラルネット10aに入力することによりニューラルネット10aを学習させ、入力層L1の各ニューロンN1と出力層L2の各ニューロンN2との重み係数を決める。言い換えると、出力層L2の各ニューロンN2には、入力層L1の各ニューロンN1との間の重み係数を要素とする重みベクトルが対応付けられる。したがって、重みベクトルは入力層L1のニューロンN1と同数の要素を持ち、入力層L1に入力される特徴量のパラメータの個数と重みベクトルの要素の個数とは一致する。
一方、検査モードでは、カテゴリを判定すべき検査データをニューラルネット10aの入力層L1に与えると、出力層L2のニューロンN2のうち、重みベクトルと検査データとの距離が最小であるニューロンN2が発火する。学習モードにおいて出力層L2のニューロンN2にカテゴリが対応付けられていれば、発火したニューロンN2の位置のカテゴリによって検査データのカテゴリを知ることができる。
出力層L2のニューロンN2は、たとえば6×6個の領域を有する2次元のクラスタ判定部10bの各領域に一対一に対応付けられている。したがって、学習モードにおいて、クラスタ判定部10bの各領域に学習データのカテゴリを対応付けておけば、検査データにより発火したニューロンN2に対応するカテゴリをクラスタ判定部10bにより知ることができる。つまり、クラスタ判定部10bはニューラルネット10aによる分類結果を出力する。ここに、クラスタ判定部10bはマップを用いて視覚化するのが望ましい。
クラスタ判定部10bの各領域(実質的には出力層L2の各ニューロンN2)にカテゴリを対応付けるに際しては、学習済みのニューラルネット10aを出力層L2から入力層L1に向かって逆向きに動作させて出力層L2の各ニューロンN2ごとに入力層L1に与えたデータを推定し、推定したデータとの距離がもっとも近い学習データのカテゴリを、出力層L2における当該ニューロンN2のカテゴリに用いる。言い換えると、出力層L2の各ニューロンN2のカテゴリには、各ニューロンN2の重みベクトルとの距離が最小である学習データのカテゴリを用いる。これにより、出力層L2の各ニューロンN2のカテゴリには、学習データのカテゴリが反映される。
各カテゴリについて多数個(たとえば、150個)の学習データを与えることにより、類似度の高いカテゴリがクラスタ判定部10b上で近い位置に配置される。つまり、出力層L2のニューロンN2のうち同種のカテゴリに属する学習データに対応して発火したニューロンN2は、クラスタ判定部10b上で近い位置に集まりニューロンN2の集合からなるクラスタを形成する。
なお、学習後にクラスタが形成されるとともにカテゴリが対応付けられたものが、本来のクラスタ判定部10bであるが、学習前であってもクラスタ判定部10bと呼んでとくに区別しない。学習モードでニューラルネット1に与えられる学習データは学習データ記憶部10cに格納されており、必要に応じて学習データ記憶部10cから読み出されてニューラルネット10aに与えられる。
学習データ記憶部10cには、学習モードの前に学習データを収集して記憶させる。学習データには、正常であることが判明している検査対象Xから得られた特徴量を用いる。本実施形態のニューラルネット10aでは、正常以外はすべて異常と判定するようにカテゴリを設定する。そこで、学習データを収集する際には、正常であることが既知である検査対象Xについて、温度、湿度、検査対象Xについて打撃する箇所、サイズなどの条件を種々に変更し、様々の条件で得られる特徴量をすべて正常のカテゴリに対応する学習データとして学習データ記憶部10cに記憶させる。
本実施形態では、学習データを用いてニューラルネット10aにカテゴリを設定した後に、検査対象Xから得られた実際の特徴量をニューラルネット10aに与える前に、ニューラルネット10aの出力層12の各ニューロンN2に対してガウス関数の割り当てを行う。ガウス関数は次式を用いる。なお、下式において角付き括弧を付した文字はベクトルを意味する。
y=exp(−‖[x]−[m]‖/2σ
ただし、[m]:平均、σ:分散である。
上式の平均[m]には、学習済みのニューラルネット10aの重みベクトルを用いる。上式の[x]はニューラルネット10aに与える特徴量であり、‖[x]−[m]‖は特徴量の[x]の平均[m](つまり、重みベクトル)に対する距離である。また、yは上式のガウス関数に特徴量[x]を入力したときの出力値である。
上式によれば、特徴量[x]が平均[m]に近いほど出力値yが大きくなり、特徴量[x]が平均[m]に一致するときに出力値yは最大となって1になる。この出力値yを帰属度として用いる。つまり、この出力値yの値域は0〜1であって、数値が大きくなるほど(1に近いほど)帰属度が高いことになる。
一方、分散σを求めるには、まず学習済みのニューラルネット10aに学習データを再入力し、各ニューロンN2の重みベクトル[m]と各特徴量[x](つまり、学習データ)との距離を求める。同じカテゴリのすべての学習データをニューラルネット1に与えて、距離のリストを作成し、各ニューロンN2について求めた距離の最大値を分散に用いればよい。
上述のようにして、学習データのカテゴリに対応する各ニューロンN2にガウス関数を設定することができる。カテゴリ外のニューロンN2にはガウス関数は設定されない。ニューラルネット10aの出力層12の各ニューロンN2にガウス関数を設定すると、特徴量と重みベクトルとの距離をガウス関数に与えることにより帰属度を求めることができる。そこで、ガウス関数の設定後に、健太対象Xから得られる特徴量[x](特徴量)を入力し、ニューラルネットワーク1の各ニューロンN2の重みベクトル(つまり、平均[m])と特徴量[x]との距離を各ニューロンN2ごとのガウス関数に代入し、ニューロンN2に対応付けたカテゴリごとにガウス関数の出力値yを求める。この出力値yは上述のように各カテゴリへの特徴量の帰属度であるから、帰属度に対する閾値を設定しておけば、特徴量が当該カテゴリに属するか否かを判定することができる。
閾値はたとえば分散の3倍に対応する帰属度としたり、帰属度の設定後に各カテゴリの学習データをニューラルネット10aに与えたときの出力層12におけるニューロンN2の出力値yの総和に適宜の係数を乗じて設定したりすることができる。また、帰属度としては、各ニューロンN2ごとに設定するのではなく、1つのカテゴリに含まれる複数個のニューロンN2について得られるガウス関数の出力値yの平均値を帰属度に用いたり、カテゴリ内の出力値yの最大値を帰属度に用いることも可能である。
上述したように、各対象信号Stごとの周波数成分と、ゲート期間Tgにおける実効値の時系列とを特徴量に用いており、振動発生源2により検査対象Xを1回打撃するたびに一組の特徴量が得られる。以下では、このようにして得られた一組の特徴量をデータセットと呼ぶ。データセットは正常な検査対象Xについてさまざまな条件で収集され、多数組のデータセットが学習データ記憶部10cに格納される。データセットとしては、各単位期間Tuごとの周波数特性と、ゲート期間Tgにおける単位期間Tuのパワーの実効値の時系列との組を用いているが、ゲート期間Tgにおける一部の単位期間Tuの周波数特性のみを用いるようにしたり、ゲート期間Tgにおけるパワーの時系列のみをデータセットとして用いるようにしてもよい。
ニューラルネット10aが学習モードであるときには、学習データ記憶部10cに格納されたデータセットを次々にニューラルネット10aに与えることにより、出力層L2の各ニューロンN2に重み係数を設定する。多数組のデータセットをニューラルネット10aに与えることにより重み係数は次第に収束するから、適数個のデータセットを与えた後の重み係数を正常な検査対象Xに対応する重み係数とする。
学習モードの終了後には、ニューラルネット10aを検査モードとし、学習データ記憶部10cに格納されたすべてのデータセットをニューラルネット10aに再度与えることによって、学習データにより発火した出力層L2のニューロンN2を正常の検査対象Xというカテゴリに属するニューロンN2とする。ここで、学習データの各データセットにはばらつきがあるから、正常のカテゴリの学習データの各データセットであっても発火するニューロンN2は1箇所だけではなく、通常は、複数個のニューロンN2が発火する。
クラスタ判定部10bにおいて学習データのデータセットにより発火したニューロンN2に対応する領域が正常のカテゴリに対応する領域になる。クラスタ判定部10bでは同じカテゴリに属するニューロンN2は隣接してクラスタを形成する。ここに、クラスタ判定部10bのカテゴリは正常のみであるから、上述のように学習後に逆向きに動作させてカテゴリを設定する作業は省略することができる。
クラスタ判定部10bに正常の領域が設定された後には、ニューラルネット10aを検査モードとして、検査しようとする検査対象Xから得られる特徴量をニューラルネット10aに与え、この特徴量についてカテゴリを分類する。ここで、検査対象Xから得られた特徴量では、正常の検査対象Xのカテゴリに属しているニューロンN2が発火しないときには(つまり、クラスタ判定部10bにおいて正常のカテゴリの領域に属していないときには)、当該特徴量は異常であるとみなす。
クラスタ判定部10bにおけるカテゴリの判定結果は、出力部14から出力される。検査対象Xから得られた特徴量が正常ではないときには、必要に応じて出力部14から適宜の警報手段に指示を与えて警報を報知する。
以上説明したように、本実施形態では、検査対象Xを振動発生源2に設けたハンマ部21により打撃するとともに、検査対象Xの内部に伝達された振動をセンサ部11で検出し、その特徴量のカテゴリをニューラルネット10aで分類することにより、検査対象Xが正常か異常かを判定するから、打撃により生じる振動により検査対象Xの異常の有無を信頼性よく検出することができる。また、振動発生源2を機械装置によって構成しているから、ニューラルネット10aの学習データと検査データとをほぼ同条件で求めることができ、判定結果の信頼性を高めることができる。
上述した構成例では、検査対象Xが正常である場合の学習データのみでニューラルネット10aの学習を行うから、正常な検査対象Xに打撃を与える際の条件を変化させるだけで、正常のカテゴリに対応したクラスタを形成することができ、ニューラルネット10aを学習させる作業が容易である。ただし、異常の種類を判別することはできず、単に異常が検出されるだけであるから、検査対象Xの内部の異常について種類や程度を知ることができず、異常の種類や程度については別途の装置で検査しなければ知ることはできない。
異常の種類も分類する必要があるときには、異常の種類が既知である検査対象Xから得られる特徴量を学習データに用いてもよい。当該異常を一つのカテゴリとしてニューラルネット10aの学習を行うようにすると、異常の種類もクラスタ判定部10bのカテゴリとして用いることが可能になる。この場合には、上述したように、学習済みのニューラルネット10aを出力層L2から入力層L1に向かって逆向きに動作させて出力層L2の各ニューロンN2ごとに入力層L1に与えたデータを推定し、推定したデータとの距離がもっとも近い学習データのカテゴリを、出力層L2における当該ニューロンN2のカテゴリに用いる。
異常の種類をカテゴリに用いる場合でも、既知の異常についてのみカテゴリを付与しておけばよく、検査対象Xについて得られた特徴量(検査データ)が付与したカテゴリに属していれば、当該カテゴリの異常と判定することができる。また、正常のカテゴリに属さず、しかも既知の異常のカテゴリにも属していない場合には、未知の異常と判定する。このような未知の異常については、実際の検査対象Xについて発見された異常を特徴量に対応付けて学習データ記憶部10cに記憶させておけば、同種の異常に関するデータセットの組数が一定個数(たとえば、150個)に達したときに、学習データとして用いることが可能になる。
(実施形態2)
実施形態1では、振動発生源2として検査対象Xを打撃する構成を示したが、図4に示すように、音波による振動を検査対象Xに与える音波発生源を振動発生源2に用いてもよい。ここで、音波は必ずしも可聴周波数でなくともよく可聴域よりも高周波あるいは低周波であってもよい。可聴域よりも低周波である場合には、実質的には検査対象Xに振動を与える加振器として機能する。振動発生源2から発生する音波は、波形、周波数、継続時間が適宜に選択される。
波形は、正弦波のほか矩形波、三角波、鋸歯状波を用い、周波数は、一定としたり段階的に変化させたりすることができる。また、継続時間については、音波を継続的に発生させる場合のほか、インパルスとみなせる短時間だけ音波(以下では、インパルス状の音波という)を発生させる場合、インパルスよりも長時間で音波(以下では、パルス状の音波という)を一定時間だけ発生させる場合などの選択が可能である。これらの選択には、振動発生源2に設けた選択部25を操作する。
インパルス状の音波あるいはパルス状の音波を用いると、インパルス応答やステップ応答についての情報が得られるから、この場合には実施形態1において説明したゲート期間Tgにおける各単位期間Tuで得られるパワーの実効値の時系列を特徴量に用いるのが望ましい。
インパルス状の音波やパルス状の音波を検査対象Xに振動として伝達する場合には、ゲート期間Tgの開始と終了とを音波の発生時点を基準に用いて設定することができるが、音波を連続的に発生させる場合には、ゲート期間Tgの開始をたとえば利用者が操作釦(図示せず)を押した時点とすればよい。
音波の波形や周波数を変化させれば、検査対象Xの内部での反射、吸収などによる音波の変化を検出することができるから、単に異常の有無や異常の種類だけではなく、検査対象Xの内部の構造に関する情報をさらに詳細に推定することが可能になる。もっとも、このような詳細な推定を可能にするには、学習に時間を要するから、学習に利用可能な時間と検査対象Xの内部について得ようとする情報の種類とによって、音波の選択とカテゴリの種類とは適宜に設定する。
また、実施形態1において説明したように、検査中にも学習データを収集することが可能であるから、比較的少ないカテゴリで実使用を開始し、他のカテゴリの学習データが収集されると、あらためて追加学習を行うことで分類可能なカテゴリを増やすようにしてもよい。他の構成および動作は実施形態1と同様である。
実施形態1を示すブロック図である。 同上の動作説明図である。 同上に用いるニューラルネットの概略構成図である。 実施形態2を示すブロック図である。
符号の説明
10 判定部
10a ニューラルネット(競合学習型ニューラルネットワーク)
10b クラスタ判定部
10c 学習データ記憶部
11 センサ部
12 信号入力部
13 特徴量抽出部
14 出力部
L1 入力層
L2 出力層
N1 ニューロン
N2 ニューロン
X 検査対象

Claims (3)

  1. 振動発生源を用いて検査対象の内部に伝達させた振動を検出するセンサ部と、センサ部から出力された電気信号から対象信号を抽出する信号入力部と、対象信号から抽出される複数の周波数の周波数成分を特徴量として抽出する特徴量抽出部と、特徴量抽出部により抽出した特徴量を検査対象の内部の状態に関してあらかじめ学習データを用いて学習したカテゴリに分類する競合学習型ニューラルネットワークを備える判定部とを備え、判定部は、学習データで発火したニューロンへの学習データの帰属度の分布を重みベクトルと学習データとの距離に対応付けて設定し、帰属度の分布が設定されたニューロンの重みベクトルと検査対象から得られた特徴量との距離が前記分布において規定の閾値以下の帰属度に対応するときに前記特徴量が当該ニューロンに設定したカテゴリに属していると判断するものであって、前記ニューロンに設定する前記帰属度の分布をガウス分布とし、ガウス分布は、学習後の競合学習型ニューラルネットワークに学習データを再入力したときに発火する各ニューロンの重みベクトルと当該学習データとの距離により分散を決定し、発火したニューロンの重みベクトルを平均としていることを特徴とする内部検査装置。
  2. 前記振動発生源は、前記検査対象を打撃することにより検査対象の内部に振動を伝達するハンマ部を備えることを特徴とする請求項1記載の内部検査装置。
  3. 前記振動発生源は、振動としての音波を発生する音波発生源であることを特徴とする請求項1記載の内部検査装置。
JP2006337373A 2006-12-14 2006-12-14 内部検査装置 Expired - Fee Related JP4241818B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006337373A JP4241818B2 (ja) 2006-12-14 2006-12-14 内部検査装置
EP07024229A EP1933135B1 (en) 2006-12-14 2007-12-13 Nondestructive inspection apparatus
US12/000,590 US7930259B2 (en) 2006-12-14 2007-12-14 Apparatus for detecting vibrations of a test object using a competitive learning neural network in determining frequency characteristics generated
CN2007103009722A CN101206196B (zh) 2006-12-14 2007-12-14 无损检查装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006337373A JP4241818B2 (ja) 2006-12-14 2006-12-14 内部検査装置

Publications (2)

Publication Number Publication Date
JP2008151538A JP2008151538A (ja) 2008-07-03
JP4241818B2 true JP4241818B2 (ja) 2009-03-18

Family

ID=39399146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006337373A Expired - Fee Related JP4241818B2 (ja) 2006-12-14 2006-12-14 内部検査装置

Country Status (4)

Country Link
US (1) US7930259B2 (ja)
EP (1) EP1933135B1 (ja)
JP (1) JP4241818B2 (ja)
CN (1) CN101206196B (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008022125A1 (de) * 2008-05-05 2009-11-19 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Klassifikation von schallerzeugenden Prozessen
CN101609067B (zh) * 2009-08-04 2012-08-29 王保良 一种耐火砖内部缺陷无损量化检测方法及装置
CN103018338A (zh) * 2012-12-05 2013-04-03 河海大学 一种基于声发射和神经网络的混凝土无损检测方法
US9541606B2 (en) 2012-12-17 2017-01-10 General Electric Company Fault detection system and associated method
US9857271B2 (en) 2013-10-10 2018-01-02 Baker Hughes, A Ge Company, Llc Life-time management of downhole tools and components
US9449272B2 (en) 2013-10-29 2016-09-20 Qualcomm Incorporated Doppler effect processing in a neural network model
CN106198765B (zh) * 2015-04-29 2019-03-15 中国科学院声学研究所 一种用于金属裂纹监测的声学信号识别方法
US10186253B2 (en) * 2015-10-05 2019-01-22 Olympus Corporation Control device for recording system, and recording system
US20170191966A1 (en) * 2016-01-04 2017-07-06 General Electric Company Distributed circle method for guided wave based corrosion detection in plate-like structures
JP6681776B2 (ja) * 2016-04-18 2020-04-15 西日本高速道路株式会社 グラウンドアンカーの健全度評価方法および健全度評価システム
JP6751937B2 (ja) * 2016-07-14 2020-09-09 株式会社ポート電子 打音診断装置及び診断方法
CN106770675B (zh) * 2016-12-06 2019-05-21 郑州轻工业学院 基于声发射信号的金刚石压机顶锤裂纹在线检测方法
JP6835408B2 (ja) * 2017-03-24 2021-02-24 日本電気株式会社 打撃検査装置、打撃検査方法及びコンピュータプログラム
US10495693B2 (en) 2017-06-01 2019-12-03 General Electric Company Wind turbine fault detection using acoustic, vibration, and electrical signals
JP6773612B2 (ja) * 2017-07-11 2020-10-21 株式会社東芝 音響検査装置、音声信号取得装置、音響検査システム、および音響検査方法
DE102017012007B4 (de) * 2017-12-22 2024-01-25 HST High Soft Tech GmbH Vorrichtung und Verfahren zur universellen akustischen Prüfung von Objekten
US11868878B1 (en) * 2018-03-23 2024-01-09 Amazon Technologies, Inc. Executing sublayers of a fully-connected layer
JP6697116B2 (ja) * 2018-07-31 2020-05-20 東北電力株式会社 太陽電池の検査装置、検査システム、検査方法及びプログラム
US10764246B2 (en) * 2018-08-14 2020-09-01 Didi Research America, Llc System and method for detecting generated domain
FR3088439B1 (fr) * 2018-11-12 2020-11-13 Electricite De France Detection de defaut electrique dans une generatrice
JP6527999B1 (ja) * 2018-11-22 2019-06-12 義昭 新納 内部状態推定システム
US11113808B2 (en) 2019-02-04 2021-09-07 Walmart Apollo, Llc System and method for assessing quality of produce
JP7193847B2 (ja) * 2019-03-13 2022-12-21 株式会社ナベル 卵分類装置、卵分類方法及びコンピュータプログラム
JP7228456B2 (ja) * 2019-04-12 2023-02-24 日本電信電話株式会社 識別装置、識別方法、および識別処理プログラム
JP7187757B2 (ja) * 2019-04-12 2022-12-13 トヨタホーム株式会社 内部検査装置
DE102019004241A1 (de) 2019-06-18 2020-12-24 HST High Soft Tech GmbH Anordnung und Verfahren zur akustischen Überwachung von Umgebungen
US20220299483A1 (en) * 2019-09-25 2022-09-22 Nec Corporation State estimation device, state estimation method, and recording medium
JP7017720B2 (ja) * 2019-11-13 2022-02-09 株式会社ロジパック 青果物の熟度測定装置
JP7432228B2 (ja) 2020-03-04 2024-02-16 国立大学法人鳥取大学 識別装置、識別方法、およびプログラム
CN111640451B (zh) * 2020-05-07 2023-01-31 Oppo广东移动通信有限公司 一种成熟度评估方法及装置、存储介质
JP7501619B2 (ja) 2020-05-11 2024-06-18 日本電信電話株式会社 識別装置、識別方法及び識別プログラム
CN111832229A (zh) * 2020-07-17 2020-10-27 中国人民解放军海军工程大学 基于CycleGAN模型的振动传递系统及其训练方法
CN111880475A (zh) * 2020-07-23 2020-11-03 缪建飞 用于数控机床的防撞机控制方法、控制系统及数控机床
JP7392633B2 (ja) 2020-11-10 2023-12-06 トヨタ自動車株式会社 車両の異音検査装置
CN112949385B (zh) * 2021-01-24 2022-12-23 西北工业大学 一种基于光视觉的水面目标检测与识别方法
CN113984889A (zh) * 2021-10-27 2022-01-28 郑州大学 一种用于波纹管注浆密实度检测方法
CN114414658B (zh) * 2022-01-11 2024-04-09 南京大学 一种金属表面微裂纹深度的激光超声探测方法
EP4375657A1 (en) * 2022-11-28 2024-05-29 Leonardo S.p.a. Method and system for detecting anomalies of mechanical components, in particular aircraft components, by classifying spectrograms of acoustic signals

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213183A (en) * 1979-03-22 1980-07-15 Adaptronics, Inc. System for nondestructive evaluation of material flaw characteristics
JPH0484754A (ja) * 1990-07-27 1992-03-18 Hitachi Ltd 材料の健全性評価法
JP2951382B2 (ja) * 1990-09-14 1999-09-20 株式会社エヌ・ティ・ティ・データ 特徴抽出方法及びその実施装置
JP3100757B2 (ja) 1992-06-02 2000-10-23 三菱電機株式会社 監視診断装置
JP3388021B2 (ja) * 1994-05-20 2003-03-17 日本酸素株式会社 金属製平底型真空断熱容器の断熱性能判定方法およびその装置
FR2723446B1 (fr) * 1994-08-08 1996-10-25 Aerospatiale Procede automatise de controle au son de pieces complexes, pour la detection de defauts peu profonds
JPH08320875A (ja) * 1995-05-25 1996-12-03 Meidensha Corp データ検索方法
JP3708180B2 (ja) * 1995-09-14 2005-10-19 富士重工業株式会社 自動ブレーキ制御装置
JP3639405B2 (ja) * 1997-03-07 2005-04-20 東洋インキ製造株式会社 色再現域圧縮方法および装置
US7539549B1 (en) * 1999-09-28 2009-05-26 Rockwell Automation Technologies, Inc. Motorized system integrated control and diagnostics using vibration, pressure, temperature, speed, and/or current analysis
US6757665B1 (en) * 1999-09-28 2004-06-29 Rockwell Automation Technologies, Inc. Detection of pump cavitation/blockage and seal failure via current signature analysis
US6505130B1 (en) * 1999-05-11 2003-01-07 Georgia Tech Research Corporation Laser doppler vibrometer for remote assessment of structural components
AU1321801A (en) * 1999-10-29 2001-05-08 Forskarpatent I Vastsverige Ab Method and arrangements for congestion control in packet networks using thresholds and demoting of packet flows
US6386038B1 (en) * 1999-11-24 2002-05-14 Lewis, Iii Carl Edwin Acoustic apparatus and inspection methods
US6275761B1 (en) * 2000-08-28 2001-08-14 General Motors Corporation Neural network-based virtual sensor for automatic transmission slip
AU2002255518A1 (en) * 2001-02-08 2002-08-19 University Of South Carolina In-situ structural health monitoring, diagnostics and prognostics system utilizing thin piezoelectric sensors
US6857553B1 (en) * 2002-04-17 2005-02-22 The United States Of America As Represented By The United States Department Of Energy Method and apparatus for in-process sensing of manufacturing quality
EP1375415A1 (en) * 2002-06-20 2004-01-02 Gilbarco S.p.A. Apparatus and method for controlling the filing of a tank
US7016884B2 (en) * 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor
US7222002B2 (en) * 2003-05-30 2007-05-22 The Boeing Company Vibration engine monitoring neural network object monitoring
WO2005010522A2 (en) * 2003-07-18 2005-02-03 Rosemount Inc. Process diagnostics
KR100784072B1 (ko) * 2003-09-22 2007-12-10 김형윤 구조물의 건전성 감시용 센서 및 시스템
JP2005140707A (ja) * 2003-11-07 2005-06-02 Matsushita Electric Works Ltd 特徴音抽出装置、特徴音抽出方法、製品評価システム
JP2006038478A (ja) * 2004-07-22 2006-02-09 Mitsui Eng & Shipbuild Co Ltd 被検体の良否判定方法および装置
US7225108B2 (en) * 2004-12-06 2007-05-29 Caterpillar Inc Cross correlation diagnostics tool for vibration analysis
CN1793897A (zh) * 2005-12-09 2006-06-28 重庆大学 一种锚杆极限承载力的无损检测方法
JP4356716B2 (ja) * 2006-08-03 2009-11-04 パナソニック電工株式会社 異常監視装置

Also Published As

Publication number Publication date
JP2008151538A (ja) 2008-07-03
US20080144927A1 (en) 2008-06-19
EP1933135B1 (en) 2011-09-28
EP1933135A3 (en) 2010-06-16
CN101206196B (zh) 2010-12-01
CN101206196A (zh) 2008-06-25
EP1933135A2 (en) 2008-06-18
US7930259B2 (en) 2011-04-19

Similar Documents

Publication Publication Date Title
JP4241818B2 (ja) 内部検査装置
US8306779B2 (en) Detectable defect size and probability-of-detection
JP4477068B2 (ja) 動いている物体を特定するためのコンピュータにより実現される方法
Teilmann et al. Characteristics of echolocation signals used by a harbour porpoise (Phocoena phocoena) in a target detection experiment
JPH08226989A (ja) 被監視容積内の異常を検出する装置及び方法並びに異常による損傷を防止する方法
JPH08233977A (ja) 容器の内部の音波の源を検出する装置と方法
Kyhn et al. Harbour porpoise (Phocoena phocoena) static acoustic monitoring: laboratory detection thresholds of T-PODs are reflected in field sensitivity
CN111811617B (zh) 一种基于短时傅里叶变换和卷积神经网络的液位预测方法
Kastelein et al. Temporary hearing threshold shift in a harbor porpoise (Phocoena phocoena) after exposure to multiple airgun sounds
US10598648B2 (en) Quantitative texture measurement apparatus and method
KR20220163311A (ko) 이상 음원 결정 방법 및 ai 음향 영상 카메라
Wang et al. Ultrasonic flaw detection based on temporal and spectral signals applied to neural network
Johnson et al. Compressed air leakage detection using acoustic emissions with neural networks
Zhao et al. Automated quantification of small defects in ultrasonic phased array imaging using AWGA-gcForest algorithm
JP7000963B2 (ja) ソーナー装置、音響信号判別法、及びプログラム
GB2482973A (en) Evaluating the condition of a collection of similar elongated hollow objects
Zafar et al. Tool health monitoring using airborne acoustic emission and a PSO-optimized neural network
JP7357341B2 (ja) 音響式検査装置および方法
JP3880481B2 (ja) 農産物の内部品質検査装置
Lohrasbipeydeh et al. Adaptive energy-based acoustic sperm whale echolocation click detection
Nazarko et al. Novelty detection based on elastic wave signals measured by different techniques
Acciani et al. Automatic evaluation of flaws in pipes by means of ultrasonic waveforms and neural networks
Sugimoto et al. Defect detection using the identification of resonance frequency by spatial spectral entropy for noncontact acoustic inspection method
WO2019060435A1 (en) APPARATUS AND METHOD FOR QUANTITATIVE TEXTURE MEASUREMENT
JP2023119392A (ja) 検査装置および検査方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees