JP5673017B2 - 振動測定システム、振動測定装置および振動測定方法 - Google Patents

振動測定システム、振動測定装置および振動測定方法 Download PDF

Info

Publication number
JP5673017B2
JP5673017B2 JP2010261925A JP2010261925A JP5673017B2 JP 5673017 B2 JP5673017 B2 JP 5673017B2 JP 2010261925 A JP2010261925 A JP 2010261925A JP 2010261925 A JP2010261925 A JP 2010261925A JP 5673017 B2 JP5673017 B2 JP 5673017B2
Authority
JP
Japan
Prior art keywords
target
segment
displacement
vibration
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010261925A
Other languages
English (en)
Other versions
JP2012112795A (ja
Inventor
健太郎 溝内
健太郎 溝内
俊寛 林
俊寛 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2010261925A priority Critical patent/JP5673017B2/ja
Publication of JP2012112795A publication Critical patent/JP2012112795A/ja
Application granted granted Critical
Publication of JP5673017B2 publication Critical patent/JP5673017B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、被測定物の振動状態を測定する振動測定システム、振動測定装置および振動測定方法に関する。
被測定物の振動状態を測定する振動測定装置は、接触式と非接触式とに分けられる。接触式として知られるピックアップ方式の振動測定装置は、被測定物に固定され、内部の圧電素子に加わる力(被測定物の加速度)を電気信号に変換している。また、非接触方式の振動測定装置には、振動によって生じる被測定物の音を収音して振動を検出するマイクアレイ方式、被測定物でのレーザの反射光におけるドップラーシフトを通じて振動を検出するレーザードップラー方式等がある。しかし、マイクアレイ方式は、空間分解能が低く、レーザードップラー方式は、振動自体は測定できるがその変位までは測定できなかった。
また、レーザ等、光を用いた非接触の形状測定装置として、光ビームを被測定物に照射および走査し、その光ビームを走査したときの反射光を集めて結像し被測定物の凹凸情報を求める技術がある(例えば、特許文献1、特許文献2)。しかし、かかる技術では、被測定物上の1点の凹凸位置を連続して取得できないので、時間の経過に応じて形状が変化する振動測定装置の用途には利用できなかった。また、測定方向における集光位置が被測定物の表面上に形成されるように集光手段を変位制御し、その集光手段の変位を被測定物の変位として抽出する技術が知られている(例えば、特許文献3)。さらに、測定光と、測定光に対して周波数変位された参照光との2本のレーザ干渉を通じて振動または変位を測定する技術も公開されている(例えば、特許文献4)。
また、光のみならず、例えば、被測定物に磁石を貼着し、磁石と離隔した磁気プローブを横切る磁力線を検出することで被測定物の振動を抽出する振動検出装置も公開されている(例えば、特許文献5)。このような非接触の振動測定装置では、リアルタイム性こそ充足しているが、被測定物の任意の1点に関する振動や変位しか導出できず、被測定物が振動した場合における、その被測定物の多点の振動状態(振動や変位)を同時に把握することができなかった。
また、仮に複数の振動測定装置を多点に並行して適用しようと試みても、検出構造上の制約、例えば、特許文献5の技術において、測定方向の垂直面に磁気プローブを配する領域を確保しなければならない等の物理的な制約により、測定点数を多くとることができなかった。さらに、磁石を複数並置すると、対象の磁石とその磁石に隣接する他の磁石との磁力線を識別することができず、対象とする点の振動状態を正確に測定できないといった問題が生じることとなる。また、高価な振動測定装置を単純に複数並べるだけでは、オーバースペックとなり測定コストの増大を招いていた。
そこで、1点のみならず、被測定物から放射されるまたは反射される電磁放射(光変調信号)をフォトディテクタアレイで受信し、複数の点における振動周波数を個々に抽出する技術も開示されている(例えば、特許文献6)。
特許2540193号公報 特許3678915号公報 特開平5‐272930号公報 特開平11‐257920号公報 特開平07‐333051号公報 特表2006‐522347号公報
特許文献6の技術では、フォトディテクタアレイによって複数の部位を対象とし、その対象部位、例えば画素毎に光変調信号を取得することはできるが、その画素毎にフーリエ変換等の高負荷処理が実施されるので画素単位の変位を導出するのに時間を要し、リアルタイム性の要求を満たすことができなかった。また、特許文献6の技術では、変位の導出を画素毎に独立して行っており、画素間の対象部位の移動までも把握することはできず、被測定物の映像面(光軸に直交する面)内の振動を測定することはできなかった。
本発明は、このような課題に鑑み、被測定物上の複数の対象部位における振動の変位や周期を非接触かつリアルタイムに測定することが可能な、振動測定システム、振動測定装置および振動測定方法を提供することを目的としている。
上記課題を解決するために、撮像装置と振動測定装置とが接続された本発明の振動測定システムは、撮像装置が、被測定物を撮像して映像データを生成する撮像部と、生成された映像データを出力する映像出力部と、を備え、振動測定装置が、映像データを取得する映像取得部と、取得された映像データを複数のセグメントに分割し、複数の局所パターンとの積をセグメント内のすべての画素に関して積分する高次局所自己相関特性によって、セグメント毎に特徴ベクトルを導出するベクトル導出部と、特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出する多変量解析部と、セグメント毎の目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって対象部位の変位を導出する変位導出部とを備えることを特徴とする。変位導出部は、さらに、対象部位の変位と経過情報とに基づいて、移動速度、変位の方向、振動周期、振動周波数のうち少なくとも1を導出してもよい。
被測定物に光を照射する発光装置をさらに含んでもよい。また、発光装置から照射される光は、複数の光線を配列してなり、複数の光線は、隣接する光線と投射形状が異なってもよい。
上記課題を解決するために、本発明の振動測定装置は、被測定物を撮像した映像データを取得する映像取得部と、取得された映像データを複数のセグメントに分割し、複数の局所パターンとの積をセグメント内のすべての画素に関して積分する高次局所自己相関特性によって、セグメント毎に特徴ベクトルを導出するベクトル導出部と、特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出する多変量解析部と、セグメント毎の目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって対象部位の変位を導出する変位導出部とを備えることを特徴とする。
上記課題を解決するために、本発明の振動測定方法は、被測定物を撮像した映像データを取得し、取得した映像データを複数のセグメントに分割し、複数の局所パターンとの積をセグメント内のすべての画素に関して積分する高次局所自己相関特性によって、セグメント毎に特徴ベクトルを導出し、特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出し、セグメント毎の目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって対象部位の変位を導出することを特徴とする。
本発明によれば、被測定物上の複数の対象部位における振動の変位や周期を非接触かつリアルタイムに測定することが可能となる。
振動測定システムの概略的な接続関係を示した説明図である。 撮像装置の概略的な構成を示した機能ブロック図である。 振動測定装置の概略的な構成を示した機能ブロック図である。 高次局所自己相関特性を導出するための局所パターンを例示した説明図である。 対象部位とセグメントとの関係を説明するための説明図である。 対象部位とセグメントとの他の関係を説明するための説明図である。 部分対象部位とセグメントとの関係を説明するための説明図である。 振動測定方法の全体的な流れを示したフローチャートである。 他の振動測定システムの概略的な接続関係を示した説明図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
被測定物の荷重変更を伴うことなくその振動状態を測定するため、様々な非接触式の振動測定装置が提案されている。しかし、従来の非接触式の振動測定装置では、振動の変位までも測定できるものが少ない。また、測定結果をその場で評価したり、その測定結果を制御の操作量に用いたりする場合、振動の変位に加えてリアルタイム性も必要となり、さらに、被測定物が振動した場合の被測定物全体の相対的な変位を把握するためには被測定物上の複数の対象部位を同時に測定することも望まれる。しかし、そのようなリアルタイム性を充足しつつ複数の対象部位を同時に測定できる振動測定装置は存在しなかった。
ここでは、被測定物上の複数の対象部位における振動の変位や周期を非接触かつリアルタイムに測定可能な振動測定装置を含む振動測定システムを提案し、その後、具体的な処理の流れ(振動測定方法)を詳述する。
(第1の実施形態:振動測定システム100)
図1は、振動測定システム100の概略的な接続関係を示した説明図である。振動測定システム100は、被測定物110を測定するための、撮像装置120と、振動測定装置130とを含んで構成される。
被測定物110は、振動測定システム100における測定対象であり、本実施形態においては、例えば、ビルや橋等の構造体、内燃機関(エンジン)やファンベルト、風洞内における翼や回転中のプロペラ、ベアリング、ピストン、ギア、ボルト等が想定される。
撮像装置120は、被測定物110の測定面(表面)を撮像し、映像データを生成する。本実施形態では、撮像装置120で生成された映像データにおける、エッジ等を有する特徴的な対象部位の画面内の移動により振動の変位や周期が測定される。したがって、図1の被測定物110および撮像装置120の上面視で示したように、撮像装置120の撮像方向は、被測定物110の振動方向と0度以外の角度を有していなくてはならない。
このとき、撮像装置120の撮像方向と被測定物110の振動方向とが為す角度をθとすると、撮像装置120で生成された映像データにおける水平方向の振動の変位は、被測定物110の振動方向における実際の変位にsinθを乗じた値となる。したがって撮像装置120を通じて導出された変位をsinθで除算した値が振動方向の実際の変位となる。
また、撮像装置120を2つ準備して、異なる角度から撮像したものの変位を合成すれば実際の変位を導出することができる。
また、振動測定システム100では、被測定物110の絶対的変位ではなく、被測定物110と撮像装置120との相対的変位が導出されるため、測定用途に応じて撮像装置120の固定場所を考慮しなければならない。例えば、被測定物110が固定された構造体の振動も含んで被測定物110の振動を測定する場合、撮像装置120は、その構造体とアイソレーションされた構造体に固定すべきであり、被測定物110自体の振動のみを測定する場合、撮像装置120は、被測定物110と同一の構造体に固定すべきである。
また、被測定物110と撮像装置120とを同一の構造体に固定することができない状況下において被測定物110自体の振動のみを測定する場合、被測定物110が固定されている構造体に新たに基準となる基準体を固定し、撮像装置120が被測定物110と共にその基準体を撮像し、基準体との相対変位のみを抽出することで、被測定物110と撮像装置120との構造体同士の相対振動を排除することができる。
振動測定装置130は、撮像装置120で生成された映像データに基づいて、被測定物110の振動の変位および周期を測定する。かかる振動測定装置130の測定能力は、撮像装置120の撮像分解能や撮像速度が十分に高いことを前提に、例えば、撮像装置120の撮像範囲が数mの状況下において、msecオーダーの時間分解能で、撮像範囲の約1/100程度の相対変位を取得することを目的としている。このような測定能力により、例えば、10万回転/minで回転しているファンベルトのたるみやバランスをも把握することができる。以下、振動測定システム100を構成する撮像装置120および振動測定装置130の詳細な構成を説明する。
(撮像装置120)
図2は、撮像装置120の概略的な構成を示した機能ブロック図である。撮像装置120は、操作部150と、撮像部152と、映像出力部154とを含んで構成される。本実施形態における撮像装置120は、高速撮像に対応しており、例えば、640×480ピクセル(ピクセルは画素の単位)のフレームデータを10万フレーム/sec以上の速度で生成することを可能としている。ここで、フレームは、1の映像データを構成する時系列に並べられた1枚の静止画をいい、その静止画単位のデータをフレームデータとする。また、ここでは、高速の撮像装置120を用いるとしているが、かかる場合に限られず、振動の測定範囲によっては市販の撮像装置を用いることも可能である。
操作部150は、レリーズスイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル等で構成され、ユーザの操作入力を受け付ける。
撮像部152は、撮像レンズ170と、撮像対象の拡大および縮小が可能なズームレンズ172と、焦点調整に用いられるフォーカスレンズ174と、露光調整に用いられる絞り(アイリス)176と、CCD(Charge Coupled Device)や消費電力の少ないCMOS(Complementary Metal Oxide Semiconductor)等による2次元光電変換素子で構成され、撮像レンズ170を通じて入射した光束を映像データに光電変換する受光素子178と、操作部150に対するユーザの操作入力に応じて、ズームレンズ172、フォーカスレンズ174、絞り176および受光素子178をそれぞれ駆動させる駆動部180とを含んで構成され、被測定物110を撮像して映像データを生成する。
映像出力部154は、受光素子178で光電変換された映像データを、振動測定装置130が認識できるフォーマットに変換し、振動測定装置130に出力する。
(振動測定装置130)
図3は、振動測定装置130の概略的な構成を示した機能ブロック図である。振動測定装置130は、映像取得部210と、データバッファ212と、論理演算部214と、メモリ216と、中央制御部218と、表示部220とを含んで構成される。
当該振動測定システム100では、被測定物110上の複数の特徴的な対象部位における振動の変位や周期を非接触かつリアルタイムに測定することを目的としている。そこで、撮像装置120では、例えば、10万フレーム/sec以上の速度で映像データを生成し、振動測定装置130は、そのように高速に生成された映像データから対象部位の変位を高速に抽出する。ここでは、複数の対象部位の抽出に、自己相関関数を高次に拡張し、比較対象となるパターンを注目画素近傍の局所領域内に限定した高次局所自己相関特性(HLAC:Higher order Local Auto Correlation)によるパターン認識を利用する。
かかる高次局所自己相関特性では、映像における対象範囲内のどの位置に対象部位があったとしても、その対象部位を示す特徴ベクトルが対象範囲に対して一意に求まる(位置不変性)。また、高次局所自己相関特性では、対象範囲内に外観の異なる複数の対象部位が含まれていた場合に、それぞれの対象部位の個々の特徴ベクトルの和となる1つの特徴ベクトルが対象範囲に対して導出される(加法性)。さらに、高次局所自己相関特性では、対象部位の過去の状態を要さず、一時的に測定不能となったとしても、現在の映像から特徴ベクトルを導出できるロバスト性を有している。したがって、高次局所自己相関特性では、パイプライン式(シーケンシャル)に処理を遂行でき、簡単な論理回路によってパターン認識が可能となるため、この処理をハードウェアで実現することができる。
ハードウェアとしては、シンプルなアルゴリズムであれば容易に適用可能なFPGA(Field Programmable Gate Array)やCPLD(Complex Programmable Logic Device)を用いる。FPGAは、ハードウェア記述言語(HDL:Hardware Description Language)等を用いて画一的にプログラミング可能なLSI(Large Scale Integration)であり、例えば、1000万を超える論理ゲートを自由に何度も組み替えることが可能である。また、FPGAは、それ自体を複数連接し、他のFPGAと連携して並行処理を行ったり、互いに情報を共有することも可能である。
さらに、FPGAを用いた開発の結果、そこに形成すべき論理回路が確定したら、安価かつ高速なASIC(Application Specific Integrated Circuit)等を用いることもできる。こうして、振動測定装置130では、撮像装置120が生成した映像データ中の複数の対象部位の変位を短時間かつ同時に導出できる。以下、振動測定装置130の一部の機能部を、FPGAで構成された論理演算部214に設けることで、高次局所自己相関特性に基づく計算処理をハードウェアで展開する。
映像取得部210は、撮像装置120から映像データを取得し、データバッファ212と論理演算部214に出力する。このとき、映像取得部210は、取得した映像データをフレームデータ単位でサブピクセル補間し、フレームデータの分解能を高めることもできる。
データバッファ212は、FIFO(First In First Out)等のシフトレジスタで構成され、映像取得部210が取得した映像データをフレームデータ単位で一時的に保持する。ここで、保持される値は、例えば、フレームデータにおける各画素の輝度値である。また、カラー映像を対象とする場合には、R(Red)G(Green)B(Blue)の値をそれぞれ保持してもよい。
論理演算部214は、高速LSIである、例えば上述したFPGAで構成され、内部の論理ゲートの組み合わせにより、データ判定部230、ベクトル導出部232、多変量解析部234として機能する。ただし、多変量解析部234は、LSI上だけではなく、中央制御部218にて実現される場合もある。
データ判定部230は、必要に応じて、映像取得部210が取得したフレームデータを、後述する各機能部(ベクトル導出部232、多変量解析部234)が処理し易いように加工する。例えば、データ判定部230は、変位追跡と無関係な領域が認識時にノイズになるのを避けるため、マスクを使って無関係な部分をデータ「0」に置換する。また、加工の一例としてフレームデータ間の差分を2値化する場合、データ判定部230は、映像取得部210が取得した現在のフレームデータと、データバッファ212に保持されている過去のフレームデータとを画素単位で比較し、フレームデータの画素毎の差分を導出する。具体的に、データ判定部230は、現在のフレームデータおよび過去のフレームデータの同一位置の画素の差分をとり、その差分が所定の閾値以上となる画素を、有効な値、例えば「1」に、所定の閾値未満の画素を、無効な値、例えば「0」に置き換え、フレームデータを2値化する。こうして、フレームデータは、差分が所定の閾値以上となる画素のみ、換言すれば、動きのある画素のみを把握できるデータに置換される。また、時間方向のフレーム間差分のみならず、空間方向のフレーム内差分、即ち、画面中の隣接する画素間の差分を所定の閾値と比較して2値化することもできる。
また、ここでは、データ判定部230の加工処理として2値化する例を挙げて説明しているが、複数の範囲に細分化し、例えばグレースケールとして扱うとしてもよい。また、差分を形成する手法として、データ判定部230は、フレームデータを、画素間に差分が生じた時点に最大値を有し、経時に従って値が漸減するMHI(Motion History Image)に変更するとしてもよい。勿論、何ら加工処理を行わず、ベクトル導出部232が、映像取得部210が取得したフレームデータを直接用いることも可能である。
また、ここでは、画素毎に差分が導出されているが、複数の画素を纏めたブロック単位(以下に示すセグメントよりは小さい)で輝度値を平均化して、以下の処理を画素の代わりにブロックで行ってもよい。
ベクトル導出部232は、映像取得部210が取得したフレームデータ、または、データ判定部230で加工されたフレームデータを複数のセグメントに分割し、そのセグメント毎に高次局所自己相関特性に基づく特徴ベクトルを導出する。ここで、セグメントは、任意の大きさに設定できるが、ここでは説明の便宜のため、16×16ピクセルとする。したがって、フレームデータが例えば640×480ピクセルであった場合、1枚のフレームデータには、40×30の1200のセグメントが存在することとなる。しかし、フレームデータやセグメントのサイズはかかる値に限らず、対象部位の大きさや抽出すべき振動の変位の大きさに応じて任意の値に設定することができる。
高次局所自己相関特性は、画像から画像認識や測定に有効な特徴ベクトルを抽出する処理であり、以下の数式1で表される。
Figure 0005673017
…(数式1)
高次局所自己相関特性では、任意の次数を用いることができるが、ここでは、計算を容易にするため、0次、1次、2次のみを対象とする。したがって、対象となる高次局所自己相関特性は、それぞれの次数に対応した、以下の数式2、3、4となる。
Figure 0005673017
…(数式2)
Figure 0005673017
…(数式3)
Figure 0005673017
…(数式4)
また、相関をとる範囲を注目画素から所定の距離、ここでは、いずれの次元においても±1画素の局所領域とし、二次元変位ベクトル/aを(ここで「/」はベクトルを示す。)、注目画素の二次元変位ベクトル/rを中心とする3×3の9画素の局所領域内、即ち注目画素の8近傍に限定している。
図4は、高次局所自己相関特性を導出するための局所パターン250を例示した説明図である。ここでは、0次、1次、2次それぞれの局所パターン(相関を取る画素の組合せを示す情報)250を示している。例えば、0次の局所パターン250は、注目画素のみが有効な値(図4中、ハッチングで示す。)を示し、1次の局所パターン250は、注目画素とさらに局所領域内の1の画素と(合計2画素)が有効な値を示し、2次の局所パターン250は、注目画素とさらに局所領域内の2の画素と(合計3画素)が有効な値を示す。このとき、例えば、1次の局所パターン250中の任意の局所パターン252の二次元変位ベクトル/aは、注目画素よりX軸方向に+1変位しているので、(x,y)=(1,0)であり、2次の局所パターン250中の任意の局所パターン254の二次元変位ベクトル/a、/aは、(x,y)=(−1,−1)、(1,1)である。
このようにして0、1、2次の局所パターン250の組み合わせをすべて抽出すると37個存在するが、特徴ベクトルの次元数を下げるべく、平行移動すると等価となる局所パターンを排除することができるので、局所パターン250の数は、図4の如く、0次1個、1次4個、2次20個となり、合計25個となる。本実施形態では、図4に示された25個の局所パターン250を用いる。
例えば、数式2を用いて0次の高次局所自己相関特性を導出する場合、ベクトル導出部232は、セグメント内の任意の1の画素を注目画素とし、その近傍の局所領域内の3×3のパターンと、図4の0次に示した局所パターン250とを乗算する。これは注目画素自体が有効な値を有しているか否かを検出していることに相当する。続いて、ベクトル導出部232は、注目画素を1画素分シフトし繰り返し局所パターン250との乗算値を導出する。ベクトル導出部232は、このような画素毎の乗算を、対象であるセグメント(画像領域)すべてに関して実行し、その和(積分値)を求める。ただし、すべての局所パターン250は共通して注目画素が有効な値である。したがって、有効な値を有していない画素に関しては、いずれにしても高次局所自己相関特性に影響しないので、計算を省略できる。このとき、論理演算部214においては、ソフトウェアを用いることなく、乗算を論理積で、和をカウンタで実現する。
こうして、0次に関しては、局所パターン250が1個なので、高次局所自己相関特性は1つの値のみが導出される。同様に、数式3を用いて1次の高次局所自己相関特性を導出する場合や、数式4を用いて2次の高次局所自己相関特性を導出する場合も、ベクトル導出部232は、注目画素と局所パターン250との乗算をセグメント内の画素すべてに対して行い、その乗算値の和を計算する。したがって、1次に関する高次局所自己相関特性は局所パターン250と同数の4つの値が、2次に関する高次局所自己相関特性は局所パターン250と同数の20の値が導出される。この0次、1次、2次の値を纏めた25次元の値が当該対象となるセグメントの特徴ベクトルとなる。ベクトル導出部232は、このような25次元の特徴ベクトルをセグメントの数分導出する。
多変量解析部234では、ベクトル導出部232が導出したセグメント毎の特徴ベクトルを統計的に扱うべく、多変量解析を実行する。対象部位Cj(jは、N個の対象部位がある場合のj番目のものである事を示す。)から特徴ベクトルxを計算した場合、各対象部位はそのときどきでノイズや変形を含むため、必ずしも固定値にならず、確率的な分布を示す。この分布をP(x|Cj)とする。多変量解析部234では、特徴ベクトルxを、より次元の小さい新たな特徴yへと変換処理y=φ(x)を行う。このφ(x)の作り方には様々なものがあるが、非線形な場合であれば、実装のシンプルなニューラルネット等が使用できる。この処理が理想的になされた場合、数式5のような写像になる。ここで、P(Cj|x)はベイズの事後確率である。
Figure 0005673017
…(数式5)
メモリ216は、RAM、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、中央制御部218が振動測定装置130全体を制御するためのプログラムを一時的に保持したり、プログラムに従った演算結果等を保持したりする。
中央制御部218は、中央処理装置(CPU)や信号処理装置(DSP:Digital Signal Processor)、プログラム等が格納されたROMやメモリ、ワークエリアとしてのRAM等を含む半導体集積回路により、振動測定装置130全体を管理および制御する。また、本実施形態において、中央制御部218は、変位導出部240、表示制御部242としても機能する。
変位導出部240は、多変量解析部234で導出されたセグメント毎の目的ベクトルを取得し、その目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって、その対象部位の変位を導出する。
図5は、対象部位とセグメントとの関係を説明するための説明図である。図5(a)は、フレームデータ中の一部を示し、図5(a)中、罫線で仕切られている四角がセグメントに相当する。また、図5(b)は、対象部位262の移動軌跡を示している。
上述したように高次局所自己相関特性では、対象とする領域に対して位置不変性を有し、その中にどのような対象部位があるかは特定できるが、その具体的な位置は特定できない。ここでは、その対象とする領域を複数のセグメントとすることで、セグメントそれぞれで対象部位を特定し、そのセグメント間の移動によって変位を導出する。
また、本実施形態では、10万フレーム/secといった速度で目的ベクトルが生成されているため、対象部位は、1フレームの間に1のセグメントを跨ぐことはあっても2以上のセグメントを跨ぐことはない。したがって、同一の対象部位の移動先は隣接するセグメントのみを対象とすればよい。
例えば、図5(a)のように、時刻tにおいて、変位導出部240が、セグメント260aの目的ベクトルから対象部位262を特定すると、セグメント260a内のいずれかの位置に対象部位262が存在するということになる。そして、時刻tにおいて、セグメント260aの目的ベクトルから対象部位262を特定できず、隣接するセグメント260bの目的ベクトルから同一の外観を有する対象部位262を特定すると、変位導出部240は、対象部位262がセグメント260aからセグメント260bに移動したと判定する。また、同様に、時刻tにおいて、セグメント260bの目的ベクトルから対象部位262を特定できず、隣接するセグメント260cの目的ベクトルから対象部位262を特定すると、変位導出部240は、対象部位262がセグメント260bからセグメント260cに移動したと判定する。
このとき、変位導出部240は、対象部位262がセグメント260aからセグメント260cに変位したことを把握するが、その変位のみならず、図5(b)の移動軌跡264に示されるように、経時情報(時刻tから時刻t)を用いて移動速度も把握でき、さらに、セグメント260aからセグメント260cといった変位の方向までも把握することが可能となる。また、変位導出部240は、図5(b)のように対象部位262の移動軌跡264を把握すると、対象部位262の振動周期や振動周波数も導出することができる。
また、変位導出部240は、目的ベクトルから以下のようにして対象部位262を特定する。セグメントの目的ベクトルyと、そのセグメントに含まれる可能性のある複数の対象部位262を示す対象ベクトルz、z、…、zとは、高次局所自己相関特性の加法性により数式6の関係となる。
Figure 0005673017
…(数式6)
ただし、k、k、…、kはそれぞれの対象部位262の個数であり、対象部位262が固有の外観である場合、1の値をとる。
上述したように、目的ベクトルyは、対象部位262を識別するのに有効なベクトルであるので、変位導出部240は、数式6を用いて、メモリ216に記憶されている対象ベクトルz、z、…、zのうちどの対象ベクトルが目的ベクトルyに含まれるか、行列演算を用いて容易に計算することができる。このとき、対象ベクトルは、予めメモリ216に保持されていてもよいし、多変量解析して得た値を1の対象部位262とみなしてメモリ216に保持させてもよい。さらに、対象部位262がセグメント260より相対的に大きい場合、その対象部位262の部分ごとに対応する対象ベクトルをメモリ216に保持させてもよい。
また、変位導出部240が、1のセグメント260に複数の対象部位262が含まれると判断した場合、時間軸における対象部位262の増減を通じて、対象部位262の変位をそれぞれ独立して計算することとなる。そのときの対象部位262の移動先はやはり隣接するセグメント260となる。
ここで、変位導出部240は、セグメント260間の移動を把握できるが、セグメント260内の位置は把握できない。したがって、変位の分解能はセグメント260の大きさに依存することとなる。しかし、上述したようにセグメント260数は1200/フレームあるため目的とする分解能を十分に達成することができる。また、セグメントの切り方をずらしたもの(例えばセグメントサイズの1/2ずらしたもの)を用意して、同じ種類の計算を並列に行えば、同じ処理時間で分解能を上げることができる。
図6は、対象部位262とセグメント260との他の関係を説明するための説明図である。ここで、対象部位262がセグメント260の境界に跨っていた場合、目的ベクトルから一意に対象部位262を特定できるのかという問題が生じうる。図6に示すように、対象部位262がセグメント260a、260bを跨いで、その対象部位262を特定するのに十分な特徴ベクトルを得ることができなければ、その時点tにおいて、対象部位262は、どのセグメント260にも含まれないと判断され、追跡できなくなる。しかし、本実施形態では、対象部位262は2以上のセグメント260を跨ぐことがない速度で撮像しているため、一旦、対象部位262がないと判断されたとしても、いずれ隣接するセグメント262bや元のセグメント260aで対象部位262が特定される。したがって、変位導出部240は、その対象部位262の移動軌跡264を推定することが可能となる。
また、対象部位262がセグメント260を跨って、セグメント260に含まれる目的ベクトルのうちの対象部位262の成分が対象ベクトルと同一のベクトルにならなかったとしても、類似する値となるので、変位導出部240は、例えば、セグメント260に含まれる目的ベクトルのうちの任意の成分と対象ベクトルとのベクトル間距離(平均二乗誤差)を計算し、その値が所定の閾値以下であれば、その任意の成分を対象部位262と特定してもよい。
さらに、対象部位262を複数に分割した複数の部分対象部位それぞれに対して対象ベクトルを準備し、目的ベクトルから部分対象部位262それぞれの対象ベクトルを特定するとしてもよい。
図7は、部分対象部位とセグメント260との関係を説明するための説明図である。ここで、対象部位262が、4つの部分対象部位「○」「△」「□」「×」から構成されるとする。対象部位262がセグメント260aとセグメント260bとの境界に跨っていた場合に、目的ベクトルから一意に対象部位262を特定できなかったとしても、例えば、時点tでは、セグメント260bにおいて部分対象部位「○」が特定され、他の部分対象部位「△」「□」「×」は、依然としてセグメント260aにおいて特定される。このとき、変位導出部240は、対象部位262の一部(ここでは、部分対象部位「○」)のみがセグメント260bに移動したことを受けて、対象部位262がセグメント260b方向に移動しつつあることを把握できる。
また、4つの部分対象部位「○」「△」「□」「×」がすべてセグメント260bに移動した後、例えば、時点tにおいてセグメント260aで部分対象部位「×」が特定され、他の部分対象部位「○」「△」「□」は、セグメント260bにおいて特定されたとすると、変位導出部240は、対象部位262の一部(ここでは、部分対象部位「×」)のみがセグメント260aに移動したことを受けて、対象部位262がセグメント260a方向に移動しつつあることを把握できる。こうして、変位導出部240は、図7に示すように対象部位262の移動軌跡264を把握し、対象部位262の変位のみならず対象部位262の振動の周期も導出することもできる。
また、上述したように、変位導出部240は、被測定物110の画面上の変位を導出しているが、撮像装置120の撮像方向と被測定物110の振動方向とが為す角度θと、撮像装置120と被測定物110との距離dとを把握できれば、被測定物110の振動方向における実際の変位を、三角関数を用いて幾何学的に直接導出することもできる。このような導出式は既存の技術なので、ここでは、その詳細な説明を省略する。このとき、フレーム内の複数のセグメントはそれぞれ実空間における振動方向の位置に対応付けられ、変位導出部240は、セグメント内に存在を確認した対象部位262を一旦振動方向の位置に変換した後、変位を導出する。
表示制御部242は、変位導出部240が導出した、被測定物110における各対象部位262の振動の変位や周期を数値やグラフ等で表示部220に表示させる。
表示部220は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成され、表示制御部242の制御に従って、被測定物110における各対象部位262の変位や周期を表示する。
以上、説明した振動測定装置130は、高次局所自己相関特性を用いることで、セグメントにおける対象部位262の位置に拘わらず、対象部位262を一意に特定でき、そのセグメント間の移動を確実に抽出することが可能となる。
また、高次局所自己相関特性は対象部位262の数によって制限されない。例えば、セグメント内に異なる複数の対象部位262が存在する場合であっても、それぞれの対象部位262を特定できるので、全体的に複数の対象部位262の変位を導出できることとなる。
さらに、高次局所自己相関特性では、主として、乗算器(2値化データに限れば論理積)とカウンタといったパイプライン式(シーケンシャル)の処理のみによって実行できるので、FPGA等のハードウェアを用いて容易に適用でき、フレームデータといった広い範囲における複数の対象部位262を同時にかつリアルタイムに処理できる。したがって、振動測定装置130は、被測定物上の複数の対象部位262における振動の変位や周期を非接触かつリアルタイムに測定することが可能となる。
このように、変位を時間相関がある状態でリアルタイムに取得できることから、フレームデータの各対象部位262における変位の位相差までも把握できる。また、10万フレーム/secといった速度で詳細に対象部位262の変位を導出できるので、DC〜数万Hzまでの測定が可能となる。さらに、当該高次局所自己相関特性は、積分処理を含むためノイズにも強いことが知られており、また、過去の履歴を必要としないのでロバスト性も有している。
(振動測定方法)
また、振動測定装置130を用いた振動測定方法も提供される。以下、このような振動測定方法を詳細に説明する。
図8は、振動測定方法の全体的な流れを示したフローチャートである。図8に示すように、振動測定装置130の映像取得部210は、撮像装置120から映像データを取得し、ベクトル導出部232に出力する(S302)。
ベクトル導出部232は、映像取得部210が取得したフレームデータを複数のセグメントに分割し(S304)、そのセグメント毎に数式1を用いて高次局所自己相関特性に基づく特徴ベクトルを導出する(S306)。多変量解析部234は、ベクトル導出部232が導出したセグメント毎の特徴ベクトルに対して多変量解析を行い、セグメント毎の目的ベクトルを導出する(S308)。
変位導出部240は、セグメント毎の目的ベクトルを用いて、各セグメントに含まれる対象部位262を特定し、その対象部位262のセグメント間の移動をもって対象部位262の変位を導出する(S310)。表示制御部242は、変位導出部240が導出した対象部位262毎の変位を表示部220に表示させる(S312)。以後、映像データ取得ステップ300から振動変位表示ステップ312までを繰り返す。
上述した、振動測定装置130の技術的思想に基づく構成要素やその説明は、当該振動測定方法にも適用可能である。
(第2の実施形態)
第1の実施形態において、表面形状が凹凸しているものや表面に模様が形成されている被測定物110に関しては、良好な測定結果を得ることができた。しかし、被測定物110が必ずしも局所的に特徴があるとは限らず、フレームデータにおいて、エッジやコントラストの変化が少ない場合は、レーザによる幾何パターンの照射を行うことで、その対象部位262を能動的に生成することができる。
(振動測定システム400)
図9は、他の振動測定システム400の概略的な接続関係を示した説明図である。振動測定システム400は、被測定物110と、撮像装置120と、振動測定装置130と、発光装置440とを含んで構成される。第1の実施形態における構成要素として既に述べた被測定物110と、撮像装置120と、振動測定装置130とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する発光装置440を主に説明する。
発光装置440は、レーザダイオード等で構成され、照射していない部分の反射光と照射している部分の反射光の輝度が異なるように、レーザ光を被測定物110の表面に照射する。具体的に、発光装置440は、レーザ光によって被測定物110表面に任意の幾何パターンによる複数の光線を格子上に配列する。また、発光装置440は、被測定物110の表面に固定的に光を照射するため被測定物110と共に振動するように配置し、撮像装置120とのアイソレーションの有無は問わない。
第1の実施形態においては、被測定物110表面の対象部位262を任意に抽出する必要があるが、第2の実施形態においては、レーザ光の照射により被測定物110表面に、輝度が他と異なる反射光が形成されるため、変位導出部240は、レーザ光の反射光として予め定められた対象ベクトルを用いて対象部位262である反射光を特定すればよい。
かかる構成により、被測定物110がエッジやコントラストが局所的に大きく変化する点がなく、特徴的な対象部位262の抽出が難しい場合であっても、特徴的な対象部位を新たに付加して、対象部位262を確実に特定することができる。
また、被測定物110を照射する、レーザ光以外の光量に拘わらず、レーザ光のみによって対象部位262を特定できるので、光量の少ない、例えば、暗室であっても、レーザ光のみによってその振動の変位を測定することができる。
さらに、被測定物110自体の外観(表面形状が凹凸しているものや表面に模様が形成されている)特徴に頼ることなく、積極的に所望する位置にレーザ光によるグリッド(レーザグリッド)を形成することができるので、被測定物110に対し均一に対象部位262を配したり、特に重点的に測定したい部分に対象部位262を集中させたりと、測定対象の自由度も高めることが可能となる。
また、ここでは、発光装置440によって被測定物110を照射し、撮像装置120はその反射光を撮像する構成を述べているが、被測定物110の荷重の増加を無視することができる場合、発光装置440を被測定物110に直接固定し、撮像装置120は、その光を直接撮像することもできる。また、撮像方向に対する光の反射量が異なる反射体を複数配した反射板を被測定物110に固定し、その反射光の光量によって対象部位262を特定することもできる。さらに2本のレーザを異なる角度であてることで3次元の変位も測定することが可能となる。
また、発光装置440は、隣接するグリッド間で形状が異なるようにグリッド光を照射する。例えば、発光装置440は、「○」「△」「□」といった形状の異なるグリッドを繰り返し並べる。このように、被測定物110の表面に合計100程度の「○」「△」「□」のレーザグリッドを均等に配すると、1のセグメントや隣接するセグメントに2以上のグリッドが同時に存在することがなくなるので、変位導出部240は、目的ベクトルから1のグリッドの対象ベクトルを特定すればよく、処理負荷を軽減すると共に、誤認識を回避し、測定精度を向上することができる。1つの光源を用いて、同じ形状の模様をグリッド上に並べて作りたい場合(形状の複製)には、ファイバーグレーティング手法が使用できる。
こうして、第2の実施形態における振動測定システム400においても、被測定物110上の複数の対象部位262における振動の変位や周期を非接触かつリアルタイムに測定することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、高次局所自己相関特性を用いて特徴ベクトルを導出しているが、最終的にセグメント内に存在する対象部位262を特定さえできれば、他の様々なアルゴリズムを適用することもできる。
なお、本明細書の振動測定方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、被測定物の振動状態を測定する振動測定システム、振動測定装置および振動測定方法に利用することができる。
100、400 …振動測定システム
110 …被測定物
120 …撮像装置
130 …振動測定装置
210 …映像取得部
230 …データ判定部
232 …ベクトル導出部
234 …多変量解析部
240 …変位導出部
250 …局所パターン
260 …セグメント
262 …対象部位
440 …発光装置

Claims (6)

  1. 撮像装置と振動測定装置とが接続された振動測定システムであって、
    前記撮像装置は、
    被測定物を撮像して映像データを生成する撮像部と、
    生成された映像データを出力する映像出力部と、
    を備え、
    前記振動測定装置は、
    前記映像データを取得する映像取得部と、
    取得された前記映像データを複数のセグメントに分割し、複数の局所パターンとの積を該セグメント内のすべての画素に関して積分する高次局所自己相関特性によって、該セグメント毎に特徴ベクトルを導出するベクトル導出部と、
    前記特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出する多変量解析部と、
    セグメント毎の前記目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって該対象部位の変位を導出する変位導出部と、
    を備えることを特徴とする振動測定システム。
  2. 前記変位導出部は、さらに、前記対象部位の変位と経過情報とに基づいて、移動速度、変位の方向、振動周期、振動周波数のうち少なくとも1を導出することを特徴とする請求項1に記載の振動測定システム。
  3. 前記被測定物に光を照射する発光装置をさらに含むことを特徴とする請求項1または2に記載の振動測定システム。
  4. 前記発光装置から照射される光は、複数の光線を配列してなり、該複数の光線は、隣接する光線と投射形状が異なることを特徴とする請求項に記載の振動測定装置。
  5. 被測定物を撮像した映像データを取得する映像取得部と、
    取得された前記映像データを複数のセグメントに分割し、複数の局所パターンとの積を該セグメント内のすべての画素に関して積分する高次局所自己相関特性によって、該セグメント毎に特徴ベクトルを導出するベクトル導出部と、
    前記特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出する多変量解析部と、
    セグメント毎の前記目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって該対象部位の変位を導出する変位導出部と、
    を備えることを特徴とする振動測定装置。
  6. 被測定物を撮像した映像データを取得し、
    取得した前記映像データを複数のセグメントに分割し、複数の局所パターンとの積を該セグメント内のすべての画素に関して積分する高次局所自己相関特性によって、該セグメント毎に特徴ベクトルを導出し、
    前記特徴ベクトルに対して多変量解析を行い、目的ベクトルを導出し、
    セグメント毎の前記目的ベクトルを用いて、各セグメントに含まれる対象部位を特定し、その対象部位のセグメント間の移動をもって該対象部位の変位を導出することを特徴とする振動測定方法。
JP2010261925A 2010-11-25 2010-11-25 振動測定システム、振動測定装置および振動測定方法 Active JP5673017B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010261925A JP5673017B2 (ja) 2010-11-25 2010-11-25 振動測定システム、振動測定装置および振動測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010261925A JP5673017B2 (ja) 2010-11-25 2010-11-25 振動測定システム、振動測定装置および振動測定方法

Publications (2)

Publication Number Publication Date
JP2012112795A JP2012112795A (ja) 2012-06-14
JP5673017B2 true JP5673017B2 (ja) 2015-02-18

Family

ID=46497162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010261925A Active JP5673017B2 (ja) 2010-11-25 2010-11-25 振動測定システム、振動測定装置および振動測定方法

Country Status (1)

Country Link
JP (1) JP5673017B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680243A (zh) * 2018-03-30 2018-10-19 昆山迈致治具科技有限公司 物体振动的检测方法、装置、系统及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105067245B (zh) * 2015-08-11 2018-01-12 招商局重庆交通科研设计院有限公司 桥梁受拉件振动频率测量方法和系统
JP2018009849A (ja) * 2016-07-12 2018-01-18 リコーエレメックス株式会社 検査システムおよび検査方法
JP6866335B2 (ja) * 2018-09-05 2021-04-28 東芝情報システム株式会社 検査装置及び検査用プログラム
CN110617965B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 齿轮组异常的检测方法及相关产品
CN110595779B (zh) * 2019-04-26 2021-10-12 深圳市豪视智能科技有限公司 一种轴承异常的检测方法及相关设备
JP7228476B2 (ja) * 2019-06-14 2023-02-24 株式会社Nttドコモ 領域決定装置
KR102363939B1 (ko) * 2020-04-27 2022-02-17 중앙대학교 산학협력단 주기적 동작을 가지는 진동체의 감지시스템
CN114253308B (zh) * 2020-09-21 2022-08-30 陕西环保产业研究院有限公司 一种空间框架结构振动的主动控制方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181075A (ja) * 1993-12-22 1995-07-18 Hitachi Zosen Corp 物体の変位状態計測方法および変位状態計測装置
JP4925120B2 (ja) * 2007-07-02 2012-04-25 独立行政法人産業技術総合研究所 物体認識装置および物体認識方法
JP2009210489A (ja) * 2008-03-05 2009-09-17 Tokyo Electric Power Co Inc:The 振動計測システム及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680243A (zh) * 2018-03-30 2018-10-19 昆山迈致治具科技有限公司 物体振动的检测方法、装置、系统及存储介质

Also Published As

Publication number Publication date
JP2012112795A (ja) 2012-06-14

Similar Documents

Publication Publication Date Title
JP5673017B2 (ja) 振動測定システム、振動測定装置および振動測定方法
CN113125458B (zh) 钢结构涂层状态的检查与评估方法及系统
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
JP5500462B2 (ja) 形状測定装置、観察装置および画像処理方法
US20170276923A1 (en) Phase Contrast Imaging
JP4873485B2 (ja) 多数の基準面を用いた形状計測方法および形状計測装置
JP6975799B2 (ja) 低解像度検査画像から高分解能点拡がり関数を再構築するシステム及び方法
JPH0921620A (ja) 物体の三次元形状計測方法
JP6054576B2 (ja) 測定対象物の少なくとも1つの仮想画像を生成する方法及び装置
WO2018042424A1 (en) Optical detection of vibrations
CN105579809B (zh) 测量方法、测量装置以及计算机可读记录介质
JP2011064482A (ja) 高速三次元計測装置及び高速三次元計測方法
JP2011107140A (ja) 物体表面の高さマップを求める方法及びその装置
JP6682251B2 (ja) 検査システム、及び検査方法
JP2010276540A (ja) 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法
WO2013133021A1 (ja) 走査型電子顕微鏡の画像処理装置、および、走査方法
JP2018054412A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN116559179B (zh) 一种反光表面形貌与缺陷检测方法及其系统
JP6720358B2 (ja) 3dスキャンシステム
Chen et al. Digital fringe projection profilometry
JP2010025809A (ja) モアレ縞測定装置
JP5520562B2 (ja) 立体形状測定システム及び立体形状測定方法
Herrera et al. Sensor planning for range cameras via a coverage strength model
US20180301385A1 (en) Target Location in Semiconductor Manufacturing
WO2013035847A1 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、コンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141215

R151 Written notification of patent or utility model registration

Ref document number: 5673017

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250