JP5739028B2 - 進入が制限された検査のための追跡可能な多軸ツール - Google Patents

進入が制限された検査のための追跡可能な多軸ツール Download PDF

Info

Publication number
JP5739028B2
JP5739028B2 JP2014010326A JP2014010326A JP5739028B2 JP 5739028 B2 JP5739028 B2 JP 5739028B2 JP 2014010326 A JP2014010326 A JP 2014010326A JP 2014010326 A JP2014010326 A JP 2014010326A JP 5739028 B2 JP5739028 B2 JP 5739028B2
Authority
JP
Japan
Prior art keywords
relative
stretching device
opening
sliding
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014010326A
Other languages
English (en)
Other versions
JP2014145764A (ja
Inventor
ネイサン アール. スミス,
ネイサン アール. スミス,
ジェームズ ジェイ. トロイ,
ジェームズ ジェイ. トロイ,
ジェフリー アール. コルゴード,
ジェフリー アール. コルゴード,
ゲアリー イー. ジョージソン,
ゲアリー イー. ジョージソン,
ポール, エス. ラザフォード,
ポール, エス. ラザフォード,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2014145764A publication Critical patent/JP2014145764A/ja
Application granted granted Critical
Publication of JP5739028B2 publication Critical patent/JP5739028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、視線が及ばず、進入が制限された領域の中で操作される非破壊検査のためのシステムおよび方法、より詳細には、エンドエフェクタを装備した装着アームを利用する非破壊検査のためのシステムおよび方法に関する。
航空機の構造体など筐体の中の進入が制限された領域の検査には、構造体の分解および再組み立てが必要になることがあるが、それには費用と時間がかかる。別法として、そうした囲繞された領域が、視覚による検査を可能にするセンサまたは他の計器を受け入れるように寸法設定された進入開口を含むようにすることが可能である。検査する内部に比較的障害物がない場合には、そうしたセンサの使用が有効になり得る。しかしながら、多くの用途において、そうした筐体は、進入および検査を困難にするハードウエアまたは他の構造体を含むことがある、遮られた内部を含む可能性がある。
例えば、ある特定の航空機の内部構造体では、供用期間中検査が求められる場合があるが、そうした構造体は、管、ブラケットおよびアクチュエータによって遮られている可能性があり、最初にそれらを取り外さなければならない。場合によっては、初期検査に1000時間超を要することがあり、またその後の検査に500時間超を要することがある。他の航空機の内部構成要素は、他の構造上の要素によって遮られている可能性がある。構造上の取り外しの問題のために、航空機の初期検査に2000時間超、繰り返しの検査に1100時間も要することがある。
現在、そうした検査は、進入が制限された領域に挿入するように形状設定されたボアスコープおよびリモートカメラを用いて実施することができる。そうしたデバイスによって、表面の傷または損傷を調べることができる場合もあるが、表面下の損傷を調べることはできない。多くの場合、こうしたデバイスおよび方法を用いて見出された特徴は、損傷として誤診されたものである可能性があり、害のないマーキングであることは、費用のかかる解体の後でしか判定することができない。航空機のチタンの取付け部品の疲労検査は、視覚によるボアスコープ検査としてプログラムすることができるが、亀裂のような徴候が見出された場合、現在のところ、単純に尾部を解体する以外にその徴候を確かめる方法はない。
さらに、結合され、共に硬化させた航空機の複合構造体の使用が増えるにつれて、製造および供用期間中検査のための内部への進入は、きわめて難しく、費用と時間がかかるものになる可能性がある。そうした検査はきわめて高価な場合があるので、供用期間中検査を実施する高い費用のために、ある特定のより低コストの構造設計を利用することができない。
したがって、制限され囲繞された領域における非破壊検査のためのシステムおよび方法が求められている。また、封じ込められた空間で検査デバイスの位置および向きを追跡する非破壊試験のためのシステムおよび方法も求められている。
一実施形態において、多軸ツールは、壁の中の開口に隣接して位置決めするように適合されたジンバルと、第1の端部および第2の端部、ならびに第1の端部に隣接するエンドエフェクタを有し、エンドエフェクタを壁の第2の端部と反対の側に位置決めするような、開口を通る相対的な回転移動および相対的な摺動移動のためにジンバルと係合する延伸デバイス(extended−reach device)と、延伸デバイスのジンバルに対する線形位置、ならびにエンドエフェクタの開口に対する位置および空間的な向きを測定するように構成されたセンサシステムと、エンドエフェクタの開口に対する位置および向きの少なくとも1つを決定するために、センサシステムから信号を受け取るように接続されたコンピュータ制御装置とを含むことができる。
別の実施形態において、進入開口を備えた壁を有する筐体の内部を検査するための方法は、第1の端部および第2の端部、ならびに第1の端部に隣接するエンドエフェクタを有する延伸デバイスを提供すること、エンドエフェクタを壁の第2の端部と反対の側に位置決めするように、延伸デバイスを開口を通して挿入すること、センサシステムを用いて、エンドエフェクタの開口に対する位置および空間的な向きを検出すること、ならびにエンドエフェクタの開口に対する位置および向きを決定することを含むことができる。
本開示の一態様によれば、壁の中の開口に隣接して位置決めするように適合されたジンバルと、第1の端部および第2の端部、ならびに第1の端部に隣接するエンドエフェクタを有し、エンドエフェクタを壁の第2の端部と反対の側に位置決めするような、開口を通る相対的な回転移動および相対的な摺動移動のためにジンバルと係合する延伸デバイスと、延伸デバイスのジンバルに対する線形位置、ならびにエンドエフェクタの開口に対する位置および空間的な向きを測定するように構成されたセンサシステムと、エンドエフェクタの開口に対する位置および向きの少なくとも1つを決定するために、センサシステムから信号を受け取るように接続されたコンピュータ制御装置とを備える多軸ツールが提供される。
有利には、センサシステムは、延伸デバイスに据え付けられた慣性測定ユニットと、延伸デバイスの前記開口への挿入を追跡するための、レーザ測定デバイス、ストリングエンコーダおよびホイール付きエンコーダの少なくとも1つとを含む。
有利には、多軸ツールは、壁の中の開口に隣接して位置決めするように適合された摺動部と、摺動部に取り付けられ、摺動部に対する摺動移動および回転移動が可能なレール、ならびにレールに対する枢動移動および並進移動のためにレールに取り付けられた摺動取付けリングを含むジンバルと、レールの摺動部に沿った長手方向の位置、レールの摺動部に対する回転位置、摺動取付けリングのレールに沿った位置、摺動取付けリングのレールに対する枢動位置、および延伸デバイスのジンバルに対する回転位置を検出するように構成されたセンサシステムとをさらに備える。好ましくは、センサシステムは、レールの摺動部に沿った長手方向の位置を測定するように構成された第1のエンコーダ、レールの摺動部に対する回転位置を測定するように構成された第2のエンコーダ、摺動取付けリングのレールに沿った位置を測定するように構成された第3のエンコーダ、摺動取付けリングのレールに対する枢動位置の位置を測定するように構成された第4のエンコーダ、延伸デバイスの摺動取付けリングに対する線形位置を測定するように構成された第5のエンコーダ、および延伸デバイスの摺動取付けリングに対する回転位置を測定するように構成された第6のエンコーダの1つまたは複数を含む。
有利には、エンドエフェクタはコンピュータ制御装置と通信し、コンピュータ制御装置によって制御される。
有利には、エンドエフェクタはカメラを含み、コンピュータ制御装置が受け取った信号は、カメラの場所および向きを決定するためにコンピュータ制御装置によって用いられる。好ましくは、コンピュータ制御装置は、カメラによって送られる画像を示すために、カメラに接続されたディスプレイを含む。好ましくは、コンピュータ制御装置は、カメラによって観察される対象物に関する格納された画像を収容するデータベースを含み、ディスプレイは、対象物の1つの格納された画像を、カメラによって観察された対象物の1つの実画像の隣に示すように構成される。好ましくは、コンピュータ制御装置は、慣性測定ユニットを有する手持ち式ディスプレイと、カメラによって観察される筐体の内部に関連する格納された情報を収容するデータベースとを含み、コンピュータ制御装置は、手持ち式ディスプレイがユーザによって向きを定められると移動する内部の仮想画像を、手持ち式ディスプレイに表示するように構成される。
有利には、延伸デバイスは管である。好ましくは、端部の一方は、ユーザが把持するように適合されたハンドルを含む。
有利には、センサシステムは、延伸デバイスの摺動取付けリングに対する線形位置を伝えるために、延伸デバイスに取り付けられたストリングエンコーダを含む。好ましくは、ストリングエンコーダは、摺動取付けリングおよび延伸デバイスの少なくとも一方の内部の第1の磁石と、摺動取付けリングおよび延伸デバイスの他方の内部の第2の磁石および強磁性要素の1つとを含み、第1のエンコーダは、第2の磁石および強磁性要素の1つに取り付けられたケーブルを含む。好ましくは、ケーブルは、延伸デバイスの内部、および延伸デバイスの内部を通って長手方向に延びる中空導管の一方を通って延び、中空導管は、延伸デバイスの中に、ワイヤがそれを通って延びることが可能な十分なクリアランスを形成するように形状設定され、第2の磁石および強磁性要素の一方は、延伸デバイスの内部および中空導管の一方の中に配置される。
本開示のさらなる態様によれば、進入開口を備えた壁を有する筐体の内部を検査するための方法が提供され、その方法は、第1の端部および第2の端部、ならびに第1の端部に隣接するエンドエフェクタを有する延伸デバイスを提供すること、エンドエフェクタを壁の第2の端部と反対の側に位置決めするように、延伸デバイスを開口を通して挿入すること、センサシステムを用いて、エンドエフェクタの開口に対する位置および空間的な向きを検出すること、ならびにエンドエフェクタの開口に対する位置を決定することを含む。
有利には、センサシステムを用いて検出することは、壁の中の開口に隣接して位置決めするように適合されたジンバルを提供することを含み、延伸デバイスは、開口を通る相対的な回転移動、相対的な枢動移動および相対的な摺動移動のためにジンバルと係合する。好ましくは、センサシステムを用いて検出することは、壁の中の開口に隣接して位置決めするように適合された摺動部を提供することを含み、ジンバルは、摺動部に対する線形移動のために摺動部に取り付けられる。好ましくは、ジンバルは、延伸デバイスを受け入れる摺動取付けリングを含み、センサシステムを用いて検出することは、延伸デバイスの摺動取付けリングに対する線形位置を検出することを含む。好ましくは、ジンバルは、摺動部に枢動可能かつ摺動可能に取り付けられ、摺動取付けリングに枢動可能かつ摺動可能に取り付けられたレールを含み、センサシステムを用いて検出することは、レールの摺動部に沿った位置、レールの摺動部に対する回転位置、摺動取付けリングのレールに沿った位置、摺動取付けリングのレールに対する枢動位置、延伸デバイスの摺動取付けリングに対する線形位置、および延伸デバイスの摺動取付けリングに対する回転位置の1つまたは複数を検出することを含む。好ましくは、方法は、エンドエフェクタに含まれるカメラによって観察される対象物に関連するデータを収容するデータベースにアクセスすること、ならびに対象物の1つの格納された画像を、カメラによって観察された対象物の1つの実画像の隣に表示することをさらに含む。
本開示の他の目的および利点は、以下の記述、添付図面および添付の特許請求の範囲から明らかになるであろう。
開示される追跡可能な多軸ツールの一実施形態の概略図である。 図1の多軸ツールのカメラおよび慣性測定ユニットの位置ベクトルを示す図である。 開示される追跡可能な多軸ツールの別の実施形態を示す図である。 開示される追跡可能な多軸ツールの第3の実施形態の細部を示す図である。 開示される追跡可能な多軸ツールの第3の実施形態の細部を示す図である。 開示される追跡可能な多軸ツールの延伸デバイスの異なる実施形態の概略図である。 開示される追跡可能な多軸ツールの延伸デバイスの異なる実施形態の概略図である。 開示される追跡可能な多軸ツールの延伸デバイスの異なる実施形態の概略図である。 開示される追跡可能な多軸ツールのさらに別の実施形態を示す図である。
図1に示すように、全体を10で表す、開示される追跡可能な多軸ツールは、第1の端部14および第2の端部16を有する延伸デバイス12を含むことができる。第1の端部14は、全体を18で表すエンドエフェクタを含むことができる。第2の端部16は、ユーザ(図示せず)が把持および操作するように形状設定されたハンドル20を含むことができる。延伸デバイス12は、センサシステムを含むことが可能であり、図1の実施形態では、センサシステムは、エンコーダ読み取りデバイス25を含むことが可能で全体を24で表すコンピュータ制御装置に接続することができる、慣性測定ユニット(IMU)22を含むことが可能である。
センサシステムは、ストリングエンコーダ26を含むこともできる。ストリングエンコーダ26は、エンコーダ読み取りデバイス25と通信し、図1の実施形態では、延伸デバイス12に据え付けられたスライダボール30とすることが可能なジンバルに取り付けられたケーブル28を有することができる。したがって、ストリングエンコーダ26は、延伸デバイス12のスライダボール30に対する線形位置を測定することができる。場合により、またはストリングエンコーダ26に加えて、延伸デバイス12のハンドル20に、レーザ測定デバイス(LMD)27を据え付けることができる。詳述するように、延伸デバイスの端部の位置を特定するために、コンピュータ制御装置24は、ストリングエンコーダ26とLMD27の両方を用いて、スライダボール30の向こう側にある延伸デバイス12の長さを決定することができる。
延伸デバイス12は、第1の端部14に隣接して据え付けられたカメラ32、および第2のレーザ測定デバイス(LMD)34を含むこともできる。カメラ32は、カメラによって観察された対象物36がディスプレイ38上に現れるように、有線または無線でコンピュータ制御装置24に接続することができる。
延伸デバイス12は、全体的に細長い形にすること、また第1の端部14を壁42の中の進入開口40を通して挿入し、第1の端部14を、壁42の第2の端部16およびハンドル20と反対側の囲繞された検査空間44(図3も参照)の中に位置付けることができるように寸法設定することが可能である。
スライダボール30を進入開口40に隣接して位置決めし、壁42に対して取り付ける、または別の方法で固定することができる。IMU22は、延伸デバイス12に据え付けられるため、ツール10の延伸デバイスの向きを追跡するが、それは、延伸デバイスのシャフト46に堅固に取り付けることが可能なツールの任意の部分について向きを追跡することと等価になり得る。コンピュータ制御装置24は、シャフト46の向きを示す、IMU22によって生成された信号を受け取ることができる。
図1の実施形態では、IMU22からのデータを用いて、シャフト46の向きを測定することができる。シャフトの進入開口40に対する距離の測定は、ストリングエンコーダ26など様々な情報源から得ることができる。別法としてまたは追加として、エンドエフェクタ18はLMD34を利用して、エンドエフェクタデバイス12の既知の検査場所48への挿入を追跡することができる。
図1および2に示すように、この多軸ツール10の場合、IMU22、ストリングエンコーダ26および/またはLMD34から入力されたデータの結果は、延伸デバイス12のシャフト46の第1の端部14の、図2に示すRIMUで表される基準座標系に対する位置および向きを符号化する、4×4の同次変換行列とすることができる。図2では、カメラ32の座標系はRCAMERAで表される。IMUとカメラの両方がシャフト46に据え付けられているため、カメラ32の基準系RCAMERAは、IMU22の基準系RIMUに対して固定されたままになる。その結果、コンピュータ制御装置24に伝達することが可能なIMU22の向きは、カメラ32の向きを示すことになる。
(既知の距離である)IMU22からカメラ32までの距離Lは、IMUから壁42までの距離を示すIMUからスライダボール30までの距離Lと、スライダボール30からカメラ32までの距離Lとの合計として表現される。それに応じて、検査開口40からカメラ32によって観察される対象物36までの距離は、全長LとIMU22から検査開口40までの長さLとの差として表現することができる。この距離は、LMD34から内部44の既知の基準対象物48までの距離を測定することによって、計算または決定することもできる。こうした測定値は、延伸デバイス12がオペレータ(図示せず)によって操作されたとき、連続的にリアルタイムで更新することができる。
一実施形態では、3D視覚化アプリケーションを用いて、ディスプレイ38に、カメラ32の視野内の環境のCADベースの表示を示すことができる。3D環境を用いてユーザを手引きするのを助け、検査の順序の経過を追うことができる。例えば、関心のある特定の領域の場所をある色で強調し、検査が行われた領域、またはまだ検査を要する可能性のある領域を他の色で示すことができる。さらに、追跡用の器具(IMU22、ストリングエンコーダ26およびLMD34)からツールの位置および向きが分かるため、ツール10の表現は、仮想環境(例えば図3参照)における動作も示すことができる。それに応じて、図1に示すように、カメラ32が対象物36をとらえると、ディスプレイ38は、3D視覚化アプリケーションによって生成された対象物の仮想表現36’を示すことができる。LMD34を利用する場合、LMD34が提供する距離データをエンドエフェクタ18の相対的な向きと共に用いて変換行列を生成し、シャフト46の変換式に右から掛けることができる。これは、レーザの目的の対象物48との交点の場所が与え、前述の相対的なカメラの視野変換と同じ方法で計算される。
3D視覚化アプリケーションは、外部のアプリケーションが、3D環境における仮想カメラまたは他の対象物に関する位置および向きの情報を修正することを可能にするアーキテクチャを有する。いくつかのアプリケーションでは、これは、別個のアプリケーションからの視覚化環境の制御を可能にする、アプリケーションプログラミングインターフェイス(API)を有するプラグインフレームワークを用いて達成することができる。
一実施形態において、ツール10は、ディスプレイ38に加えて、またはディスプレイ38に代えて用いることが可能なディスプレイ50を含むことができる。このディスプレイ50は、対象物36のカメラの実画像54の横に対象物36’の仮想画像52を示すことができる。この並んだ表示によって、ユーザが実際の対象物36を仮想の対象物36’と比較することを可能にすることができ、それによって、オペレータが、観察される対象物について欠陥56または他の問題を検出することを可能にすることができる。検査空間44内の対象物36、48、ならびに外形および他の対象物のデータおよび画像によって、3D視覚化アプリケーションが、カメラ32が延伸デバイス12の移動に伴って移動すると移動する仮想画像36’を表示することを可能にすることができるが、そうしたデータおよび画像は、コンピュータ制御装置24の一部とすることができるデータベースに格納すること、またはコンピュータ制御装置によって遠隔地(図示せず)からアクセスすることが可能である。
図3に示すように、図1に示す実施形態と組み合わせて用いる場合も用いない場合もある別の実施形態では、(示される)タブレットPC、スマートホン、DisplayLinkモニタ、ウエアラブル、手持ち式デバイスまたはヘッドアップディスプレイなどの持ち運び可能な表示デバイス24Aが、別個のIMU56を装備し、表示デバイス24Aを用いて仮想の視点の向きの制御を行うことができる。仮想の視点の位置は、進入ポート40の決まった場所、またはツール10Aに関連付けられた任意の場所、例えばツールの第1の端部14に関連させることができる。その結果、表示デバイス24AおよびIMU56の任意の回転、枢動または角度付けによって、仮想画像38Aの対応する回転、枢動または角度付けが生じるようになる。これが可能であることによって、より直感的なインターフェイスを可能にし、ユーザの状況に応じた認識を改善することができる。表示デバイス24Aがタッチスクリーンディスプレイ38Aを装備している場合、対象物をスクリーン上で選択すること、および次の解析のために位置を記録することが可能である。
多軸ツール10Bの別の実施形態を、図4Aおよび4Bに示す。この実施形態の場合、図1の実施形態ではIMU22およびスライダボール30を含んでいたセンサシステムは、延伸デバイス12の移動を追跡するために用いられるリニアエンコーダおよび回転エンコーダのシステムに置き換えること、またはそのシステムによって増強することが可能である。多軸ツール10Bは、平行な摺動部56、58、ブロック64、66、レール68、および壁42の中の開口40に隣接して位置決めされた摺動取付けリング70を含む、ジンバルを含むことができる。
平行な摺動部56、58は長さ方向に延びることができ、また検査開口40の両側に、クランプ、吸着カップ、ねじなど(図示せず)によって壁42に取り付けることができる。矢印Aの方向における相対的な摺動移動のために、摺動部56、58はそれぞれ、ブロック64、66を受け入れる長手方向の溝60、62を含むことができる。矢印Bの方向における相対的な回転移動のために、レール68をブロック64、66に取り付けることができる。レール68は、摺動部56、58の間を検査開口40を横断して延びることができる。摺動取付けリング70は、矢印C方向における相対的な摺動移動または並進移動のためにレール68に据え付け、かつ矢印Dの方向(すなわち、レール68に垂直な軸のまわり)における枢動移動のためにレールに据え付けることができる。さらに、矢印Eの方向における相対的な摺動移動および矢印Fの方向における相対的な回転移動のために、延伸デバイス12のシャフト46は、摺動取付けリング70と係合することができる。
図4Bに示すように、摺動部56は、矢印A(図4A)の方向におけるブロック64の摺動部56に対する位置を示す信号を送るために、72に配置されたリニアエンコーダを含むことができ、ブロック64は、矢印B(図4A)の方向におけるレール68のブロック64までの相対的な回転角度を示す信号を送ることが可能な、74に配置された回転エンコーダを含むことができる。レール68は、矢印C(図4A)の方向における摺動取付けリング70のレール68に対する位置を示す信号を送ることが可能な、76に配置されたリニアエンコーダを含むことができ、摺動取付けリング70は、それぞれ矢印D(図4A)の方向における摺動取付けリング70の枢動の向き、および矢印F(図4A)の方向におけるシャフト46の回転位置を示す信号を送るために、78、80に配置された回転エンコーダを含むことができる。エンドエフェクトツール18の開口40に対する向きの示度を与えるために、エンコーダ72、74、76、78、80からの信号はすべて、コンピュータ制御装置24(図1)に送ることができる。これらの信号は、コンピュータ制御装置24によって処理され、それぞれ観察される対象物36の仮想画像52および/または実画像54を生成することができる。図4Aおよび4Bの実施形態では、IMU22を不要にすることができる。しかしながら、矢印E(図4A)の方向における延伸デバイス12のシャフト46の検査開口40に対する「出入り」の動きを検出するために、ストリングエンコーダ26またはLMD34が依然として必要になる場合がある。
図5A、5Bおよび5Cは、例えば図4Aおよび4Bの実施形態では、矢印E(図4A)の方向における延伸デバイス12のシャフトの動きを検出するために使用することができる、ストリングエンコーダ26A、26B、26C、ならびに摺動取付けリング70Aおよび70Cの異なる実施形態を示す。図5Aに示すように、ストリングエンコーダ26Aは、鋼などの強磁性材料からなることが可能なディスク84に取り付けられたケーブル28を含むことができる。ディスク84は、相対的な摺動移動のために、シャフト46Aの中空内部の中に位置決めするように形状設定することができる。摺動取付けリング70Aは、リング磁石86を含むことができる。リング磁石は、金属ディスク84を、図5Aに示す位置、すなわち摺動取付けリング70Aの中央またはその近くに維持するように働くことができる。延伸デバイス12Aのシャフト46Aを、摺動取付けリング70Aに対して長手方向(すなわち、図5Aの矢印Eの方向)に移動させたとき、金属ディスク84は摺動取付けリングの中で固定され、磁石86と整列した状態にとどまり、ケーブル28はストリングエンコーダ26Aの中に引き込まれるか、またはストリングエンコーダ26Aから外側に伸ばされ、したがって、ストリングエンコーダ26Aが、シャフト46Aの摺動取付けリング70Aに対する相対的な長手方向の位置を示す信号を生成することが可能になる。図5Aの代替的実施形態では、摺動取付けリング70Aは金属リング86を含むことができ、ディスク84は強磁性材料で作製することができる。どちらの実施形態でも、ディスク84とリング86の間の磁気的吸引力によって、ディスクを図5Aに示す位置に維持することができる。
図5Bに示すように、延伸デバイス12Bのシャフト46Bは、管88を受け入れる中空内部を含むことができ、管88はやはり中空であり、内部にリング磁石または強磁性ディスク84Aを受け入れる。管88は、接着剤、結合または他の手段によってシャフト46Bの内壁87に取り付けることができる。摺動取付けリング70Aは、磁石または金属ディスク(ディスク84Aが磁性材料からなる場合)86を含むことができる。リング磁石またはディスク84Aとリング86との間の磁気的吸引力によって、シャフト46Bを長手方向に、摺動取付けリング70Aに対して図5Bに示す矢印Eの方向に移動させたとき、磁石またはディスク84Aを図5Bに示す位置に維持することができる。やはり、この相対移動によって、ケーブル28をストリングエンコーダ26Bに引き込む、またはストリングエンコーダ26Bから伸ばすことができ、したがって、シャフト46Bの摺動取付けリング70Aに対する相対的な長手方向の位置を示す信号が生成される。シャフト46Bの内部に中空の管88を含む利点は、他のワイヤおよびケーブル90が内部に沿って延びるためのクリアランスを設けることが可能になることである。そうしたワイヤおよびケーブル90は、LMD34および/またはカメラ32(図1)への接続部を含むことができる。
図5Cに示すように、シャフト46Cは、全体を90で表す他のワイヤおよびケーブルがそれを通って延びる導管を形成する、中空内部を有する。摺動取付けリング70C自体は、ケーブル28によってストリングエンコーダ26Cに接続することができる。矢印Eの方向における延伸デバイス12Cのシャフト46Cの相対的な長手方向の移動によって、ケーブル28をストリングエンコーダ26Cに引き込むこと、またはストリングエンコーダ26Cから外側に伸ばすことができ、それにより、シャフト46Cの摺動取付けリング70Cに対する相対位置を示す。
図6に示すさらに別の実施形態では、全体を10’ で表す追跡可能な多軸ツールは、例えば図1の実施形態のIMU22、エンコーダ26およびスライダボール30の構成要素の代わりに、チルト−スイベル式の支持システム92の形のジンバルを含むことができる。チルト−スイベル92は、台(図示せず)または壁42(図1)への取付け部(図示せず)を含むことが可能な支持体94を含むことができる。シャフト96は、支持体94に枢動可能に据え付けられ、U字形ブラケット98を含み、したがって、シャフトおよびU字形ブラケットは、図6に示すように、垂直軸のまわりを支持体94に対して旋回する。ブロック100は、U字形ブラケット98のアーム102、104の間に収まるように形状設定され、アーム102、104に枢動可能に取り付けることができる。アーム102は、ブロック100のブラケット98に対する枢動移動に調節可能な摩擦抵抗を与えるように、係止ノブ110が据え付けられたねじ付きスタッド108を受け入れる、弓形の溝106を含むことができる。
ブロック100は、延伸デバイス12’のシャフト46を摺動可能かつ回転可能に受け入れるように形状設定された、穴112を含むことができる。支持体94には、ホイールエンコーダ114が据え付けられ、ホイールエンコーダ114は、シャフト96と係合するホイール116を含むことができる。ホイール116は、シャフト96の回転に応答して回転するように方向付けることが可能であり、したがって、エンコーダ114は、U字形ブラケット98の旋回移動、したがってシャフト46の旋回移動を検出することができる。ホイールエンコーダ118がアーム112に据え付けられ、ホイールエンコーダ118は、ブロック100と係合するように位置決めされたホイール120を含むことができる。ホイール120は、シャフト46がブラケット98に対して枢動するとき、ブロックの旋回移動、したがってシャフト46の高さの移動に応答して回転するように方向付けられる。
ホイールエンコーダ122がブロック100に据え付けられ、ホイールエンコーダ122は、シャフト46と接触するようにブロック内の溝126を通って延びるホイール124を含むことができる。ホイール124は、ブロック100、したがってシステム92に対するシャフト46の長手方向の移動に応答して回転させられるように方向付けられる。ホイールエンコーダ128がブロック100に据え付けられ、ホイールエンコーダ128は、シャフト46と係合するようにブロック100内の溝132を通って延びるホイール130を含むことができる。ホイール130は、エンコーダ128がシャフトのシステム92に対する回転移動を検出することができるように、シャフト46のブロック100に対する回転移動に応答して回転されるように方向付けられる。
ホイール124および130は、シャフト46の異なる動き(それぞれ並進および回転)を測定するように据え付けられるため、ホイール124および130は、それらがその上を回転する面が、ホイールのそれぞれの回転方向に垂直な方向に自由に摺動することを可能にする、オムニホイールとすることができる。
エンコーダ114、118、122および128はそれぞれ、コンピュータ制御装置24(図1)に信号を送信するように接続することができる。結果として、コンピュータ制御装置24は、エンコーダ114、118、122および128によって測定されたシャフトの長手方向、回転、傾斜および旋回の移動を計算することにより、シャフト46の遠位端14の場所を示す信号を受け取ることができる。
動作時に、ユーザは、コンピュータ制御装置24に対して、検査する航空機または他の筐体に関連する識別情報を入力すること、および検査開口40の識別指示を入力することが可能である。この情報により、コンピュータ制御装置が検査する筐体に関する適切なデータライブラリにアクセスすることを可能にすることができる。図1の実施形態の場合、ユーザは、スライダボールを検査開口40の位置または検査開口40の近くの位置に取り付けることができる。図4Aおよび4Bの実施形態の場合、ユーザは、検査開口40に隣接する摺動部56、58を取り付けることができる。この時点でユーザは、壁42の外側に位置決めすることはできるが、検査開口40を通して調べることはできない。
次いで、ユーザ(またはアシスタント)は、シャフト46の遠位端14が検査開口40を通過して検査空間44に入るように、ハンドル20を把持することによって延伸デバイス12を操作することができる。ユーザは、検査空間44に関するディスプレイ38または50で、実画像または仮想画像を観察することができる。ユーザは、カメラ32を方向付けて所望の対象物36を観察するように、延伸デバイス12を操作することができる。図1の実施形態の場合、コンピュータ制御装置24が、IMU22、およびストリングエンコーダ26とLMD34の一方または両方からの信号を利用し、エンドエフェクタ18の検査開口40に対する場所および向きを決定することができる。図4Aおよび4Bの実施形態の場合、コンピュータ制御装置は、エンコーダ72、74、76、78、80およびストリングエンコーダ26から信号を受け取り、エンドエフェクタ18の検査開口40に対する場所および向きを決定することができる。したがって、コンピュータ制御装置24は、適切な仮想画像36’を延伸デバイス12に対する適切な向きで表示することができる。
対象物36が欠陥56を含む場合、その欠陥が画像54に現れる可能性がある。ユーザはコンピュータ制御装置24を、欠陥56の場所を記憶するように作動させること(タッチスクリーンディスプレイをタッチすることによってでもよい)、ならびにコンピュータ制御装置を、対象物36および欠陥56を示す画像54を記録するように作動させることが可能である。検査が完了すると、コンピュータ制御装置は、対象物36ならびに欠陥56の画像および/または場所に関するレポートを生成することができる。検査は、持ち運び可能なデバイス24Aの使用によって簡易化することができる。持ち運び可能なデバイスは、該当する航空機および検査開口40の場所に関係する情報を受け取り、(デバイス24Aでローカルに、またはリモートで)格納された情報にアクセスし、検査されている対象物の画像38Aを表示することができる(図3)。この画像は、デバイス24Aの空間的な向きを操作して、ユーザが検査空間44および検査空間44内の延伸デバイス12の位置を視覚化できるようにすることによって操作可能である。
前述の実施形態はそれぞれ、封じ込められた空間の中で動作する延長アーム上のエンドエフェクタの位置および向きを追跡する能力を有する多軸ツールを提供する。さらに、そうした実施形態によって、ユーザが、エンドエフェクタの視点から検査される環境の仮想表現を視覚化することが可能になる。これにより、ツールのオペレータが検査ボリュームについて、より適切な状況に応じた認識を持つことを可能にすることができる。そうした環境では、ユーザは、ある特定の実施形態において、検査範囲内の航空機の構成要素(または検査される他の構成要素)のすべての3Dモデルを観察すること、ならびに検査ツール、およびエンドエフェクタ上のビデオカメラの観察範囲(錐台形)の表現さえも視覚化することができる。
目的の対象物の座標系を用いて位置合わせをすると、エンドエフェクタの位置および向きを追跡することが可能になることにより、このタイプの観察されている対象物の物理環境とその物理的な対象物の仮想表現との相互作用を促すことができる。いくつかの実施形態において、対象物は、どの品目をスキャンする必要があるかをユーザに示すためにある色で強調し、また既にスキャンされた品目を示すために他の色で強調することが可能である。他の実施形態では、対象物および環境に関する追加の情報を、正確に位置合わせされた3Dコンテキストとして表示することができる。さらに他の実施形態において、コンピュータ制御装置24は、必要な領域がスキャンされたことを確かめる1つのやり方として、制御装置によって3Dデータポイントが記録されたスキャンセッションのレポートを生成することができる。
本明細書に記載される装置および方法の形は、本開示に包含される発明を除外するものではなく、また本発明の範囲から逸脱することなく、そうした装置および方法の形に変更を加えることが可能である。
10 多軸ツール、ツール
10A ツール
10B、10’ 多軸ツール
12 延伸デバイス、エンドエフェクタデバイス
12A、12B、12C、12’ 延伸デバイス
14 第1の端部、遠位端
16 第2の端部
18 エンドエフェクタ
20 ハンドル
22 慣性測定ユニット、IMU
24 コンピュータ制御装置
24A 持ち運び可能な表示デバイス、表示デバイス、持ち運び可能なデバイス、デバイス
25 エンコーダ読み取りデバイス
26、26A、26B、26C ストリングエンコーダ
27 レーザ測定デバイス、LMD
28 ケーブル
30 スライダボール
32 カメラ
34 第2のレーザ測定デバイス、LMD
36 対象物、実際の対象物
36’ 対象物の仮想表現、仮想の対象物、仮想画像
38 ディスプレイ
38A 仮想画像、タッチスクリーンディスプレイ、画像
40 進入開口、検査開口、進入ポート、開口
42 壁
44 検査空間、内部
46、46A、46B、46C シャフト
48 既知の検査場所、既知の基準対象物、対象物
50 ディスプレイ
52 仮想画像
54 実画像、画像
56 欠陥
56、58 摺動部
60、62 溝
64、66 ブロック
68 レール
70、70A、70C 摺動取付けリング
72、74、76、78、80 エンコーダ
84 ディスク、金属ディスク
84A 強磁性ディスク、ディスク、磁石、リング磁石
86 リング磁石、磁石、金属リング、リング、金属ディスク
87 内壁
88 管
90 ワイヤおよびケーブル
92 チルト−スイベル式の支持システム、チルト−スイベル、システム
94 支持体
96 シャフト
98 U字形ブラケット、ブラケット
100 ブロック
102、104 アーム
106 溝
108 ねじ付きスタッド
110 係止ノブ
112 穴
114、118、122、128 ホイールエンコーダ、エンコーダ
116、120、124、130 ホイール
126 溝
132 溝
L IMUからカメラまでの距離、全長
IMUからスライダボールまでの距離
スライダボールからカメラまでの距離

Claims (11)

  1. 1の端部および第2の端部、ならびに前記第1の端部に隣接するエンドエフェクタを有する延伸デバイスと、
    壁の中の開口に隣接して位置決めするように適合された摺動部と、
    壁の中の開口に隣接して位置決めするように適合されたジンバルであって、前記延伸デバイスは、前記エンドエフェクタを前記壁の前記第2の端部と反対の側に位置決めするような、前記開口を通る相対的な回転移動および相対的な摺動移動のために前記ジンバルと係合するように配置され、
    前記摺動部に取り付けられ、前記摺動部に対する摺動移動および回転移動が可能なレールと、
    前記レールに対する枢動移動および並進移動のために前記レールに取り付けられた摺動取付けリングとを含む、ジンバルと、
    前記延伸デバイスの前記ジンバルに対する線形位置、ならびに前記エンドエフェクタの前記開口に対する位置および空間的な向きを測定するように構成されたセンサシステムであって、前記延伸デバイスの前記摺動取付けリングに対する線形位置を伝えるために、前記延伸デバイスに取り付けられたストリングエンコーダを含み、前記レールの前記摺動部に沿った長手方向の位置、前記レールの前記摺動部に対する回転位置、前記摺動取付けリングの前記レールに沿った位置、前記摺動取付けリングの前記レールに対する枢動位置、および前記延伸デバイスの前記ジンバルに対する回転位置を検出するように構成されたセンサシステムと、
    前記エンドエフェクタの前記開口に対する位置および向きの少なくとも1つを決定するために、前記センサシステムから信号を受け取るように接続されたコンピュータ制御装置と
    を備える多軸ツール。
  2. 前記センサシステムが、前記延伸デバイスに据え付けられた慣性測定ユニットと、前記延伸デバイスの前記開口への挿入を追跡するための、レーザ測定デバイス、ストリングエンコーダおよびホイール付きエンコーダの少なくとも1つとを含む請求項1に記載の多軸ツール。
  3. 前記センサシステムが、前記レールの前記摺動部に沿った前記長手方向の位置を測定するように構成された第1のエンコーダ、前記レールの前記摺動部に対する前記回転位置を測定するように構成された第2のエンコーダ、前記摺動取付けリングの前記レールに沿った前記位置を測定するように構成された第3のエンコーダ、前記摺動取付けリングの前記レールに対する前記枢動位置の位置を測定するように構成された第4のエンコーダ、前記延伸デバイスの前記摺動取付けリングに対する線形位置を測定するように構成された第5のエンコーダ、および前記延伸デバイスの前記摺動取付けリングに対する回転位置を測定するように構成された第6のエンコーダの1つまたは複数を含む請求項に記載の多軸ツール。
  4. 前記エンドエフェクタが前記コンピュータ制御装置と通信し、前記コンピュータ制御装置によって制御される請求項1に記載の多軸ツール。
  5. 前記エンドエフェクタがカメラを含み、前記コンピュータ制御装置が受け取る前記信号が、前記カメラの場所および向きを決定するために前記コンピュータ制御装置によって用いられる請求項1に記載の多軸ツール。
  6. 前記コンピュータ制御装置が、前記カメラによって送られる画像を示すために、前記カメラに接続されたディスプレイを含む請求項に記載の多軸ツール。
  7. 前記コンピュータ制御装置が、慣性測定ユニットを有する手持ち式ディスプレイと、前記カメラによって観察される筐体の内部に関連する格納された情報を収容するデータベースとを含み、前記コンピュータ制御装置が、前記手持ち式ディスプレイがユーザによって向きを定められると移動する前記内部の仮想画像を、前記手持ち式ディスプレイに表示するように構成される請求項に記載の多軸ツール。
  8. 前記延伸デバイスが管である請求項1に記載の多軸ツール。
  9. 前記第2の端部が、ユーザが把持するように適合されたハンドルを含む請求項に記載の多軸ツール。
  10. 前記ストリングエンコーダが、前記摺動取付けリングおよび前記延伸デバイスの少なくとも一方の内部の第1の磁石と、前記摺動取付けリングおよび前記延伸デバイスの他方の内部の第2の磁石および強磁性要素の1つとを含み、前記ストリングエンコーダが、前記第2の磁石および前記強磁性要素の前記1つに取り付けられたケーブルを含む請求項1に記載の多軸ツール。
  11. 進入開口を備えた壁を有する筐体の内部を検査するための方法であって、
    第1の端部および第2の端部、ならびに前記第1の端部に隣接するエンドエフェクタを有する延伸デバイスを提供すること、
    前記エンドエフェクタを前記壁の前記第2の端部と反対の側に位置決めするように、前記延伸デバイスを前記開口を通して挿入すること、
    前記延伸デバイスの線形位置を伝えるために、前記延伸デバイスに取り付けられたストリングエンコーダを含むセンサシステムを用いて、前記エンドエフェクタの前記開口に対する位置および空間的な向きを検出すること、
    前記センサシステムを用いて検出することが、
    壁の中の開口に隣接して位置決めするように適合された摺動部を提供することと、
    壁の中の開口に隣接して位置決めするように適合されたジンバルを提供することであって、前記ジンバルが、前記摺動部に対する線形移動のために前記摺動部に取り付けられ、前記延伸デバイスが、前記開口を通る相対的な回転移動、相対的な枢動移動および相対的な摺動移動のために前記ジンバルと係合するように配置されることと、を含み、ならびに
    前記エンドエフェクタの前記開口に対する位置を決定すること
    を含む方法。
JP2014010326A 2013-01-25 2014-01-23 進入が制限された検査のための追跡可能な多軸ツール Active JP5739028B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/750,565 2013-01-25
US13/750,565 US9513231B2 (en) 2013-01-25 2013-01-25 Tracking enabled multi-axis tool for limited access inspection

Publications (2)

Publication Number Publication Date
JP2014145764A JP2014145764A (ja) 2014-08-14
JP5739028B2 true JP5739028B2 (ja) 2015-06-24

Family

ID=49916806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014010326A Active JP5739028B2 (ja) 2013-01-25 2014-01-23 進入が制限された検査のための追跡可能な多軸ツール

Country Status (6)

Country Link
US (1) US9513231B2 (ja)
EP (1) EP2759830B1 (ja)
JP (1) JP5739028B2 (ja)
CN (1) CN103969264B (ja)
BR (1) BR102014000712B1 (ja)
CA (1) CA2829439C (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10105837B2 (en) 2013-01-25 2018-10-23 The Boeing Company Tracking enabled extended reach tool system and method
KR20140121581A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 수술 로봇 시스템
CN104316012A (zh) * 2014-11-25 2015-01-28 宁夏共享模具有限公司 一种用于大型零部件尺寸测量的工业机器人
CN106949855B (zh) * 2017-03-03 2023-08-15 四川大学 一种转轴角位移测量装置
CN110901947B (zh) * 2019-11-22 2022-04-22 成都凯天电子股份有限公司 飞机地面装载维护多维度调姿平台
CN112894759A (zh) * 2021-01-13 2021-06-04 广东水利电力职业技术学院(广东省水利电力技工学校) 一种高空作业机器人

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4115684A (en) * 1976-06-17 1978-09-19 Unimation Portable, programmable manipulator apparatus
JPS60110014U (ja) * 1983-12-28 1985-07-26 ティー・シー・エム株式会社 駆動車軸装置
JPS61256316A (ja) * 1985-05-10 1986-11-13 Power Reactor & Nuclear Fuel Dev Corp 遠隔点検装置
US5000533A (en) 1990-03-09 1991-03-19 Olympus Corporation Protective sleeves for scope probes for use in high pressure or vacuum environments
JPH064654U (ja) * 1992-02-17 1994-01-21 バブコック日立株式会社 目視検査装置
JPH10128688A (ja) * 1996-09-04 1998-05-19 Sankyo Seiki Mfg Co Ltd ロボットの非干渉化制御方法
US5757419A (en) 1996-12-02 1998-05-26 Qureshi; Iqbal Inspection method and apparatus for tanks and the like
US8054459B2 (en) 1999-05-04 2011-11-08 Envirosight Llc Inspection system and method
JP2004329726A (ja) * 2003-05-12 2004-11-25 Hitachi Ltd 手術装置
US7271894B2 (en) 2003-10-01 2007-09-18 General Electric Company Imaging system for robotically inspecting gas turbine combustion components
US6992315B2 (en) 2004-03-10 2006-01-31 Siemens Westinghouse Power Corporation In situ combustion turbine engine airfoil inspection
US7114406B2 (en) * 2004-09-16 2006-10-03 The Boeing Company End effector inspection apparatus and method
US7345757B2 (en) 2004-09-28 2008-03-18 Penza G Gregory Inspection apparatus for pipelines
WO2008034144A2 (en) 2006-09-15 2008-03-20 Redzone Robotics, Inc. Manhole modeler
US20090196459A1 (en) * 2008-02-01 2009-08-06 Perceptron, Inc. Image manipulation and processing techniques for remote inspection device
US9310339B2 (en) 2008-07-30 2016-04-12 The Boeing Company Hybrid inspection system and method employing both air-coupled and liquid-coupled transducers
US8109160B2 (en) 2009-02-06 2012-02-07 The Boeing Company Inspection apparatus
DE102010010419A1 (de) 2010-03-05 2011-09-08 Wagner Ladetechnik Gmbh Vorrichtung und mobile Anlage zum Inspizieren und/oder Reinigen von Flüssigkeitstanks
US20120147173A1 (en) 2010-12-10 2012-06-14 Lynch Christopher J Hand-carryable pushrod-based camera system

Also Published As

Publication number Publication date
CN103969264A (zh) 2014-08-06
US20140210986A1 (en) 2014-07-31
CA2829439A1 (en) 2014-07-25
EP2759830A1 (en) 2014-07-30
BR102014000712A2 (pt) 2015-07-28
CN103969264B (zh) 2019-01-22
JP2014145764A (ja) 2014-08-14
CA2829439C (en) 2016-04-12
EP2759830B1 (en) 2019-03-20
US9513231B2 (en) 2016-12-06
BR102014000712B1 (pt) 2020-09-24

Similar Documents

Publication Publication Date Title
JP5739028B2 (ja) 進入が制限された検査のための追跡可能な多軸ツール
US10537986B2 (en) Tracking-enabled extended reach tool system and method
US11779400B2 (en) Combining strain-based shape sensing with catheter control
JP5955316B2 (ja) 検査センサを配置する方法及びシステム
CN108882837B (zh) 利用拉线的内窥镜的自动校准
JP3487944B2 (ja) 内視鏡装置
JP2009150883A (ja) 拡張現実検査およびデータ可視化のシステムおよび方法
JP2009150883A6 (ja) 拡張現実検査およびデータ可視化のシステムおよび方法
US9691162B2 (en) Endoscopic image processing system having means which generate geometric measurement information in the detection range of an optical digital camera
CN109580775A (zh) 利用双多轴机器人装置检查零件的系统和方法
KR20130081703A (ko) 디바이스의 나란히 있는 가상­실제 이미지 검사를 위한 시스템 및 방법
JPH11281897A (ja) 内視鏡
US11516406B2 (en) Adaptive borescope inspection
US11995815B2 (en) Method and device for inspecting hard-to-reach components
EP4196773A1 (en) Automated defect detection
JP2023545980A (ja) 自動検査計画に基づく検出
JPH0857784A (ja) ロボット式アームを用いる遠隔保守システム
JP2023018984A (ja) 挿入支援システム、挿入支援方法、およびプログラム
US20240094878A1 (en) Configurable non-destructive testing device
Sensing Video borescopes
SE0901188A1 (sv) Intelligent, kompakt och flexibelt 3D-endoskop med mjukvara
JPH064654U (ja) 目視検査装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R150 Certificate of patent or registration of utility model

Ref document number: 5739028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250