JP5647084B2 - 面法線計測装置、面法線計測システム及び面法線計測プログラム - Google Patents
面法線計測装置、面法線計測システム及び面法線計測プログラム Download PDFInfo
- Publication number
- JP5647084B2 JP5647084B2 JP2011194313A JP2011194313A JP5647084B2 JP 5647084 B2 JP5647084 B2 JP 5647084B2 JP 2011194313 A JP2011194313 A JP 2011194313A JP 2011194313 A JP2011194313 A JP 2011194313A JP 5647084 B2 JP5647084 B2 JP 5647084B2
- Authority
- JP
- Japan
- Prior art keywords
- surface normal
- illumination
- vector
- shadow
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
なお、互いに直交する2つの予め定められた所定の平面とは、例えば、XYZ空間において、XY平面を水平面とし、Z軸を垂直軸(鉛直軸)とする場合に、XZ平面及びYZ平面とすることができる。また、所定の方向とは、この所定の平面であるXZ平面及びYZ平面で特定される方位と、XY平面とのなす角度とで特定される方向とすることができる。
これによって、面法線計測システムは、撮影装置の定位置、すなわち物体を真上付近から照明して撮影する場合、撮影装置を定位置からシフトした退避位置に移動させ、照明装置を移動して、物体の真上付近から照明し、退避位置から撮影装置によって物体を撮影する。
これによって、面法線計測システムは、すべての分割領域について撮影した画像を合わせることにより、物体の全体を撮影した画像を得る。
請求項3に記載の発明によれば、計測対象陰影ベクトルと参照陰影ベクトルとの内積の大きさに基づいて最も類似する参照陰影ベクトルとして抽出するため、簡単な計算によって最も類似する参照陰影ベクトルを抽出することができる。
請求項5に記載の発明によれば、照明光として平行光を用いるため、物体の表面位置にかかわらず、照明方向が一定であるため、物体表面の各位置において、正確に面法線を求めることができる。
請求項6に記載の発明によれば、外光の影響を受けないように暗室内で物体の撮影を行うため、安定した精度で面法線を計測することができる。
請求項7に記載の発明によれば、物体の真上付近から照明した物体を撮影することができるため、面法線が照明方向に垂直に近い面についても、面法線を精度よく測定することができる。
請求項8に記載の発明によれば、複数の撮影装置によって死角を生じることなく物体を撮影することができるため、物体の表面全体について、面法線を精度よく測定することができる。
請求項9に記載の発明によれば、分割領域ごとに照明装置によって照明して、撮影装置によって物体を撮影するため、照明範囲の狭い照明装置を用いた場合や、大きな物体を計測する場合でも、物体の表面全体について面法線を計測することができる。
[面法線計測システム]
本発明の第1実施形態に係る面法線計測システム1は、図1に示すように、面法線計測装置10と、照明装置30と、撮影装置40と、半円弧状のガイドレールRx,Ryと、を備えている。また、照明装置30には、照明装置移動手段31が取り付けられており、ガイドレールRx,Ryに沿って移動できるように構成されている。また、撮影装置40には、撮影装置移動手段41が取り付けられており、ガイドレールRx,Ryに沿って移動できるように構成されている。
ここで、図2及び図3を参照(適宜図1参照)して、本発明における面法線計測の原理について説明する。
ここで、照明光Lの照明角度θを、0°〜180°まで変化させると、物体OBJの面の向き(面法線)に応じた特有の明暗変化が生じることになる。
このように、低い画素レベルを閾値として表面の各点からの反射光の有無を判定することにより、物体OBJの表面の反射特性のムラなどの影響を大きく受けることなく、2値化処理することができる。
ここで、明暗の変化パターンは、前記した例のように、2°間隔で照明角度θを変化させる場合は、91個の要素を有するベクトルとみることができる。また、各要素は「1(明部)」又は「−1(暗部)」の値をとる。
続いて、照明角度θを変化させるごとに撮影した複数の画像Gからなる画像群を用いて、物体OBJの表面を撮影した画素Pごとに、陰影ベクトルを作成する。
そして、作成した陰影ベクトルに基づいて、画素Pごとに面法線を推定する。
図1に戻って、面法線計測システム1の構成について説明を続ける。
面法線計測装置10は、信号線50を介して、照明装置30、照明装置移動手段31、撮影装置40及び撮影装置移動手段41と接続され、制御信号を出力することによって、これらの装置及び手段の動作を制御するとともに、撮影装置40によって撮影された物体OBJの画像データを入力する。そして、面法線計測装置10は、撮影装置40から入力した物体OBJの画像データを解析することによって、物体OBJの表面の面法線を算出するものである。面法線計測装置10は、専用のハードウェアによって構成することもできるが、パソコン(パーソナルコンピュータ)などの一般的なコンピュータに、面法線を算出するための後記する各手段を実現するプログラム(面法線計測プログラム)を実行させることによって実現することができる。本実施形態は、パソコンに面法線計測プログラムを実行させて面法線計測装置10を実現するものである。
図4に示すように、本実施形態の面法線計測装置10は、画像取得手段11と、画像データ記憶手段12と、輝度判定手段13と、陰影ベクトル作成手段14と、陰影ベクトル記憶手段15と、面法線推定手段16と、面法線記憶手段17と、照明点灯制御手段18と、照明位置制御手段19と、撮影位置制御手段20と、を備えて構成される。
面法線推定手段16は、照明方位ごとに、各画素における計測対象陰影ベクトルについて、照明方位が同じであるすべての参照陰影ベクトルの中で、計測対象陰影ベクトルと一致する程度を示す指標である類似度を算出する。そして、算出した類似度が最も大きな参照陰影ベクトルを抽出する。
例えば、計測対象陰影ベクトルと、参照データベースに含まれる参照陰影ベクトル(1)〜(3)とが次のような場合は、計測対象陰影ベクトルと各参照陰影ベクトルとの内積は次のようになる。
参照陰影ベクトル(1) ( 1, 1, 1, 1,-1,-1,-1,-1) :内積=8
参照陰影ベクトル(2) ( 1, 1, 1,-1,-1,-1,-1,-1) :内積=6
参照陰影ベクトル(3) ( 1, 1, 1, 1, 1, 1, 1,-1) :内積=2
従って、この例では、内積が最も大きい参照陰影ベクトル(1)が、最も類似する参照陰影ベクトルとして抽出される。
なお、面法線記憶手段17に記憶された面法線データは、不図示の出力手段によって出力され、例えば、ポリゴンモデルによるCG化のために用いられる。
続いて、図1を参照して、照明装置30について説明する。
照明装置30は、背面に備えられた照明装置移動手段31によってガイドレールRx,Ryに沿って移動し、移動位置に応じた照明方位及び照明角度で特定される照明方向から物体OBJに照明光Lを照射するものである。また、本実施形態では、照明光Lは平行光であり、照明装置30は、何れの照明位置からでも照明光Lによる照明領域LAが、物体OBJの全体を照明するように照明方向が設定されている。
また、照明装置30は、信号線50を介して面法線計測装置10と接続され、照明点灯制御手段18(図4参照)からの制御信号に従って、照明のオン/オフが制御される。
図5(a)に示す本実施形態における照明装置30は、図5(b)に示す照明ユニット301を、4×4に配列して構成されている。これにより、照明装置30の厚さを抑えつつ、照明領域の広い照明装置30を実現するものである。
なお、照明ユニット301の配列数は、4×4に限定されず、必要とする照明領域の広さや形状に応じて選択することができる。
光源301bは、点光源に近い光源であることが好ましく、例えば、LED(発光ダイオード)を用いることができる。また、光源301bは、集光レンズ301cの焦点に位置するように光源設置台301dに設置されている。これによって、点光源に近い光源301bから放出される発散光は、コリメータレンズとしての集光レンズ301cよって平行光が照明光Lとして、照明ユニット301から出射される。
図1に戻って、照明装置移動手段31は、照明装置30の背面に備えられ、信号線50を介して面法線計測装置10と接続され、面法線計測装置10の照明位置制御手段19(図4参照)からの照明位置を指示する制御信号に従って、ガイドレールRx,Ryに沿って移動するものである。照明装置移動手段31は、ガイドレールRx,Ryの両側をローラで挟持し、このローラを前記した制御信号に従って回転するモータで回転させることによって、ガイドレールRx,Ryに沿って自在に移動することができるように構成されている。
撮影装置40は、物体OBJを撮影するカメラである。本実施形態では、静止画像を撮影するものが好ましいが動画像から1フレームを取り出して用いてもよく、複数のフレームについて、画素ごとの平均を算出して用いるようにしてもよい。また、撮影装置40は、信号線50を介して面法線計測装置10と接続され、面法線計測装置10の画像取得手段11からの撮影を指示する制御信号に従って物体OBJを撮影し、撮影した画像を、信号線50を介して画像取得手段11に出力する。
撮影装置移動手段41は、撮影装置40背面に備えられ、信号線50を介して面法線計測装置10と接続され、面法線計測装置10の撮影位置制御手段20(図4参照)からの撮影位置を指示する制御信号に従って、定位置と予め定められた退避位置との間をガイドレールRx,Ryに沿って移動するものである。撮影装置移動手段41は、前記した照明装置移動手段31と同様の構成のものを用いることができる。
ガイドレールRx及びガイドレールRyは、ともに半円弧状のレールであり、この弧がなす平面が、それぞれXZ平面及びYZ平面に一致するように設置されている。ガイドレールRx,Ryには、照明装置移動手段31及び撮影装置移動手段41によって、それぞれ照明装置30及び撮影装置40が移動可能に設置されている。
次に、第1実施形態における面法線計測システム1の動作について、図8〜図11を参照(適宜図1及び図4参照)して説明する。
図8に示すように、第1実施形態における面法線計測システム1は、参照物体測定処理(ステップS10)と、計測対象物体測定処理(ステップS11)と、面法線推定処理(ステップS12)と、を順次実行する。
まず、図9を参照(適宜図1及び図4参照)して、図8におけるステップS10に対応する参照物体測定処理について説明する。
図9に示すように、参照物体を測定するために、参照物体を面法線計測システム1のXY平面の中央部に設置する(ステップS20)。
次に、図10を参照(適宜図1及び図4参照)して、図8に示したステップS11に対応する計測対象物体測定処理について説明する。
ここで、図10に示す計測対象物体測定処理のステップS40〜ステップS51は、それぞれ、図9に示した参照物体測定処理のステップS20〜ステップS31に対応し、同様の動作を行うものである。
次に、図11を参照(適宜図1及び図4参照)して、図8に示したステップS12に対応する計測対象物体についての面法線推定処理について説明する。
なお、YZ平面内で照明角度を変化させた照明方位に対応する方位を最初に選択するようにしてもよい。
次に、図12を参照して、第1実施形態の面法線計測システム1の変形例について説明する。
また、撮影装置40を、物体OBJ(図1参照)の真上からシフトして配置することにより、物体OBJ(図1参照)の、撮影装置40から見て、撮影装置40がシフトした方向と反対側の面の一部が死角となって撮影できないことを考慮して、ガイドレールRx、Ryの交点を中心として、平面視で点対称の位置に撮影装置40を配置している。この2台の撮影装置40によって、死角を生じることなく、物体OBJ(図1参照)を撮影することができる。
また、2台の撮影装置40で撮影された画像は、画像取得手段11(図4参照)によって統合され、一つの画像として画像データ記憶手段12に記憶されるものとする。
次に、図13を参照して、第2実施形態における面法線計測システムについて説明する。
図6に示した第1実施形態における面法線計測システム1は、照明装置30によって、計測対象である物体OBJの全体を照明するのに対して、図13(a)に示した第2実施形態における照明装置30Aの照明範囲が狭く、物体OBJの全体を一度に照明できない場合に、物体OBJの撮影領域IAを、複数の有効撮影領域(分割領域)IA1〜IA4に分割して、それぞれの分割した有効撮影領域IA1〜IA4について、照明装置30Aにより照明角度を変化させて照明した物体OBJを、撮影装置40によって撮影するものである。
なお、物体OBJの全体を撮影領域とするのではなく、有効撮影領域を拡大して撮影するようにしてもよい。
第2実施形態における面法線計測システム1Bの動作は、図8に示した第1実施形態における面法線計測システム1の動作と同様に、参照物体測定処理S10と、計測対象物体測定処理S11と、面法線推定処理S12とを、順次行う。
なお、本実施形態では、分割して照明された画像を一つに統合するようにしたが、画像を統合せずに、分割したまま後の処理で用いるようにしてもよい。
更にまた、第2実施形態の面法線計測システム1Bの面法線推定処理は、図11に示した第1実施形態の面法線計測システム1の計測対象物体測定処理と同様に行うことができるため、説明は省略する。
10 面法線計測装置
11 画像取得手段
12 画像データ記憶手段
13 輝度判定手段
14 陰影ベクトル作成手段
15 陰影ベクトル記憶手段(参照データベース記憶手段)
16 面法線推定手段
17 面法線記憶手段
18 照明点灯制御手段
19 照明位置制御手段
20 撮影位置制御手段
30、30A 照明装置
31、31A 照明装置移動手段
40 撮影装置
41 撮影装置移動手段
50 信号線
OBJ 物体(計測対象物体)
Rx,Ry ガイドレール
Claims (10)
- 物体に対する照明装置による照明方向を変化させて、前記物体の表面の陰影の変化を撮影装置により撮影した画像に基づいて、前記物体の表面の面法線を計測する面法線計測装置であって、
前記物体に対する照明方向として、互いに直交する2つの予め定められた所定の平面の何れかに平行であって、予め定められた複数の所定の方向から順次に前記物体を照明して撮影した画像を取得する画像取得手段と、
前記画像の各画素について、予め定められた所定の輝度値に対応する閾値以上かどうかを判定して、前記画像を、明暗を示す2値画像に変換する輝度判定手段と、
前記所定の平面ごとに、前記所定の平面に平行な方向において照明方向を変化させて撮影した複数の画像を、それぞれ前記輝度判定手段によって2値化した複数の2値画像について、画素ごとに、前記照明方向と前記明暗とを対応付けたベクトルデータである陰影ベクトルを作成する陰影ベクトル作成手段と、
表面の面法線が既知の物体である参照物体の、複数の面法線に対応する前記参照物体の複数の表面位置について作成した前記陰影ベクトルである参照陰影ベクトルを、前記参照物体の面法線と対応付けた情報のデータベースである参照データベースを記憶する参照データベース記憶手段と、
面法線を計測する対象物体について前記画像取得手段で取得した画像を、前記輝度判定手段で2値画像に変換し、当該2値画像に基づいて前記陰影ベクトル作成手段で作成した陰影ベクトルである計測対象陰影ベクトルと、前記参照データベース記憶手段に記憶されている参照データベースとに基づいて、画素ごとに、面法線を推定する面法線推定手段と、を備え、
前記面法線推定手段は、画素ごとに、2つの前記所定の平面で特定される2つの方位についての、前記参照データベース記憶手段に記憶されている前記参照データベースの中で最も類似する前記参照陰影ベクトルと対応付けられた面法線を合成して、前記画素における面法線とすること、
を特徴とする面法線計測装置。 - 前記参照陰影ベクトルは、前記参照物体として、円柱を、当該円柱の中心軸を含む平面で切断した形状である半円柱であって、当該半円柱の前記中心軸が、前記所定の平面に垂直になるように設置した物体を用いて作成したことを特徴とする請求項1に記載の面法線計測装置。
- 前記輝度判定手段は、前記明暗を示す2値画像の画素値として、絶対値が等しく符号が異なる値を割当て、前記面法線推定手段は、前記計測対象陰影ベクトルと前記参照陰影ベクトルとの内積が最大となる前記参照陰影ベクトルを、前記最も類似する参照陰影ベクトルとして抽出することを特徴とする請求項1又は請求項2に記載の面法線計測装置。
- 互いに直交する2つの予め定められた所定の平面の何れかに平行であって、予め定められた複数の所定の方向から順次に前記物体を照明する照明装置と、
前記照明方向ごとに、前記物体を撮影する撮影装置と、
前記撮影装置によって撮影された前記物体の画像に基づいて、前記物体の面法線を計測する請求項1乃至請求項3の何れか一項に記載の面法線計測装置と、
を備えたことを特徴とする面法線計測システム。 - 前記照明装置は、平行光によって前記物体を照明することを特徴とする請求項4に記載の面法線計測システム。
- 暗室を備え、前記撮影装置による前記物体の撮影は、前記暗室内で行うことを特徴とする請求項4又は請求項5に記載の面法線計測システム。
- 前記撮影装置は、前記物体から、前記2つの平面の交線の方向について離れた位置である定位置と前記照明装置の移動の障害とならない位置である退避位置との間を移動する撮影装置移動手段を備えたことを特徴とする請求項4乃至請求項6の何れか一項に記載の面法線計測システム。
- 前記撮影装置は、複数の撮影装置を、前記照明装置の移動の障害とならない位置であって、互いに物体の死角となる表面を補完して撮影可能な位置に設置することを特徴とする請求項4乃至請求項6の何れか一項に記載の面法線計測システム。
- 前記物体の撮影対象領域を複数の領域に分割し、前記分割領域ごとに前記照明装置によって照明して、前記撮影装置によって前記物体を撮影することを特徴とする請求項4乃至請求項8の何れか一項に記載の面法線計測システム。
- 物体に対する照明装置による照明方向を変化させて、前記物体の表面の陰影の変化を撮影装置により撮影した画像に基づいて、前記物体の表面の面法線を計測するために、コンピュータを、
前記物体に対する照明方向として、互いに直交する2つの予め定められた所定の平面の何れかに平行であって、予め定められた複数の所定の方向から順次に前記物体を照明して撮影した画像を取得する画像取得手段、
前記画像の各画素について、予め定められた所定の輝度値に対応する閾値以上かどうかを判定して、前記画像を、明暗を示す2値画像に変換する輝度判定手段、
前記所定の平面ごとに、前記所定の平面に平行な方向において照明方向を変化させて撮影した複数の画像を、それぞれ前記輝度判定手段によって2値化した複数の2値画像について、画素ごとに、前記照明方向と前記明暗とを対応付けたベクトルデータである陰影ベクトルを作成する陰影ベクトル作成手段、
表面の面法線が既知の物体である参照物体の、複数の面法線に対応する前記参照物体の複数の表面位置について作成した前記陰影ベクトルである参照陰影ベクトルを、前記参照物体の面法線と対応付けた情報のデータベースである参照データベースを記憶する参照データベース記憶手段、
面法線を計測する対象物体について前記画像取得手段で取得した画像を、前記輝度判定手段で2値画像に変換し、当該2値画像に基づいて前記陰影ベクトル作成手段で作成した陰影ベクトルである計測対象陰影ベクトルと、前記参照データベース記憶手段に記憶されている参照データベースとに基づいて、画素ごとに、面法線を推定する面法線推定手段、として機能させ、
前記面法線推定手段は、画素ごとに、2つの前記所定の平面で特定される2つの方位についての、前記参照データベース記憶手段に記憶されている前記参照データベースの中で最も類似する前記参照陰影ベクトルと対応付けられた面法線を合成して、前記画素における面法線とすること、
を特徴とする面法線計測プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011194313A JP5647084B2 (ja) | 2011-09-06 | 2011-09-06 | 面法線計測装置、面法線計測システム及び面法線計測プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011194313A JP5647084B2 (ja) | 2011-09-06 | 2011-09-06 | 面法線計測装置、面法線計測システム及び面法線計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013054011A JP2013054011A (ja) | 2013-03-21 |
JP5647084B2 true JP5647084B2 (ja) | 2014-12-24 |
Family
ID=48131119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011194313A Expired - Fee Related JP5647084B2 (ja) | 2011-09-06 | 2011-09-06 | 面法線計測装置、面法線計測システム及び面法線計測プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5647084B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5914850B2 (ja) * | 2011-11-30 | 2016-05-11 | パナソニックIpマネジメント株式会社 | 3次元計測装置およびそれに用いられる照明装置 |
JP6615723B2 (ja) * | 2016-09-07 | 2019-12-04 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および対象物認識方法 |
JP6697986B2 (ja) * | 2016-09-07 | 2020-05-27 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像領域分割方法 |
CN108955526A (zh) * | 2018-07-27 | 2018-12-07 | 朱培恒 | 一种光场扫描装置及其光场扫描方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6393076A (ja) * | 1986-10-07 | 1988-04-23 | Sony Corp | 形状測定装置 |
JPH05296745A (ja) * | 1992-04-22 | 1993-11-09 | Toshiba Corp | 形状測定装置 |
JPH09105614A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Constr Mach Co Ltd | 表面形状評価装置および表面形状評価方法 |
JP2004279187A (ja) * | 2003-03-14 | 2004-10-07 | Mitsubishi Electric Corp | 形状計測方法 |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP2010256217A (ja) * | 2009-04-27 | 2010-11-11 | Kobe Steel Ltd | 形状検査装置,形状検査方法 |
JP5108827B2 (ja) * | 2009-04-28 | 2012-12-26 | ヴィスコ・テクノロジーズ株式会社 | 形状検査装置および形状検査プログラム |
-
2011
- 2011-09-06 JP JP2011194313A patent/JP5647084B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013054011A (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107607040B (zh) | 一种适用于强反射表面的三维扫描测量装置及方法 | |
US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
JP5570126B2 (ja) | 物体の姿勢を求める方法及び装置 | |
JP5141452B2 (ja) | 姿勢計測装置及び姿勢計測方法 | |
US20070176927A1 (en) | Image Processing method and image processor | |
JP5133626B2 (ja) | 表面反射特性測定装置 | |
TWI809043B (zh) | 用於光學成像系統中之自動聚焦之範圍區別器 | |
JP5342413B2 (ja) | 画像処理方法 | |
JP5647084B2 (ja) | 面法線計測装置、面法線計測システム及び面法線計測プログラム | |
JP2017040600A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
US9245375B2 (en) | Active lighting for stereo reconstruction of edges | |
JP6237032B2 (ja) | 色と三次元形状の計測方法及び装置 | |
JP7056131B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
KR100903346B1 (ko) | 광학식 입체 형상 검사 방법 | |
JP5441752B2 (ja) | 環境内の3d物体の3d姿勢を推定する方法及び装置 | |
JP5956932B2 (ja) | 形状測定装置、形状測定方法および形状測定プログラム | |
JP2012093234A (ja) | 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム | |
JP6939501B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP2021173566A (ja) | 欠陥検出方法及び欠陥検出装置 | |
JP4218283B2 (ja) | ターゲット投影式3次元形状計測方法および装置 | |
JP2021063700A (ja) | 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法 | |
JP5280918B2 (ja) | 形状測定装置 | |
JP6577733B2 (ja) | 計測システム | |
JP2011205198A (ja) | 立体撮影装置及び方法 | |
Chen et al. | Automated robot-based large-scale 3D surface imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5647084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |