JP5806546B2 - 長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 - Google Patents
長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 Download PDFInfo
- Publication number
- JP5806546B2 JP5806546B2 JP2011171098A JP2011171098A JP5806546B2 JP 5806546 B2 JP5806546 B2 JP 5806546B2 JP 2011171098 A JP2011171098 A JP 2011171098A JP 2011171098 A JP2011171098 A JP 2011171098A JP 5806546 B2 JP5806546 B2 JP 5806546B2
- Authority
- JP
- Japan
- Prior art keywords
- side wall
- image
- captured image
- virtual joint
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
前記撮像装置と近接して設けられ、前記側壁に平行な軸を回転軸として配置された距離計であって、前記側壁と平行な軸に対する回転角について、前記側壁と前記撮像装置との距離を計測する距離計と、
前記側壁の二箇所以上の断面を仮想的な目地として仮定し、前記撮像画像内に前記仮想的な目地を投影して、投影した前記仮想的な目地を利用して、前記撮像画像から前記側壁の展開画像を得る画像処理部と、
を備える。
長手方向に延在する構造物の側壁に対し垂直な方向から前記側壁を撮像して前記側壁の撮像画像を得るステップと、
前記側壁と平行な軸を回転軸として、回転軸に対する角度θiについての前記側壁の点までの距離Liを計測するステップと、
前記構造物が柱状体であることを利用して、角度θi及び計測された距離データLiと前記側壁の3次元座標(Xi,Yi,Zi)との関係式を得るステップと、
前記側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、その仮想的な目地に対応する前記側壁における3次元座標を求めるステップと、
仮想的な目地の3次元座標に基づいて、前記撮像画像内で対応する仮想的な目地の画像座標を求め、前記撮像画像上に前記仮想的な目地がどのように映り込むかを計算して、前記撮像画像上に仮想的な目地を投影するステップと、
前記撮像画像に投影された前記仮想的な目地を利用して、前記側壁の展開画像を作成するステップと、
を含む。
図1は、実施の形態1に係る長手方向に延在する構造物であるトンネル側壁の展開画像の作成装置の概略を示す概略図である。図2は、実施の形態1に係るトンネル側壁の展開画像の作成装置10のブロック図である。このトンネル側壁の展開画像の作成装置10は、撮像装置(カメラ)2と、距離計4と、画像処理部6とを備える。また、図1に示すように、トンネル側壁に平行な軸をX軸とする。撮像装置2は、トンネル側壁に垂直な方向に光軸を合わせて撮像する。撮像装置2の光軸の方向をZ軸とする。このため、図1に示すように、Y軸は、下方に向かう方向が正方向となる。次に、距離計4は、撮像装置2に近接して設けられ、X軸を回転軸として回転可能に配置される。距離計4は、X軸に対する回転角θiごとにトンネル側壁との距離Liを計測する。距離計4の回転角の間隔は任意であり、間隔を小さくすることで精密な形状を得られる。図3は、距離計4によって計測するトンネル側壁との距離Liと角度θiとの関係を示す概略図である。図2において画像処理部6は、トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、撮像画像内に仮想的な目地を投影すると共に、投影した仮想的な目地を利用して、撮像画像からトンネル側壁の展開画像を得る。なお、このトンネル側壁の展開画像の作成装置10は、撮像装置2と距離計4とをX軸方向に移動させる駆動部9を備えてもよい。
なお、実施の形態1に係るトンネル側壁の展開画像作成装置10は、長手方向に延在する構造物の代表としてトンネル側壁を撮像対象とする場合について説明したが、実施の形態2で説明するように、トンネル側壁以外の長手方向に延在する構造物である橋梁の床版や高欄部等についても同様に撮像対象とすることができ、その展開画像を作成できる。また、長手方向に延在する構造物としては、上記のトンネル側壁、橋梁の床版や高欄部に限られず、その他の構造物も撮像対象とすることができ、その展開画像を作成できる。
撮像装置2は、トンネル側壁に垂直な方向に光軸を合わせて撮像することができ、2次元のデジタル画像を撮像できるものであれば、用いることができる。
距離計4は、撮像装置2に近接して設けられ、X軸を回転軸として回転可能に配置できるものであればよい。また、トンネル側壁に平行な軸(X軸)を回転軸として回転角θiごとにトンネル側壁との距離Liを計測できるものであればよく、例えば、レーザ距離計を用いることができる。なお、レーザ距離計に限定するものではなく、それ以外の距離計も利用可能である。
また、距離計4は、トンネル側壁に平行な軸(X軸)を回転軸として回転させる回転部5を備えていてもよい。なお、回転部5は、回転角度θiを連続的に変化可能なものに限られず、所定角度ごとに回転させることができるものであってもよい。
画像処理部6は、トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、撮像画像内に仮想的な目地を投影すると共に、投影した仮想的な目地を利用して、撮像画像からトンネル側壁の展開画像を得る。なお、画像処理部6は、上記のそれぞれの機能ごとに、トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、撮像画像内に仮想的な目地を投影する仮想目地投影部7と、投影した仮想的な目地を利用して、撮像画像からトンネル側壁の展開画像を得る展開画像作成部8と、を含んでもよい。
図4は、撮像画像の画像座標(u,v)及び1本の仮想的な目地を示す図である。また、図5は、図4の撮像画像における仮想的な目地の曲線が、展開画像において直線となる例を示す概略図である。画像処理部6は、図4に示すように、トンネル側壁の湾曲している断面方向に延びる直線に対応して、撮像画像内に仮想的な目地を投影し、この仮想的な目地を利用して、撮像画像内の仮想的な目地の周辺について展開画像を作成する。この場合、図5に示すように、投影された仮想的な目地は曲線を呈するが、展開画像では直線となることを利用して、投影された仮想的な目地の周辺の撮像画像を変換して展開画像を得ることができる。
また、画像処理部6の物理的な構成としては、CPU,メモリ、ハードディスク、入出力、表示装置等を備えたパーソナルコンピュータ等によって構成してもよい。
駆動部9は、撮像装置2と距離計4とをX軸方向に移動させることができればよい。例えば、台車等を利用できる。
図9は、実施の形態1に係る長手方向に延在する構造物であるトンネル側壁の展開画像の作成方法のフローチャートである。以下に、このトンネル側壁の展開画像の作成方法について説明する。
(A)トンネル側壁に垂直な方向からトンネル側壁を撮像してトンネル側壁の撮像画像を得る(S01)。
(B)トンネル側壁に平行な軸(X軸)を回転軸として、回転軸に対する角度θiについてのトンネル側壁の点までの距離Liを計測する(S02)。
(C)トンネルが柱状体であることを利用して、計測された距離データLiとトンネル側壁の3次元座標(Xi,Yi,Zi)との関係式を得る(S03)。
(D)トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、その仮想的な目地に対応するトンネル側壁における3次元座標を求める(S04)。
(E)仮想的な目地の3次元座標に基づいて、撮像画像内で対応する仮想的な目地の画像座標を求め、撮像画像上に仮想的な目地がどのように映り込むかを計算して、撮像画像上に仮想的な目地を投影する(S05)。
(F)撮像画像に投影された仮想的な目地を利用して、トンネル側壁の展開画像を作成する(S06)。
以上によって、トンネル側壁の展開画像を得ることができる。
<撮像画像を得る>
まず、トンネル側壁の撮像画像を得るステップS01について説明する。
(A−1)トンネル側壁の撮像画像は、トンネル側壁に垂直な方向からトンネル側壁を撮像して得られる。
次に、距離計4によって、トンネル側壁との距離Liを計測するステップS02と、計測された距離データLiとトンネル側壁の3次元座標(Xi,Yi,Zi)との関係式を得るステップS03とについて説明する。
トンネル側壁に平行な軸をX軸とし、X軸に垂直な方向のうち、撮像装置(カメラ)2の光軸の方向をZ軸とする。
(B−1)トンネル側壁に垂直な方向に対して距離計4によって距離Li(iは0〜nまでの整数である。以下、同じ)を計測する。このときの距離計4のX軸回りの角度をθiとする。なお、撮像画像一枚の全ての画像座標について距離が計測されるわけではなく、画像座標のうち、距離が計測されるトンネル側壁と対応する画像座標は、光軸中心の画像座標(u0、v0)を含むX軸に垂直な方向の画像座標のみである。また、光軸中心の画像座標であるv0の位置にある側壁を測っている時の距離計の角度をθOrgとする。ここで、光軸中心の画像座標(u0、v0)は近似的に画像の中心座標としてもよい。
(C−1)次に、距離を計測したトンネル側壁の一点の三次元座標(Xi,Yi,Zi)は、図3に示すように、角度θiと計測した距離Liとに基づいて、それぞれ以下のように表される。
Xi=0.0 (X軸回りに距離計4を回転させるため、X値は0とする)
Yi=−Li×sin(θi−θorg) (1)
Zi=Li×cos(θi−θorg) (2)
なお、Yiの座標値に負符号が入るのは、図3に示すように、トンネル側壁に平行な方向をX軸とし、距離計4の方向をZ軸としているため、Y軸の正方向と角度θの正方向とが互いに反対方向となるためである。
Xi=Sj
Yi=−Li×sin(θi−θorg)
Zi=Li×cos(θi−θorg)
図6(a)は、ZY平面における撮像画像の画像座標とトンネル側壁の3次元座標との関係を示す概略図である。図6(b)は、図6(a)のうち撮像画像の画像座標viとトンネル側壁の3次元座標Yiとの関係に関する図形表現である。また、図6(c)は、撮像画像の画像座標uiとトンネル側壁の3次元座標Xiとの関係に関する図形表現である。
図6(a)〜(c)に基づいて、トンネル側壁に対して垂直方向に撮像装置(カメラ)2の光軸が向いている場合、トンネル側壁の3次元座標(Xi、Yi、Zi)と撮影した撮像画像の2次元の画像座標(u,v)との関係は、撮像装置(カメラ)2の内部パラメータαを用いて、射影変換の関係式から以下のように表すことができる。
なお、この内部パラメータαは、図6(a)〜(c)に示すように、撮像装置2内の焦点距離に対応する。内部パラメータαの単位は、画像座標の単位と同じで、通常は、ピクセルや長さを表す単位(例えばmm)となる。
トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、その仮想的な目地に対応するトンネル側壁における3次元座標を求めるステップS04と、撮像画像上に仮想的な目地を投影するステップS05とについて説明する。
仮想的な目地に基づいてトンネル側壁が曲面であることに起因する歪みを補正して展開画像を作成するため、指標となる仮想的な目地は撮像画像内でできるだけ大きく映り込むことが望ましい。そこで、撮像画像内に仮想的な目地を作成するにあたって、撮像画像の端を通る仮想的な目地を作成することを考える。
(D−1)トンネル側壁の湾曲している断面方向に延びる仮想的な目地を仮定する。
(E−1)撮像画像の上端として点(u1,v1)を定める。
(E−2)点(u1,v1)のうち、画像座標v1を用いて、画像中心(u0,v0)を含むYZ平面内でのZ軸からの角度θ1を下記式に基づいて求める。
(v1−v0)/α=−tan(θ1−θorg)
(θ1−θorg)=tan−1(−(v1−v0)/α)
θ1=tan−1(−(v1−v0)/α)+θorg
(E−3)次に、点(u1,v1)に対応するトンネル側壁の3次元座標(X1、Y1、Z1)を、上記式(2)〜(4)から変形した下記式(5)〜(7)に基づいて求める。
X1=(u1−u0)*Z1/α (5)
Y1=(v1−v0)*Z1/α (6)
Z1=L1*cos(θ1−θorg) (7)
(E−5)点(u2,v2)のうち、画像座標v2を用いて、画像中心(u0,v0)を含むYZ平面内でのZ軸からの角度θ2を下記式に基づいて求める。
θ2=tan−1(−(v2−v0)/α)+θorg
(E−6)θ1≦θi≦θ2となる角度範囲において、角度θiと距離計による距離Liとのデータに基づいて、仮想的な目地に対応するトンネル側壁の3次元座標(Xi、Yi、Zi)は、以下の式で表される。
Xi=X1 (8)
Yi=−Li*sin(θi−θorg) (9)
Zi=Li*cos(θi−θorg) (10)
上記式(8)において、X座標をX1一定として、仮想的な目地であることを表している。
(E−8)上記式(11)及び(12)による画像座標(ui、vi)を撮像画像内に描くことで仮想的な目地を投影することができる。
上記関係式(13)に示されるように、撮像画像内に投影される仮想的な目地は、(u、v)座標内でv=L*u/X1と、v=−L*u/X1とで表される2つの直線を漸近線とする双曲線を描くことがわかる。
なお、上記式(13)では、撮像装置2とトンネル側壁との距離Liが一定のL(Li=L)であると仮定している。これはトンネル断面が半円形であって、撮像装置2がトンネル断面の中心に位置している場合である。
(E−9)画像の上記上端(u1、v1)と相対する上端(u3、v3)についても同様にして、もう一つの仮想的な目地を撮像画像内に投影することができる。
以上によって、例えば、図7に示すように、撮像画像内に2本の点線GH及び点線IJで表した仮想的な目地を投影できる。
複数本の仮想的な目地を、計算して投影することにより、より正確な展開画像を作成することができる。複数本の仮想的な目地の計算は上記同様にして求めることができる。
撮像画像に投影された仮想的な目地を利用して、トンネル側壁の展開画像を作成するステップS06について説明する。
図7は、撮像画像内に2本の点線GH及び点線IJで表した仮想的な目地を投影した概略図である。図8は、図7の仮想的な目地を利用して作成した展開画像を示す概略図である。
(F−1)撮像画像内に投影された仮想的な目地を表す2本の点線GH及び点線IJは、トンネル側壁の3次元座標として、それぞれ同じX座標を有するものである。つまり、図8に示すように、展開画像において、2本の点線GH及び点線IJは、それぞれ平行な2本の直線となる。
(F−2)そこで、2本の点線GH及び点線IJの間の平行な5本の線分GI、KL、MN、PQ、HJは、展開画像において互いに等しい長さを有するものとして変換する。
(F−3)2本の点線GH及び点線IJの間のそれ以外の線分についても同様に、2本の点線GH及び点線IJが互いに平行となるように変換する。
変換方法としては、射影変換、双一次変換、アフィン変換などを選択することができる。なお、画像変換に関しては、このほかにもいろいろな数学的変換方法が考えられる。
以上によって、撮像画像に投影された仮想的な目地を利用して、トンネル側壁の展開画像を作成することができる。
図10は、実施の形態2に係る長手方向に延在する構造物である橋梁の高欄部の展開画像作成装置10aの概略を示す概略図である。実施の形態2に係る橋梁の高欄部の展開画像作成装置10aは、実施の形態1に係るトンネル側壁の展開画像作成装置と比較すると、実施の形態1の撮像対象が凹面状のトンネル側壁であったのに対して、実施の形態2の撮像対象である橋梁の高欄部は、凸面状又は平面状等の面を含む点で相違する。例えば、橋梁の高欄部や床版は平面であり、それを撮影した画像は、遠近のついた画像となる。すなわち対象の面が長方形であっても撮影された画像は台形のような四角形の画像となる。このため、トンネル側壁を撮影して得られる湾曲した画像とは異なる。
4 距離計
5 回転部
6 画像処理部
7 仮想目地投影部
8 展開画像作成部
9 駆動部
10 長手方向に延在する構造物であるトンネル側壁の展開画像作成装置
10a 長手方向に延在する構造物である橋梁の高欄部の展開画像作成装置
Claims (3)
- 長手方向に延在する構造物の側壁に垂直な方向から前記側壁を撮像して前記側壁の撮像画像を得る撮像装置と、
前記撮像装置と近接して設けられ、前記側壁に平行な軸を回転軸として配置された距離計であって、前記側壁と平行な軸に対する回転角について、前記側壁と前記撮像装置との距離を計測する距離計と、
前記側壁の二箇所以上の断面を仮想的な目地として仮定し、前記距離計で計測した距離を基に前記撮像画像内に前記仮想的な目地を投影して、投影した前記仮想的な目地を利用して、前記撮像画像から前記仮想的な目地が直線になるように前記側壁の展開画像を得る画像処理部と、
を備えた、長手方向に延在する構造物の側壁の展開画像作成装置。 - 前記画像処理部は、前記仮想的な目地に対応する、前記撮像画像の画像座標と前記側壁の3次元座標との関係を表す関係式を作成する、請求項1に記載の長手方向に延在する構造物の側壁の展開画像作成装置。
- 長手方向に延在する構造物の側壁の撮像画像に基づいて、展開画像を作成する方法であって、
長手方向に延在する構造物の側壁に対し垂直な方向から前記側壁を撮像して前記側壁の撮像画像を得るステップと、
前記側壁と平行な軸を回転軸として、回転軸に対する角度θiについての前記側壁の点までの距離Liを計測するステップと、
前記構造物が柱状体であることを利用して、角度θi及び計測された距離データLiと前記側壁の3次元座標(Xi,Yi,Zi)との関係式を得るステップと、
前記側壁の湾曲している断面方向に延びる仮想的な目地を仮定し、その仮想的な目地に対応する前記側壁における3次元座標を求めるステップと、
仮想的な目地の3次元座標に基づいて、前記撮像画像内で対応する仮想的な目地の画像座標を求め、前記撮像画像上に前記仮想的な目地がどのように映り込むかを計算して、前記撮像画像上に仮想的な目地を投影するステップと、
前記撮像画像に投影された前記仮想的な目地を利用して、前記側壁の展開画像を作成するステップと、
を含む、長手方向に延在する構造物の側壁の展開画像作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011171098A JP5806546B2 (ja) | 2011-08-04 | 2011-08-04 | 長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011171098A JP5806546B2 (ja) | 2011-08-04 | 2011-08-04 | 長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013036777A JP2013036777A (ja) | 2013-02-21 |
JP5806546B2 true JP5806546B2 (ja) | 2015-11-10 |
Family
ID=47886534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011171098A Active JP5806546B2 (ja) | 2011-08-04 | 2011-08-04 | 長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5806546B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015049765A (ja) * | 2013-09-03 | 2015-03-16 | 公益財団法人鉄道総合技術研究所 | トンネル覆工面画像の歪みを補正する方法 |
JP2015105905A (ja) * | 2013-12-02 | 2015-06-08 | 公益財団法人鉄道総合技術研究所 | 変状の時系列管理に用いるトンネル覆工面画像の補正方法 |
JP6344803B2 (ja) * | 2016-05-03 | 2018-06-20 | 三協エンジニアリング株式会社 | トンネル覆工面の平面図作成システム、トンネル覆工面の平面図作成方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09284749A (ja) * | 1996-04-12 | 1997-10-31 | Furukawa Electric Co Ltd:The | トンネル内壁面の撮影方法とそれを用いた撮影装置 |
JP4010806B2 (ja) * | 2001-12-20 | 2007-11-21 | 西松建設株式会社 | コンクリート表面の変状調査システム、および、コンクリート表面の変状調査方法 |
JP3795001B2 (ja) * | 2002-09-26 | 2006-07-12 | 三菱重工業株式会社 | トンネル覆工の内部欠陥検出装置 |
-
2011
- 2011-08-04 JP JP2011171098A patent/JP5806546B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013036777A (ja) | 2013-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5029618B2 (ja) | パターン投影法による3次元形状計測装置、方法およびプログラム | |
JP6184237B2 (ja) | 3次元データの処理装置、その処理方法及びその処理プログラム | |
Zhu et al. | Panoramic image stitching for arbitrarily shaped tunnel lining inspection | |
JP5388921B2 (ja) | 3次元距離計測装置及びその方法 | |
JP6807459B2 (ja) | 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体 | |
JP4619962B2 (ja) | 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置 | |
TW201418662A (zh) | 遠距離量測裂縫之方法及其裝置 | |
JP5818341B2 (ja) | 形状計測装置および形状計測方法 | |
JP4255865B2 (ja) | 非接触三次元形状測定方法及び装置 | |
JP2013213769A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019128175A (ja) | トンネル壁面検査装置及びトンネル壁面検査プログラム | |
JP2015049765A (ja) | トンネル覆工面画像の歪みを補正する方法 | |
JP6337242B2 (ja) | 四角形や円錐台形状を持つ構築物の画像計測装置及びその方法 | |
JP5806546B2 (ja) | 長手方向に延在する構造物の展開画像作成装置及び展開画像作成方法 | |
JP2016099235A (ja) | 正置画像処理システムおよび構造物維持管理業務システム | |
JP6575087B2 (ja) | トロリ線摩耗測定装置 | |
JP5457865B2 (ja) | 非接触三次元計測装置及び非接触三次元計測方法 | |
JP4006296B2 (ja) | 写真測量による変位計測方法及び変位計測装置 | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
JP6751930B1 (ja) | 変位計測装置および変位計測方法 | |
JP2018063162A (ja) | 画像取得方法、及び画像取得装置 | |
JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
JP2006330772A (ja) | 撮影画像における歪曲収差補正方法 | |
JP7482268B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP7293931B2 (ja) | 位置計測用データ生成装置、位置計測用データ生成方法、及び位置計測用データ生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5806546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |