JP6060482B2 - 測距装置、測距システム、測距プログラムおよび視差補正方法 - Google Patents
測距装置、測距システム、測距プログラムおよび視差補正方法 Download PDFInfo
- Publication number
- JP6060482B2 JP6060482B2 JP2011277294A JP2011277294A JP6060482B2 JP 6060482 B2 JP6060482 B2 JP 6060482B2 JP 2011277294 A JP2011277294 A JP 2011277294A JP 2011277294 A JP2011277294 A JP 2011277294A JP 6060482 B2 JP6060482 B2 JP 6060482B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- temperature
- parallax
- lens
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Description
まず、図1を参照してステレオカメラモジュールの構成について説明する。図1は、本実施形態に係るステレオカメラモジュール100の一構成例を示す図であり、図1(a)は、ステレオカメラモジュール100を正面側から見た正面図、図1(b)は図1(a)のX−X線断面図、図1(c)は、ステレオカメラモジュール100を裏面側から見た裏面図である。
次に、図2および図3を参照して、ステレオカメラモジュール100を用いたステレオ測距の原理と温度変化の影響について説明する。
ds=dL+dR=B・f/Z ・・・(1)
Δf=τf・f・Δt ・・・(2)
ds’=dL’+dR’+ΔB/2・2=(B+ΔB)(f+Δf)/Z+ΔB ・・・(3)
ds’=ds+ΔB+(B・Δf+f・ΔB)/Z=ds(1+Δf/f+ΔB/B)+ΔB ・・・(4)
ds=ds’−ΔB/(1+Δf/f+ΔB/B) ・・・(5)
ds=ds’−B・τB・Δt/(1+τ・Δt) ・・・(6)
図4は、本実施形態に係る測距装置200の機能的な構成を示すブロック図である。測距装置200は、図4に示すように、第1インタフェース部201と、カメラ制御部202と、画像信号歪み補正部203と、視差演算部204と、温度差算出部205と、視差補正部206と、距離算出部207と、第2インタフェース部208と、を備える。これらの各部(その全部または一部)は、例えば、測距装置200がCPUやROM、RAM、入出力回路などを備えるマイクロコンピュータとして構成されている場合、このマイクロコンピュータで実行されるプログラム(ソフトウェア)により実現することができる。また、測距装置200が備える上記の各部(その全部または一部)を、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアを用いて構成することもできる。
ds=ds’(1−τ・Δt)−B・τB・Δt ・・・(7)
Z=B・f/(ds−doffset) ・・・(8)
次に、上記式(6)または上記式(7)の演算により補正視差dsを算出するために使用される温度係数であるτとτBを決定する方法の具体例について説明する。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係る測距システムでは、測距装置200が、ステレオカメラモジュール100で第1画像および第2画像を撮像する際の温度と基準温度との温度差Δtに基づいて、環境温度の変化に起因する基線長Bの伸縮による誤差成分を補正するための第1補正値と、環境温度の変化に起因する第1画像および第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出する。そして、第1画像と第2画像とに基づいて算出される視差ds’を、第1補正値と第2補正値とに基づいて補正して補正視差dsを算出し、算出した補正視差dsを用いて被写体までの距離Zを算出する。したがって、本実施形態に係る測距システムによれば、第1画像および第2画像の撮像時の温度に応じて、第1画像および第2画像から算出される視差ds’を高精度に補正して、被写体までの距離Zを正確に計測することができる。
110 レンズアレイ
111 第1レンズ
112 第2レンズ
120 基板
121 第1撮像素子
122 第2撮像素子
140 温度センサ
200 測距装置
204 視差演算部
205 温度差算出部
206 視差補正部
207 距離算出部
Claims (8)
- 第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力する入力手段と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記基準温度のときの伸縮のない前記基線長に前記第1温度係数を乗算した値に対して前記温度差を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値に対して1を加算した値であり、
前記視差補正手段は、前記視差から前記第1補正値を減算した値に対して前記第2補正値を除算した値を前記補正視差として算出することを特徴とする測距装置。 - 第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力する入力手段と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記第1温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値から1を減算した値であり、
前記視差補正手段は、前記視差と前記第2補正値とを乗算した値から前記第1補正値を減算した値を前記補正視差として算出することを特徴とする測距装置。 - 第1レンズと第1撮像素子とを含み、被写体の第1画像を撮像する第1撮像系と、
前記第1レンズと一体成形された第2レンズと第2撮像素子とを含み、前記被写体の第2画像を撮像する第2撮像系と、
前記第1撮像素子および前記第2撮像素子とが配置された基板と、
前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記基準温度のときの伸縮のない前記基線長に前記第1温度係数を乗算した値に対して前記温度差を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値に対して1を加算した値であり、
前記視差補正手段は、前記視差から前記第1補正値を減算した値に対して前記第2補正値を除算した値を前記補正視差として算出することを特徴とする測距システム。 - 第1レンズと第1撮像素子とを含み、被写体の第1画像を撮像する第1撮像系と、
前記第1レンズと一体成形された第2レンズと第2撮像素子とを含み、前記被写体の第2画像を撮像する第2撮像系と、
前記第1撮像素子および前記第2撮像素子とが配置された基板と、
前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段と、を備え、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記第1温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値から1を減算した値であり、
前記視差補正手段は、前記視差と前記第2補正値とを乗算した値から前記第1補正値を減算した値を前記補正視差として算出することを特徴とする測距システム。 - コンピュータに、
第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力する入力手段の機能と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段の機能と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段の機能と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段の機能と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段の機能と、を実現させ、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記基準温度のときの伸縮のない前記基線長に前記第1温度係数を乗算した値に対して前記温度差を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値に対して1を加算した値であり、
前記視差補正手段は、前記視差から前記第1補正値を減算した値に対して前記第2補正値を除算した値を前記補正視差として算出する測距プログラム。 - コンピュータに、
第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力する入力手段の機能と、
前記第1画像と前記第2画像とに基づいて、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する視差算出手段の機能と、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出する温度差算出手段の機能と、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値と、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値とを算出し、前記視差を、前記第1補正値と前記第2補正値とに基づいて補正して、補正視差を算出する視差補正手段の機能と、
前記補正視差と、伸縮のない前記基線長と、前記第1撮像系および前記第2撮像系の焦点距離とに基づいて、前記被写体までの距離を算出する距離算出手段の機能と、を実現させ、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記第1温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値から1を減算した値であり、
前記視差補正手段は、前記視差と前記第2補正値とを乗算した値から前記第1補正値を減算した値を前記補正視差として算出する測距プログラム。 - 第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力し、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する装置において実行される視差補正方法であって、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出するステップと、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値を算出するステップと、
前記温度差と、予め求めた温度係数とに基づいて、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値を算出するステップと、
前記第1補正値と前記第2補正値とに基づいて、前記視差を補正して、補正視差を算出するステップと、を含み、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記基準温度のときの伸縮のない前記基線長に前記第1温度係数を乗算した値に対して前記温度差を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値に対して1を加算した値であり、
前記補正視差を算出するステップは、前記視差から前記第1補正値を減算した値に対して前記第2補正値を除算した値を前記補正視差として算出することを特徴とする視差補正方法。 - 第1レンズと第1撮像素子とを含む第1撮像系と、前記第1レンズと一体成形された第2レンズと第2撮像素子とを含む第2撮像系と、前記第1撮像素子および前記第2撮像素子とが配置された基板と、前記基板の前記第1撮像素子および前記第2撮像素子が配置された面の反対面に配置された温度検出手段と、を備えるステレオカメラモジュールから、前記第1撮像系により撮像された被写体の第1画像と前記第2撮像系により撮像された前記被写体の第2画像とを入力し、前記第1画像における前記被写体の位置と前記第2画像における前記被写体の位置との差分である視差を算出する装置において実行される視差補正方法であって、
前記第1画像および前記第2画像の撮像時に前記温度検出手段により検出された前記基板の温度と基準温度との差分である温度差を算出するステップと、
前記温度差と、予め求めた温度係数とに基づいて、前記第1撮像系と前記第2撮像系との光軸間の距離である基線長の伸縮による誤差成分を補正するための第1補正値を算出するステップと、
前記温度差と、予め求めた温度係数とに基づいて、前記第1画像および前記第2画像の倍率の変化による誤差成分を補正するための第2補正値を算出するステップと、
前記第1補正値と前記第2補正値とに基づいて、前記視差を補正して、補正視差を算出するステップと、を含み、
前記温度係数は、前記第1レンズおよび前記第2レンズの線膨張率を表す第1温度係数と、前記第1レンズおよび前記第2レンズの焦点距離の膨張率と前記第1温度係数との和である第2温度係数とを含み、
前記第1補正値は、前記第1温度係数に前記温度差を乗算した値に対して前記基準温度のときの伸縮のない前記基線長を乗算した値であり、
前記第2補正値は、前記温度差に前記第2温度係数を乗算した値から1を減算した値であり、
前記補正示唆を算出するステップは、前記視差と前記第2補正値とを乗算した値から前記第1補正値を減算した値を前記補正視差として算出することを特徴とする視差補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011277294A JP6060482B2 (ja) | 2011-12-19 | 2011-12-19 | 測距装置、測距システム、測距プログラムおよび視差補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011277294A JP6060482B2 (ja) | 2011-12-19 | 2011-12-19 | 測距装置、測距システム、測距プログラムおよび視差補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013127416A JP2013127416A (ja) | 2013-06-27 |
JP6060482B2 true JP6060482B2 (ja) | 2017-01-18 |
Family
ID=48778030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011277294A Expired - Fee Related JP6060482B2 (ja) | 2011-12-19 | 2011-12-19 | 測距装置、測距システム、測距プログラムおよび視差補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6060482B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9823352B2 (en) * | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
CN111985398B (zh) * | 2020-08-20 | 2023-11-28 | 广州洪拓光电技术有限公司 | 红外辅助双目测距方法和距离补偿热值采集方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006105811A (ja) * | 2004-10-06 | 2006-04-20 | Fuji Electric Device Technology Co Ltd | 半導体光センサデバイス及び測距方法 |
JP4510930B2 (ja) * | 2008-07-23 | 2010-07-28 | パナソニック株式会社 | 撮像装置及び半導体回路素子 |
-
2011
- 2011-12-19 JP JP2011277294A patent/JP6060482B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013127416A (ja) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5549230B2 (ja) | 測距装置、測距用モジュール及びこれを用いた撮像装置 | |
US9681043B2 (en) | Multi-camera imaging system, and compensation method for image reconstruction | |
JP4378434B2 (ja) | 複眼カメラモジュール | |
JP6427900B2 (ja) | 校正方法、校正システム、プログラム及び移動体 | |
US8390703B2 (en) | Image pickup apparatus and semiconductor circuit element | |
JP6520080B2 (ja) | ステレオカメラ校正方法、視差算出装置、ステレオカメラ及び車両 | |
JP2011209269A (ja) | 撮像装置及び距離取得システム | |
US10277799B2 (en) | Image capturing apparatus, and control method and storage medium thereof | |
CN109212711A (zh) | 自动对焦装置和操作具有温度敏感部件的自动对焦装置的方法 | |
JP2019132855A (ja) | ステレオカメラ校正方法、視差算出装置及びステレオカメラ | |
WO2016079965A1 (en) | Depth detection apparatus, imaging apparatus and depth detection method | |
JP2009250785A (ja) | 撮像装置 | |
JP6060482B2 (ja) | 測距装置、測距システム、測距プログラムおよび視差補正方法 | |
JP5493900B2 (ja) | 撮像装置 | |
JP5377092B2 (ja) | 撮像装置及び測距方法 | |
JP2014060621A (ja) | 光学部品位置合わせ装置 | |
JP6680335B2 (ja) | ステレオカメラ、車両、算出方法及びプログラム | |
JP2020165968A (ja) | 校正方法、校正装置及びプログラム | |
JP5866779B2 (ja) | 測距装置及び撮像装置 | |
TWI843475B (zh) | 用於修正影像記錄中的幾何像差的方法和攝影機 | |
JP2005010353A (ja) | プロジェクタ | |
JP3745056B2 (ja) | 測距位置調節装置 | |
JP5489607B2 (ja) | 撮像装置 | |
JP2006029983A (ja) | 変位測定装置 | |
JP2024063309A (ja) | 測距カメラシステム、それを備える移動装置、校正方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161128 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6060482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |