JP6295524B2 - 光軸補正装置 - Google Patents
光軸補正装置 Download PDFInfo
- Publication number
- JP6295524B2 JP6295524B2 JP2013138704A JP2013138704A JP6295524B2 JP 6295524 B2 JP6295524 B2 JP 6295524B2 JP 2013138704 A JP2013138704 A JP 2013138704A JP 2013138704 A JP2013138704 A JP 2013138704A JP 6295524 B2 JP6295524 B2 JP 6295524B2
- Authority
- JP
- Japan
- Prior art keywords
- vanishing point
- optical axis
- road
- calculated
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明の目的は、高精度な光軸補正を実現できる光軸補正装置を提供することにある。
[システム構成]
図1は、実施例1の車線逸脱警報システムを示す概略ブロック図である。
実施例1の車線逸脱警報システムは、レーン認識装置1と、車線逸脱警報回路7と、車速センサ8と、ブザー9とを有する。
レーン認識装置1は、自車走行路を認識し、車線に対する車両位置と車両姿勢を検出する装置である。レーン認識装置1は、前方カメラ(以下、カメラ)2と、カメラ2の撮像画像に基づいて白線候補点を検出する白線候補点検出部3と、白線候補検出結果からレーン認識を行うレーン認識部4と、直近の所定の時間範囲(1[sec])で過去履歴を記録しておく過去履歴記録部5と、光軸方向を推定し光軸補正を行う光軸補正部6とを有している。
車線逸脱警報回路7は、レーン認識装置1で検出した車線に対する車両位置と車両姿勢と、車速センサ8からの自車速とを用いて、自車両の車線逸脱を検知し、ブザー9を用いてドライバーに警告する。
白線候補点検出部3は、図3に示すように、カメラ2から自車走行路を撮像した画像を取得し、画像処理を行うことで白線エッジを検出する。本実施例での画像処理の流れとしては、取得した画像の左右に位置する車線区分線に対し、レーン認識装置1内部で記録している道路パラメータより画像処理枠の位置を設定する。次に、設定された画像処理枠に対して、例えばSobelフィルタによる一次空間微分を施して、白線と路面との境界のエッジを強調した後、白線エッジを抽出する。
道路形状算出部41は、図3に示すように、白線候補点検出部3により抽出した白線エッジの強度が所定値以上の画素を、所定値以上通過し、かつ検出領域の上辺の1点と下辺の1点を結ぶ直線を、ハフ変換により抽出することにより道路形状の近似直線を算出する。また、図4に示すように遠方と近傍と2つの領域で道路形状を直線近似結果から、道路形状の曲がり具合(曲率)を算出する。
道路パラメータ推定部42は、道路形状算出部41により検出した道路形状の近似直線から、道路モデル式として次に示す式(1)を用いて、道路パラメータ(道路形状およびこの道路に対する車両姿勢)を推定する。ただし、式(1)は道路モデルを現す式の一般例であり、走行路を推定するにあたっては、この式に限定しない。
過去履歴記録部5は、直近の所定の時間範囲だけ過去履歴を保持する。本実施例で過去履歴として記録するデータは、道路形状算出部41で算出される直線近似結果、道路形状(曲がり具合)と、道路パラメータ推定部42で算出される道路パラメータとなる。
消失点算出判断部61は、過去履歴記録部5で記録している直近の所定の時間範囲において、同記録部に記録されている道路形状の近似直線、道路形状の曲がり具合、道路パラメータを用いて、消失点を算出可能な条件(自車両が直線路を道路に沿って直進し、撮像状態が良好かつ車両挙動が安定している)が整っていることを判断する。
消失点算出部62は、消失点算出判断部61で消失点を算出可能な条件が整っていると判断されている場合、過去履歴の中で直線度、直進度が良好で精度良く消失点を算出できるタイミングに限定して、道路形状算出部41で算出された道路形状の近似直線を用いて消失点を算出する。ただし、消失点を算出した回数が所定値以下であった場合は過去履歴の状態が信頼できない状態として、算出した消失点を破棄する。
光軸方向補正部63は、消失点算出部62により算出された消失点から光軸方向を算出し、レーン認識装置1で記録している光軸方向と比較することで、光軸方向のずれを判断する。左記で光軸方向のずれがあった場合、レーン認識装置1で記録している光軸方向の設定値を補正する。具体的には、レーン認識装置1で記録している光軸方向の設定値と、消失点から算出した光軸方向との偏差を算出し、ループ処理ごとに偏差を積分していく。消失点の算出回数が所定値に達したときに、偏差の積分値が所定値を越えている場合は、レーン認識装置1で記録している光軸方向の設定を、過去履歴から推定した光軸方向の値に変更することで光軸を補正する。また、算出回数が所定値に達した場合は、光軸方向の偏差の積分値と、算出回数のカウントをリセットする。
図5は、実施例1の光軸補正処理を示すフローチャートである。この処理は、レーン認識装置1が作動している間、カメラ2の画像取得周期に同期してループする。
ステップS101では、カメラ2において、撮像した自車走行路の道路画像を取得し、ステップS102へ移行する。
ステップS102では、白線候補点検出部3において、ステップS101で取得した道路画像に画像処理を施して白線のエッジ画像を生成し、ステップS103へ移行する。
ステップS103では、道路形状算出部41において、ステップS102で抽出した白線エッジ画像を用いて、遠方と近傍の2つの領域において道路形状を直線近似し、ステップS104へ移行する。この処理では、車両を中心として左右の領域に分割し、それぞれの領域について道路形状の近似直線式を算出する。
ステップS105では、道路パラメータ推定部42において、ステップS103で算出した道路形状の近似直線を用いて、道路パラメータを推定し、ステップS106へ移行する。
ステップS106では、過去履歴記録部5において、ステップS103で算出した道路形状の近似直線と道路形状の曲がり具合(曲率)、ステップS105で算出した道路パラメータの過去履歴を直近の所定の時間範囲(1[sec])だけ保持し、ステップS107へ移行する。
ステップS108では、ステップS107で消失点を算出可能な条件が整っているか否かを判断し、YESの場合はステップS109へ移行し、NOの場合はループ処理を終了する。
ステップS109では、消失点算出部62において、ステップS107で消失点を算出可能な条件が整っていると判断された過去履歴を個別に精査し、精度良く算出できるタイミングを選別し、ステップS110へ移行する。
ステップS110では、消失点算出部62において、ステップS109で選別されたタイミングでのみ、ステップS103で算出した道路形状の左右近似直線から消失点を算出し、ステップS111へ移行する。
ステップS112では、ステップS110で算出した消失点から算出される光軸方向と、レーン認識装置1に記録されている光軸方向との偏差を積分し、ステップS113へ移行する。
ステップS113では、消失点を算出した回数が所定値に達したか否かを判断し、YESの場合はステップS114へ移行し、NOの場合はループ処理を終了する。
ステップS114では、光軸方向補正部63において、ステップS112で算出した積分値が所定値以上となっている場合は、レーン認識装置1で記録している光軸方向の設定値を、過去履歴から算出した光軸方向の推定値に変更し、積分値をリセットする。
[光軸補正作用]
消失点算出判断部61は、消失点を算出可能な条件が整っているか否かを判断し、消失点算出部62は、消失点を算出可能な条件が整っていると判断された過去履歴を個別に精査して精度良く算出できるタイミングを選別し、選別されたタイミングでのみ、道路形状の左右近似直線から消失点を算出する。従来の光軸補正装置では、各処理周期で個別に消失点が算出可能であるか否かを判断しているため、光軸方向を推定するにあたり、取得した消失点のばらつきが大きく、精度良く消失点を推定できないという問題があった。また、大量の消失点を取得しヒストグラムによって消失点の値を検出しているため、ヒストグラムの分布が綺麗な正規分布とならない場合(多数のピークが現れた場合)には、誤った消失点を算出する可能性がある。これに対し、実施例1では、消失点を算出可能な過去履歴から、精度良く算出できている消失点を選別しているため、上記従来技術と比較して、よりばらつきが少なく精度の高い消失点を取得できる。よって、算出した消失点を用いて光軸方向の設定値を補正することにより、高精度な光軸補正を実現できる。
過去履歴記録部5は、所定の時間範囲(1[sec])のみの過去履歴を記録し、消失点算出判断部61は、所定の時間範囲(1[sec])において、1.直線路、2直進状態、4撮像状態の条件が整った場合、消失点を算出可能な条件が整っていると判断する。車両の応答時間は、0.2〜0.3[sec]程度であるため、1[sec]程度の時間範囲を監視することで、道路形状、車両状態、撮像状態を十分正確に判断できる。処理周期1回分の短い時間では、道路形状、車両状態、撮像状態を精度良く判断できないのに対し、正確に判断できる時間幅(1[sec])をもって消失点を算出可能な条件が整っていることを確かめることで、高精度な光軸補正を実現できる。また、記録する過去履歴の長さを1[sec]とすることで、メモリ領域を最小限に抑えることができる。
消失点算出判断部61は、自車両のヨー角、ピッチ、ロールおよびバウンスから所定の時間範囲(1[sec])において、3.車両挙動が安定しているか否かを判断し、車両挙動が安定している場合、消失点を算出可能な条件が整っていると判断する。ヨー、ピッチ、ロール、バウンス等、算出する消失点のばらつきに繋がる車両挙動が無いことを確認できたときにのみ消失点を算出することで、消失点を高精度に算出できる。
消失点算出部62は、消失点算出判断部61により消失点が算出可能な条件が整っていると判断された過去履歴を個別に精査し、ばらつきが少なく精度の良い消失点を検出できるタイミングを選別する。すなわち、消失点算出判断部61でかたまりのデータをもって消失点算出の条件が整っていることを正確に判断し、さらに消失点算出部62でばらつきが無く精度の良い消失点を検出できるタイミングのみを選別することで、精度の良い消失点のみを取得できる。
光軸方向補正部63は、消失点算出部62により算出された消失点の数が所定数未満である場合、光軸方向の設定値の補正を行わない。消失点算出部62で消失点を算出できる状態と判断した場合であっても、選別した消失点の数が少ない場合、消失点の精度を信頼できないため、この場合は光軸補正を実施しない。換言すると、信頼できる消失点のみを用いることで、光軸補正の誤差を抑制できる。
(1) 自車走行路を検出するカメラ(環境認識手段)2と、カメラ2の検出値を過去履歴として記録しておく過去履歴記録部(過去履歴記録手段)5と、過去履歴記録部5で記録されている過去履歴において、自車両が直線路を道路に沿って直進し、かつ、撮像状態が良好である場合に、消失点を算出可能であると判断する消失点算出判断部(消失点算出判断手段)61と、消失点算出判断部61により消失点を算出可能であると判断された過去履歴から消失点を精度良く算出できるタイミングを選別する消失点算出タイミング選別手段(ステップS109)と、消失点算出タイミング選別手段によって選別されたタイミングでの消失点を算出する消失点算出手段(ステップS110)と、消失点算出手段より算出された消失点から光軸方向を推定し、カメラ2の光軸方向の設定値を補正する光軸方向補正部(光軸方向補正手段)63と、を備える。
よって、高精度な光軸補正を実現できる。
よって、メモリ領域を最小限に抑えつつ、道路形状、車両状態、撮像状態を十分正確に判断できる過去履歴を記録できる。
よって、メモリ領域を最小限に抑えつつ、消失点を高精度に算出できる。
よって、直線路の判断精度を高めることができ、消失点を高精度に算出できる。
よって、消失点のばらつきに繋がる車両挙動が無いことを確認できたときにのみ消失点を算出することで、消失点を高精度に算出できる。
よって、車両挙動の安定(上下限値の差が小さい状態)を確認できたときにのみ消失点を算出することで、消失点を高精度に算出できる。
よって、ばらつきが無く精度の良い消失点を検出できるタイミングのみを選別することで、精度の良い消失点のみを取得できる。
よって、消失点の精度を信頼できない場合には、光軸補正を行わないことで、光軸補正の誤差を抑制できる。
[システム構成]
実施例1では、カメラのみを用いた車線逸脱警報システムの構成を示したが、実施例1の構成にステアリングアクチュエーターと車両センサを加えて、車線走行支援を行うシステムがある。この構成では、車両センサとしてヨーレートセンサや加速度センサを用いることができるため、カメラによる直線路判断、直進判断に加えて、ヨーレートや横加速度を用いた直進判断を行うことができる。
実施例2の車線走行支援システムは、レーン認識装置1と、車速センサ8と、操舵支援回路10と、加速度センサ11と、ヨーレートセンサ12と、操舵角センサ13と、ステアリング装置14とを有する。
操舵支援回路10は、レーン認識装置1で推定した道路パラメータと、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13から取得した自車両状態の検出値(車速、横加速度、ヨーレート、操舵角)を用いて、操舵支援を行うようにステアリング装置14を制御する。
図7は、実施例2のレーン認識装置1の機能ブロック図である。
過去履歴記録部5には、直線近似結果、道路形状(曲がり具合)、道路パラメータに加え、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13の各センサ値が記録される。また、消失点算出判断部61において消失点を精度良く算出可能な条件が整っていることを判断する際にも、各センサ値が用いられる。
図8は、実施例2の光軸補正処理を示すフローチャートである。図5に示した実施例1と同一の処理を行うステップには、同一のステップ番号を付して説明を省略する。
ステップS201では、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13の各センサ値を取得し、ステップS202へ移行する。
ステップS202では、過去履歴記録部5において、ステップS103で算出した道路形状の近似直線と道路形状の曲がり具合(曲率)、ステップS105で算出した道路パラメータの過去履歴、ステップS201で取得した各センサ値を直近の所定の時間範囲だけ保持し、ステップS107へ移行する。
ステップS203では、消失点算出判断部61において、ステップS103で算出された直線近似結果、ステップS104で算出された道路形状(曲がり具合)、ステップS105で算出される道路パラメータ、各センサ値から、消失点を検出できる条件(1.直線路、2.直進状態、3.車両挙動が安定、4.撮像状態が良好)が整っているか否かを判断し、ステップS108へ移行する。ここで、実施例2では、車両挙動が安定しているか否かを、道路パラメータの車両状態量(ヨー角、ピッチ角、カメラ2の高さ)の上下限値の差に加え、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13の各センサ値の上下限値の差が所定値以下であるか否かにより判断する。
[光軸補正作用]
実施例2では、消失点算出判断部61において、カメラ2の撮像画像から得られる車両状態量(ヨー角、ピッチ角、カメラ2の高さ)の上下限値の差に加え、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13の各センサ値の上下限値の差が所定値以下である場合に車両挙動が安定していると判断する。すなわち、カメラ2の撮像画像から得られる状態量の過去履歴における上下限値の差に加え、車両状態量を検出する各センサにより検出されたセンサ値の過去履歴における上下限値の差を監視することで、車両挙動が安定しているか否かを精度良く判定できる。そして、車両挙動の安定を確認できたときにのみ消失点を算出することで、消失点を精度良く算出できる。
(9) 消失点算出判断部61は、車速センサ8、加速度センサ11、ヨーレートセンサ12および操舵角センサ13の各センサ値の上下限値の差から車両挙動の安定を判断する。
よって、車両挙動が安定しているか否かをより精度良く判定できる。
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
2 カメラ
3 白線候補点検出部
4 レーン認識部
5 過去履歴記録部
6 光軸補正部
7 車線逸脱警報回路
8 車速センサ
9 ブザー
10 操舵支援回路
11 加速度センサ
12 ヨーレートセンサ
13 操舵角センサ
14 ステアリング装置
41 道路形状算出部
42 道路パラメータ推定部
61 消失点算出判断部
62 消失点算出部
63 光軸方向補正部
Claims (8)
- 自車両の走行路を検出する環境認識手段と、
前記環境認識手段の検出結果から、道路形状の近似直線を算出する道路形状算出手段と、
前記道路形状算出手段により算出された道路形状に対する車両姿勢を表す道路パラメータを推定する道路パラメータ推定手段と、
前記道路形状算出手段により算出された道路形状の近似直線の結果および前記道路パラメータ推定手段により推定された道路パラメータを直近の所定時間範囲で過去履歴として記録しておく過去履歴記録手段と、
前記過去履歴記録手段で記録されている過去履歴を用いて、消失点を算出可能な条件である自車両が直線路を道路に沿って直進し、かつ、撮像状態が良好であるか否かを判断する消失点算出判断手段と、
前記消失点算出判断手段によって消失点を算出可能な条件であることを満たすと判断された過去履歴から、消失点を精度良く算出できるタイミングを選別する消失点算出タイミング選出手段と、
前記消失点算出タイミング選出手段によって選別されたタイミングで消失点を算出する消失点算出手段と、
前記消失点算出手段より算出された消失点から光軸方向を推定し、前記環境認識手段の光軸方向の設定値を補正する光軸方向補正手段と、
を備えることを特徴とする光軸補正装置。 - 請求項1に記載の光軸補正装置において、
前記消失点算出判断手段は、自車両が直線路を道路に沿って直進し、かつ、レーンマーカーの撮像状態が良好である場合、消失点を算出可能な条件を満たすと判断することを特徴とする光軸補正装置。 - 請求項2に記載の光軸補正装置において、
前記消失点算出判断手段は、レーンマーカーを遠方から近傍まで連続、かつ、直線上に検出できている場合、自車両が直線路を走行し、かつ、レーンマーカーの撮像状態が良好であると判断することを特徴とする光軸補正装置。 - 請求項1ないし3のいずれか1項に記載の光軸補正装置において、
前記消失点算出判断手段は、自車両の車線に対するヨー角、ピッチ、ロールおよびバウンスから車両挙動が安定しているか否かを判断し、車両挙動が安定している場合、消失点を算出可能な条件を満たすと判断することを特徴とする光軸補正装置。 - 請求項4に記載の光軸補正装置において、
前記消失点算出判断手段は、前記環境認識手段によって得られる自車両の状態量の上下限値の差から車両挙動の安定を判断することを特徴とする光軸補正装置。 - 請求項4または5に記載の光軸補正装置において、
前記消失点算出判断手段は、自車両の状態量を検出するセンサの検出値の上下限値の差から車両挙動の安定を判断することを特徴とする光軸補正装置。 - 請求項1ないし6のいずれか1項に記載の光軸補正装置において、
前記消失点算出タイミング選出手段は、前記消失点算出判断手段により消失点を算出可能な条件を満たすと判断された過去履歴を個別に精査し、ばらつきが少なく精度の良い消失点を検出できるタイミングを選別することを特徴とする光軸補正装置。 - 請求項1ないし7のいずれか1項に記載の光軸補正装置において、
前記光軸方向補正手段は、前記消失点算出手段により算出された消失点の数が所定数未満である場合、光軸方向の設定値の補正を行わないことを特徴とする光軸補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013138704A JP6295524B2 (ja) | 2013-07-02 | 2013-07-02 | 光軸補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013138704A JP6295524B2 (ja) | 2013-07-02 | 2013-07-02 | 光軸補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015011645A JP2015011645A (ja) | 2015-01-19 |
JP6295524B2 true JP6295524B2 (ja) | 2018-03-20 |
Family
ID=52304716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013138704A Active JP6295524B2 (ja) | 2013-07-02 | 2013-07-02 | 光軸補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6295524B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102508984B1 (ko) * | 2017-09-22 | 2023-03-13 | 엘지이노텍 주식회사 | 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법 |
JP6829300B2 (ja) * | 2019-11-12 | 2021-02-10 | パイオニア株式会社 | 撮影装置、制御方法、プログラム及び記憶媒体 |
WO2022254630A1 (ja) * | 2021-06-02 | 2022-12-08 | 三菱電機株式会社 | エレベーターのカメラの校正システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61166711A (ja) * | 1985-01-16 | 1986-07-28 | Toyota Motor Corp | サスペンシヨン制御装置 |
JP3911983B2 (ja) * | 2000-09-28 | 2007-05-09 | 日産自動車株式会社 | 後方監視装置 |
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP4019933B2 (ja) * | 2002-12-26 | 2007-12-12 | 日産自動車株式会社 | 車両用レーダ装置およびレーダの光軸調整方法 |
JP5747482B2 (ja) * | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | 車両用環境認識装置 |
-
2013
- 2013-07-02 JP JP2013138704A patent/JP6295524B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015011645A (ja) | 2015-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1221642B1 (en) | Lane recognition system for vehicle | |
CN109564098B (zh) | 自身位置推定方法及自身位置推定装置 | |
US9202106B2 (en) | Eyelid detection device | |
JP5716443B2 (ja) | 車線境界検出装置及び車線境界検出方法 | |
US20140063252A1 (en) | Method for calibrating an image capture device | |
JP6911312B2 (ja) | 物体識別装置 | |
JP6139465B2 (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP5663411B2 (ja) | 測距装置 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
CN110415298B (zh) | 一种用于车道偏离的计算方法 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
JP6189816B2 (ja) | 走行区画線認識装置 | |
JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
JP6105524B2 (ja) | 走行区画線認識装置及び走行区画線認識プログラム | |
JP6295524B2 (ja) | 光軸補正装置 | |
KR101979422B1 (ko) | 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법 | |
JP7024176B2 (ja) | 走路検出方法及び走路検出装置 | |
JP6115429B2 (ja) | 自車位置認識装置 | |
JP2020060899A (ja) | 車載カメラのキャリブレーション装置 | |
KR20180122382A (ko) | 주로 검출 방법 및 주로 검출 장치 | |
JP5391926B2 (ja) | 車線認識装置 | |
JP2014046710A (ja) | 操舵角センサの中立点補正装置及び中立点補正方法 | |
JP4020071B2 (ja) | 周囲状況表示装置 | |
CN117746357A (zh) | 一种车道线识别方法、装置及电子设备 | |
JP5345999B2 (ja) | レーンマーク認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171122 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6295524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |