JP5493705B2 - 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム - Google Patents
車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム Download PDFInfo
- Publication number
- JP5493705B2 JP5493705B2 JP2009246846A JP2009246846A JP5493705B2 JP 5493705 B2 JP5493705 B2 JP 5493705B2 JP 2009246846 A JP2009246846 A JP 2009246846A JP 2009246846 A JP2009246846 A JP 2009246846A JP 5493705 B2 JP5493705 B2 JP 5493705B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- white line
- line
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
次に、ECU1の構成について更に説明する。ECU1は、映像入力部11、モノクロ変換部12、車両情報入力部13、演算部14、及び警報出力部15を有している。
次に、演算部14の構成について更に説明する。
インタフェース部22は、ECU1に備えられているモノクロ変換部12、車両情報入力部13、及び警報出力部15と演算部14との間で行う各種の情報の授受を管理する。
なお、図2の構成を有する演算部14にこの車両位置検出制御処理を行わせるには、まず、この車両位置検出制御処理の処理内容をMPU21に行わせるための車両位置検出制御プログラムを作成する。作成した車両位置検出制御プログラムはROM24に予め格納しておく。そして、MPU21にこの制御プログラムをROM24から読み出させて実行させる。こうすることで、演算部14に車両位置検出制御処理を行わせることが可能になる。
このS115の処理を終えると、図3の車両位置検出制御処理が終了する。
まず、図3のS106の処理である、輝度度数分布生成処理により生成されるヒストグラムについて、図4及び図5参照しながら説明する。
これらの側方画像上には、画像の縦方向を長辺方向とする矩形である対象領域100が、この画像例では9個並べられている。対象領域100は、輝度度数分布生成処理で輝度値のヒストグラムを生成させる対象とする領域である。
以上のように、本実施形態では、対象領域100の側方画像における位置及び範囲は予め設定されている。
次に、S203では、各対象領域100について算出された輝度平均値に極端なばらつきがあるか否かを判定する処理が行われる。この処理では、具体的には、輝度平均値のばらつき(例えば最大値と最小値との差)が、所定の閾値を超えるほど大きいか否かを判定する処理が行われる。ここで、輝度平均値に極端なばらつきがあると判定されたとき(判定結果がYesのとき)にはS204に処理を進め、輝度平均値に極端なばらつきはないと判定されたとき(判定結果がNoのとき)にはS205に処理を進める。
図7において、まず、S301では、白線補填処理の処理対象とする対象領域100内の部分画像を取得する処理が行われる。
次に、S305では、S301の処理で取得した部分画像を構成している全ての画素に対して、S302の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してS302の判定処理を済ませたと判定したとき(判定結果がYesのとき)には、この白線補填処理を終了する。一方、S302の判定処理を済ませていない画素が部分画像に残っていると判定したとき(判定結果がNoのとき)には、S302に処理を戻して、未判定の画素に対してS302の判定処理を行う。但し、このときの判定処理では、S303の処理によって変更がされる前の輝度値(すなわち、S301の処理で取得した部分画像における輝度値)に基づいた判定を行う。
まず、横方向ヒストグラムの各階級に、自車両から近い順に、+2、+2、+2、+1、+1、0、0、−1、(以降全て−1)の獲得可能スコアを設定しておく。そして、横方向ヒストグラムの各階級のうち、S401の処理で設定した度数閾値以上の度数を有していた階級のみに、上記の獲得可能スコアを獲得させる。そして、各階級で獲得したスコアの合計を計算し、得られた合計値を、その対象領域100についての横方向ヒストグラムのスコアとする。
ここで3分割ヒストグラムについて説明する。
まず、側方画像に配置した対象領域100を、その位置が自車両側方の前輪寄りであるか、後輪寄りであるか、あるいはそれらの中間であるかによって、3つのグループに分類する。例えば、図4及び図5の側方画像例では、9個配置した対象領域100を、前輪寄り、後輪寄り、中間に各グループに3つずつ分類する。
図3の車両位置検出制御処理におけるS109の接近検出処理では、この3分割ヒストグラムのスコアの大きさが所定の閾値以下か否かを判定する。そして、当該スコアが当該閾値以下であった場合には、路面に描かれている白線が実線であることがより確実であるとの判定を下し、自車両が走行している走行車線の境界への自車両の接近の検出の判定を、横方向ヒストグラムに基づいたものに委ねる。一方、当該スコアが当該閾値を超えた場合(白線部分が顕著に広い場合)には、路面に描かれている白線が、走行車線の境界を示す実線ではない(例えば、停止線や、文字・矢印等を路面上に描いたペイントなど)可能性が高いとの判定を下す。このような場合には、横方向ヒストグラムに基づいた前述の検出判定の結果は疑わしいと推定し、横方向ヒストグラムに基づく判定結果に拘らずにS101に処理を戻し、新たに撮像された側方画像に基づく検出処理が改めて行われる。
以上の処理が完了すると、その後はこのスコア算出処理を終了する。
図9のフローチャートでは、S501からS505までの処理と、S511からS512までの処理とが並行して行われる。
図10の側方画像には前方矩形200と後方矩形300とが配置されている。前方矩形200は、側方画像における自車両の進行方向の前方の所定位置に配置される矩形であり、後方矩形300は、側方画像における自車両の進行方向の後方の所定位置に配置される矩形である。なお、本実施形態では、前方矩形200と後方矩形300とを同一の形状・大きさとすると共に、この両者の側方画像における縦方向の位置を同一にしている。
S511に続くS512の処理の内容は、S502からS505までの処理と同一であり、その処理の対象が、S501の処理で取得した部分画像ではなく、S511の処理で取得した部分画像となる点が異なるのみである。そこで、以下の説明では、S502からS505までの処理の内容を説明し、S512の処理についての説明は省略する。
次に、S505では、S501の処理で取得した部分画像を構成している全ての画素に対して、S502の判定処理を済ませたか否かを判定する処理が行われる。ここで、全ての画素に対してS502の判定処理を済ませたと判定したとき(判定結果がYesのとき)には、この白線部分画像領域抽出処理を終了する。一方、S502の判定処理を済ませていない画素が部分画像に残っていると判定したとき(判定結果がNoのとき)には、S502に処理を戻して、未判定の画素に対してS502の判定処理を行う。但し、このときの判定処理では、S503の処理によって変更がされる前の輝度値(すなわち、S501の処理で取得した部分画像における輝度値)に基づいた判定を行う。
図11は、前方矩形200若しくは後方矩形300(以下、これらを総称して単に「矩形」と称することもある)に囲まれている部分画像に白線が映っている状態を描いたものである。なお、図11の例では、破線状の白線を構成している矩形状の白線(破線部)の全域が矩形内に映っている例を示しているが、この例に限るものではなく、白線の一部が矩形内に映っていればよい。なお、前述した白線部分画像領域抽出処理におけるS503(あるいはS512)の処理により、当該部分画像における白線の部分の画素の輝度値は純白を示す値となっている。
まず、側方画像の左側に配置されている矩形内の部分画像に映っている白線の場合には、当該白線の像を構成している画素のうちで、最も左の位置の画素と最も下の位置の画素とを端点と定める。ここで、位置が最も左である画素が縦方向に並んで複数存在した場合には、そのうちで最も位置が下である画素を、最も左の位置の画素とする。また、位置が最も下である画素が横方向に並んで複数存在した場合には、そのうちで最も位置が左である画素を、最も下の位置の画素とする。なお、最も左の位置の画素と最も下の位置の画素との二つを特定できなかった場合は、矩形内に白線を検出できなかったものとし、処理対象外にする。
このデータテーブルにおいて、「横方向位置」の欄には、矩形内の部分画像に映っている白線における最も下の位置の画素についての、側方画像上での横方向の位置を示す座標が格納される。また、「向き」の欄には、矩形内の部分画像に映っている白線における、最も下の位置の画素の存在する側の線端での向きを示す値(すなわち、前述したようにして算出した傾き値)が格納される。そして、推定白線データの欄には、前方矩形200についての「横方向位置」がxf、「向き」がafであり、後方矩形300についての「横方向位置」がxr、「向き」がarである場合における推定白線の位置を特定するデータW(x,y)が格納されている。この推定白線のデータは、例えば、上記の場合において、前方矩形200内及び後方矩形300内の部分画像に1つずつ映っている白線を滑らかに結ぶ白線を実際に描くことで得られる、その白線を特定する情報を格納しておく。この情報は、例えば、推定白線が通る全ての画素の側方画像上の位置を特定する座標情報でもよく、また、その推定白線を表す関数式の情報でもよい。
図1の車両位置検出装置は、以上のように動作するので、車線に対する車両の位置関係の検出に広角画像を用いても、その検出を精度良く行うことができる。
(付記1)
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出手段と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。
(付記2)
前記白線部分画像領域抽出手段は、前記第一部分画像領域及び前記第二部分画像領域として、前記側方画像の画像消失点を含む領域を抽出することを特徴とする付記1に記載の車両位置検出装置。
(付記3)
該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする付記1に記載の車両位置検出装置。
(付記4)
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする付記3に記載の車両位置検出装置。
(付記5)
該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする付記4に記載の車両位置検出装置。
(付記6)
該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする付記5に記載の車両位置検出装置。
(付記7)
該実線判定手段が、該側方画像において該車線の境界を表している白線が実線であるとの判定を下したときに、該車両の該車線の境界への接近を、該輝度度数分布生成手段が生成した側方輝度値度数分布に基づいて検出する接近検出手段を更に有することを特徴とする付記3に記載の車両位置検出装置。
(付記8)
該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該白線部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段を更に有し、
該白線部分画像領域抽出手段は、該部分画像領域を、該側方画像において予め位置が設定されている所定の範囲内から抽出する、
ことを特徴とする付記1に記載の車両位置検出装置。
(付記9)
該車両の状況を表している車両情報の入力を取得する車両情報取得手段と、
該車両の状況が、該位置関係の検出を行う状況であるか否かの判定を、該車両情報取得手段が取得した車両情報に基づいて行う状況判定手段と、
を更に有し、
該位置関係検出手段は、該車両の現在の状況が該位置関係の検出を行う状況であるとの判定結果を該状況判定手段が下したときに、該位置関係の検出を行う、
ことを特徴とする付記1に記載の車両位置検出装置。
(付記10)
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。
(付記11)
演算処理装置が実行することによって、
道路上の車両の側方の方向を撮像した側方画像から、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線が各々に映っている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する白線部分画像領域抽出処理と、
該第一部分画像領域に映っている白線である第一白線と該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
2 カメラ
3 車両IF
4 スピーカ
11 映像入力部
12 モノクロ変換部
13 車両情報入力部
14 演算部
15 警報出力部
21 MPU
22 インタフェース部
23 RAM
24 ROM
25 バス
100 対象領域
200 前方矩形
300 後方矩形
Claims (7)
- 道路上の車両の一側方の方向を撮像した側方画像から、該側方画像に含まれる2つの画像消失点の一方を含む領域と他方を含む領域とであって、それぞれ該側方画像上での配置が予め設定されている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する部分画像領域抽出手段と、
該道路の路面上に描かれており該車両が走行している車線の境界を表している白線であって該第一部分画像領域に映っている白線である第一白線と、該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定する推定手段と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出手段と、
を有することを特徴とする車両位置検出装置。 - 該側方画像に映っている該車線の境界を表している白線が実線であるか否かを判定する実線判定手段を更に有し、
該推定手段は、該側方画像において該車線の境界を表している白線が実線ではないと該実線判定手段が判定したときに、該推定線の推定を行う、
ことを特徴とする請求項1に記載の車両位置検出装置。 - 該車両との相対位置、撮像方向、及び撮像倍率が固定されており、該部分画像領域抽出手段が該部分画像領域を抽出する側方画像の撮像を行う撮像手段と、
該撮像手段が撮像した側方画像において予め位置が設定されている所定の範囲内の部分画像に基づいて、該部分画像を構成する各画素についての輝度値の度数分布であって、該側方の方向に同一幅で距離に応じた階級が定められており輝度値が所定の輝度閾値以上である画素の度数を示している側方輝度値度数分布を生成する輝度度数分布生成手段と、
を更に有し、
該実線判定手段は、該輝度度数分布生成手段が生成した側方輝度値度数分布において、度数が所定の度数閾値以上である階級が連続して所定数以上存在した場合には、該側方画像において該車線の境界を表している白線が実線であるとの判定を下し、その他の場合には、該白線が実線ではないとの判定を下す、
ことを特徴とする請求項2に記載の車両位置検出装置。 - 該所定の輝度閾値を、該撮像手段が撮像した側方画像を構成する各画素の輝度値に基づいて設定する輝度閾値設定手段を更に有することを特徴とする請求項3に記載の車両位置検出装置。
- 該輝度閾値設定手段は、該撮像手段が撮像した側方画像を構成する各画素の輝度値の平均値、若しくは該平均値に所定値を加算した値を、該所定の輝度閾値として設定することを特徴とする請求項4に記載の車両位置検出装置。
- 車両位置検出装置が有する部分画像領域抽出手段が、道路上の車両の一側方の方向を撮像した側方画像から、該側方画像に含まれる2つの画像消失点の一方を含む領域と他方を含む領域とであって、それぞれ該側方画像の画像消失点を含み、該側方画像上での配置が予め設定されている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出し、
該車両位置検出装置が有する推定手段が、該道路の路面上に描かれており該車両が走行している車線の境界を表している白線であって該第一部分画像領域に映っている白線である第一白線と、該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて推定し、
該車両位置検出装置が有する位置関係検出手段が、該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する、
ことを特徴とする車両位置検出方法。 - 演算処理装置が実行することによって、
車両との相対位置、撮像方向、及び撮像倍率が固定されているカメラが道路上の該車両の一側方の方向を撮像して得た側方画像を取得する画像取得処理と、
該側方画像から、該側方画像に含まれる2つの画像消失点の一方を含む領域と他方を含む領域とであって、それぞれ該側方画像上での配置が予め設定されている2つの部分画像領域を、第一部分画像領域及び第二部分画像領域として抽出する部分画像領域抽出処理と、
該道路の路面上に描かれており該車両が走行している車線の境界を表している白線であって該第一部分画像領域に映っている白線である第一白線と、該第二部分画像領域に映っている白線である第二白線とを結ぶ推定線を、該第一白線及び該第二白線の各々について、該側方画像上での線端の位置及び該線端での向きに基づいて該側方画像上に推定する推定処理と、
該推定線の該側方画像上での位置に基づき、該車線に対する該車両の位置関係を検出する位置関係検出処理と、
該検出された位置関係に基づいて出力装置を制御して所定の出力を行わせる出力制御処理と、
を該演算処理装置に行わせることを特徴とする車両位置検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246846A JP5493705B2 (ja) | 2009-10-27 | 2009-10-27 | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246846A JP5493705B2 (ja) | 2009-10-27 | 2009-10-27 | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011095846A JP2011095846A (ja) | 2011-05-12 |
JP5493705B2 true JP5493705B2 (ja) | 2014-05-14 |
Family
ID=44112706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009246846A Expired - Fee Related JP5493705B2 (ja) | 2009-10-27 | 2009-10-27 | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5493705B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5113881B2 (ja) * | 2010-06-03 | 2013-01-09 | 株式会社デンソー | 車両周辺監視装置 |
US9634490B2 (en) | 2011-02-08 | 2017-04-25 | General Electric Company | Dynamic voltage restoration system and method |
JP5986949B2 (ja) | 2013-04-08 | 2016-09-06 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3588728B2 (ja) * | 1995-09-29 | 2004-11-17 | アイシン精機株式会社 | 車両前方の路上線検出装置 |
JP2000057319A (ja) * | 1998-08-07 | 2000-02-25 | Mazda Motor Corp | 車両の位置検出装置 |
JP3941252B2 (ja) * | 1998-08-07 | 2007-07-04 | マツダ株式会社 | 車両の位置検出装置 |
JP3952604B2 (ja) * | 1998-08-07 | 2007-08-01 | マツダ株式会社 | 車両の位置検出装置 |
JP2001283390A (ja) * | 2000-03-30 | 2001-10-12 | Honda Motor Co Ltd | 車両の周囲認識装置 |
JP2006127384A (ja) * | 2004-11-01 | 2006-05-18 | Auto Network Gijutsu Kenkyusho:Kk | 白線認識方法及び白線認識装置並びに白線認識システム |
JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
JP2008250904A (ja) * | 2007-03-30 | 2008-10-16 | Toyota Motor Corp | 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法 |
JP5105481B2 (ja) * | 2008-05-27 | 2012-12-26 | 国立大学法人鳥取大学 | 車線検出装置、車線検出方法、及び車線検出プログラム |
-
2009
- 2009-10-27 JP JP2009246846A patent/JP5493705B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011095846A (ja) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2927060B1 (en) | On-vehicle image processing device | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
US7957559B2 (en) | Apparatus and system for recognizing environment surrounding vehicle | |
JP3780922B2 (ja) | 道路白線認識装置 | |
JP5073548B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
JP6384082B2 (ja) | 移動物体検出装置、移動物体検出方法、及びプログラム | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
JP2008158958A (ja) | 路面判別方法および路面判別装置。 | |
JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
JP2014107697A (ja) | 車載用制御装置 | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP6483360B2 (ja) | 対象物認識装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP5493705B2 (ja) | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム | |
JP2007264717A (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP6152261B2 (ja) | 車載用駐車枠認識装置 | |
CN109492454B (zh) | 对象识别方法及装置 | |
JP5189556B2 (ja) | 車線検出装置 | |
JP2015064735A (ja) | 自車位置推定装置及び自車位置推定方法 | |
JP2010061375A (ja) | 物体認識装置及びプログラム | |
JP5541099B2 (ja) | 道路区画線認識装置 | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5493705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |