JP5887219B2 - 車線逸脱警報装置 - Google Patents

車線逸脱警報装置 Download PDF

Info

Publication number
JP5887219B2
JP5887219B2 JP2012149871A JP2012149871A JP5887219B2 JP 5887219 B2 JP5887219 B2 JP 5887219B2 JP 2012149871 A JP2012149871 A JP 2012149871A JP 2012149871 A JP2012149871 A JP 2012149871A JP 5887219 B2 JP5887219 B2 JP 5887219B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
degree
dirt
departure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012149871A
Other languages
English (en)
Other versions
JP2014013455A (ja
Inventor
今井 正人
正人 今井
雅幸 竹村
雅幸 竹村
彰二 村松
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012149871A priority Critical patent/JP5887219B2/ja
Priority to CN201310270897.5A priority patent/CN103523013B/zh
Priority to EP13174651.3A priority patent/EP2682897B1/en
Priority to US13/933,846 priority patent/US20140009618A1/en
Publication of JP2014013455A publication Critical patent/JP2014013455A/ja
Application granted granted Critical
Publication of JP5887219B2 publication Critical patent/JP5887219B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Burglar Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、自車両が車線から逸脱しそうな場合に警報を発する車線逸脱警報装置に関する。
車載カメラにより車両の周囲を撮像し、撮像した画像中の物体(車両、歩行者など)や道路標示・標識(区画線などの路面ペイント、止まれなどの標識など)を認識するための技術が種々提案されている。例えば、道路上にペイントされている白線やボッツドッツ等の区画線を車載カメラで検出し、車線内の車両位置、すなわち区画線との相対位置を求めることができれば、車両が車線から逸脱する可能性の大小を推測することができ、該逸脱可能性が大であるとき、運転者に警報を発したりステアリングやブレーキを制御すれば、車線逸脱を未然に防いだり逸脱量を軽微にすることができる。
上記のように車両が車線を逸脱する可能性が大のときに警報を発するシステムとして、JIS(日本工業規格)のJIS D 0804とISO(国際標準化機構)のISO/DIS 17361で規格化されている車線逸脱警報システム(LDWS:Lane Departure Warning Systems)がある。
本技術分野の背景技術として、特許文献1がある。この公報には、車載カメラで車両走行路の白線を撮影し、撮影された白線の認識率が予め設定した閾値よりも大きいときに仕切線認識状態と判断し、閾値より小さいときに仕切線非認識状態と判断する仕切線認識装置において、カメラ或いは車両のフロントガラスに付着した汚れを検出する汚れ検出部を有し、この汚れ検出部にて汚れの付着が検出された際に閾値を変更する装置が開示されている。
特開2003−44863号公報
しかしながら、特許文献1に開示されている仕切線認識装置では、カメラに付着した汚れの大きさに応じて仕切線(白線)認識判断に用いる閾値を変化させるため、カメラに付着した汚れが大きくなっても白線認識状態は維持できるが、白線を認識しやすい方向に閾値を変化させるので、白線以外のものを誤って認識してしまう可能性が上がり、これを車線逸脱警報システムへ適用すると、誤警報の増大を招く可能性が高くなる。
本発明は、上記事情を鑑みてなされたもので、その目的とするところは、カメラに汚れが付着した場合にも誤警報を極力発生させないようにできる車線逸脱警報装置を提供することにある。
上記課題を解決するため、本発明は、車両に搭載される撮像装置にて車両の走行路を撮像した画像から区画線を検出する区画線検出部と、撮像装置のレンズ、又は車室外と撮像装置間の仕切の汚れを検出する汚れ検出部と、車両が区画線を逸脱するか否かを判定する逸脱判定部と、車両が区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、を有し、警報信号を出力するときの区画線に対する車両の位置は、検出された汚れの度合いによって異なり、逸脱判定部は、車両と区画線との距離が予め設定した閾値より小さくなった場合に当該車両が区画線を逸脱すると判定し、汚れの度合いに基づいて閾値を変更し、汚れの度合いに基づいて車両と区画線との距離の計算結果を平滑化するフィルタ係数を変更する構成とする。
また、本発明は、車両に搭載される撮像装置にて車両の走行路を撮像した画像から区画線を検出する区画線検出部と、撮像装置のレンズ、又は車両の車室外と撮像装置間の仕切の汚れを検出する汚れ検出部と、車両が、区画線を逸脱するか否かを判定する逸脱判定部と、車両が、区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、を有し、警報信号を出力するときの区画線に対する車両の位置は、検出された汚れの度合いによって異なり、逸脱判定部は、汚れの度合いに基づいて区画線の逸脱を判定するパラメータを変更する逸脱判定パラメータ設定部を有し、パラメータを用いて車両が区画線を逸脱するか否かを判定し、逸脱判定部は、車両と区画線との距離が予め設定した閾値より小さくなった場合に逸脱すると判定し、逸脱判定パラメータ設定部は、汚れ検出部により検出された汚れの度合いに基づいて閾値を変更し、逸脱判定パラメータ設定部は、汚れの度合いに基づいて車両と区画線との距離の計算結果を平滑化するためのフィルタ係数を変更する構成としてもよい。
また、本発明は、車両に搭載される撮像装置にて車両の走行路を撮像した画像から区画線を検出する区画線検出部と、撮像装置のレンズ、又は車両の車室外と撮像装置間の仕切の汚れを検出する汚れ検出部と、車両が、区画線を逸脱するか否かを判定する逸脱判定部と、車両が、区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、区画線検出部により検出された区画線から撮像装置の光軸までの距離の時系列的なばらつきの大きさである区画線振れ量を演算する区画線振れ量演算部と、を有し、警報信号を出力するときの区画線に対する車両の位置は、検出された汚れの度合いによって異なり、逸脱判定部は、汚れの度合いに基づいて区画線の逸脱を判定するパラメータを変更する逸脱判定パラメータ設定部を有し、パラメータを用いて車両が区画線を逸脱するか否かを判定し、逸脱判定パラメータ設定部は、区画線振れ量演算部により演算された区画線振れ量に基づいて区画線の逸脱を判定するパラメータを変更し、パラメータを用いて車両が区画線を逸脱するか否かを判定し、逸脱判定部は、車両と区画線との距離が予め設定した閾値より小さくなった場合に逸脱すると判定し、逸脱判定パラメータ設定部は、区画線振れ量演算部により演算された区画線振れ量に基づいて閾値を変更し、逸脱判定パラメータ設定部は、区画線振れ量演算部により演算された区画線振れ量に基づいて車両と区画線との距離の計算結果を平滑化するためのフィルタ係数を変更する構成としてもよい。
カメラに付着した汚れの汚れ度合いに基づいて車線逸脱判定に利用するパラメータを変更することで、誤警報の頻度を減らすことが可能となる。また、誤警報の頻度を減らすことで、運転者や乗員に対して安心感、信頼性を向上させることが可能となる。
本発明に係る車線逸脱警報装置の一実施形態(実施例1)を示す概略構成図。 実施例1の基本処理手順の説明に供されるフローチャート。 汚れ検出の説明に供される図。 区画線検出の説明に供される図。 区画線までの距離の説明に供される図。 車両後方を撮像する撮像装置の計測結果を前輪位置に補正する方法の一例の説明に供される図。 汚れ度合いと逸脱判定用閾値の関係の一例を示す図。 汚れ度合いと区画線までの距離にかけるフィルタのフィルタ係数の関係の一例を示す図。 汚れ度合いとヨー角にかける補正係数の関係の一例を示す図。 本発明に係る車線逸脱警報装置の一実施形態(実施例2)を示す概略構成図。 区画線検出の検出範囲の説明に供される図。 本発明に係る車線逸脱警報装置の一実施形態(実施例3)を示す概略構成図。 区画線振れ量と逸脱判定用閾値の関係を表すグラフの一例を示す図。 区画線振れ量とフィルタ係数の関係を表すグラフの一例を示す図。 区画線振れ量と補正係数の関係を表すグラフの一例を示す図。
以下、実施例を図面を用いて説明する。
図1は、本発明に係る車線逸脱警報装置の一実施形態(実施例1)を示す概略構成図である。
本実施例1の車線逸脱警報装置100は、図示のように、区画線検出部1、汚れ検出部2、逸脱判定パラメータ設定部4を有する逸脱判定部3、及び警報判定部5とを備えており、図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。
また、車線逸脱警報装置100は、撮像装置101により撮像された画像を入力し、さらに、車速や舵角、ヨーレート、ウィンカー(ターンシグナル)といった車両情報を入力し、警報判定部5において自車両が走行する車線を逸脱する可能性が大であると判定したとき、警報発生指令を警報音発生器102や警報表示器103に出力する構成となっている。
撮像装置101は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子によって自車両外を撮像し、得られた画像をアナログデータのまま、もしくはデジタル処理してコンピュータで扱える画像データに変換して専用線などを用いて車線逸脱警報装置100(の区画線検出部1及び汚れ検出部2)に出力する。
区画線検出部1は、撮像装置101により取得した車外を撮像した画像データ(画像情報)を用いて、道路上に実線状、破線状、あるいは点列状にペイントされている白線やボッツドッツなどの区画線[車道中央線、車線境界線(一対の左車線及び右車線など)、車道外側線など]を検出する。
汚れ検出部2は、撮像装置101により取得した車外を撮像した画像データ(画像情報)を用いて、撮像装置101が車室外に設置されている場合は撮像装置101のレンズ表面に付着した汚れを、撮像装置101が車室内に設置されている場合は撮像装置101と車室外の間の仕切(ガラス等)の表面に付着した汚れ(以降、両者をまとめて「レンズ汚れ」とする)を検出する。また、検出した汚れの度合いを求め、逸脱判定パラメータ設定部4に出力する。なお、ここでの“汚れ”は、「土や泥などの地表物が付着した状態」、「融雪剤などの人工物が付着した状態」、「水滴や雨滴が付着した状態」、「レンズ表面やガラス表面が白濁した状態」などを意味するものとする。
逸脱判定部3は、車両が区画線を逸脱する可能性が大か否かの判定を行う。なお、ここでの車線逸脱判定は、JIS規格(JIS D 0804)又はISO規格(ISO/DIS 17361)に対応することを想定している。
逸脱判定パラメータ設定部4は、汚れ検出部2で検出したレンズ汚れの度合いに基づいて逸脱判定部3で車両が区画線を逸脱する可能性が大か否かの判定を行う際のパラメータの設定を行う。
警報判定部5は、逸脱判定部3により車両が区画線を逸脱する可能性が大と判定され、かつ警報抑制条件がない場合に、警報発生指令を警報音発生器102や警報表示器103に車内LANや専用線などの通信手段を用いて出力する。ここで警報抑制条件としては、ウィンカー操作中であること、ウィンカー操作の終了から所定時間内(例えば、2秒間)であること、車速が所定値以下(例えば、70km/h以下)であること、道路曲率半径が所定値以下(例えば、200m以下)であること、などがある。
警報音発生器102は、警報判定部5の出力に基づいて運転者に音で伝えるスピーカーなどで構成される。
警報表示器103は、警報判定部5の出力に基づいて運転者に視覚的に伝えるディスプレイ、メーターパネル、警告灯などで構成される。
次に、実施例1の車線逸脱警報装置100のステップ内容について説明する。
図2は、車線逸脱警報装置100が実行するプログラム(処理手順)の一例を示すフローチャートである。
まず、ステップ201において、撮像装置101により撮像した画像をデジタル処理して画像データとして取り込む。ただし、撮像装置101がすでにデジタル処理している場合はその画像データを直接取り込む。
次に、ステップ202において、ステップ201で取り込んだ画像データを用いてレンズ汚れを検出する。このレンズ汚れを検出する処理について、具体的な方法の例として図3を用いて説明する。
図3は、ステップ201で取り込んだ画像データであり、車線30に2本の区画線31及び32が存在している。また、画像データ内の塗りつぶした領域300は撮像装置101のレンズ表面に付着した泥汚れを表し、他の塗りつぶした領域も同様に泥汚れである。この泥汚れの領域300を検出するための一手法として、走行中には背景が流れることを利用して背景の流れない泥汚れ領域を検出し、さらに、周囲との輝度差などの情報を用いて泥汚れを確定する方法がある。
次に、検出した泥汚れの度合いを求める。泥汚れの度合いは、画像データの総面積に対する泥汚れの領域の面積の割合から求めることが一般的である。例えば、泥汚れの度合いを0〜100(値が小さい方が汚れていない)とすると、画像データの総面積に対する泥汚れの領域の面積の割合が0%のときに0、画像データの総面積に対する泥汚れの領域の面積の割合が50%のときに100とし、中間は線形補間する方法がある。また、泥汚れの度合いを段階で表してもよく、例えば、画像データの総面積に対する泥汚れの領域の面積の割合が0%〜10%のときに泥汚れの度合いをレベル0、画像データの総面積に対する泥汚れの領域の面積の割合が10%〜25%のときに泥汚れの度合いをレベル1、画像データの総面積に対する泥汚れの領域の面積の割合が25%〜40%のときに泥汚れの度合いをレベル2、画像データの総面積に対する泥汚れの領域の面積の割合が40%以上のときに泥汚れの度合いをレベル3と定義する。
なお、ここでは泥汚れを検出する方法に関して説明したが、雨滴や水滴に関しても泥汚れと同様に画像データの総面積に対する雨滴や水滴の領域の面積の割合を求め、融雪剤や白濁などの汚れに関しては光の散乱具合や画像データ内の物体のエッジの強さなどを検出し、それぞれの汚れの度合いを求める方法がある。
本ステップで最終的に出力する汚れの度合いは、汚れの度合いを0〜100の指標で表す場合はそれぞれの汚れの度合いで一番大きな値を出力し、汚れの度合いを段階で表す場合はそれぞれの汚れの度合いで一番大きな段階(レベル0よりレベル1の方が大きいとする)を出力する。また、汚れの度合いの指標は必ずしも0〜100である必要はなく、さらに、汚れの度合いの段階も必ずしもレベル0〜レベル3までの4段階である必要はなく、本システム内で一貫して同じ定義を用いればよい。
次に、ステップ203において、ステップ201で取り込んだ画像データから道路上にペイントされている区画線を検出する。この区画線を検出する処理について具体的な方法を図4を用いて説明する。
図4(a)は、ステップ201で取り込んだ画像データであり、車線40に2本の区画線41及び42が存在している。この区画線41、42を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法がある。ここで、エッジとは画像中で輝度値が急激に変わる点である。図4(b)は、図4(a)のX1からX2に向かってエッジ強度を検出した結果であり、403及び405のピークはそれぞれ道路から区画線に変わる点(輝度値が暗から明に急変する点)であり、404及び406のピークはそれぞれ区画線から道路に変わる点(輝度値が明から暗に急変する点)である。このように、403と404の組み合わせ、405と406の組み合わせを見つけることで区画線の検出が可能である。
さらに、区画線と撮像装置101の光軸との距離(区画線までの距離)を算出する。この区画線までの距離を算出するステップについて具体的な方法を図5を用いて説明する。
図5(a)は、図4(a)と同様に、ステップ201で取り込んだ画像データであり、図5(b)は、図5(a)と同じ状況時の俯瞰図である。ここでは、2本の区画線41及び42が存在しており、矢印43は撮像装置101の光軸である。ここでは、区画線42までの距離として、例えば、光軸43から区画線42のA点までの距離Lが用いられる。区画線までの距離Lは、図5(a)上でのA点の座標をエッジ強度のピークから求めて図5(b)の実際の座標系に変換して算出する。
なお、区画線までの距離として、上記のように区画線内側のA点の座標を用いるのではなく、区画線外側もしくは区画線中心の座標を用いてもよく、一貫して同じ定義であれば良い。また、区画線までの距離として、画像内の各区画線に対して1つずつではなく、各区画線に対して複数個(例えば、10個)算出する構成としても良い。
次に、ステップ204において、ステップ203で検出された区画線の情報に基づいて自車両が現在走行中の車線を逸脱するか否かを判定する。なお、ここでは、撮像装置101の取り付け位置が車両後端、撮像方向が車両後方の場合を想定して説明する。
まず、ステップ203で検出された区画線及び撮像装置101の光軸から区画線まで距離Lに基づいて自車両の所定部位から区画線までの距離を推定する。ここで、JIS規格(JIS D 0804)とISO規格(ISO/DIS 17361)では、車両前輪の外側部と区画線までの距離に基づいて警報を発生するか否かを判定するため、撮像装置101で撮像した車両後方の映像から検出した光軸から区画線までの距離を車両前輪の外側部から区画線までの距離に補正する必要がある。具体的には、図6を用いて説明する。
図6は、車両60が2本の区画線41及び42の存在する車線40を走行している場合を想定している。
車両の後方に設置された撮像装置101で算出された左区画線までの距離d1を車両左前輪の外側部から左区画線までの距離D1(補正後の区画線までの距離)に補正するためには、左区画線までの距離d1が算出された地点から車両前輪までの距離K、撮像装置101から車両左前輪の外側部までの距離C1、及び車両ヨー角θを用いると(1)式で計算できる。
D1 = d1−K×tanθ−C1 …(1)
同様に、車両の後方に設置された撮像装置101で算出された右区画線までの距離d2を車両右前輪の外側から右区画線までの距離D2(補正後の区画線までの距離)に補正するためには、右区画線までの距離d2が算出された地点から車両前輪までの距離K、撮像装置101から車両右前輪の外側までの距離C2、及び車両ヨー角θを用いると(2)式で計算できる。
D2 = d2+K×tanθ−C2 …(2)
なお、車両ヨー角θの求め方としては、左右の区画線までの距離d1、d2の過去複数点の情報から最小二乗法により角度を求める方法や、1枚の撮像画像から直接区画線の角度を算出する方法がる。
次に、(1)式及び(2)式で求めた区画線までの距離D1及びD2を用いて車両が区画線を逸脱する可能性が大であるか否かの判定を行う。具体的には、区画線までの距離D1(又はD2)が予め定められた逸脱判定用閾値Ds未満(D1<Ds)であるか否かを判定し、D1<Dsであると判定された場合は車両が区画線を逸脱する可能性が大であるとして後の処理に通知する。逆に、D1>Dsであると判定された場合は車両が区画線を逸脱する可能性が小であるとして後の処理に通知する。
さらに、ステップ204では、ステップ202で求めた汚れ度合いを用いて逸脱判定に利用するパラメータの設定を行う。これは、汚れ度合いが大きくなるにつれて、ステップ203で検出する区画線の検出結果が不安定になり、この区画線の検出結果をそのまま使うと誤警報を発する可能性があるため、この誤警報の頻度を減らす方向に逸脱判定に利用するパラメータの設定を行う。この具体的な方法を図を用いて説明する。
まず、逸脱判定用閾値Dsの設定方法について説明する。図7は汚れ度合いと逸脱判定用閾値Dsの関係を表すグラフの一例である。図7(a)は、ステップ202で求めた汚れ度合いが0〜100で表わされる場合であり、汚れ度合いが大きくなるにつれて逸脱判定用閾値Dsの値を小さく設定する。また、図7(b)は、ステップ202で求めた汚れ度合いがレベル0〜レベル3で表わされる場合であり、汚れ度合いのレベルが大きくなるにつれて段階的に逸脱判定用閾値Dsの値を小さく設定する。以上説明したように、汚れ度合いが大きくなるにつれて逸脱判定用閾値Dsを小さく設定することで、汚れ度合いが大きい場合の区画線検出結果の不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
次に、ステップ203で検出した区画線までの距離(図6のd1及びd2)にかけるフィルタのフィルタ係数p(ただし、pの取りうる範囲は、0<p≦1)の設定方法について説明する。まず、フィルタ後の区画線までの距離d1f、d2fは、それぞれの前回処理周期での計算結果をd1fz、d2fzとすると、(3)式及び(4)式で計算できる。
d1f = d1fz×(p−1)+d1×p …(3)
d2f = d2fz×(p−1)+d2×p …(4)
(3)式及び(4)式から、フィルタ係数が小さいほど前回処理周期での計算結果が優先されるため、区画線検出結果の不安定さを軽減可能である。次に、(1)式及び(2)式を(3)式及び(4)式の計算結果を用いるように変形すると(5)式及び(6)式のようになる。
D1 = d1f−K×tanθ−C1 …(5)
D2 = d2f+K×tanθ−C2 …(6)
図8は汚れ度合いとフィルタ係数pの関係を表すグラフの一例である。図8(a)は、ステップ202で求めた汚れ度合いが0〜100で表わされる場合であり、汚れ度合いが大きくなるにつれてフィルタ係数pの値を小さく設定する。また、図8(b)は、ステップ202で求めた汚れ度合いがレベル0〜レベル3で表わされる場合であり、汚れ度合いのレベルが大きくなるにつれて段階的にフィルタ係数pの値を小さく設定する。以上説明したように、汚れ度合いが大きくなるにつれてフィルタ係数pを小さく設定することで、汚れ度合いが大きい場合の区画線検出結果の不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
なお、ここではステップ203で検出した区画線までの距離(図6のd1及びd2)にフィルタをかけて計算する方式を説明したが、(1)式及び(2)式で計算したD1及びD2にフィルタをかけて計算しても同様の効果が得られることは言うまでもなく、また、(3)式及び(4)式のフィルタ計算式以外のフィルタ計算式を用いても同様の効果が得られることは言うまでもない。
次に、(1)式及び(2)式、(5)式及び(6)式でヨー角θにかける補正係数q(ただし、qの取りうる範囲は、0≦q≦1)の設定方法について説明する。まず、(5)式及び(6)式をヨー角θにかける補正係数qを用いて変形すると(7)式及び(8)式のようになる。
D1 = d1f−K×tan(θ×q)−C1 …(7)
D2 = d2f+K×tan(θ×q)−C2 …(8)
(7)式及び(8)式から、補正係数qが小さいほどヨー角θでの補正が効かなくなっていくため、ヨー角θの不安定さを軽減可能である。
図9は汚れ度合いと補正係数qの関係を表すグラフの一例である。図9(a)は、ステップ202で求めた汚れ度合いが0〜100で表わされる場合であり、汚れ度合いが大きくなるにつれて補正係数qの値を小さく設定する。また、図9(b)は、ステップ202で求めた汚れ度合いがレベル0〜レベル3で表わされる場合であり、汚れ度合いのレベルが大きくなるにつれて段階的に補正係数qの値を小さく設定する。以上説明したように、汚れ度合いが大きくなるにつれて補正係数qを小さく設定することで、汚れ度合いが大きい場合のヨー角θの不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
以上説明したように、ステップ204では、区画線までの距離D1及びD2は(7)式及び(8)式を用いることで、ステップ202で求めた汚れ度合いに基づいた逸脱判定に利用するパラメータの設定ができるため、誤警報の頻度を減らすことが可能となる。
最後に、ステップ205において、ステップ204で自車両が区画線を逸脱する可能性が大であると判定され、かつ警報抑制条件がない場合に、警報発生指令を警報音発生器102や警報表示器103に出力して、このルーチンを終了する。ここで警報抑制条件としては、ウィンカー操作中であること、ウィンカー操作の終了から所定時間内(例えば、2秒間)であること、車速が所定値以下(例えば、70km/h以下)であること、道路曲率半径が所定値以下(例えば、200m以下)であること、などがある。なお、警報を解除するタイミングは、警報を発生して所定時間経過後(例えば、2秒後)とする。
以上説明したように、レンズ汚れの汚れ度合いに基づいて逸脱判定に利用するパラメータを変更することで、誤警報の頻度を減らすことが可能となる。また、誤警報の頻度を減らすことで、運転者や乗員に対して安心感、信頼性を向上させることが可能となる。
なお、本実施例では撮像装置の取り付け位置が車両後端、撮像方向が車両後方の場合について説明したが、車両前方を撮像する撮像装置でもよく、また、撮像装置の取付位置などが本実施例と異なっていてもよい。
図10は、本発明に係る車線逸脱警報装置の一実施形態(実施例2)を示す概略構成図である。
図10は、実施例1の構成(図1)において、区画線検出パラメータ設定部11を追加した構成となっている。なお、以下では、図10の構成のうち、既に説明した図1に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
汚れ検出部2は、検出した汚れの度合いを求め、区画線検出パラメータ設定部11及び逸脱判定部パラメータ設定部4に出力する。
区画線検出パラメータ設定部11は、汚れ検出部2で検出したレンズ汚れの度合いに基づいて区画線検出部1で区画線を検出する際のパラメータの設定を行う。
次に、実施例2の車線逸脱警報装置100のステップ内容について説明する。
実施例2のフローチャートは、実施例1の図2で説明したフローチャートと同一であり、実施例1で説明した処理内容に一部機能が追加されている。以下では、追加された機能の分のみ説明する。
図2のステップ203において、ステップ202で求めた汚れ度合いを用いて区画線の検出方法や検出した区画線の信頼度の決定方法を変更する。
まず、区画線の検出方法について具体的な方法を図11を用いて説明する。図11(a)及び図11(b)は、図4(a)と同様に、ステップ201で取り込んだ画像データであり、車線40に2本の区画線41及び42が存在している。通常、ステップ201で取り込む画像は、遠方ほど分解能が低いため、図11(a)に示すように、区画線を検出する範囲111及び112を所定範囲内に限定して処理する。そして、ステップ202で求めた汚れ度合いが大きくなると所定範囲内に限定した領域内での遠方部分で区画線の検出が困難になるため、図11(b)に示すように、汚れ度合いに基づいて区画線を検出する範囲を113及び114のようにさらに限定(汚れ度合いが大きいほど、遠方部分を処理しないようにする)する。なお、本処理は昼と夜(周辺の明るさ)で処理内容を切り替え、例えば夜のみ区画線を検出する範囲を限定する構成としてもよい。
次に、検出した区画線の信頼度の決定方法に関して説明する。ここでは、区画線の信頼度を0〜100で表し、数値が大きいほど信頼度が高いものとする。図11(a)の区画線を検出する範囲111及び112において、時間的に連続して区画線が検出できている場合に区画線の信頼度を上げていき、所定の閾値を超えたら信頼度有りとして後の処理に通知する。ここで、ステップ202で求めた汚れ度合いが大きくなるにつれて信頼度有りと判定する閾値も上げていく。
以上説明したように、ステップ202で求めた汚れ度合いを用いて区画線の検出方法や検出した区画線の信頼度の決定方法を変更することで、区画線の検出精度を上げることが可能となる。
また、(1)式及び(2)式を計算する際に、ステップ203で求めた区画線の信頼度を利用してもよい。具体的には、区画線の信頼度が有りと判定されたときに(1)式及び(2)式を計算し、区画線の信頼度が無い場合は(1)式又は(2)式の計算を実施せず、区画線までの距離D1(又はD2)には無効値を設定する。
以上説明したように、区画線の信頼度に基づいて区画線までの距離を求めることで、より精度の高い車線逸脱警報を発生可能となる。
図12は、本発明に係る車線逸脱警報装置の一実施形態(実施例3)を示す概略構成図である。
図12は、実施例2の構成(図10)において、区画線振れ量演算部12を追加した構成となっている。なお、以下では、図12の構成のうち、既に説明した図10に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
区画線振れ量演算部12は、区画線検出部1により検出した区画線までの距離に基づいて区画線までの距離の時系列的な振れ量(区画線振れ量)を演算する。逸脱判定パラメータ設定部4は、この振れ量の大きさに基づいて逸脱判定に用いるパラメータを設定する。
区画線振れ量演算部12により演算される区画線振れ量が大きいということはすなわち、区画線検出部1により検出した区画線の位置には大きなばらつきがあるということである。換言すれば、区画線検出部1による検出結果に大きなばらつきがあるということであり、区画線検出部1による区画線の検出がそれだけ安定していない(不正確である)ことを表している。つまり、区画線振れ量が大きい場合は、区画線の検出が安定していないため、この区画線の情報をそのまま用いると誤警報を発生する頻度が高くなる可能性がある。
本実施形態の区画線振れ量演算部12は、所定の期間における今回処理周期の区画線までの距離と前回処理周期の区画線までの距離との差分の標準偏差を、区画線振れ量として演算する。また、区画線振れ量は標準偏差の値をそのまま用いてもよいが、段階で表わしてもよく、例えば、区画線振れ量が0cm〜5cmのときをレベル0、区画線振れ量が5cm〜15cmのときをレベル1、区画線振れ量が15cm以上のときをレベル2と定義する。なお、ここでは標準偏差を用いたが、分散を用いてもよく、さらには他の方法を用いて区画線振れ量を演算してもよい。そして、区画線振れ量に基づいて逸脱判定に用いるパラメータ(逸脱判定用閾値Ds,区画線までの距離にかけるフィルタのフィルタ係数p,ヨー角にかける補正係数q)を設定する。
まず、逸脱判定用閾値Dsの設定方法について説明する。図13は区画線振れ量と逸脱判定用閾値Dsの関係を表すグラフの一例である。図13(a)は、区画線振れ量が大きくなるにつれて逸脱判定用閾値Dsの値を小さく設定する。また、図13(b)は、区画線振れ量がレベル0〜レベル2で表わされる場合であり、区画線振れ量のレベルが大きくなるにつれて段階的に逸脱判定用閾値Dsの値を小さく設定する。以上説明したように、区画線振れ量が大きくなるにつれて逸脱判定用閾値Dsを小さく設定することで、区画線振れ量が大きい場合の区画線検出結果の不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
次に、区画線までの距離にかけるフィルタのフィルタ係数pの設定方法について説明する。図14は区画線振れ量とフィルタ係数pの関係を表すグラフの一例である。図14(a)は、区画線振れ量が大きくなるにつれてフィルタ係数pの値を小さく設定する。また、図14(b)は、区画線振れ量がレベル0〜レベル2で表わされる場合であり、区画線振れ量のレベルが大きくなるにつれて段階的にフィルタ係数pの値を小さく設定する。以上説明したように、区画線振れ量が大きくなるにつれてフィルタ係数pを小さく設定することで、区画線振れ量が大きい場合の区画線検出結果の不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
次に、ヨー角にかける補正係数qの設定方法について説明する。図15は区画線振れ量と補正係数qの関係を表すグラフの一例である。図15(a)は、区画線振れ量が大きくなるにつれて補正係数qの値を小さく設定する。また、図15(b)は、区画線振れ量がレベル0〜レベル2で表わされる場合であり、区画線振れ量のレベルが大きくなるにつれて段階的に補正係数qの値を小さく設定する。以上説明したように、区画線振れ量が大きくなるにつれて補正係数qを小さく設定することで、区画線振れ量が大きい場合のヨー角θの不安定さを考慮した逸脱判定に利用するパラメータ設定ができ、誤警報の頻度を減らすことが可能となる。
なお、区画線振れ量に基づいて設定された逸脱判定に用いるパラメータは、図2のステップ202で求めた汚れ度合いに基づいて設定された逸脱判定に用いるパラメータとは別に演算し、両者のパラメータのうちどちらか一方を選択する方式とするか、両者のパラメータを平均して最終的な逸脱判定に用いるパラメータとする。なお、両者のパラメータを比較して小さい方を選択して最終的な逸脱判定に用いるパラメータとすることが望ましく、これにより、より誤警報の頻度を減らすことが可能となる。
また、実施例1〜3の構成において、レンズ汚れを除去するための洗浄機能が備わっている場合、洗浄機能によってレンズ汚れを洗浄している間は撮像装置101から取得する画像データに洗浄液やワイパーなどが入り込んで区画線の検出が困難になるため、このような場合は警報判定部5の警報抑制条件とするか、区画線検出パラメータ設定部11で区画線を検出する範囲を強制的にゼロとして区画線を検出しない状態にするなどして、車線逸脱警報装置100から警報発生指令を外部に出力しないことが望ましい。さらに、このような場合に車線逸脱警報装置100から警報発生指令を外部に出力しないときは、運転者や乗員に車線逸脱警報装置100が警報発生指令を外部に出力しない状態であることを報知する手段を有する構成としてもよい。このようにして、運転者や乗員への安心感や信頼性を向上することができる。
以上のように、本発明の趣旨を逸脱しない範囲において、種々の様態で実施することができる。
30,40…車線(レーン)、31,32,41,42…区画線、43…光軸、60…車両、100…車線逸脱警報装置、300…泥汚れ、111,112,113,114…区画線検出範囲

Claims (9)

  1. 車両に搭載される撮像装置にて前記車両の走行路を撮像した画像から区画線を検出する区画線検出部と、
    前記撮像装置のレンズ、又は前記車両の車室外と前記撮像装置間の仕切の汚れを検出する汚れ検出部と、
    前記車両が、前記区画線を逸脱するか否かを判定する逸脱判定部と、
    前記車両が、前記区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、を有し、
    前記警報信号を出力するときの前記区画線に対する車両の位置は、検出された汚れの度合いによって異なり、
    前記逸脱判定部は、前記車両と前記区画線との距離が予め設定した閾値より小さくなった場合に当該車両が前記区画線を逸脱すると判定し、
    前記汚れの度合いに基づいて前記閾値を変更し、
    前記汚れの度合いに基づいて前記車両と前記区画線との距離の計算結果を平滑化するフィルタ係数を変更することを特徴とする車線逸脱警報装置。
  2. 前記車両と前記区画線とのなす角を算出し、前記車両の所定部位から前記区画線までの距離を算出するときに、前記汚れの度合いに基づいて、前記なす角の利用比率を変更することを特徴とする請求項に記載の車線逸脱警報装置。
  3. 車両に搭載される撮像装置にて前記車両の走行路を撮像した画像から区画線を検出する区画線検出部と、
    前記撮像装置のレンズ、又は前記車両の車室外と前記撮像装置間の仕切の汚れを検出する汚れ検出部と、
    前記車両が、前記区画線を逸脱するか否かを判定する逸脱判定部と、
    前記車両が、前記区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、を有し、
    前記警報信号を出力するときの前記区画線に対する車両の位置は、検出された汚れの度合いによって異なり、
    前記逸脱判定部は、前記汚れ度合いに基づいて前記区画線の逸脱を判定するパラメータを変更する逸脱判定パラメータ設定部を有し、前記パラメータを用いて前記車両が前記区画線を逸脱するか否かを判定し、
    前記逸脱判定部は、前記車両と前記区画線との距離が予め設定した閾値より小さくなった場合に逸脱すると判定し、
    前記逸脱判定パラメータ設定部は、前記汚れ検出部により検出された汚れの度合いに基づいて前記閾値を変更し、
    前記逸脱判定パラメータ設定部は、前記汚れの度合いに基づいて前記車両と前記区画線との距離の計算結果を平滑化するためのフィルタ係数を変更することを特徴とする車線逸脱警報装置。
  4. 前記逸脱判定パラメータ設定部は、前記車両の所定部位から前記区画線までの距離を算出するときに、前記汚れ度合いに基づいて前記車両と前記区画線とのなす角の利用比率を変更することを特徴とする請求項に記載の車線逸脱警報装置。
  5. 前記区画線検出部は、前記汚れ度合いに基づいて前記区画線を検出するパラメータを変更する区画線検出パラメータ設定部を有することを特徴とする請求項に記載の車線逸脱警報装置。
  6. 前記区画線検出パラメータ設定部は、前記汚れ度合いに基づいて前記区画線検出部における区画線の検出範囲を変更することを特徴とする請求項に記載の車線逸脱警報装置。
  7. 前記区画線検出パラメータ設定部は、前記汚れ度合いに基づいて前記区画線の信頼度を決定するための閾値を変更することを特徴とする請求項に記載の車線逸脱警報装置。
  8. 車両に搭載される撮像装置にて前記車両の走行路を撮像した画像から区画線を検出する区画線検出部と、
    前記撮像装置のレンズ、又は前記車両の車室外と前記撮像装置間の仕切の汚れを検出する汚れ検出部と、
    前記車両が、前記区画線を逸脱するか否かを判定する逸脱判定部と、
    前記車両が、前記区画線を逸脱すると判定したとき、検出された汚れの度合いに基づいて警報信号を出力する警報判定部と、
    前記区画線検出部により検出された前記区画線から前記撮像装置の光軸までの距離の時系列的なばらつきの大きさである区画線振れ量を演算する区画線振れ量演算部と、を有し、
    前記警報信号を出力するときの前記区画線に対する車両の位置は、検出された汚れの度合いによって異なり、
    前記逸脱判定部は、前記汚れの度合いに基づいて前記区画線の逸脱を判定するパラメータを変更する逸脱判定パラメータ設定部を有し、前記パラメータを用いて前記車両が前記区画線を逸脱するか否かを判定し、
    前記逸脱判定パラメータ設定部は、前記区画線振れ量演算部により演算された前記区画線振れ量に基づいて前記区画線の逸脱を判定するパラメータを変更し、前記パラメータを用いて前記車両が前記区画線を逸脱するか否かを判定し、
    前記逸脱判定部は、前記車両と前記区画線との距離が予め設定した閾値より小さくなった場合に逸脱すると判定し、
    前記逸脱判定パラメータ設定部は、前記区画線振れ量演算部により演算された前記区画線振れ量に基づいて前記閾値を変更し、
    前記逸脱判定パラメータ設定部は、前記区画線振れ量演算部により演算された前記区画線振れ量に基づいて前記車両と前記区画線との距離の計算結果を平滑化するためのフィルタ係数を変更することを特徴とする車線逸脱警報装置。
  9. 前記逸脱判定パラメータ設定部は、前記車両の所定部位から前記区画線までの距離を算出するときに、前記区画線振れ量演算部により演算された前記区画線振れ量に基づいて前記車両と前記区画線とのなす角の利用比率を変更することを特徴とする請求項に記載の車線逸脱警報装置。
JP2012149871A 2012-07-03 2012-07-03 車線逸脱警報装置 Expired - Fee Related JP5887219B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012149871A JP5887219B2 (ja) 2012-07-03 2012-07-03 車線逸脱警報装置
CN201310270897.5A CN103523013B (zh) 2012-07-03 2013-07-01 车道偏离警报装置
EP13174651.3A EP2682897B1 (en) 2012-07-03 2013-07-02 Lane departure warning system
US13/933,846 US20140009618A1 (en) 2012-07-03 2013-07-02 Lane Departure Warning Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012149871A JP5887219B2 (ja) 2012-07-03 2012-07-03 車線逸脱警報装置

Publications (2)

Publication Number Publication Date
JP2014013455A JP2014013455A (ja) 2014-01-23
JP5887219B2 true JP5887219B2 (ja) 2016-03-16

Family

ID=48740921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012149871A Expired - Fee Related JP5887219B2 (ja) 2012-07-03 2012-07-03 車線逸脱警報装置

Country Status (4)

Country Link
US (1) US20140009618A1 (ja)
EP (1) EP2682897B1 (ja)
JP (1) JP5887219B2 (ja)
CN (1) CN103523013B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
JP6206334B2 (ja) * 2014-06-10 2017-10-04 株式会社デンソー 検出装置
JP6374238B2 (ja) * 2014-07-01 2018-08-15 クラリオン株式会社 車載装置
JP2016033729A (ja) * 2014-07-31 2016-03-10 クラリオン株式会社 周囲環境認識装置
US20160165571A1 (en) * 2014-12-09 2016-06-09 At&T Mobility Ii Llc System and Method for Sending and Receiving Messages by a User Having Multiple Personas Associated with Respective Telephone Numbers
US20160283874A1 (en) * 2015-03-23 2016-09-29 International Business Machines Corporation Failure modeling by incorporation of terrestrial conditions
CN104915642B (zh) * 2015-05-26 2018-05-11 奇瑞汽车股份有限公司 前方车辆测距方法及装置
CA3030538A1 (en) * 2016-07-12 2018-01-18 Nissan Motor Co., Ltd. Travel control method and travel control apparatus
JP6776738B2 (ja) * 2016-09-01 2020-10-28 トヨタ自動車株式会社 情報提供装置および情報提供方法
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection
CN109398355A (zh) * 2017-08-18 2019-03-01 郑州宇通客车股份有限公司 一种用于基于分布式电机驱动车辆的车道保持方法及车辆
CN107697154B (zh) * 2017-08-30 2019-11-22 宝沃汽车(中国)有限公司 转向角纠正方法、电子助力转向系统及车辆
JP6663406B2 (ja) * 2017-10-05 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7140498B2 (ja) 2018-01-25 2022-09-21 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置及び表示システム
CN108630014A (zh) * 2018-05-10 2018-10-09 苏州天瞳威视电子科技有限公司 一种行车线偏离预警系统及方法
JP7271908B2 (ja) * 2018-11-08 2023-05-12 株式会社アイシン 周辺監視装置
CN110598517B (zh) * 2019-06-25 2023-11-24 一汽奔腾轿车有限公司 一种弯道车道偏离的检测方法
CN112339773B (zh) * 2020-11-10 2021-12-14 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
US20230274554A1 (en) * 2022-02-28 2023-08-31 Continental Autonomous Mobility US, LLC System and method for vehicle image correction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181146B2 (ja) * 1993-06-30 2001-07-03 マツダ株式会社 自動車の安全装置
JP3655541B2 (ja) * 2000-09-18 2005-06-02 トヨタ自動車株式会社 レーン検出装置
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
JP2003044863A (ja) 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP4124050B2 (ja) * 2003-07-31 2008-07-23 日産自動車株式会社 車線逸脱防止装置
JP2005186813A (ja) * 2003-12-25 2005-07-14 Fuji Heavy Ind Ltd 車両用運転支援装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
JP5040895B2 (ja) * 2008-11-17 2012-10-03 株式会社デンソー 視界状況判定装置、視界状況判定装置用プログラム及び視界状況判定方法
JP5141599B2 (ja) * 2009-03-06 2013-02-13 日産自動車株式会社 車線認識装置及び方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
CN201400166Y (zh) * 2009-03-19 2010-02-10 创研光电股份有限公司 连接全球定位系统使用的车道偏离警示器
CN201427553Y (zh) * 2009-06-26 2010-03-24 长安大学 一种车辆偏离车道报警系统

Also Published As

Publication number Publication date
US20140009618A1 (en) 2014-01-09
CN103523013A (zh) 2014-01-22
EP2682897A2 (en) 2014-01-08
CN103523013B (zh) 2016-03-30
EP2682897A3 (en) 2015-02-11
EP2682897B1 (en) 2018-11-21
JP2014013455A (ja) 2014-01-23

Similar Documents

Publication Publication Date Title
JP5887219B2 (ja) 車線逸脱警報装置
JP5981322B2 (ja) 車載画像処理装置
JP6174975B2 (ja) 周囲環境認識装置
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JP5389864B2 (ja) 車線逸脱警報装置
JP6120395B2 (ja) 車載装置
JP6163207B2 (ja) 車載装置
EP2369552B1 (en) Approaching object detection system
WO2016017340A1 (ja) 周囲環境認識装置
JP6035064B2 (ja) 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム
JP2008060874A (ja) 車載カメラ及び車載カメラ用付着物検出装置
EP3396938B1 (en) Imaging device and method for determining foreign matter
JP2007228448A (ja) 撮像環境認識装置
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
EP3087532B1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
JP4927908B2 (ja) 車線位置検知システム
JP4451179B2 (ja) 車線位置検知システム
JP5723561B2 (ja) 運転支援装置
EP2542453A1 (en) Method and device of raindrop detection on a windscreen
KR20190012967A (ko) 긴급 제동 시스템의 제어 장치 및 방법
WO2014203658A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160215

R150 Certificate of patent or registration of utility model

Ref document number: 5887219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees