JP5858149B2 - 蛇行判定装置 - Google Patents

蛇行判定装置 Download PDF

Info

Publication number
JP5858149B2
JP5858149B2 JP2014512226A JP2014512226A JP5858149B2 JP 5858149 B2 JP5858149 B2 JP 5858149B2 JP 2014512226 A JP2014512226 A JP 2014512226A JP 2014512226 A JP2014512226 A JP 2014512226A JP 5858149 B2 JP5858149 B2 JP 5858149B2
Authority
JP
Japan
Prior art keywords
vehicle speed
meandering
vehicle
detection unit
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014512226A
Other languages
English (en)
Other versions
JPWO2013161024A1 (ja
Inventor
裕宇二 奥田
裕宇二 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2013161024A1 publication Critical patent/JPWO2013161024A1/ja
Application granted granted Critical
Publication of JP5858149B2 publication Critical patent/JP5858149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/20Sideslip angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の旋回情報を検出する旋回情報検出部と、走行中の道路を含む撮像画像に対する画像認識により車線に対する車両の位置情報を検出する画像認識検出部とを備える蛇行判定装置に関する。
車両の運転者の疲労、居眠り、脇見等による意識低下状態を判定し、運転者に対して警報出力等を行うシステムが開発されている。意識低下状態を判定する方法としては、例えば、意識低下状態で見られる特有の操舵パターンとして車線内の蛇行を判定する方法がある。特許文献1には、車載カメラが撮像した車両前方画像に基づいて車線を認識して車線に対する車両の相対位置を検出する画像認識検出手段と、ステアリングホイールの舵角を検出する舵角検出手段とを備え、2つの検出手段を併用して蛇行を判定することが開示されている。
特開2007−265101号公報
高速道路やバイパス等の高速で走行できる道路では、一般的には車線が整備されており、画像認識検出手段で車線を認識することが可能である。しかし、高速になるほど、車両を旋回させるための舵角が小さくなり、小さい舵角での蛇行となるので、舵角検出手段で検出した舵角を用いて蛇行を高精度に判定することが困難になる。一方、住宅街等の低速で走行する道路では、車線が断続的にしか存在しない場合や車線が設けられていない場合が多く、画像認識検出手段で車線を認識できないことが多い。しかし、低速になるほど、車両を旋回させるための舵角が大きくなり、大きい舵角での蛇行となるので、舵角検出手段で検出した舵角を用いて蛇行を高精度に判定することが可能である。
したがって、上記の構成のように、2つの検出手段を併用する場合、車速域によっては信頼性の低い情報に基づいて蛇行判定が行われる可能性があり、蛇行判定を高精度に行うという点で改善の余地がある。また、常に2つの検出手段が作動しているので、エネルギ効率も悪いという課題もある。
そこで、本発明は、蛇行を判定するために2つの検出手段を備える構成でエネルギ効率良く蛇行を高精度に判定できる蛇行判定装置を提供することを課題とする。
本発明に係る蛇行判定装置は、車両の旋回情報を検出する旋回情報検出部と、走行中の道路を含む撮像画像に対する画像認識により車線に対する車両の位置情報を検出する画像認識検出部とを備える蛇行判定装置であって、車速を検出する車速検出部と、車速検出部で検出した車速が所定車速以上の場合には画像認識検出部を選択し、車速検出部で検出した車速が所定車速未満の場合には旋回情報検出部を選択する選択部と、選択部で画像認識検出部を選択した場合に車線に対する車両の位置情報に基づいて車両の蛇行を判定し、選択部で旋回情報検出部を選択した場合に車両の旋回情報に基づいて車両の蛇行を判定する蛇行判定部とを備えることを特徴とする。
この蛇行判定装置は、旋回情報検出部と画像認識検出部の2つの検出手段を備えており、2つの検出手段のうちのいずれか一方の検出手段を用いて車両の蛇行を判定する。旋回情報検出部は、車両の旋回情報(例えば、舵角、舵角速度、ヨーレート)を検出する手段である。高速になるほど、車両を旋回させるための舵角等が小さくなるので、旋回情報検出部で検出した旋回情報を用いて蛇行を高精度に判定することが困難になる。一方、低速になるほど、車両を旋回させるための舵角等が大きくなるので、旋回情報検出部で検出した旋回情報を用いて蛇行を判定することができる。画像認識検出部は、走行中の道路を含む撮像画像に対する画像認識によって走行中の車線を認識し、車線に対する車両の位置情報(例えば、車線中央に対するオフセット量(横位置))を検出する手段である。車線が整備されているのは、一般的に、高速道路、バイパス、フリーウェイ等の比較的高速で走行できる道路である。このように車線が整備された環境下では、画像認識検出部で車線を認識することができ、車線に対する車両の位置情報を得ることができる。一方、住宅街等の低速での走行が想定される道路では、交差点の存在、対面通行道路、狭路等により、車線が断続的にしか存在しない場合や車線が設けられていない場合が多い。このように車線が整備されていない環境下では、画像認識検出部で車線を認識することが困難であり(車線を全く認識できない場合もある)、車線に対する車両の位置情報を得ることができない。
そこで、蛇行判定装置では、車速検出部によって車速を検出し、選択部によって車速が所定車速以上の場合には蛇行を判定するための検出手段として画像認識検出部を選択し、車速が所定車速未満の場合には旋回情報検出部を選択する。この所定車速は、画像認識検出部を用いた方が蛇行を判定するための信頼性の高い情報を得ることができる車速域(高速側)と旋回情報検出部を用いた方が蛇行を判定するための信頼性の高い情報を得ることができる車速域(低速側)との境界の車速である。そして、蛇行判定装置では、蛇行判定部によって、画像認識検出部が選択されている場合には車線に対する車両の位置情報に基づいて車両の蛇行を判定し、旋回情報検出部が選択されている場合には車両の旋回情報に基づいて車両の蛇行を判定する。このように、蛇行判定装置は、車速に応じて蛇行判定に有効(信頼性が高い)な検出手段のみを用いることにより、エネルギ効率が向上し、全ての車速域で蛇行を高精度に判定することができる。なお、蛇行判定に用いない検出手段を停止するとエネルギ効率が最も良くなるが、検出手段を停止できない場合でも、一方の検出手段の情報だけを用いて蛇行判定処理を行うので(つまり、両方の検出手段の各情報を用いて蛇行判定処理を行わないので)、処理負荷が軽減し、エネルギ効率が向上する。
本発明の上記蛇行判定装置では、画像認識検出部による車線を認識可能な状態と車線を認識不能な状態とが切り替わるときに車速検出部で検出した車速に基づいて所定車速を決定する学習部を備えると好適である。このように、蛇行判定装置では、画像認識検出部による車線を認識可能な状態と車線を認識不能な状態とが切り替わるときの車速に基づいて所定車速を学習することにより、実際に画像認識検出部で車線を認識できる可能性の高い車速域で画像認識検出部を用いて蛇行判定を行うことができる。
本発明によれば、車速に応じて蛇行判定に有効な検出手段のみを用いることにより、エネルギ効率が向上し、全ての車速域で蛇行を高精度に判定することができる。
本実施の形態に係る意識低下判定システムの構成図である。 本実施の形態に係る意識低下判定システムでのメイン動作の流れを示すフローチャートである。 図2のメイン動作のフローチャートにおける蛇行判定手段選択処理の流れを示すフローチャートである。 本実施の形態に係る意識低下判定システムでの車速域切り替え閾値の学習処理の流れを示すフローチャートであり、(a)が現車速記憶処理のフローチャートであり、(b)が車速域切り替え閾値算出処理のフローチャートである。
以下、図面を参照して、本発明に係る蛇行判定装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施の形態では、本発明を、運転者が意識低下状態か否かを判定し、意識低下状態の場合に警報を行う意識低下判定システムに適用する。本実施の形態に係る意識低下判定システムは、白線認識カメラと舵角センサの2つの検出手段を備え、いずれか一方の検出手段を用いて蛇行(ふらつき)が有るか否かを判定し、蛇行が有る場合に運転者が意識低下状態と判断する。
なお、本実施の形態に係る意識低下判定システムの作動は、ACC電源がONやエンジンが始動等で作動してもよいし、あるいは、所定の作動条件やキャンセル条件を設けてもよい。作動条件としては、例えば、車速が所定速度以上の場合にシステム作動とする。キャンセル条件としては、例えば、車線変更中に作動させないためにウィンカスイッチが左方向ON又は右方向ONの場合に一時的にシステム停止としたり、ウィンカ以外にも他の運転者の操作に応じて一時的にシステム停止としてもよい。
図1を参照して、本実施の形態に係る意識低下判定システム1について説明する。図1は、意識低下判定システムの構成図である。
意識低下判定システム1は、エネルギ効率良くかつ全車速域で高精度に蛇行を判定するために、高速域では白線認識カメラのみを用い、車線中央からのオフセット量(車線の対する車両の位置情報)に基づいて蛇行判定を行い、低速域では舵角センサのみを用い、舵角(旋回情報)に基づいて蛇行判定を行う。さらに、意識低下判定システム1は、実際に白線認識カメラで白線を認識できる車速域を設定するために、白線認識カメラでの白線の未認識状態から認識状態に遷移するときの車速を用いて車速域切り替え車速を学習する。
なお、運転者が疲労、居眠り、脇見等による意識低下状態になると、車線中央から車両の横位置が大きくずれてから車線中央側に戻すための修正操舵を行い、このような修正操舵が繰り返されて蛇行する場合がある。このような運転者の操舵操作に応じた車両の蛇行を示すオフセット量の変化パターン又は舵角の変化パターンを検出することによって、運転者の意識低下状態を判定できる。運転者が意識低下状態になると、車両が左右の白線に近づいてから反対方向への修正操舵を行い、この修正操舵が周期的に繰り返される。したがって、車両の蛇行を示すオフセット量の変化パターンは、例えば、車線内の左右の一方側でのオフセット量(車両の横位置)が徐々に大きくなり、他方側への修正操舵開始時に一方側でのオフセット量がピークとなり、その修正操舵開始後から一方側でのオフセット量が徐々に小さくなって0になり、他方側でのオフセット量が徐々に大きくなり、一方側への修正操舵開始時に他方側でのオフセット量がピークとなり、その修正操舵開始後から他方側でのオフセット量が徐々に小さくなって0になり、一方側でのオフセット量が徐々に大きくなるオフセット量の変化が繰り返される。また、車両の蛇行を示す舵角の変化パターンは、例えば、ステアリングホイールの一方の回転方向での所定量の舵角(ピーク)が続き、他方の回転方向への修正操舵開始後から一方の回転方向での舵角が急速に小さくなって0になり、他方の回転方向での舵角が急速に大きくなり、他方の回転方向での所定量の舵角(ピーク)が続き、一方の回転方向への修正操舵開始後から他方の回転方向での舵角が急速に小さくなって0になり、一方の回転方向での舵角が急速に大きくなる舵角の変化が繰り返される。
意識低下判定システム1は、白線認識カメラ10、舵角センサ11、車速センサ12、警報装置20、ECU[Electronic Control Unit]30(蛇行判定手段選択部31、蛇行有無判定部32、警報制御部33、閾値学習部34)を備えている。なお、本実施の形態では、白線認識カメラ10が請求の範囲に記載する画像認識検出部に相当し、舵角センサ11が請求の範囲に記載する旋回情報検出部に相当し、車速センサ12が請求の範囲に記載する車速検出部に相当し、蛇行判定手段選択部31が請求の範囲に記載する選択部に相当し、蛇行有無判定部32が請求の範囲に記載する蛇行判定部に相当し、閾値学習部34が請求の範囲に記載する学習部に相当する。
白線認識カメラ10は、車線を構成する左右一対の白線を認識するカメラセンサであり、カメラと処理装置からなる。カメラは、自車の前方に設置され、光軸方向が自車の進行方向と一致するように取り付けられる。カメラでは、一定時間毎に、自車の前方の道路を含む領域を撮像し、その撮像した画像を取得し、その画像情報を処理装置に出力する。カメラは、左右方向に撮像範囲が広く、走行している車線を構成する左右両側(一対)の白線を十分に撮像可能である。なお、カメラは、カラーのカメラでもよいし、白黒のカメラでもよい。
処理装置では、カメラから画像情報を入力する毎に、画像から自車が走行している車線を構成する左右一対の白線を認識する。この認識方法としては、例えば、路面とその上に描かれた白線との輝度差が大きいことからエッジ処理による方法がある。そして、処理装置では、認識した左右一対の白線から車線幅、左右一対の白線の中央を通る線、車線の中央線又は各白線のカーブの半径や曲率、自車の車線の中央からのオフセット量(横位置)、自車の車線の中央線に対するヨー角(向き)等を算出する。そして、白線認識カメラ10では、一定時間毎に、白線の認識結果(両側認識、左側のみ認識、右側のみ認識、両側未認識等)や算出した各種情報を白線認識信号としてECU30に送信する。
なお、車線を構成する左右の白線が整備されているのは、一般的に、高速道路、バイパス、フリーウェイ等の比較的高速で走行できる道路である。このように白線が整備された環境下では、白線認識カメラ10で白線を認識することができ、車線中央に対するオフセット量を得ることができる。このよう場合、白線認識カメラ10を用いて、蛇行を判定できる。しかし、住宅街等の低速での走行が想定される道路では、交差点の存在、対面通行道路、狭路等により、白線が断続的にしか存在しない場合や白線が設けられていない場合が多い。このように白線が整備されていない環境下では、白線認識カメラ10で白線を認識することが困難であり、白線を全く認識できない場合もある。このよう場合、白線認識カメラ10を用いて、蛇行を判定できない。
舵角センサ11は、運転者によって入力されるステアリングホイールの舵角を検出するセンサである。舵角センサ11では、一定時間毎に、舵角を検出し、その検出した舵角を舵角信号としてECU30に送信する。
なお、高速になるほど、車両を旋回させるための舵角が小さくなり、小さい舵角での蛇行となる。このような場合、舵角センサ11を用いて、蛇行を高精度に判定するのが困難になる。しかし、低速になるほど、車両を旋回させるための舵角が大きくなり、大きい舵角での蛇行となる。このような場合、舵角センサ11を用いて、蛇行を判定できる。
車速センサ12は、自車の車速を検出するセンサである。車速センサ12では、一定時間毎に、車速を検出し、その検出した車速を車速信号としてECU30に送信する。
警報装置20は、運転者に対して意識低下状態を注意喚起するために警報を出力する装置である。警報としては、例えば、スピーカからの警報音の出力、ナビのディスプレイでの警報画面の表示、コンビネーションメータ内の警報ランプの点灯、シートの振動発生装置によるシート振動の発生、ステアリングホイールの振動発生装置によるステアリング振動の発生がある。警報装置20では、ECU30からの警報出力信号を受信すると、警報出力信号に応じて警報を出力する。
ECU30は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、意識低下判定システム1を統括制御する。ECU30では、ROMに格納されているアプリケーションプログラムをRAMにロードし、CPUで実行することによって蛇行判定手段選択部31、蛇行有無判定部32、警報制御部33、閾値学習部34を構成する。ECU30では、白線認識カメラ10、舵角センサ11、車速センサ12からの各信号を受信し、この各信号の情報を用いて各処理部31,32,33,34での処理を行う。そして、ECU30では、意識低下状態(蛇行が有る)と判定した場合には警報装置20に警報出力信号を送信する。
蛇行判定手段選択部31は、白線認識カメラ10と舵角センサ11から蛇行判定に用いる検出手段を選択する処理部である。具体的には、蛇行判定手段選択部31では、車速センサ12から取得した車速が車速域切り替え閾値Th_S以上か否かを判定する。車速域切り替え閾値Th_Sは、白線認識カメラ10を用いた方が蛇行を判定するための信頼性の高い情報を得ることができる車速域(高速側)と舵角センサ11を用いた方が蛇行を判定するための信頼性の高い情報を得ることができる車速域(低速側)との境界を示す車速閾値である。Th_Sの初期値は、白線が整備されている道路の制限速度等を考慮し、予め設定される。以下で説明する閾値学習部34で学習が行われた場合、Th_Sには、学習値が設定される。そして、蛇行判定手段選択部31では、車速が車速域切り替え閾値Th_S以上の場合には蛇行判定に用いる検出手段として白線認識カメラ10を選択し、車速が車速域切り替え閾値Th_S未満の場合には蛇行判定に用いる検出手段として舵角センサ11を選択する。
蛇行有無判定部32は、蛇行判定手段選択部31で選択した検出手段を用いて蛇行が有るか否かを判定し、蛇行が有る場合には運転者の意識低下状態と判断する処理部である。具体的には、蛇行有無判定部32では、蛇行判定手段選択部31で白線認識カメラ10を選択している場合、白線認識カメラ10から一定時間毎に取得しているオフセット量の時系列データを用いて、オフセット量の変化を示す波形から蛇行が有るか否かを判定する。このオフセット量による蛇行の有無の判定方法としては、従来の方法を適用する。例えば、左側のオフセット量のピーク値と右側のオフセット量のピーク値との差がピーク値差閾値以上かの第1条件、ピーク値の周期がピーク値周期範囲内かの第2条件、第1条件と第2条件を満たすピーク値が連続して現れる回数が回数閾値以上かの第3条件をそれぞれ判定し、この第1条件、第2条件、第3条件を全て満たす波形の場合に蛇行が有ると判定する。一方、蛇行有無判定部32では、蛇行判定手段選択部31で舵角センサ11を選択している場合、舵角センサ11から一定時間毎に取得している舵角の時系列データを用いて、舵角の変化を示す波形から蛇行が有るか否かを判定する。この舵角による蛇行の有無の判定方法としては、従来の方法を適用する。例えば、オフセット量の場合と同様に、舵角の左回転方向のピーク値と右回転方向のピーク値を用いて第1条件、第2条件、第3条件をそれぞれ判定し、第1条件、第2条件、第3条件を全て満たす波形の場合に蛇行が有ると判定する。
蛇行有無判定部32は、蛇行が有ると判定した場合には運転者が意識低下状態と判断し、意識低下フラグをONする。意識低下フラグは、ON/OFFフラグであり、運転者が意識低下状態の場合にはONであり、平常状態の場合にはOFFである。
警報制御部33は、蛇行有無判定部32で運転者が意識低下状態と判断した場合に警報出力するための処理部である。具体的には、警報制御部33では、蛇行有無判定部32で運転者が意識低下状態と判断している場合(意識低下フラグがONの場合)、警報出力するための警報出力信号を警報装置20に送信する。
閾値学習部34は、白線認識カメラ10での認識結果に基づいて蛇行判定手段選択部31で用いる車速域切り替え閾値Th_Sを学習する処理部である。具体的には、閾値学習部34では、白線認識カメラ10から一定時間毎に取得している認識結果に基づいて、白線を認識していなかった状態から白線を認識できる状態(両側の白線を認識できる状態)に遷移した否かを判定する。遷移したと判定する毎に、閾値学習部34では、車速センサ12で検出されたそのときの車速を記憶し、車速記憶カウンタをインクリメントする。そして、閾値学習部34では、車速記憶カウンタのカウンタ値が閾値Th_Cを超えると、記憶している車速の平均値を算出し、その平均値を車速域切り替え閾値Th_Sに格納する。閾値Th_Cは、実際に白線認識カメラ10で白線を認識できる可能性の高い車速のデータが十分に得られた回数であり、適合によって予め設定される。
なお、車速記憶カウンタは、初期設定及びカウンタ値が閾値Th_C以上になった場合に0にリセットされる。したがって、カウンタ値が閾値Th_C未満のときに車両の走行が終了した場合、車速記憶カウンタのカウンタ値は次回の走行まで保持され、蓄積されている車速データも保持される。閾値学習部34での学習は、車速記憶カウンタのカウンタ値が閾値Th_C以上に1回なった場合に学習値を算出して終了してもよいし、あるいは、車速記憶カウンタのカウンタ値が閾値Th_C以上に1回なった後も学習を継続し、2回目以降の車速データも用いて再学習し、前回の学習時までの学習値を更新するようにしてもよい。
図1を参照して、意識低下判定システム1の動作について説明する。特に、図2のフローチャートに沿って動作全体を説明し、図3のフローチャートに沿って蛇行判定手段選択処理を説明し、図4のフローチャートに沿って車速域切り替え閾値の学習処理について説明する。図2は、メイン動作の流れを示すフローチャートである。図3は、メイン動作のフローチャートにおける蛇行判定手段選択処理の流れを示すフローチャートである。図4は、車速域切り替え閾値の学習処理の流れを示すフローチャートであり、(a)が現車速記憶処理のフローチャートであり、(b)が車速域切り替え閾値算出処理のフローチャートである。なお、意識低下判定システム1では、作動中は、下記の動作を所定時間毎に繰り返し行う。
白線認識カメラ10では、自車前方の道路を含む領域を撮像する。そして、白線認識カメラ10では、その撮像画像から自車が走行している車線を示す左右一対の白線を認識し、左右一対の白線から車線幅、左右一対の白線の中央線、カーブ半径や曲率、車線中央からのオフセット量、車線中央線に対するヨー角等を算出する。そして、白線認識カメラ10では、白線の認識結果や算出した各種情報を白線認識信号としてECU30に送信する。ECU30では、この白線認識信号を受信し、白線の認識結果や各種情報を取得する。
舵角センサ11では、舵角を検出し、この検出した舵角を舵角信号としてECU30に送信する。ECU30では、この舵角信号を受信し、舵角を取得する。
車速センサ12では、車速を検出し、この検出した車速を車速信号としてECU30に送信する(S10)。ECU30では、この車速信号を受信し、車速を取得する。
ECU30では、蛇行判定手段選択処理を行う(S11)。まず、ECU30では、車速が車速域切り替え閾値Th_S以上か否かを判定する(S20)。S20にて車速がTh_S以上と判定した場合、ECU30では、白線認識カメラ10を蛇行判定用として選択する(S21)。この際、舵角センサ11を他のシステム1で用いない場合、舵角センサ11を停止してもよい。S20にて車速がTh_S未満と判定した場合、ECU30では、舵角センサ11を蛇行判定用として選択する(S22)。この際、白線認識カメラ10を他のシステムで用いない場合、白線認識カメラ10を停止してもよい。
S21で白線認識カメラ10を選択した場合、ECU30では、白線認識カメラ10によるオフセット量の時系列データを用いて、蛇行が有ったか否かを判定する(S12)。あるいは、S22で舵角センサ11を選択した場合、ECU30では、舵角センサ11による舵角の時系列データを用いて、蛇行が有ったか否かを判定する(S12)。ECU30では、蛇行が有ったと判定した場合、運転者の意識低下状態と判断し(意識低下フラグをON)、警報出力信号を警報装置20に送信する(S13)。
警報装置20では、警報出力信号を受信すると、警報を出力する(S13)。この警報によって、運転者は、意識が低下していることを認識することができ、必要に応じて休憩等の対応をとる。
また、ECU30では、白線認識カメラ10での認識結果に基づいて、白線認識状態が未認識から認識に遷移したか否かを判定し(S30)、遷移していないと判定した場合には所定時間後に再度判定する。S30にて白線認識状態が未認識から認識に遷移したと判定した場合、ECU30では、車速センサ12で検出されている現車速を記憶し、車速記憶カウンタをインクリメントする(S31)。
ECU30では、車速記憶カウンタのカウンタ値がTh_Cを超えたか否かを判定し(S40)、カウンタ値がTh_C以下と判定した場合には所定時間後に再度判定する。S40にてカウンタ値がTh_Cを超えたと判定した場合、ECU30では、記憶している車速の平均値を算出し、その平均値を車速域切り替え閾値Th_Sに格納する(S41)。なお、Th_Sに既に学習値が格納されている場合、今回蓄積した車速の平均値も加味して、学習値を更新するようにしてもよい。
この意識低下判定システム1によれば、高速域では白線認識カメラ10のみを用いて蛇行判定を行い、低速域では舵角センサ11のみを用いて蛇行判定を行うことにより、エネルギ効率が向上し、全ての車速域で蛇行を高精度に判定することができる。その結果、運転者の意識低下状態を高精度に判定できる。なお、蛇行判定に用いない検出手段を停止できれば、エネルギ効率が最も良くなる。検出手段を停止できない場合でも、一方の検出手段の情報だけを用いて蛇行判定処理を行うので、処理負荷が軽減し、エネルギ効率が向上する。
また、意識低下判定システム1によれば、白線認識カメラ10による白線の未認識から認識に遷移するときの車速を蓄積して、その蓄積した車速データに基づいて車速域切り替え車速を学習することにより、実際に白線認識カメラ10で白線を認識できる可能性の高い車速域で白線認識カメラ10を用いて蛇行判定を行うことができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では蛇行が有ると判定した場合には運転者の意識低下状態と判断し、意識低下状態の場合に警報を出力する意識低下判定システムに適用したが、意識低下状態(蛇行の有無)の情報(意識低下フラグ)をエアサス制御システム、レーンキープアシストシステム、タイヤ空気圧警報システム、アライメントずれ警報システム等の他のシステムで利用してもよい。また、蛇行を判定する蛇行判定装置とし、蛇行の情報を各システムで利用してもよい。
また、本実施の形態では意識低下判定システムのECUを設け、ECUで蛇行判定手段選択、蛇行有無判定、警報制御、閾値学習の各処理を行う構成としたが、これらの各処理を白線認識カメラ内の処理装置で行う構成としてもよい。
また、本実施の形態では蛇行を判定するための車両の旋回情報として舵角を適用し、舵角センサを用いたが、旋回情報としては舵角速度、ヨーレート等の他のパラメータを適用してよく、その各パラメータに応じたセンサを用いてもよい。
また、本実施の形態では車速域切り替え閾値を学習する処理部を備える構成としたが、このような学習を行わない構成としてもよい。この場合、本実施の形態で説明した初期値を車速域切り替え閾値としてそのまま用いてもよいし、あるいは、運転者が車速域切り替え閾値の車速を設定(あるいは、選択)するようにしてもよい。
本発明は、車両の旋回情報を検出する旋回情報検出部と、走行中の道路を含む撮像画像に対する画像認識により車線に対する車両の位置情報を検出する画像認識検出部とを備える蛇行判定装置に利用可能である。
1…意識低下判定システム、10…白線認識カメラ、11…舵角センサ、12…車速センサ、20…警報装置、30…ECU、31…蛇行判定手段選択部、32…蛇行有無判定部、33…警報制御部、34…閾値学習部。

Claims (2)

  1. 車両の旋回情報を検出する旋回情報検出部と、走行中の道路を含む撮像画像に対する画像認識により車線に対する車両の位置情報を検出する画像認識検出部とを備える蛇行判定装置であって、
    車速を検出する車速検出部と、
    前記車速検出部で検出した車速が所定車速以上の場合には前記画像認識検出部を選択し、前記車速検出部で検出した車速が所定車速未満の場合には前記旋回情報検出部を選択する選択部と、
    前記選択部で画像認識検出部を選択した場合に車線に対する車両の位置情報に基づいて車両の蛇行を判定し、前記選択部で旋回情報検出部を選択した場合に車両の旋回情報に基づいて車両の蛇行を判定する蛇行判定部と、
    を備えることを特徴とする蛇行判定装置。
  2. 前記画像認識検出部による車線を認識可能な状態と車線を認識不能な状態とが切り替わるときに前記車速検出部で検出した車速に基づいて前記所定車速を決定する学習部を備えることを特徴とする請求項1に記載の蛇行判定装置。
JP2014512226A 2012-04-25 2012-04-25 蛇行判定装置 Active JP5858149B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/061114 WO2013161024A1 (ja) 2012-04-25 2012-04-25 蛇行判定装置

Publications (2)

Publication Number Publication Date
JPWO2013161024A1 JPWO2013161024A1 (ja) 2015-12-21
JP5858149B2 true JP5858149B2 (ja) 2016-02-10

Family

ID=49482394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014512226A Active JP5858149B2 (ja) 2012-04-25 2012-04-25 蛇行判定装置

Country Status (5)

Country Link
US (1) US9805275B2 (ja)
JP (1) JP5858149B2 (ja)
CN (1) CN104246850B (ja)
DE (1) DE112012006288B4 (ja)
WO (1) WO2013161024A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103217A1 (en) 2006-10-31 2008-05-01 Hari Babu Sunkara Polyether ester elastomer composition
GB0618196D0 (en) 2006-09-15 2006-10-25 Pursuit Dynamics Plc An improved mist generating apparatus and method
US9421973B2 (en) * 2014-02-28 2016-08-23 GM Global Technology Operations LLC Jerk reduction in transition between lane-centering and lane-keeping steering systems
JP6341149B2 (ja) * 2015-07-07 2018-06-13 トヨタ自動車株式会社 車両の運転支援装置
US10490069B2 (en) 2016-08-18 2019-11-26 Amazon Technologies, Inc. Illuminated signal device and speed detector for audio/video recording and communication devices
DE102018108572B4 (de) * 2017-04-12 2023-05-04 Toyota Jidosha Kabushiki Kaisha Spurwechselunterstützungsvorrichtung für ein fahrzeug
JP6579496B2 (ja) * 2017-05-29 2019-09-25 マツダ株式会社 運転者状態推定装置
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
DE102017120899A1 (de) * 2017-09-11 2019-03-14 Connaught Electronics Ltd. Verfahren und System zum automatischen Parken eines Fahrzeugs in einer Notsituation
CN110084185B (zh) * 2019-04-25 2021-03-16 西南交通大学 一种高速列车小幅蛇行运行特征的快速提取方法
TWI715238B (zh) * 2019-10-05 2021-01-01 宏碁股份有限公司 蛇行偵測方法及其裝置
CN113276765A (zh) 2020-01-31 2021-08-20 神达数位股份有限公司 行车警示方法及系统与计算机程序产品

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039327B2 (ja) * 1995-06-30 2000-05-08 三菱自動車エンジニアリング株式会社 車両走行状態検出装置及び居眠り運転警報装置
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
JP4564320B2 (ja) * 2004-09-29 2010-10-20 アイシン精機株式会社 ドライバモニタシステム
JP3925540B2 (ja) * 2005-03-23 2007-06-06 トヨタ自動車株式会社 車両用走行制御装置
JP2007265101A (ja) * 2006-03-29 2007-10-11 Mitsubishi Fuso Truck & Bus Corp 車両用覚醒度推定装置
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
JP4814779B2 (ja) * 2006-12-20 2011-11-16 三菱ふそうトラック・バス株式会社 車両用注意力監視装置
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
CN102171743B (zh) * 2008-10-02 2014-08-20 日立汽车系统株式会社 与车辆行驶相关的信息处理装置
CN101840632B (zh) * 2009-03-18 2013-05-29 深圳先进技术研究院 一种对车内驾驶行为异常监控方法和系统
CN101872171B (zh) * 2009-04-24 2012-06-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和系统
CN201566602U (zh) * 2009-09-25 2010-09-01 马援 一种机动车驾驶员防磕睡紧急自动停车装置

Also Published As

Publication number Publication date
US20150117714A1 (en) 2015-04-30
US9805275B2 (en) 2017-10-31
CN104246850A (zh) 2014-12-24
JPWO2013161024A1 (ja) 2015-12-21
DE112012006288B4 (de) 2020-09-03
WO2013161024A1 (ja) 2013-10-31
DE112012006288T5 (de) 2015-01-22
CN104246850B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
JP5858149B2 (ja) 蛇行判定装置
JP5831624B2 (ja) 意識低下判定システム
US7532981B2 (en) Vehicle departure detecting device
EP2803546B1 (en) Collision mitigation apparatus
JP5594246B2 (ja) 車線認識装置
US9070293B2 (en) Device and method for traffic sign recognition
US8520954B2 (en) Apparatus for detecting lane-marking on road
US9108664B2 (en) Control apparatus of vehicle for changing lane and control method of the same
US20070091173A1 (en) Vehicular lane monitoring system utilizing front and rear cameras
JP5146243B2 (ja) 車線逸脱抑制装置
JP4604691B2 (ja) 車両用警報装置、車両周囲状況の警報方法
JP2008514497A (ja) ドライバーサポート方法および装置
US20150149076A1 (en) Method for Determining a Course of a Traffic Lane for a Vehicle
JP2004268845A (ja) 車線逸脱警報装置
JP4876772B2 (ja) 割込車両判定装置
JP2009116527A (ja) 車両用障害物検出装置
JP2015162228A (ja) 車両用制御装置
US20140071282A1 (en) Alert systems and methods using real-time lane information
JP2015221636A (ja) 車線維持支援装置
WO2013168209A1 (ja) 蛇行判定装置
JP5831632B2 (ja) 運転支援制御装置
US20230130037A1 (en) Control device of vehicle, control method, and storage medium
JP7430445B2 (ja) 通行道路変更判定装置
JP2003205761A (ja) 移動体検知センサーを利用した居眠り運転警報システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R151 Written notification of patent or utility model registration

Ref document number: 5858149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151