JP5576198B2 - 脇見判定装置 - Google Patents
脇見判定装置 Download PDFInfo
- Publication number
- JP5576198B2 JP5576198B2 JP2010159632A JP2010159632A JP5576198B2 JP 5576198 B2 JP5576198 B2 JP 5576198B2 JP 2010159632 A JP2010159632 A JP 2010159632A JP 2010159632 A JP2010159632 A JP 2010159632A JP 5576198 B2 JP5576198 B2 JP 5576198B2
- Authority
- JP
- Japan
- Prior art keywords
- congestion
- driver
- degree
- weighting
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 55
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Images
Description
本実施の形態による脇見判定装置10は、例えば図1に示すように、乗員カメラ11と、外界カメラ12と、車両状態センサ13と、処理装置14と、報知装置15とを備えて構成されている。
なお、乗員カメラ11による撮像時に撮像対象(例えば、運転席に着座した運転者の顔など)に可視光線または赤外線などの光を照射可能な乗員撮像用光源が、例えば車室内のインスツルメントパネルにおいて乗員カメラ11から左右にずれた位置などに配置されてもよい。
車両状態センサ13は、例えば、車両の速度(車速)を検出する車速センサと、車体の姿勢や進行方向を検知するジャイロセンサと、ヨーレート(車両重心の上下方向軸回りの回転角速度)を検知するヨーレートセンサとなどを備えて構成され、車両の各種の車両情報(つまり、車速、姿勢、ヨーレートなど)の検出結果の信号を処理装置14に出力する。
外界撮像制御部22は、外界カメラ12による撮像を制御する。
視線方向検知部24は、顔画像取得部23により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置などを用いた所定の視線検知処理により運転者の視線方向を検知する。
領域区分部26は、外界画像取得部25により取得された外界画像において、運転席に着座した運転者の視線方向が正面方向であるときの運転者の視野を複数の領域に区分する。例えば、図2(B)に示す外界画像Pは運転者の視野に相当し、運転者の視野は等しい大きさの9つの領域P1〜P9に区分されている。
混雑度検知部27は、例えば外界画像の複雑さに基づいて車両周辺の混雑度を検知しており、外界画像取得部25により取得された外界画像と、所定の基準画像とのそれぞれから抽出した画像の複雑さに関連する特徴量を比較して、この比較結果に基づき、車両外界の混雑度を算出する。なお、混雑度検知部27は、基準画像の特徴量と外界画像の特徴量との比較結果(例えば、特徴量の差など)と混雑度との所定の対応関係を示すマップなどの混雑度データを記憶しており、この混雑度データに対して、基準画像の特徴量と外界画像の特徴量との比較結果に基づく検索を実行して、車両外界の混雑度を算出する。
また、混雑度検知部27は、例えば図2(D)に示す昼間時用の所定の基準画像S、つまり図2(B)に示す外界画像Pの9つの領域P1〜P9と同じ大きさの9つの領域S1〜S9に区分された所定の基準画像Sに対して、例えば図2(E)に示すように、9つの領域S1〜S9毎に各RGBのカラーの輝度分布の総体に対応するヒストグラムを記憶している。
なお、混雑度検知部27は、所定の基準画像として、車両の走行環境などに応じて切り替え可能な複数の基準画像を記憶していてもよい。
そして、混雑度検知部27は、各領域毎の重み付け後の混雑度に基づき、例えばこれらの混雑度の総和(例えば、図2(H)に示す外界画像Pに対する総和=458)などを算出し、この算出結果を外界画像Pの混雑度として出力する。
この場合、混雑度検知部27は、例えば図3(A)に示すような夜間時の外界画像Pに対して、例えば図3(B)に示すように、9つの領域P1〜P9毎に輝度のヒストグラムを算出する。また、混雑度検知部27は、例えば図3(C)に示すような夜間時用の所定の基準画像Sに対して、例えば図3(D)に示すような9つの領域S1〜S9毎に輝度のヒストグラムを記憶している。
なお、夜間時用の所定の基準画像Sは、照明量が所定量以下の画像であって、例えば図3(C)に示す所定の基準画像Sは、自車両のヘッドライトの照射範囲外における照明量がほぼゼロであって、輝度のヒストグラムにおいて、輝度値がほぼゼロになる画像とされている。
また、重み付け設定部28は、例えば下記表2に示すように、混雑度検知部27から出力される外界画像の混雑度と、脇見判定角θを算出するための混雑度によるスコア(混雑度スコア)Sc(≦1.0)との所定の対応関係を示すデータを記憶している。
なお、脇見判定角θは、例えば、運転席に着座した運転者の視線方向が正面方向であるときにゼロであって、この正面方向から左右にずれた方向が正面方向に対してなす角度とされている。
そして、下記表1,2においては、車速スコアSvは、車速が増大することに伴い、所定の最大値(例えば1.0)から減少傾向に変化するように、混雑度スコアScは、混雑度が増大することに伴い、所定の最大値(例えば1.0)から減少傾向に変化するように設定されている。
なお、所定の脇見判定基準角θ0は、例えば所定の注視安視野(例えば、前方方向Fから左右に30〜45°の角度範囲など)内で設定されており、例えば脇見判定基準角θ0
=45°などである。
なお、重み付け設定部28から出力される脇見判定角θは、車速が増大することに伴い、あるいは、車両周囲の混雑度が増大することに伴い、車速および混雑度に対して設定された重み付けに応じて減少傾向に変化する。これにより、範囲変更部29は、車速が増大することに伴い、あるいは、車両周囲の混雑度が増大することに伴い、判定範囲設定部30により設定される所定範囲を、車速および混雑度に対して設定された重み付けに応じて縮小傾向に変化するように変更する。
一方、例えば範囲変更部29から脇見判定角を変更することを指示する指令が出力されている場合には、重み付け設定部28により算出された脇見判定角θに等しくなるようにして所定の脇見判定角を変更し、この変更後の脇見判定角およびこの変更後の脇見判定角に応じた所定範囲(つまり、非脇見判定範囲)を出力する。
具体的には、脇見判定部31は、運転者の視線方向の角度(例えば、運転席に着座した運転者の正面方向に対して左右方向にずれた視線方向が正面方向に対してなす角度)が脇見判定角よりも大きい状態が所定時間(例えば、2秒など)以上維持された場合には、運転者が脇見をしていると判定し、判定結果の信号を出力する。
一方、運転者の視線方向の角度(例えば、運転席に着座した運転者の正面方向に対して左右方向にずれた視線方向が正面方向に対してなす角度)が脇見判定角以下であれば、運転者が脇見をしていないと判定し、判定結果の信号を出力する。
なお、報知装置15は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装置とを備えて構成されている。
視覚的伝達装置は、例えば表示装置などであって、報知制御部32から入力される制御信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、報知制御部32から入力される制御信号に応じて所定の音や音声などを出力する。
次に、ステップS02においては、車速によるスコア(車速スコア)Svを算出する。
次に、ステップS03においては、外界カメラ12から出力される車両の前方の外界画像を取得する。
次に、ステップS04においては、昼間であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS07に進む。
一方、この判定結果が「YES」の場合には、ステップS05に進む。
次に、ステップS06においては、外界画像と、昼間時用の基準画像とのそれぞれから抽出した画像の複雑さに関連する特徴量(例えば、輝度のヒストグラムなど)を比較して、この比較結果に基づき、車両外界の混雑度(昼間時混雑度)を算出して、後述するステップS09に進む。
次に、ステップS08においては、外界画像と、夜間時用の基準画像とのそれぞれから抽出した画像の複雑さに関連する特徴量(例えば、輝度のヒストグラムなど)を比較して、この比較結果に基づき、車両外界の混雑度(夜間時混雑度)を算出して、後述するステップS09に進む。
次に、ステップS10においては、上記数式(1)により脇見判定角θを算出し、リターンに進む。
この場合、混雑度検知部27は、例えば、外界画像取得部25により順次取得される時系列での外界画像のフレームにおいて、外界画像中の特徴点を抽出し、特徴点の移動の時間変化から、例えば車両の外界の物体の速度と外界カメラ12の速度とに応じた速度場のベクトル集合からなるオプティカルフローを演算する。そして、外界画像中においてオプティカルフローとなる対象点が多いほど混雑度が大きいと判定する。
11 乗員カメラ
12 外界カメラ
13 車両状態センサ(速度検出手段)
24 視線方向検知部(視線方向検出手段)
26 領域区分部(領域区分手段)
27 混雑度検知部(混雑度取得手段)
28 重み付け設定部(重み付け手段)
29 範囲変更部(範囲変更手段)
30 判定範囲設定部(設定手段)
31 脇見判定部(脇見判定手段)
Claims (2)
- 車両の運転席に着座した運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、前記運転者の前方において所定範囲を設定する設定手段と、
前記視線方向検出手段から出力された前記検出結果の前記視線方向が、前記設定手段により設定された前記所定範囲以外の範囲に向かう場合に、前記運転者が脇見状態であると判定する脇見判定手段と、前記車両の速度を検出して検出結果を出力する速度検出手段と、該速度検出手段から出力された前記検出結果の前記速度が増大することに伴い、前記設定手段により設定された前記所定範囲が縮小傾向に変化するように変更する範囲変更手段とを備える脇見判定装置であって、
前記車両の周囲の混雑度を取得する混雑度取得手段と、
前記所定範囲を縮小傾向に変化させるために、前記混雑度取得手段により取得された前記混雑度に応じた重み付けと、前記速度検出手段により検出された前記速度に応じた重み付けとを設定し、前記混雑度に応じた重み付けを、前記速度に応じた重み付けに比べてより大きくするように、前記速度に応じた重み付けを基準とした重み付け係数を前記混雑度に応じた重み付けに設定する重み付け手段とを備え、
前記範囲変更手段は、前記混雑度取得手段により取得された前記混雑度が増大することに伴い、前記設定手段により設定された前記所定範囲を縮小傾向に変化するように変更すると共に、前記重み付け手段により設定された前記重み付けを有する前記速度および前記混雑度に基づいて、前記所定範囲を変更することを特徴とする脇見判定装置。 - 前記運転席に着座した運転者の前記視線方向が正面方向であるときの当該運転者の視野を複数の領域に区分する領域区分手段を備え、
前記混雑度取得手段は、前記領域区分手段により区分された前記複数の領域毎に前記混雑度を取得し、
前記重み付け手段は、前記領域区分手段により区分された前記複数の領域のうち前記運転者の視野の中心に近い領域ほど前記混雑度に対する前記重み付けが大きくなるように設定することを特徴とする請求項1に記載の脇見判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159632A JP5576198B2 (ja) | 2010-07-14 | 2010-07-14 | 脇見判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159632A JP5576198B2 (ja) | 2010-07-14 | 2010-07-14 | 脇見判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012022504A JP2012022504A (ja) | 2012-02-02 |
JP5576198B2 true JP5576198B2 (ja) | 2014-08-20 |
Family
ID=45776749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010159632A Expired - Fee Related JP5576198B2 (ja) | 2010-07-14 | 2010-07-14 | 脇見判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5576198B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6583144B2 (ja) * | 2016-05-30 | 2019-10-02 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
JP2018067198A (ja) | 2016-10-20 | 2018-04-26 | 矢崎総業株式会社 | 走行支援装置 |
JP2019156175A (ja) | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
JP2007172551A (ja) * | 2005-12-26 | 2007-07-05 | Nissan Motor Co Ltd | 運転状況推定装置 |
JP2009176112A (ja) * | 2008-01-25 | 2009-08-06 | Mazda Motor Corp | 乗員の視線検出装置 |
JP2009230506A (ja) * | 2008-03-24 | 2009-10-08 | Pioneer Electronic Corp | 警告装置、警告システム及び警告方法 |
-
2010
- 2010-07-14 JP JP2010159632A patent/JP5576198B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012022504A (ja) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10647201B2 (en) | Drive assist device and drive assist method | |
WO2014208008A1 (ja) | ヘッドアップディスプレイ、及びヘッドアップディスプレイプログラムプロダクト | |
US20150229885A1 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
EP1510849A1 (en) | A virtual display device for use in a vehicle | |
JP2018058544A (ja) | 車載表示制御装置 | |
JP2009244959A (ja) | 運転支援装置、運転支援方法 | |
JP5600256B2 (ja) | 情報表示装置 | |
JP2017170949A (ja) | 車両用表示装置 | |
JP2005247224A (ja) | 車両用表示装置 | |
JP2006338594A (ja) | 歩行者認識装置 | |
CN112052716B (zh) | 识别装置、识别方法及存储介质 | |
EP3457321A1 (en) | Control device for vehicle headlight | |
CN114063295A (zh) | 增强现实图像的动态调整 | |
JP5576198B2 (ja) | 脇見判定装置 | |
JP5481882B2 (ja) | 運転支援情報提供装置 | |
JP2017056909A (ja) | 車両用画像表示装置 | |
EP3892489B1 (en) | Vehicle display device | |
JP2007280203A (ja) | 情報提示装置、自動車、及び情報提示方法 | |
JP4715262B2 (ja) | 車両用視線方向検出装置及び方法 | |
CN111727399A (zh) | 显示系统、移动体以及设计方法 | |
JP4935387B2 (ja) | 情報表示装置 | |
JP5521275B2 (ja) | 車両用表示装置および車両用表示方法 | |
JP2022072972A (ja) | 視線誘導装置 | |
JP5289920B2 (ja) | 車両用警報装置 | |
JP2021146804A (ja) | 情報処理装置、車両及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5576198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |