JP7322667B2 - 運転者状態推定装置 - Google Patents
運転者状態推定装置 Download PDFInfo
- Publication number
- JP7322667B2 JP7322667B2 JP2019203785A JP2019203785A JP7322667B2 JP 7322667 B2 JP7322667 B2 JP 7322667B2 JP 2019203785 A JP2019203785 A JP 2019203785A JP 2019203785 A JP2019203785 A JP 2019203785A JP 7322667 B2 JP7322667 B2 JP 7322667B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- line
- sight
- attraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
メラと、前記カメラにより撮影された画像に対して画像処理を行って、画像データを出力する画像処理部と、前記画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、前記誘目度算出部は、前記車両の走行時に前記運転者の視界領域に入る車両構成部材を考慮して誘目度を算出し、さらに前記誘目度算出部は、前記運転者の前記視界領域における前記車両構成部材の近傍領域において、当該近傍領域と前記車両構成部材との色差及び輝度差の少なくとも一方が大きいときには、前記色差及び輝度差の少なくとも一方が小さいときと比較して、前記近傍領域の誘目度を高くするという構成とした。
また、車両構成部材と該車両構成部材の近傍領域との色差や輝度差が大きいと、当該近傍領域は他の領域よりも目立つため、誘目度が高くなる。このため、前述の構成によると、運転者の視界領域における誘目度を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。
本実施形態に係る車両は、運転者の視線移動に基づいて、該運転者の状態を推定する機能を有している。図3は、運転者状態推定装置20の構成を示す。運転者状態推定装置20は、実際に運転者状態を推定するための推定部54を有するコントローラ50を有する。このコントローラ50は、周知のマイクロコンピュータをベースとするコントローラであって、プログラムを実行する中央演算処理装置(Central Processing Unit:CPU)と、例えばRAM(Random Access Memory)やROM(Read Only Memory)により構成されてプログラム及びデータを格納するメモリと、電気信号の入出力をする入出力バスと、を備えている。
次に、画像処理部52による画像処理について説明する。画像処理部52は、例えば、カメラ100の撮影した画像D1に対して、画像D1を構成する素子のうち誘目度算出部53での処理(サリエンシーの算出)に不要な画素を削除する処理を行う。また、画像処理部52は、カメラ100で撮影された車両前側の外部環境を示す画像D1に対して、別の画像を合成して合成画像を生成する処理を行う。
誘目度算出部53は、合成画像の画像データD2に対してサリエンシーを算出して、誘目度マップ(ここでは、サリエンシーマップ)を生成する。具体的には、誘目度算出部53は、画像データD2のうち外部環境を表す部分、すなわち、画像処理部52で合成した画像以外の部分についてサリエンシーを算出する。このとき、誘目度算出部53は、画像処理部52で合成した画像の部分(車両構成部材の部分)については、サリエンシー自体は算出しないものの、画像データD2のうち外部環境を表す部分のサリエンシーの算出には利用する。つまり、誘目度算出部53は、車両の走行時に運転者の視界領域に入る車両構成部材を考慮して誘目度を算出する。
(色差)={(R2-R1)2+(G2-G1)2+(B2-B1)2}1/2
誘目度算出部53は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。
次に視線頻度の算出について図8~図10を参照しながら説明する。尚、本実施形態では、視線頻度の算出は推定部54が行う。
次に、推定部54により運転者状態を推定する処理動作を図10のフローチャートに基づいて説明する。
3 ルーフトリム
4 インストルメントパネル
20 運転者状態推定装置
50 コントローラ
51 視線算出部(視線検知装置)
52 画像処理部
53 誘目度算出部
54 推定部
100 カメラ
101 車室内カメラ(視線検知装置)
D1 画像
D2 画像データ
D3 誘目度マップ
Claims (5)
- 車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置であって、
前記運転者の視線方向を検知する視線検知装置と、
前記車両に搭載され、車両前側の外部環境を撮影するカメラと、
前記カメラにより撮影された画像に対して画像処理を行って、画像データを出力する画像処理部と、
前記画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、
前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、
前記誘目度算出部は、前記車両の走行時に前記運転者の視界領域に入る車両構成部材を考慮して誘目度を算出し、
さらに前記誘目度算出部は、前記運転者の前記視界領域における前記車両構成部材の近傍領域において、当該近傍領域と前記車両構成部材との色差及び輝度差の少なくとも一方が大きいときには、前記色差及び輝度差の少なくとも一方が小さいときと比較して、前記近傍領域の誘目度を高くすることを特徴とする運転者状態推定装置。 - 請求項1に記載の運転者状態推定装置において、
前記画像処理部の前記画像処理は、前記カメラにより撮影された画像に対して、前記車両構成部材を示す画像を合成して合成画像を生成する処理を含み、
前記誘目度算出部は、前記合成画像に基づく画像データに基づいて誘目度を算出することを特徴とする運転者状態推定装置。 - 請求項1又は2に記載の運転者状態推定装置において、
前記推定部は、前記視線検知装置により検知される前記運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度に基づいて、前記運転者の状態を推定することを特徴とする運転者状態推定装置。 - 請求項3に記載の運転者状態推定装置において、
前記推定部は、前記視線頻度が所定頻度以上であるときに、前記運転者に異常が生じていると推定することを特徴とする運転者状態推定装置。 - 請求項1~4のいずれか1つに記載の運転者状態推定装置において、
前記車両構成部材は、ルーフトリム、インストルメントパネル、及びフロントピラートリムを含むことを特徴とする運転者状態推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203785A JP7322667B2 (ja) | 2019-11-11 | 2019-11-11 | 運転者状態推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203785A JP7322667B2 (ja) | 2019-11-11 | 2019-11-11 | 運転者状態推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021077138A JP2021077138A (ja) | 2021-05-20 |
JP7322667B2 true JP7322667B2 (ja) | 2023-08-08 |
Family
ID=75897973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019203785A Active JP7322667B2 (ja) | 2019-11-11 | 2019-11-11 | 運転者状態推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7322667B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011148455A1 (ja) | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
JP5966640B2 (ja) | 2012-06-08 | 2016-08-10 | 株式会社豊田中央研究所 | 漫然運転検出装置及びプログラム |
JP2017505733A (ja) | 2014-01-15 | 2017-02-23 | 国防科学技術大学 | 運転者の安全運転状態を検知する方法及び装置 |
-
2019
- 2019-11-11 JP JP2019203785A patent/JP7322667B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011148455A1 (ja) | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
JP5966640B2 (ja) | 2012-06-08 | 2016-08-10 | 株式会社豊田中央研究所 | 漫然運転検出装置及びプログラム |
JP2017505733A (ja) | 2014-01-15 | 2017-02-23 | 国防科学技術大学 | 運転者の安全運転状態を検知する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021077138A (ja) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4872245B2 (ja) | 歩行者認識装置 | |
US10926773B2 (en) | Systems and methods for mitigating motion sickness in a vehicle | |
US20150009010A1 (en) | Vehicle vision system with driver detection | |
US20150350510A1 (en) | Camera capable of reducing motion blur in a low luminance environment and vehicle including the same | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
US20180304806A1 (en) | Driver state sensing system, driver state sensing method, and vehicle including the same | |
JP6512475B2 (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
WO2010061272A1 (en) | Vehicle display device and display method | |
JP2004030212A (ja) | 車両用情報提供装置 | |
US20150124097A1 (en) | Optical reproduction and detection system in a vehicle | |
JP7226197B2 (ja) | 車両制御装置 | |
EP3868622B1 (en) | Driver state estimation device and movable body | |
EP3868621B1 (en) | Driver state estimation device and movable body | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7322667B2 (ja) | 運転者状態推定装置 | |
JP5223289B2 (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
JP7276083B2 (ja) | 運転者状態推定装置 | |
CN116572846A (zh) | 一种车载电子后视镜的显示方法、系统及存储介质 | |
JP7342635B2 (ja) | 運転者状態推定装置および運転者状態推定方法 | |
JP7276082B2 (ja) | 運転者状態推定装置 | |
TWI790738B (zh) | 用於防止動暈之圖像顯示系統及圖像顯示方法 | |
JP2000194997A (ja) | 車両の障害物警報装置 | |
US10945651B2 (en) | Arousal level determination device | |
CN109155839B (zh) | 电子镜控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7322667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |