JP7393739B2 - ドライバ状態推定装置 - Google Patents
ドライバ状態推定装置 Download PDFInfo
- Publication number
- JP7393739B2 JP7393739B2 JP2020044012A JP2020044012A JP7393739B2 JP 7393739 B2 JP7393739 B2 JP 7393739B2 JP 2020044012 A JP2020044012 A JP 2020044012A JP 2020044012 A JP2020044012 A JP 2020044012A JP 7393739 B2 JP7393739 B2 JP 7393739B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- camera
- face
- change
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 40
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 210000004709 eyebrow Anatomy 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000135 prohibitive effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
ドライバが発声したときのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性との少なくとも一方に関するデータを記憶したデータベースと、
ドライバが発声したときに、前記カメラによって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性が前記データベースと合致しないときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ようにしてある。
ドライバに対して発声を促すための問いかけを行う問いかけ手段をさらに有している、ようにしてある(請求項2対応)。この場合、お面で顔面を隠しているか否かの判断のためにドライバが発声する機会を確保すること、特に乗員としてドライバ一人のみの場合に好適である。
ドライバが会話しているときの顔の向きと顔面の表情変化との少なくとも一方のデータを取得して記憶するデータ取得手段と、
をさらに備え、
前記禁止手段は、ドライバが会話しているときのドライバの顔の向きと顔面の表情変化との少なくとも一方が、前記データ取得手段に記憶されているデータと合致しないときにも前記推定手段によるドライバ状態の推定を禁止する、
ようにしてある(請求項3対応)。この場合、ドライバの顔面がお面によって隠されているか否かの判定を別の手法でも行うようにして、ドライバ状態を誤って推定してしまう事態をより確実に防止する上で好ましいものとなる。
前記データベースは、ドライバが発声したときの前記特徴部位全てについての変化量と発声に対する該特徴部位全てについての変化の同調性に関する少なくとも一方のデータとされている、
ようにしてある(請求項4対応)。この場合、判定対象となる特徴部位を複数設定して、ドライバの顔面がお面によって隠されているか否かをより確実に判定する上で好ましいも
のとなる。この一方、複数の特徴部位のうち一部が露出している場合には、この露出している特徴部位に基づいてドライバ状態を推定することが可能となり、ドライバ状態を推定する機会確保の上でも好ましいものとなる。
前記禁止手段は、前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときにも、前記推定手段によるドライバ状態の推定を禁止する、
ようにしてある(請求項5対応)。この場合、顔面の特徴部位として好ましい部位が提供される。そして、複数の特徴部位の全てが検出できないということは、各特徴部位を検出できないようなお面をかぶっていると判断でき、この場合もドライバ状態の推定を禁止して、ドライバ状態を誤って推定してしまう事態をより確実に防止する上で好ましいものとなる。
D:ドライバ
S1:カメラ
K:撮影範囲
1:インストルメントパネル
2:フロントウインドガラス
3:ステアリングハンドル
4:運転席シート
4A:シートクッション
4B:シートバック
4C:ヘッドレスト
10:ディスプレイ
10a:枠体
11:Bピラー
12:シートベルト
Claims (6)
- 運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
ドライバが発声したときのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性との少なくとも一方に関するデータを記憶したデータベースと、
ドライバが発声したときに、前記カメラによって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性が前記データベースと合致しないときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ことを特徴とするドライバ状態推定装置。 - 請求項1において、
ドライバに対して発声を促すための問いかけを行う問いかけ手段をさらに有している、ことを特徴とするドライバ状態推定装置。 - 請求項1または請求項2において、
ドライバが他の乗員と会話しているときの会話音声を検知する音声検知手段と、
ドライバが会話しているときの顔の向きと顔面の表情変化との少なくとも一方のデータを取得して記憶するデータ取得手段と、
をさらに備え、
前記禁止手段は、ドライバが会話しているときのドライバの顔の向きと顔面の表情変化との少なくとも一方が、前記データ取得手段に記憶されているデータと合致しないときにも前記推定手段によるドライバ状態の推定を禁止する、
ことを特徴とするドライバ状態推定装置。 - 請求項1ないし請求項3のいずれか1項において、
前記特徴部位として複数箇所設定され、
前記データベースは、ドライバが発声したときの前記特徴部位全てについての変化量と発声に対する該特徴部位全てについての変化の同調性に関する少なくとも一方のデータとされている、
ことを特徴とするドライバ状態推定装置。 - 請求項1ないし請求項4のいずれか1項において、
前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
前記禁止手段は、前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときにも、前記推定手段によるドライバ状態の推定を禁止する、
ことを特徴とするドライバ状態推定装置。 - 請求項1ないし請求項5のいずれか1項において、
前記カメラが赤外線式カメラとされている、ことを特徴とするドライバ状態推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044012A JP7393739B2 (ja) | 2020-03-13 | 2020-03-13 | ドライバ状態推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044012A JP7393739B2 (ja) | 2020-03-13 | 2020-03-13 | ドライバ状態推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144580A JP2021144580A (ja) | 2021-09-24 |
JP7393739B2 true JP7393739B2 (ja) | 2023-12-07 |
Family
ID=77766826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020044012A Active JP7393739B2 (ja) | 2020-03-13 | 2020-03-13 | ドライバ状態推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7393739B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12039024B2 (en) * | 2020-03-24 | 2024-07-16 | Rakuten, Inc. | Liveness detection using audio-visual inconsistencies |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005259049A (ja) | 2004-03-15 | 2005-09-22 | Omron Corp | 顔面照合装置 |
JP2010097379A (ja) | 2008-10-16 | 2010-04-30 | Denso Corp | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム |
JP2011215942A (ja) | 2010-03-31 | 2011-10-27 | Nec Personal Products Co Ltd | ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム |
JP2019053655A (ja) | 2017-09-19 | 2019-04-04 | トヨタ自動車株式会社 | 自動運転システム |
JP2020006780A (ja) | 2018-07-06 | 2020-01-16 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 |
-
2020
- 2020-03-13 JP JP2020044012A patent/JP7393739B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005259049A (ja) | 2004-03-15 | 2005-09-22 | Omron Corp | 顔面照合装置 |
JP2010097379A (ja) | 2008-10-16 | 2010-04-30 | Denso Corp | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム |
JP2011215942A (ja) | 2010-03-31 | 2011-10-27 | Nec Personal Products Co Ltd | ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム |
JP2019053655A (ja) | 2017-09-19 | 2019-04-04 | トヨタ自動車株式会社 | 自動運転システム |
JP2020006780A (ja) | 2018-07-06 | 2020-01-16 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2021144580A (ja) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
EP3330148B1 (en) | Automatic driving system for vehicles | |
EP1326759B1 (en) | Method and apparatus for improving vehicle operator performance | |
JP6627811B2 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
MX2013009434A (es) | Sistema y método de respuesta al comportamiento del conductor. | |
US20180275652A1 (en) | Driving assistance device | |
US20150125126A1 (en) | Detection system in a vehicle for recording the speaking activity of a vehicle occupant | |
JP2009018625A (ja) | 走行制御装置 | |
WO2018168051A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP6756174B2 (ja) | 車両制御装置 | |
JP7393739B2 (ja) | ドライバ状態推定装置 | |
WO2018168049A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP2022132278A (ja) | 映像制御装置 | |
JP6811743B2 (ja) | 安全運転支援装置 | |
CN117842022A (zh) | 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 | |
JP7441417B2 (ja) | ドライバ状態推定装置 | |
JP6428376B2 (ja) | 情報表示装置 | |
JP7393738B2 (ja) | ドライバ状態推定装置 | |
WO2018168050A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP7276082B2 (ja) | 運転者状態推定装置 | |
JP7095337B2 (ja) | 表示制御装置および表示制御方法 | |
WO2018168048A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
WO2018168046A1 (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
JP7528776B2 (ja) | 脇見判定装置および脇見判定方法 | |
WO2018185910A1 (ja) | 車両制御装置、車両制御方法、及び車両制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7393739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |