JP7081844B2 - 検出システム - Google Patents
検出システム Download PDFInfo
- Publication number
- JP7081844B2 JP7081844B2 JP2020188061A JP2020188061A JP7081844B2 JP 7081844 B2 JP7081844 B2 JP 7081844B2 JP 2020188061 A JP2020188061 A JP 2020188061A JP 2020188061 A JP2020188061 A JP 2020188061A JP 7081844 B2 JP7081844 B2 JP 7081844B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- alarm
- detection system
- face
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
[1.第1実施形態]
[1-1.構成]
図1A及び図1Bに示す検出システム1は、車両内に配置される車載器の一種である。検出システム1は、撮影部2と、処理部3とを備える。
撮影部2は、車両内を撮影するように構成されている。撮影部2は、公知のカメラで構成される。撮影部2は、少なくとも運転中の運転手の顔を含む画像を取得可能な位置及び姿勢で車両内に配置される。
処理部3は、撮影部2が撮影した撮影画像に基づいて運転手の状態判定等の処理を行うように構成されている。
検出部31は、撮影部2が撮影した撮影画像から人物の顔を検出するように構成されている。
記憶部32は、検出部31が検出した運転手の顔を基準顔として記憶するように構成されている。
運転手判定部33は、基準顔に基づいて、撮影部2が撮影した撮影画像から検出部31が検出した判定対象人物の顔が、運転手の顔であるかどうかを判定する。
警報判定部34は、撮影画像に基づいて運転手への警報の必要を判定するように構成されている。なお、警報判定部34は、運転手判定部33が判定対象人物を運転手と判定しなかった場合には、以下の危険状態の判定は行わない。
事前処理では、警報判定部34は、顔の検出が一定時間成功し、かつ顔の検出精度が一定値以上である場合に、危険状態の判定(つまり第1処理、第2処理及び第3処理)が実行可能な状態であると判定する。
警報判定部34が第1処理で判定する危険状態には、閉眼状態と、疲れ状態とが含まれる。
「車両の速度」は、閉眼条件で使用されるパラメータと同じである。第10閾値は、閉眼条件の第5閾値と同じであり、例えば30km/hである。
第2処理は、運転手が目を細めている(又は閉じている)笑顔状態が、閉眼状態又は疲れ状態と誤判定されることを回避するために実行される。
警報判定部34が第3処理で判定する危険状態には、脇見状態と、携帯端末利用状態と、喫煙状態とが含まれる。これらの危険状態の判定は、第2処理によってキャンセルされない。
「車両の速度」は、閉眼条件で使用されるパラメータと同じである。第23閾値は、閉眼条件の第5閾値と同じであり、例えば30km/hである。
警報出力部35は、運転手判定部33により判定対象人物が運転手と判定され、かつ、警報判定部34により警報が必要と判定された場合(つまり危険状態が判定された場合)に警報信号を出力するように構成されている。
以下、図6のフロー図を参照しつつ、検出システム1が実行する処理の一例について説明する。
図7に示すキャリブレーション処理では、検出システム1は、まず車両内の画像を撮影する(ステップS210)。
図8に示す運転手判定処理では、検出システム1は、まず撮影部2の撮影画像から顔を検出する(ステップS310)。
図9に示す警報判定処理では、検出システム1は、まず撮影部2の撮影画像から顔を検出する(ステップS410)。
状態判定処理は、閉眼状態を判定するイベント(図10)と、疲れ状態を判定するイベント(図11)と、脇見状態を判定するイベント(図12)と、携帯端末利用状態を判定するイベント(図13)と、喫煙状態を判定するイベント(図14)とを含む。これらのイベントは並列して行われる。
以上詳述した実施形態によれば、以下の効果が得られる。
(1a)運転手判定部33によって、最初に記憶した基準顔に対する大きさの比及び中心座標のずれによって、判定対象人物の顔の前後方向(つまり奥行方向)及び左右方向における位置が判定できる。つまり、検出された顔の位置が想定範囲内である場合に、判定対象人物が運転手と判定できる。そのため、運転手を正しく認識した状態で、運転手の監視を行うことができる。
(1e)疲労状態の判定により、運転手が疲労している状態に対して的確に警報を通知できる。
(1g)携帯端末利用状態の判定により、運転手が携帯端末を利用しながら運転している状態に対して警報を通知できる。
(1i)警報信号が出力されてから一定時間経過するまで新たな警報信号が出力されないことで、一度警報を通知した危険状態に対して、重ねて警報が通知されることを抑制できる。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
20…警報装置、30…外部記憶装置、31…検出部、32…記憶部、
33…運転手判定部、34…警報判定部、35…警報出力部。
Claims (10)
- 車両内を撮影するように構成された撮影部と、
前記撮影部が撮影した撮影画像から人物の顔を検出するように構成された検出部と、
前記検出部が検出した一人の運転状態の人物の顔を、検出された顔のパーツを含む基準顔として記憶するように構成された記憶部と、
前記基準顔の大きさに対する、前記検出部が前記基準顔の記憶後に検出した判定対象人物の顔の大きさの比が閾値以上であり、かつ、前記判定対象人物の顔の中心座標と前記基準顔の中心座標との距離が前記基準顔の幅以内のときに、前記判定対象人物を前記基準顔に対応した運転手と判定するように構成された運転手判定部と、
前記撮影画像に基づいて前記運転手への警報の必要を判定するように構成された警報判定部と、
前記運転手判定部により前記判定対象人物が前記運転手と判定され、かつ、前記警報判定部により前記警報が必要と判定された場合に警報信号を出力するように構成された警報出力部と、
を備え、
前記警報判定部は、前記基準顔の方向と前記撮影画像における前記運転手の顔の方向とが成す角度に基づいて前記警報が必要な危険状態を判定する、検出システム。 - 請求項1に記載の検出システムであって、
前記警報判定部は、
前記撮影画像における少なくとも前記運転手の目の状態に基づいて前記危険状態を判定する第1処理と、
前記撮影画像における前記運転手の口の変形量が閾値以上の場合に前記警報が不要な非危険状態であると判定し、かつ、前記非危険状態であると判定した場合に前記第1処理を一定時間キャンセルする第2処理と、
を実行する、検出システム。 - 請求項2に記載の検出システムであって、
前記警報判定部は、前記第1処理において、前記撮影画像における前記運転手の目の最大上下幅が閾値以下である状態が一定時間継続し、前記撮影画像における前記角度が閾値以下であり、かつ、前記車両の速度が閾値以上である場合に、前記危険状態であると判定する、検出システム。 - 請求項2又は請求項3に記載の検出システムであって、
前記警報判定部は、前記第1処理において、前記撮影画像における前記運転手の目の最大上下幅が閾値以下である状態が一定時間継続し、前記撮影画像における前記運転手の唇で囲まれた面積が閾値以上であり、前記撮影画像における前記角度が閾値以下であり、かつ、前記車両の速度が閾値以上であると共に前記警報判定部の起動から一定時間が経過している場合に、前記危険状態であると判定する、検出システム。 - 請求項1から請求項4のいずれか1項に記載の検出システムであって、
前記警報判定部は、前記撮影画像における前記角度が閾値以上である状態が一定時間継続し、かつ、前記車両の速度が閾値以上及び横方向の加速度が閾値以下であると共に前記車両のブレーキ、ウィンカー及びリバースギアのいずれもが機能していない場合に、前記危険状態であると判定する、検出システム。 - 請求項1から請求項5のいずれか1項に記載の検出システムであって、
前記警報判定部は、前記撮影画像における前記運転手の顔及び手の位置に基づいて、前記危険状態を判定する、検出システム。 - 請求項6に記載の検出システムであって、
前記警報判定部は、前記撮影画像において前記運転手が携帯端末を利用していると判定した場合、前記危険状態であると判定する、検出システム。 - 請求項6又は請求項7に記載の検出システムであって、
前記警報判定部は、前記撮影画像において前記運転手が喫煙していると判定した場合、前記危険状態であると判定する、検出システム。 - 請求項1から請求項8のいずれか1項に記載の検出システムであって、
前記警報出力部は、前記警報信号を出力した後、一定時間経過するまでは新たな前記警報信号を出力しない、検出システム。 - 請求項1から請求項9のいずれか1項に記載の検出システムであって、
前記警報判定部は、前記角度と、前記運転手の目の最大上下幅とに基づいて前記危険状態を判定する、検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188061A JP7081844B2 (ja) | 2020-11-11 | 2020-11-11 | 検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188061A JP7081844B2 (ja) | 2020-11-11 | 2020-11-11 | 検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022077281A JP2022077281A (ja) | 2022-05-23 |
JP7081844B2 true JP7081844B2 (ja) | 2022-06-07 |
Family
ID=81653967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020188061A Active JP7081844B2 (ja) | 2020-11-11 | 2020-11-11 | 検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7081844B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024080952A (ja) * | 2022-12-05 | 2024-06-17 | 矢崎総業株式会社 | 運転者監視装置および監視プログラム |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108033A (ja) | 2003-09-30 | 2005-04-21 | Toshiba Corp | 運転者状況判定装置および運転者状況判定方法 |
JP2008084141A (ja) | 2006-09-28 | 2008-04-10 | Takata Corp | 乗員検出システム、警報システム、制動システム、車両 |
JP2008204107A (ja) | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
JP2008226163A (ja) | 2007-03-15 | 2008-09-25 | Honda Motor Co Ltd | 車両の安全装置 |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
JP2009015519A (ja) | 2007-07-03 | 2009-01-22 | Omron Corp | 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム |
JP2010009093A (ja) | 2008-06-24 | 2010-01-14 | Toyota Motor Corp | 人物状態判定装置 |
JP2010217980A (ja) | 2009-03-13 | 2010-09-30 | Omron Corp | 情報処理装置及び方法、並びにプログラム |
US20120161954A1 (en) | 2010-12-28 | 2012-06-28 | Automotive Research & Testing Center | Method and system for detecting a driving state of a driver in a vehicle |
JP2013156707A (ja) | 2012-01-26 | 2013-08-15 | Nissan Motor Co Ltd | 運転支援装置 |
JP2014027408A (ja) | 2012-07-25 | 2014-02-06 | Denso Corp | 状態監視装置 |
JP2015118287A (ja) | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 顔画像撮影装置、および運転者状態判定装置 |
JP2017157196A (ja) | 2016-02-29 | 2017-09-07 | 株式会社デンソー | 運転者監視システム |
JP2019137175A (ja) | 2018-02-08 | 2019-08-22 | 株式会社Subaru | 車両の制御装置及び車両の制御方法 |
JP2019171903A (ja) | 2018-03-27 | 2019-10-10 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
JP2019185557A (ja) | 2018-04-13 | 2019-10-24 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
JP2020157938A (ja) | 2019-03-27 | 2020-10-01 | 三菱電機株式会社 | 車載監視制御装置 |
JP2020162873A (ja) | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈波検出装置、及び脈波検出プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08249454A (ja) * | 1995-03-07 | 1996-09-27 | Nissan Motor Co Ltd | 車両運転者のわき見検出装置 |
JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
JPH11189066A (ja) * | 1997-12-25 | 1999-07-13 | Nippon Soken Inc | 車両用警報装置 |
-
2020
- 2020-11-11 JP JP2020188061A patent/JP7081844B2/ja active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108033A (ja) | 2003-09-30 | 2005-04-21 | Toshiba Corp | 運転者状況判定装置および運転者状況判定方法 |
JP2008084141A (ja) | 2006-09-28 | 2008-04-10 | Takata Corp | 乗員検出システム、警報システム、制動システム、車両 |
JP2008204107A (ja) | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
JP2008226163A (ja) | 2007-03-15 | 2008-09-25 | Honda Motor Co Ltd | 車両の安全装置 |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
JP2009015519A (ja) | 2007-07-03 | 2009-01-22 | Omron Corp | 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム |
JP2010009093A (ja) | 2008-06-24 | 2010-01-14 | Toyota Motor Corp | 人物状態判定装置 |
JP2010217980A (ja) | 2009-03-13 | 2010-09-30 | Omron Corp | 情報処理装置及び方法、並びにプログラム |
US20120161954A1 (en) | 2010-12-28 | 2012-06-28 | Automotive Research & Testing Center | Method and system for detecting a driving state of a driver in a vehicle |
JP2013156707A (ja) | 2012-01-26 | 2013-08-15 | Nissan Motor Co Ltd | 運転支援装置 |
JP2014027408A (ja) | 2012-07-25 | 2014-02-06 | Denso Corp | 状態監視装置 |
JP2015118287A (ja) | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 顔画像撮影装置、および運転者状態判定装置 |
JP2017157196A (ja) | 2016-02-29 | 2017-09-07 | 株式会社デンソー | 運転者監視システム |
JP2019137175A (ja) | 2018-02-08 | 2019-08-22 | 株式会社Subaru | 車両の制御装置及び車両の制御方法 |
JP2019171903A (ja) | 2018-03-27 | 2019-10-10 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
JP2019185557A (ja) | 2018-04-13 | 2019-10-24 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
JP2020157938A (ja) | 2019-03-27 | 2020-10-01 | 三菱電機株式会社 | 車載監視制御装置 |
JP2020162873A (ja) | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈波検出装置、及び脈波検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022077281A (ja) | 2022-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10089543B2 (en) | System and method for detecting distraction and a downward vertical head pose in a vehicle | |
CN108394414B (zh) | 清醒度判定系统以及清醒度判定方法 | |
EP3809227B1 (en) | Driving assistance apparatus and driving assistance method | |
JP4702100B2 (ja) | 居眠り判定装置および居眠り運転警告装置 | |
US20090268022A1 (en) | Wakefulness level estimation apparatus | |
JP7290930B2 (ja) | 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム | |
JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
US20160262682A1 (en) | Driver monitoring apparatus | |
JP7047821B2 (ja) | 運転支援装置 | |
US10899356B2 (en) | Drowsiness prevention device, drowsiness prevention method, and recording medium | |
JP2005199814A (ja) | 車載アプリケーション選択システム及び車載アプリケーション選択装置 | |
JP6256433B2 (ja) | 運転者状態検出装置 | |
KR20160112213A (ko) | 차량, 및 차량의 제어방법 | |
JP7081844B2 (ja) | 検出システム | |
JP2008305190A (ja) | 居眠り警告装置及び自動車 | |
JP4173083B2 (ja) | 覚醒状態判定装置及び覚醒状態判定方法 | |
WO2020013035A1 (ja) | 異常判定装置 | |
JP3898586B2 (ja) | 開閉眼モニタ装置 | |
US10945651B2 (en) | Arousal level determination device | |
JP2022077282A (ja) | 警報システム | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
JP7298351B2 (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム | |
JP7192668B2 (ja) | 覚醒度判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201111 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201111 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201116 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7081844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |