JP7392536B2 - 画像記憶制御装置及び画像記憶制御方法 - Google Patents

画像記憶制御装置及び画像記憶制御方法 Download PDF

Info

Publication number
JP7392536B2
JP7392536B2 JP2020048576A JP2020048576A JP7392536B2 JP 7392536 B2 JP7392536 B2 JP 7392536B2 JP 2020048576 A JP2020048576 A JP 2020048576A JP 2020048576 A JP2020048576 A JP 2020048576A JP 7392536 B2 JP7392536 B2 JP 7392536B2
Authority
JP
Japan
Prior art keywords
state
driver
determination
unsafe
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020048576A
Other languages
English (en)
Other versions
JP2021149488A (ja
Inventor
隆太 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2020048576A priority Critical patent/JP7392536B2/ja
Publication of JP2021149488A publication Critical patent/JP2021149488A/ja
Application granted granted Critical
Publication of JP7392536B2 publication Critical patent/JP7392536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、ドライバの状態を示す画像を記憶する技術に関する。
特許文献1には、ドライバの心拍数などの生理データに基づいて、ドライバが異常状態であると判定された後に、ドライバの顔を撮像する技術が開示されている。
特開2002-74599号公報
上記の技術では、異常状態であると判定してから、ドライバの顔を撮像するまでの間にドライバの状態が変化することがあり、顔画像におけるドライバの状態が異常状態でない場合があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、ドライバの状態が不安全状態である撮像画像を記憶する技術を提供することを目的とする。
本発明の第1の態様においては、車両のドライバの顔の状態を示す状態データを検出装置から順次取得する状態データ取得部と、前記状態データ取得部が取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定する第1判定部と、前記ドライバが前記不安全状態であると前記第1判定部が判定した後に撮像された前記ドライバの顔を含む撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像に含まれる前記ドライバの状態が、前記第1判定部が判定した前記不安全状態と同じ状態であるか否かを判定する第2判定部と、前記不安全状態と同じ状態であると前記第2判定部が判定した場合、前記第2判定部が判定した対象の前記撮像画像を記憶部に記憶させる記憶制御部と、を備える画像記憶制御装置を提供する。
例えば、前記記憶制御部は、前記不安全状態であると前記第1判定部が判定したことを示す判定情報を、前記第2判定部が判定した対象の前記撮像画像に関連付けて前記記憶部に記憶させる。
例えば、前記第1判定部は、複数の前記状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定し、前記記憶制御部は、当該判定条件に対応する不安全状態であると前記第1判定部が判定したことを示す前記判定情報を、前記撮像画像に関連付けて前記記憶部に記憶させる。
例えば、前記記憶制御部は、前記撮像画像を外部装置に送信することにより、前記外部装置の記憶部に記憶させる。
例えば、前記状態データ取得部は、前記状態データとして前記ドライバの開眼度を取得し、前記第1判定部は、前記開眼度が第1判定閾値よりも小さい場合、前記ドライバが前記不安全状態であると判定し、前記第2判定部は、前記撮像画像中の前記ドライバの開眼度が、第1判定閾値よりも大きい第2判定閾値よりも小さい場合、前記第1判定部が判定した前記不安全状態と同じ不安全状態であると判定する。
本発明の第2の態様においては、コンピュータのプロセッサが、車両のドライバの顔の状態を示す状態データを検出装置から順次取得するステップと、取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定するステップと、前記ドライバが前記不安全状態であると判定した後に撮像された前記ドライバの顔を含む撮像画像を取得するステップと、取得した前記撮像画像に含まれる前記ドライバの状態が、前記不安全状態と同じ状態であるか否かを判定するステップと、前記不安全状態と同じ状態であると判定した場合、判定した対象の前記撮像画像を記憶部に記憶させるステップと、を実行する画像記憶制御方法を提供する。
本発明によれば、ドライバの状態が不安全状態である撮像画像を記憶できるという効果を奏する。
実施の形態に係る画像記憶制御システムの構成を模式的に示す図である。 撮像画像を記憶させる処理を説明するための図である。 撮像画像を記憶させない場合を説明するための図である。 第2判定部が第1判定閾値よりも大きい第2判定閾値で開眼度を判定する場合を説明するための図である。 撮像画像を記憶する処理の流れの一例を示すフローチャートである。
[実施の形態に係る画像記憶制御システムSの構成]
図1は、実施の形態に係る画像記憶制御システムSの構成を示す図である。画像記憶制御システムSは、画像記憶制御装置1と、撮像装置2と、検出装置3と、外部装置4とを備える。画像記憶制御装置1と撮像装置2と検出装置3とは、車両に搭載される。
撮像装置2は、撮像装置2が搭載される車両のドライバの顔を撮像する。具体的には、撮像装置2は、車両の運転席を含む撮像領域を撮像し、ドライバの顔を含む撮像画像を生成する。撮像装置2は、生成した撮像画像を検出装置3に出力する。撮像装置2は、検出装置3に撮像画像を出力すると、出力した撮像画像を削除する。
検出装置3は、車両のドライバの顔の状態を示す状態データを検出する。例えば、検出装置3は、撮像装置2から取得したドライバの顔を含む撮像画像を解析することにより状態データを検出する。例えば、検出装置3は、状態データとして目の開き具合を示す開眼度を検出することができる。また、検出装置3は、基準方向である車両の進行方向前方に対するドライバの顔の向きを示す顔向き角度を検出できる。検出装置3は、検出した状態データを画像記憶制御装置1に送信する。
画像記憶制御装置1は、車両のドライバの顔の状態に基づいてドライバの状態を判定する。画像記憶制御装置1は、ドライバの状態が不安全状態であるか否かを判定する。不安全状態は、ドライバが居眠りや脇見などをして安全に運転できない状態である。画像記憶制御装置1は、ドライバが不安全状態であると判定した場合、不安全状態であるドライバを撮像した撮像画像を記憶する。そして、画像記憶制御装置1は、ドライバの状態が不安全状態である撮像画像を外部装置4に送信する。
外部装置4は、画像記憶制御装置1と通信可能に接続される、例えばサーバである。外部装置4は、車両を運転するドライバを管理する管理者により運用されている。外部装置4は、ドライバの状態が不安全状態である撮像画像を画像記憶制御装置1から受信する。外部装置4は、ドライバの状態が不安全状態である撮像画像を記憶部41に記憶する。外部装置4を運用する管理者は、ドライバの状態が不安全状態である撮像画像を確認しながら、車両のドライバの安全運転指導を行う。このように、管理者は、不安全状態であった証拠となる撮像画像を確認しながらドライバを指導することができる。
[画像記憶制御装置1の構成]
画像記憶制御装置1は、通信部10と、記憶部11と、制御部12とを備える。通信部10は、外部装置4と情報を送受信するための無線通信モジュールである。無線通信の規格は、例えば、LTE(Long Term Evolution)である。
記憶部11は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等を含む記憶媒体である。記憶部11は、制御部12が実行するプログラムを記憶する。
制御部12は、例えばCPU(Central Processing Unit)等のプロセッサを含む計算リソースである。制御部12は、記憶部11に記憶されたプログラムを実行することにより、状態データ取得部121、第1判定部122、指示出力部123、画像取得部124、第2判定部125及び記憶制御部126としての機能を実現する。以下、図2を参照しながら説明する。図2は、撮像画像を記憶させる処理を説明するための図である。
状態データ取得部121は、状態データを検出装置3から順次取得する。例えば、状態データ取得部121は、状態データとしてドライバの開眼度を取得する。ここでは、状態データ取得部121は、所定期間に0%の開眼度を複数取得したものとする。また、状態データ取得部121が所定期間に取得した複数の開眼度の平均値又は最頻値は、0%であるとして説明する。図2の左端に示すドライバの状態は、0%の開眼度に対応するドライバの状態である。
第1判定部122は、状態データ取得部121が所定期間に取得した複数の状態データに基づいて、ドライバが不安全状態であるか否かを判定する。例えば、第1判定部122は、所定期間中の複数の状態データが、不安全状態に対応する判定条件を満たすか否かに基づいてドライバが不安全状態であるか否かを判定する。例えば、第1判定部122は、所定期間中の複数の状態データの平均値又は最頻値が、判定条件を満たす場合、ドライバが不安全状態であると判定する。また、第1判定部122は、状態データ取得部121が順次取得する状態データが、判定条件を継続的に満たす場合に、ドライバが不安全状態であると判定してもよい。
例えば、第1判定部122は、複数の状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定する。複数の不安全状態は、例えば、居眠りをしている居眠り状態、又は脇見をしている脇見状態である。以下、不安全状態として、開眼度に基づいて居眠りをしている不安全状態か否かを判定する場合について説明する。
第1判定部122は、ドライバの開眼度が判定閾値よりも小さい場合、ドライバが居眠りをしている不安全状態であると判定する(図2の表の左から2番目)。より具体的には、第1判定部122は、開眼度が判定閾値よりも小さい状態が所定時間継続した場合、ドライバが居眠りをしている不安全状態であると判定する。判定閾値の具体的な値は、例えば20%である。所定時間の具体的な値は、居眠りをしているとみなせる時間として適宜設定すればよく、例えば3秒である。
指示出力部123は、ドライバが不安全状態であると第1判定部122が判定したことを契機として、撮像装置2に撮像画像を生成する指示を出力する。この場合、撮像装置2は、指示出力部123から指示を受信すると撮像画像を生成し、生成した撮像画像を画像記憶制御装置1に出力する。
第1判定部122が不安全状態であると判定してから撮像装置2が撮像画像を生成するまでには、時間的なずれが生じる。そのため、不安全状態であると判定してから撮像画像を生成するまでに、ドライバの状態が、不安全状態から、安全に車両を運転できる正常状態に変化してしまうことがある。つまり、第1判定部122の判定後に生成された撮像画像中のドライバの状態は、第1判定部122が判定したときの状態と異なる場合がある。そこで、画像記憶制御装置1は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態である場合に撮像画像を記憶させ、同じ不安全状態でない場合、撮像画像を記憶させない。以下、撮像装置2が生成した撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態であるか否かを判定する処理について説明する。
まず、画像取得部124は、撮像装置2が生成した撮像画像を取得する。具体的には、画像取得部124は、ドライバが不安全状態であると第1判定部122が判定した後に撮像されたドライバの顔を含む撮像画像を取得する。より具体的には、画像取得部124は、撮像装置2が指示出力部123から指示を受信したことを契機として生成した撮像画像を取得する。図2の表の左から3番目は、画像取得部124が取得した、判定後に撮像された撮像画像である。
次に、第2判定部125は、画像取得部124が取得した撮像画像を解析することにより、撮像画像に含まれるドライバの顔の状態を検出する。具体的には、第2判定部125は、顔の状態として開眼度を検出する。図2において、第2判定部125は、開眼度を0%と検出する(図2の表の左から4番目)。
続いて、第2判定部125は、撮像画像中のドライバの状態が、不安全状態であるか否かを判定する。例えば、第2判定部125は、検出した顔の状態が、複数の不安全状態の各々に対応する判定条件を満たすか否かを判定することにより、ドライバが不安全状態であるか否かを判定する。具体的には、第2判定部125は、検出した開眼度が判定閾値よりも小さいか否かを判定することにより、ドライバが居眠りをしている不安全状態であるか否かを判定する。第2判定部125は、検出した開眼度(0%)が判定閾値(20%)よりも小さいので、撮像画像中のドライバの状態が居眠りをしている不安全状態であると判定する(図2の表の左から5番目)。
第2判定部125は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ状態であるか否かを判定する。具体的には、第2判定部125は、第1判定部122が判定した不安全状態と、撮像画像中のドライバの不安全状態とが同じ不安全状態であるか否かを判定する。例えば、第2判定部125は、第1判定部122が居眠りをしている不安全状態であると判定した場合、撮像画像中のドライバが居眠りをしている不安全状態であるとき、撮像画像中のドライバが、第1判定部122が判定した不安全状態と同じ不安全状態であると判定する。
記憶制御部126は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態であると第2判定部125が判定した場合、第2判定部125が判定した対象の撮像画像を記憶部11に記憶させる(図2の表の左から6番目)。第2判定部125が判定した対象の撮像画像は、図2における「判定後に撮像された撮像画像」である。このようにすることで、画像記憶制御装置1は、ドライバの状態が不安全状態である撮像画像を記憶させることができる。
また、記憶制御部126は、不安全状態であると第1判定部122が判定したことを示す判定情報を、第2判定部125が判定した対象の撮像画像に関連付けて記憶させてもよい。具体的には、記憶制御部126は、複数の不安全状態の各々に対応する判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて記憶させる。より具体的には、記憶制御部126は、開眼度が判定閾値よりも小さい場合、居眠りをしている不安全状態であると判定したことを示す判定情報を撮像画像に関連付けて記憶させる。
以上、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態である場合に、画像記憶制御装置1が撮像画像を記憶させる処理について説明した。以下、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ状態でない場合に、画像記憶制御装置1が撮像画像を記憶させない処理について説明する。
図3は、撮像画像を記憶させない場合を説明するための図である。図3において、状態データ取得部121は、所定期間に0%の開眼度を複数取得したものとする。また、状態データ取得部121が所定期間に取得した複数の開眼度の平均値又は最頻値は、0%であるとして説明する。図3の左端に示すドライバの状態は、0%の開眼度に対応するドライバの状態である。第1判定部122は、ドライバの状態を「不安全状態(居眠り)」と判定する(図3の表の左から2番目)。
図3の表の左から3番目は、判定後に撮像された撮像画像である。第2判定部125は、判定後に撮像された撮像画像を解析することにより、開眼度を100%と検出する(図3の表の左から4番目)。第2判定部125は、検出した開眼度(100%)が判定閾値(20%)よりも大きいので、撮像画像中のドライバの状態が、車両を安全に運転できる正常状態であると判定する(図3の表の左から5番目)。続いて、第2判定部125は、撮像画像中のドライバが正常状態であるので、第1判定部122が判定した不安全状態と同じ状態でないと判定する。記憶制御部126は、第2判定部125が同じ状態でないと判定した場合、第2判定部125が判定した対象の撮像画像を記憶させない(図3の表の左から6番目)。
このように、画像記憶制御装置1は、ドライバの状態が正常状態である撮像画像を記憶させない。その結果、画像記憶制御装置1は、ドライバの状態が不安全状態である撮像画像のみを記憶させることができる。
なお、第2判定部125は、第1判定部122の判定条件と異なる条件で撮像画像中のドライバの状態を判定してもよい。例えば、第2判定部125は、撮像画像中のドライバの開眼度が、第1判定部122が開眼度を判定するための第1判定閾値よりも大きい第2判定閾値よりも小さい場合、居眠りをしている不安全状態であると判定する。すなわち、第2判定部125は、撮像画像中のドライバの開眼度が第2判定閾値よりも小さい場合、第1判定部122が判定した不安全状態と同じ不安全状態であると判定する。第2判定閾値は、不安全状態であるとみなせる値を適宜設定すればよく、具体的な値は、第1判定閾値が20%である場合、例えば40%である。
図4は、第2判定部125が第1判定閾値よりも大きい第2判定閾値で開眼度を判定する場合を説明するための図である。図4において、状態データ取得部121は、0%の開眼度を取得したものとする。また、状態データ取得部121が所定期間に取得した複数の開眼度の平均値又は最頻値は、0%であるとして説明する。図4の左端に示すドライバの状態は、0%の開眼度に対応するドライバの状態である。第1判定部122は、ドライバの状態を「不安全状態(居眠り)」と判定する(図4の表の左から2番目)。
図4の表の左から3番目は、判定後に撮像された撮像画像である。第2判定部125は、第1判定部122の判定後に撮像された撮像画像を解析することにより、開眼度を30%と検出する(図4の表の左から4番目)。第2判定部125は、検出した開眼度(30%)が第2判定閾値(40%)よりも小さいので、撮像画像中のドライバの状態が居眠りをしている不安全状態であると判定する(図4の表の左から5番目)。続いて、第2判定部125は、撮像画像中のドライバが居眠りをしている不安全状態であるので、撮像画像を記憶させると判定する(図4の表の左から6番目)。そして、記憶制御部126は、第2判定部125が判定した対象の撮像画像(図4における「判定後に撮像された撮像画像」)を記憶部11に記憶させる。
このようにすることで、画像記憶制御装置1は、不安全状態であると判定してから撮像画像を生成するまでの時間的なずれにより、ドライバの状態が変化したとしても、判定後のドライバの状態が不安全状態であるとみなせる撮像画像を記憶させることができる。そのため、画像記憶制御装置1は、第2判定部125が第1判定閾値で開眼度を判定する場合よりも多くの撮像画像を記憶させることができる。
記憶制御部126は、撮像画像を外部装置4の記憶部41に記憶させることができる。例えば、記憶制御部126は、第2判定部125が同じ状態であると判定した対象の撮像画像を外部装置4に送信することにより、外部装置4の記憶部41に記憶させる。具体的には、記憶制御部126は、不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置4に送信する。このようにすることで、画像記憶制御装置1は、ドライバが不安全状態である撮像画像のみを送信できるので、通信量を低減できる。また、ドライバを管理する管理者は、ドライバが不安全状態であった証拠となる撮像画像を確認しながらドライバを指導することができる。
また、記憶制御部126は、判定情報を撮像画像に関連付けて外部装置4に送信してもよい。例えば、記憶制御部126は、複数の不安全状態の各々に対応する判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置4に送信する。具体的には、記憶制御部126は、居眠りをしている不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置4に送信する。このようにすることで、管理者は、判定情報と、撮像画像とを照らし合わせて、同じ不安全状態であったかどうかを確認できるので、ドライバの指導がしやすくなる。
また、記憶制御部126は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態でないと第2判定部125が判定した場合、不安全状態であると判定したことを示す判定情報のみを外部装置4に送信してもよい。具体的には、記憶制御部126は、複数の判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を外部装置4に送信する。このようにすることで、記憶制御部126は、撮像画像中のドライバが正常状態である場合に撮像画像を送信しないので、通信量を低減できる。また、管理者は、ドライバが不安全状態であったことを少なくとも確認でき、ドライバが不安全状態でない画像を見ることが無くなるので、撮像画像を確認する際の手間を低減できる。
[画像記憶制御装置1が実行する撮像画像を記憶させる処理]
図5は、撮像画像を記憶させる処理の流れの一例を示すフローチャートである。まず、状態データ取得部121は、検出装置3からドライバの顔の状態を示す状態データを取得する(ステップS1)。具体的には、状態データ取得部121は、顔の状態を示す状態データとして開眼度を順次取得する。
続いて、第1判定部122は、状態データ取得部121が取得した複数の状態データに基づいてドライバが不安全状態であるか否かを判定する(ステップS2)。例えば、第1判定部122は、複数の状態データが、複数の不安全状態の各々に対応する判定条件を満たすか否かを判定することにより、当該判定条件に対応する不安全状態であるか否かを判定する。具体的には、第1判定部122は、開眼度が判定閾値よりも小さい居眠り状態が、居眠りとみなせる時間継続した場合、ドライバが居眠りをしている不安全状態であると判定する。画像記憶制御装置1は、第1判定部122が不安全状態でないと判定した場合(ステップS2でNo)、ステップS1に移行する。
指示出力部123は、第1判定部122が不安全状態であると判定した場合(ステップS2でYes)、撮像装置2に撮像画像を生成する指示を出力する(ステップS3)。この場合、撮像装置2は、指示出力部123から指示を受信すると撮像画像を生成し、生成した撮像画像を画像記憶制御装置1に出力する。そして、画像取得部124は、撮像装置2が生成した撮像画像を取得する(ステップS4)。具体的には、画像取得部124は、ドライバが不安全状態であると第1判定部122が判定した後に撮像されたドライバの顔を含む撮像画像を取得する。
第2判定部125は、画像取得部124が取得した撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ状態であるか否かを判定する(ステップS5)。例えば、第2判定部125は、撮像画像中のドライバが居眠りをしている不安全状態である場合、第1判定部122が判定した不安全状態が居眠りをしている不安全状態であるか否かを判定する。
記憶制御部126は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態であると第2判定部125が判定した場合(ステップS5でYes)、第2判定部125が判定した対象の撮像画像を記憶部11に記憶させる(ステップS6)。そして、記憶制御部126は、記憶した撮像画像を外部装置4に送信することにより、外部装置4の記憶部41に記憶させる(ステップS7)。具体的には、記憶制御部126は、不安全状態であると判定したことを示す判定情報を撮像画像に関連付けて外部装置4に送信する。
記憶制御部126は、撮像画像中のドライバの状態が、第1判定部122が判定した不安全状態と同じ不安全状態でないと第2判定部125が判定した場合(ステップS5でNo)、不安全状態であると判定したことを示す判定情報のみを外部装置4に送信する(ステップS8)。例えば、記憶制御部126は、居眠りをしている不安全状態であると判定したことを示す判定情報を外部装置4に送信する。
(変形例)
状態データ取得部121は、状態データとして顔向き角度を取得してもよい。この場合、第1判定部122は、顔向き角度の絶対値が判定角度以上である場合、ドライバが不安全状態であると判定する。判定角度は例えば20度である。具体的には、第1判定部122は、顔向き角度の絶対値が判定角度以上である状態が、脇見とみなせる時間継続した場合、脇見をしている不安全状態であると判定する。
第2判定部125は、第1判定部122が不安全状態であると判定した後に撮像された撮像画像から、顔の状態として顔向き角度を検出する。具体的には、第2判定部125は、基準方向である車両の進行方向前方に対する顔向き角度を検出する。そして、第2判定部125は、検出した顔向き角度の絶対値が判定角度以上であるか否かを判定することにより、ドライバが脇見をしている不安全状態であるか否かを判定する。
第2判定部125は、第1判定部122が脇見をしている不安全状態であると判定し、撮像画像中のドライバの状態が脇見をしている不安全状態である場合、同じ不安全状態であると判定する。そして、記憶制御部126は、第2判定部125が判定した対象の撮像画像を記憶させる。このように、画像記憶制御装置1は、開眼度だけでなく顔の向きに基づいて、ドライバが不安全状態である撮像画像を記憶させることができる。
なお、画像記憶制御装置1は、顔の位置に基づいてドライバが不安全状態であるか否かを判定し、不安全状態である撮像画像を記憶させてもよい。例えば、第1判定部122は、状態データ取得部121が取得した顔の位置が、所定範囲内に含まれていない場合、ドライバが不安全状態であると判定する。第2判定部125は、撮像画像中のドライバの顔の位置を検出し、検出した顔の位置が所定範囲内に含まれていない場合、第1判定部122が判定した不安全状態と同じ不安全状態であると判定する。
[実施の形態に係る画像記憶制御装置1の効果]
以上説明したとおり、画像記憶制御装置1は、車両のドライバの顔の状態を示す状態データを検出装置3から順次取得し、取得した複数の状態データに基づいて、ドライバが不安全状態であるか否かを判定する。続いて、画像記憶制御装置1は、ドライバが不安全状態であると判定した後に撮像されたドライバの顔を含む撮像画像中のドライバの状態が、不安全状態と同じ状態であるか否かを判定する。そして、画像記憶制御装置1は、撮像画像中のドライバの状態が、複数の状態データに基づいて判定した不安全状態と同じ状態であると判定した場合、判定した対象の撮像画像を記憶部11に記憶させる。
このようにすることで、画像記憶制御装置1は、不安全状態であると判定してから撮像画像を生成するまでの時間的なずれにより、ドライバの状態が変化したとしても、判定後のドライバの状態が不安全状態である撮像画像を記憶させることができる。つまり、画像記憶制御装置1は、判定後のドライバの状態が、不安全状態である撮像画像のみを記憶させ、不安全状態でない撮像画像を記憶させない。その結果、ドライバを管理する管理者は、ドライバが不安全状態であった証拠となる撮像画像のみを確認しながらドライバを指導することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 画像記憶制御装置
10 通信部
11 記憶部
12 制御部
121 状態データ取得部
122 第1判定部
123 指示出力部
124 画像取得部
125 第2判定部
126 記憶制御部
2 撮像装置
3 検出装置
4 外部装置
41 記憶部
S 画像記憶制御システム

Claims (6)

  1. 車両のドライバの顔の状態を示す状態データとして前記ドライバの開眼度を検出装置から順次取得する状態データ取得部と、
    前記状態データ取得部が取得した前記開眼度が、前記ドライバが不安全状態であるか否かを判定するための第1判定閾値以上か否かに基づいて、前記ドライバが前記不安全状態であるか否かを判定する第1判定部と、
    前記ドライバが前記不安全状態であると前記第1判定部が判定したことを契機として、前記ドライバの顔を撮像する撮像装置に撮像画像を生成する指示を出力する出力指示部と、
    前記出力指示部が前記指示を出力した後に撮像された前記ドライバの顔を含む撮像画像を取得する画像取得部と、
    前記画像取得部が取得した前記撮像画像に含まれる前記ドライバの開眼度が、前記第1判定閾値よりも大きい第2判定閾値よりも小さい場合、前記第1判定部が判定した前記不安全状態と同じ状態であると判定する第2判定部と、
    前記不安全状態と同じ状態であると前記第2判定部が判定した場合、前記第2判定部が判定した対象の前記撮像画像を記憶部に記憶させる記憶制御部と、
    を備える画像記憶制御装置。
  2. 前記記憶制御部は、前記不安全状態であると前記第1判定部が判定したことを示す判定情報を、前記第2判定部が判定した対象の前記撮像画像に関連付けて前記記憶部に記憶させる、
    請求項1に記載の画像記憶制御装置。
  3. 前記第1判定部は、複数の前記状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定し、
    前記記憶制御部は、当該判定条件に対応する不安全状態であると前記第1判定部が判定したことを示す前記判定情報を、前記撮像画像に関連付けて前記記憶部に記憶させる、
    請求項2に記載の画像記憶制御装置。
  4. 前記記憶制御部は、前記撮像画像を外部装置に送信することにより、前記外部装置の記憶部に記憶させる、
    請求項1から3のいずれか一項に記載の画像記憶制御装置。
  5. 前記第1判定部は、前記開眼度が前記第1判定閾値よりも小さい場合、前記ドライバが前記不安全状態であると判定する、
    請求項1から4のいずれか一項に記載の画像記憶制御装置。
  6. コンピュータのプロセッサが、
    車両のドライバの顔の状態を示す状態データとして前記ドライバの開眼度を検出装置から順次取得するステップと、
    取得した前記開眼度が、前記ドライバが不安全状態であるか否かを判定するための第1判定閾値以上か否かに基づいて、前記ドライバが前記不安全状態であるか否かを判定するステップと、
    前記ドライバが前記不安全状態であると判定したことを契機として、前記ドライバの顔を撮像する撮像装置に撮像画像を生成する指示を出力するステップと、
    前記指示が出力された後に撮像された前記ドライバの顔を含む撮像画像を取得するステップと、
    取得した前記撮像画像に含まれる前記ドライバの開眼度が、前記第1判定閾値よりも大きい第2判定閾値よりも小さい場合、前記不安全状態と同じ状態であると判定するステップと、
    前記不安全状態と同じ状態であると判定した場合、判定した対象の前記撮像画像を記憶部に記憶させるステップと、
    を実行する画像記憶制御方法。
JP2020048576A 2020-03-19 2020-03-19 画像記憶制御装置及び画像記憶制御方法 Active JP7392536B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020048576A JP7392536B2 (ja) 2020-03-19 2020-03-19 画像記憶制御装置及び画像記憶制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048576A JP7392536B2 (ja) 2020-03-19 2020-03-19 画像記憶制御装置及び画像記憶制御方法

Publications (2)

Publication Number Publication Date
JP2021149488A JP2021149488A (ja) 2021-09-27
JP7392536B2 true JP7392536B2 (ja) 2023-12-06

Family

ID=77848925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048576A Active JP7392536B2 (ja) 2020-03-19 2020-03-19 画像記憶制御装置及び画像記憶制御方法

Country Status (1)

Country Link
JP (1) JP7392536B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (ja) 2007-02-01 2008-09-11 Denso Corp ドライバ管理装置および運行管理システム
JP2011043961A (ja) 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
WO2013035704A1 (ja) 2011-09-05 2013-03-14 富山県 居眠り検出方法と装置
JP2019091205A (ja) 2017-11-14 2019-06-13 アイシン精機株式会社 車載警報装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (ja) 2007-02-01 2008-09-11 Denso Corp ドライバ管理装置および運行管理システム
JP2011043961A (ja) 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
WO2013035704A1 (ja) 2011-09-05 2013-03-14 富山県 居眠り検出方法と装置
JP2019091205A (ja) 2017-11-14 2019-06-13 アイシン精機株式会社 車載警報装置

Also Published As

Publication number Publication date
JP2021149488A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
EP3284016B1 (en) Authentication of a user of a device
WO2017061371A1 (ja) 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP6717235B2 (ja) 見守り支援システム及びその制御方法
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
JP4458146B2 (ja) 眠気判定装置およびプログラム
JP2008512153A (ja) 個人の警戒レベルの指示を生成するための方法及び装置
US11734405B2 (en) Biometric data capturing and analysis
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
CN114283494A (zh) 一种用户跌倒预警方法、装置、设备和存储介质
JP7392536B2 (ja) 画像記憶制御装置及び画像記憶制御方法
US20190180126A1 (en) State estimation apparatus, method, and non-transitory recording medium
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP2020194227A (ja) 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JPH11161798A (ja) 車両運転者監視装置
WO2016034473A1 (en) Camera system for a vehicle
US10152871B2 (en) Method for furnishing a warning signal, and method for generating a pre-microsleep pattern for detection of an impending microsleep event for a vehicle
JP2013120954A (ja) 寝顔認識装置
EP4026046A1 (en) Biometric data capturing and analysis using a hybrid sensing system
JP2018143285A (ja) 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法
US20230401876A1 (en) Data generation device, data generation method, and recording medium
JP7420000B2 (ja) 状態判定装置、状態判定システム、および制御方法
JP7405030B2 (ja) 状態判定装置、状態判定システム、および制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7392536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150