JPWO2023017595A5 - - Google Patents

Description

本開示に係る乗員状態判定装置は、車両内に設けられている撮像装置によって車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づいて、乗員の開眼度を判定する開眼度判定部と、画像取得部が取得した撮像画像に基づいて、乗員の視線を検知する視線検知部と、開眼度判定部が判定した開眼度が第１閾値未満となった場合、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員は伏し目状態であると判定し、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員は閉眼状態であると判定する目状態判定部と、目状態判定部が乗員は伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって乗員が脇見をしているか否かを判定する脇見判定部とを備え、脇見判定部は、目状態判定部が乗員は伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした伏し目判定後時間が脇見判定用時間以上継続した場合に脇見判定用条件を満たし乗員は脇見をしていると判定し、伏し目判定後時間のカウントアップを開始後、目状態判定部が乗員は伏し目状態であると判定しても、開眼度判定部が判定した乗員の開眼度が第２閾値未満である場合は、伏し目判定後時間のカウントアップを一時停止することを特徴とするものである。

Claims (14)

1. 車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定する開眼度判定部と、
   前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知する視線検知部と、
   前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定する目状態判定部と、
   前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって前記乗員が脇見をしているか否かを判定する脇見判定部とを備え、
   前記脇見判定部は、前記目状態判定部が前記乗員は前記伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした前記伏し目判定後時間が前記脇見判定用時間以上継続した場合に前記脇見判定用条件を満たし前記乗員は脇見をしていると判定し、前記伏し目判定後時間のカウントアップを開始後、前記目状態判定部が前記乗員は前記伏し目状態であると判定しても、前記開眼度判定部が判定した前記乗員の前記開眼度が第２閾値未満である場合は、前記伏し目判定後時間のカウントアップを一時停止する
   ことを特徴とする乗員状態判定装置。
2. 前記目状態判定部は、前記乗員の前記視線方向が前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
   ことを特徴とする請求項１記載の乗員状態判定装置。
3. 前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡が、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
   ことを特徴とする請求項２記載の乗員状態判定装置。
4. 前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の顔向きを検知する顔向き検知部を備え、
   前記目状態判定部は、前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となった場合、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのであれば、前記乗員は前記伏し目状態であると判定し、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は前記閉眼状態であると判定する
   ことを特徴とする請求項１記載の乗員状態判定装置。
5. 前記目状態判定部は、前記乗員の前記視線方向および前記乗員の前記顔向きが、前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
   ことを特徴とする請求項４記載の乗員状態判定装置。
6. 前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡と、前記開眼度が前記第１閾値未満と判定される前に前記顔向き検知部が検知していた前記乗員の前記顔向きから算出した前記乗員の前記顔向きの軌跡とが、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
   ことを特徴とする請求項５記載の乗員状態判定装置。
7. 前記乗員の眠気レベルを検知する眠気検知部と、
   前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、前記眠気検知部が検知した前記乗員の前記眠気レベルに基づいて前記乗員が居眠りをしているか否かを判定する居眠り判定部を備えた
   ことを特徴とする請求項１記載の乗員状態判定装置。
8. 前記居眠り判定部は、前記乗員の前記眠気レベルが眠気判定用閾値以上である眠気有状態が居眠り判定用時間以上継続した場合、前記乗員は居眠りをしていると判定する
   ことを特徴とする請求項７記載の乗員状態判定装置。
9. 前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、前方不注意であることを警告するための第１警告情報を出力し、前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、居眠りを警告するための第２警告情報を出力する出力部を備えた
   ことを特徴とする請求項１記載の乗員状態判定装置。
10. 画像取得部が、車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得するステップと、
    開眼度判定部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定するステップと、
    視線検知部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知するステップと、
    目状態判定部が、前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定するステップと、
    脇見判定部が、前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって前記乗員が脇見をしているか否かを判定するステップとを備え、
    前記脇見判定部は、前記目状態判定部が前記乗員は前記伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした前記伏し目判定後時間が前記脇見判定用時間以上継続した場合に前記脇見判定用条件を満たし前記乗員は脇見をしていると判定し、前記伏し目判定後時間のカウントアップを開始後、前記目状態判定部が前記乗員は前記伏し目状態であると判定しても、前記開眼度判定部が判定した前記乗員の前記開眼度が第２閾値未満である場合は、前記伏し目判定後時間のカウントアップを一時停止する
    ことを特徴とする乗員状態判定方法。
11. 請求項１から請求項９のうちのいずれか１項記載の乗員状態判定装置と、
    前記車両内に設けられた前記撮像装置
    とを備えた乗員状態判定システム。
12. 前記撮像装置は、前記車両内においてインストルメントパネルに設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。
13. 前記撮像装置は、前記車両内においてヘッドレストよりも上方に設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。
14. 前記撮像装置は、前記車両内においてハンドルよりも上方に設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。