JP7460867B2

JP7460867B2 - 推定装置、推定方法及びプログラム

Info

Publication number: JP7460867B2
Application number: JP2021210511A
Authority: JP
Inventors: 知里今村; 孝好古山; 渉仲井; 基之岳山
Original assignee: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD.
Current assignee: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD.
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2024-04-03
Anticipated expiration: 2041-12-24
Also published as: US20230206657A1; JP2023094914A

Description

本開示は、推定装置、推定方法及びプログラムに関する。

車両の運転者の眠気を推定する推定装置が知られている（例えば、特許文献１参照）。従来の推定装置では、車両の運転者を撮像した画像情報に基づいて、運転者の顔の挙動に関する第１の情報、及び、運転者の身体動作に関する第２の情報を検出し、検出した第１の情報及び第２の情報をそれぞれ重み付けすることにより、運転者の眠気を推定する。

特許第６２４５３９８号公報

しかしながら、従来の推定装置では、運転者の眠気を推定する際に、実際の車両の運転状況等が考慮されていないため、運転者の眠気を精度良く推定することができないという課題が生じる。

そこで、本開示は、運転者の眠気を精度良く推定することができる推定装置、推定方法及びプログラムを提供する。

本開示の一態様に係る推定装置は、車両の運転者の眠気を推定するための推定装置であって、前記運転者を撮像した画像情報を取得する画像情報取得部と、前記画像情報に基づいて、前記運転者の顔の挙動を示す第１の情報を検出する第１の検出部と、前記第１の情報の検出結果の確からしさを示す指標である第１の信頼度を算出する第１の信頼度算出部と、前記画像情報に基づいて、前記運転者の身体動作を示す第２の情報を検出する第２の検出部と、前記第２の情報の検出結果の確からしさを示す指標である第２の信頼度を算出する第２の信頼度算出部と、前記第１の情報及び前記第２の情報が検出された場合に、前記第１の信頼度及び前記第２の信頼度に基づいて、前記第１の情報に対応する第１の重み、及び、前記第２の情報に対応する第２の重みを設定する重み設定部と、前記第１の重みで重み付けした前記第１の情報、及び、前記第２の重みで重み付けした前記第２の情報に基づいて、前記運転者の眠気を推定する推定部と、を備える。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ－ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る推定装置等によれば、運転者の眠気を精度良く推定することができる。

実施の形態１に係る推定装置の構成を示すブロック図である。実施の形態１に係る推定装置の動作の流れを示すフローチャートである。実施の形態２に係る推定装置の構成を示すブロック図である。実施の形態２に係る推定装置の動作の流れを示すフローチャートである。実施の形態３に係る推定装置の構成を示すブロック図である。実施の形態３に係る推定装置の動作の流れを示すフローチャートである。

本態様によれば、重み設定部は、例えば実際の車両の運転状況等を考慮して算出された第１の信頼度及び第２の信頼度に基づいて、第１の情報に対応する第１の重み、及び、第２の情報に対応する第２の重みを設定する。このように設定した第１の重み及び第２の重みを用いることにより、例えば実際の車両の運転状況等を考慮して、運転者の眠気を精度良く推定することができる。

例えば、前記推定装置は、さらに、前記車両の走行状態及び車室内の環境の少なくとも１つを示す車両情報を取得する車両情報取得部を備え、前記重み設定部は、さらに、前記車両情報に基づいて、設定した前記第１の重み及び前記第２の重みを変更するように構成してもよい。

本態様によれば、車両情報を考慮することにより、第１の重み及び第２の重みを精度良く設定することができる。

例えば、前記推定装置は、さらに、前記車両の周囲の環境を示す環境情報を取得する環境情報取得部を備え、前記重み設定部は、さらに、前記環境情報に基づいて、設定した前記第１の重み及び前記第２の重みを変更するように構成してもよい。

本態様によれば、環境情報を考慮することにより、第１の重み及び第２の重みを精度良く設定することができる。

例えば、前記推定装置は、さらに、前記車両の走行状態を示す車両情報を取得する車両情報取得部を備え、前記重み設定部は、さらに、前記車両情報に基づいて、前記車両が停車中又はカーブを走行中であると判定した場合には、設定した前記第２の重みを変更するように構成してもよい。

本態様によれば、車両情報を考慮することにより、第２の重みを精度良く設定することができる。

例えば、前記第２の情報は、前記運転者の骨格点を示す骨格点情報を含むように構成してもよい。

本態様によれば、第２の情報の検出精度を高めることができる。

例えば、前記第２の検出部は、前記骨格点情報により示される前記骨格点を時間方向に追跡するように構成してもよい。

本態様によれば、第２の情報の検出精度をより高めることができる。

例えば、前記推定部は、所定の条件を満たす場合に、前記運転者の眠気を判定する処理周期を変更可能であるように構成してもよい。

本態様によれば、運転者の眠気をより精度良く推定することができる。

本開示の一態様に係る推定方法は、車両の運転者の眠気を推定するための推定方法であって、前記運転者を撮像した画像情報を取得するステップと、前記画像情報に基づいて、前記運転者の顔の挙動を示す第１の情報を検出するステップと、前記第１の情報の検出結果の確からしさを示す指標である第１の信頼度を算出するステップと、前記画像情報に基づいて、前記運転者の身体動作を示す第２の情報を検出するステップと、前記第２の情報の検出結果の確からしさを示す指標である第２の信頼度を算出するステップと、前記第１の情報及び前記第２の情報が検出された場合に、前記第１の信頼度及び前記第２の信頼度に基づいて、前記第１の情報に対応する第１の重み、及び、前記第２の情報に対応する第２の重みを算出するステップと、前記第１の重みで重み付けした前記第１の情報、及び、前記第２の重みで重み付けした前記第２の情報に基づいて、前記運転者の眠気を推定するステップと、を含む。

本態様によれば、例えば実際の車両の運転状況等を考慮して算出された第１の信頼度及び第２の信頼度に基づいて、第１の情報に対応する第１の重み、及び、第２の情報に対応する第２の重みを設定する。このように設定した第１の重み及び第２の重みを用いることにより、例えば実際の車両の運転状況等を考慮して、運転者の眠気を精度良く推定することができる。

本開示の一態様に係るプログラムは、上述した推定方法をコンピュータに実行させるプログラムである。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１－１．推定装置の構成］
まず、図１を参照しながら、実施の形態１に係る推定装置２の構成について説明する。図１は、実施の形態１に係る推定装置２の構成を示すブロック図である。

図１に示すように、実施の形態１に係る推定装置２は、車両の運転者の眠気を検出するための装置である。車両には、推定装置２及び撮像部４が搭載されている。車両は、例えば普通乗用車、バス又はトラック等の自動車である。なお、車両は、自動車に限定されず、例えば建機又は農機等であってもよい。

撮像部４は、車両の運転席に着座している運転者を撮像するためのカメラであり、例えば車両の車室内に配置されている。撮像部４としては、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラ、又は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサを用いたカメラ等を適用可能である。撮像部４は、運転者を撮像した画像情報を推定装置２に出力する。

推定装置２は、画像情報取得部６と、顔情報取得部８と、身体情報取得部１０と、重み設定部１２と、眠気推定部１４（推定部の一例）とを備えている。なお、推定装置２は、上述した撮像部４を構成要件として備えていてもよい。

画像情報取得部６は、撮像部４から出力された画像情報を取得する。画像情報取得部６は、取得した画像情報を顔情報取得部８及び身体情報取得部１０の各々に出力する。

顔情報取得部８は、運転者の顔の挙動を示す顔情報（第１の情報の一例）を取得するためのものである。顔の挙動とは、例えば、運転者の眼の瞬き動作、眼の開き具合、眼の開閉速度、口の動作、顔全体の動作等を意味する。顔情報取得部８は、第１の検出部１６と、第１の信頼度算出部１８とを有している。

第１の検出部１６は、画像情報取得部６からの画像情報に基づいて、顔情報を検出する。具体的には、第１の検出部１６は、画像情報に含まれる運転者の眼の画像を解析することにより、運転者の顔の挙動を示す特徴ベクトルを顔情報として検出する。第１の検出部１６は、顔情報の検出結果を重み設定部１２に出力する。なお、第１の検出部１６は、例えばディープラーニング等を用いて、顔情報を検出してもよい。

第１の信頼度算出部１８は、例えばディープラーニング等を用いて、第１の検出部１６による顔情報の検出結果の確からしさを示す指標である第１の信頼度を算出する。第１の信頼度は、例えば０～１．０の数値で表される。第１の信頼度算出部１８は、第１の信頼度の算出結果を重み設定部１２に出力する。

身体情報取得部１０は、運転者の身体動作を示す身体情報（第２の情報の一例）を取得するためのものである。身体動作とは、例えば、運転者の身体（頭部、胴体、両腕等）の動き及び姿勢等を意味する。身体情報取得部１０は、第２の検出部２０と、第２の信頼度算出部２２とを有している。

第２の検出部２０は、画像情報取得部６からの画像情報に基づいて、身体情報を検出する。具体的には、第２の検出部２０は、画像情報に含まれる運転者の身体の画像を解析することにより、運転者の身体の動きを示す特徴ベクトルを身体情報として検出する。第２の検出部２０は、身体情報の検出結果を重み設定部１２に出力する。なお、第２の検出部２０は、例えばディープラーニング等を用いて、身体情報を検出してもよい。

第２の信頼度算出部２２は、例えばディープラーニング等を用いて、第２の検出部２０による身体情報の検出結果の確からしさを示す指標である第２の信頼度を算出する。第２の信頼度は、例えば０～１．０の数値で表される。第２の信頼度算出部２２は、第２の信頼度の算出結果を重み設定部１２に出力する。

重み設定部１２は、顔情報及び身体情報が検出された場合に、第１の信頼度及び第２の信頼度に基づいて、顔情報に対応する第１の重み、及び、身体情報に対応する第２の重みを設定する。第１の重み及び第２の重みの各々は、例えば０～１．０の数値で表される。重み設定部１２は、設定した第１の重み及び第２の重みを眠気推定部１４に出力する。

例えば、第１の信頼度が第２の信頼度よりも低い場合には、重み設定部１２は、第２の重みが第１の重みよりも大きくなるように（例えば、第１の重みが「０．３」、第２の重みが「０．７」となるように）、第１の重み及び第２の重みを設定する。第１の信頼度が第２の信頼度よりも低い場合としては、例えば、ａ）運転者の顔に強い日差しが当たっている場合、ｂ）運転者の顔が影で暗くなっている場合、ｃ）サングラス又は手等で運転者の眼が覆われている場合、ｄ）笑っているために運転者の眼が細くなっている場合、ｅ）瞬きの回数が第１の閾値以上又は第２の閾値以下（第１の閾値＞第２の閾値）である場合等が該当する。なお、上記の各ケースは、例えば画像情報取得部６により取得された画像情報に基づき判定可能である。上記の各ケースでは、第１の検出部１６により顔の挙動を精度良く検出できないおそれがあるため、第２の重みを第１の重みよりも大きく設定することにより、後述するように眠気推定部１４により運転者の眠気を精度良く推定することができる。

なお、本実施の形態では、第１の信頼度が第２の信頼度よりも低い場合に、重み設定部１２は、第２の重みが第１の重みよりも大きくなるように第１の重み及び第２の重みを設定したが、このような構成に代えて、第１の信頼度のみが閾値よりも低い場合に、第２の重みが第１の重みよりも大きくなるように第１の重み及び第２の重みを設定してもよい。

一方、第２の信頼度が第１の信頼度よりも低い場合には、重み設定部１２は、第１の重みが第２の重みよりも大きくなるように（例えば、第１の重みが「０．８」、第２の重みが「０．２」となるように）、第１の重み及び第２の重みを設定する。第２の信頼度が第１の信頼度よりも低い場合としては、例えば、ａ）運転者の姿勢が悪い（運転席のドアに肘をついている、又は、ステアリングホイールにもたれかかっている等）場合、ｂ）運転者が身体を動かしながら同乗者と会話している場合、ｃ）車両の車室内に音楽が流れていて、運転者が身体でリズムを取っていると想定される場合、ｄ）車両がカーブを走行している場合、ｅ）運転者が厚手の服を着ている（すなわち、身体情報の誤差が大きいと想定される）場合、ｆ）運転者が傷病によりギプス又はコルセット等を身体に装着している場合等が該当する。なお、上記の各ケースは、例えば画像情報取得部６により取得された画像情報に基づき判定可能である。上記の各ケースでは、第２の検出部２０により身体動作を精度良く検出できないおそれがあるため、第１の重みを第２の重みよりも大きく設定することにより、後述するように眠気推定部１４により運転者の眠気を精度良く推定することができる。

なお、本実施の形態では、第２の信頼度が第１の信頼度よりも低い場合に、重み設定部１２は、第１の重みが第２の重みよりも大きくなるように第１の重み及び第２の重みを設定したが、このような構成に代えて、第２の信頼度のみが閾値よりも低い場合に、第１の重みが第２の重みよりも大きくなるように第１の重み及び第２の重みを設定してもよい。

眠気推定部１４は、第１の重みで重み付けした顔情報、及び、第２の重みで重み付けした身体情報に基づいて、運転者の眠気を推定する。具体的には、眠気推定部１４は、顔情報の特徴ベクトルの各特徴量を第１の重みで重み付けし、且つ、身体情報の特徴ベクトルの各特徴量を第２の重みで重み付けすることにより、運転者の眠気度合いを示す眠気レベルを推定する。眠気レベルは、例えば「１」～「５」の５段階の数値で表される。眠気レベルの数値が高いほど、運転者の眠気度合いが高い状態であるとする。具体的には、眠気レベル「１」は全く眠くなさそう、眠気レベル「２」はやや眠そう、眠気レベル「３」は眠そう、眠気レベル「４」はかなり眠そう、眠気レベル「５」は非常に眠そうと分類される。眠気推定部１４は、推定した眠気レベルを、例えば自動運転システムにおけるＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）等に出力する。

なお、眠気推定部１４により運転者の眠気レベルが例えば「４」以上であると推定された場合には、上述したＥＣＵは、車両を安全に停車させるために車両を縮退動作させる制御を行う。縮退動作とは、例えば車両を車道の端（路肩）に寄せるようにステアリングを制御したり、車両を減速させるためにエンジン又はブレーキを制御したりする動作を意味する。

［１－２．推定装置の動作］
次に、図２を参照しながら、実施の形態１に係る推定装置２の動作について説明する。図２は、実施の形態１に係る推定装置２の動作の流れを示すフローチャートである。

図２に示すように、画像情報取得部６は、撮像部４から出力された画像情報を取得し（Ｓ１０１）、取得した画像情報を顔情報取得部８及び身体情報取得部１０の各々に出力する。

顔情報取得部８の第１の検出部１６は、画像情報取得部６からの画像情報に基づいて、顔情報を検出する（Ｓ１０２）。第１の検出部１６は、顔情報の検出結果を重み設定部１２に出力する。

また、身体情報取得部１０の第２の検出部２０は、画像情報取得部６からの画像情報に基づいて、身体情報を検出する（Ｓ１０２）。第２の検出部２０は、身体情報の検出結果を重み設定部１２に出力する。

顔情報取得部８の第１の信頼度算出部１８は、第１の検出部１６による顔情報の検出結果の確からしさを示す指標である第１の信頼度を算出し（Ｓ１０３）、第１の信頼度の算出結果を重み設定部１２に出力する。

また、身体情報取得部１０の第２の信頼度算出部２２は、第２の検出部２０による身体情報の検出結果の確からしさを示す指標である第２の信頼度を算出し（Ｓ１０３）、第２の信頼度の算出結果を重み設定部１２に出力する。

重み設定部１２は、第１の信頼度及び第２の信頼度に基づいて、第１の重み及び第２の重みを設定する（Ｓ１０４）。眠気推定部１４は、第１の重みで重み付けした顔情報、及び、第２の重みで重み付けした身体情報に基づいて、運転者の眠気を推定する（Ｓ１０５）。

［１－３．効果］
本実施の形態では、重み設定部１２は、例えば実際の車両の運転状況等を考慮して算出された第１の信頼度及び第２の信頼度に基づいて、第１の重み及び第２の重みを設定する。このように設定した第１の重み及び第２の重みを用いることにより、例えば実際の車両の運転状況等を考慮して、運転者の眠気を精度良く推定することができる。

（実施の形態２）
図３を参照しながら、実施の形態２に係る推定装置２Ａの構成について説明する。図３は、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、本実施の形態では、上記実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

図３に示すように、実施の形態２に係る推定装置２Ａは、上記実施の形態１の構成要素に加えて、車両情報取得部２４を備えている。車両情報取得部２４は、例えば車両に搭載されたＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）又は各種センサ等から、車両の走行状態及び車室内の環境を示す車両情報を取得する。車両の走行状態を示す車両情報は、例えば、ａ）車両の走行速度、ｂ）車両が走行している道路の種別（一般道路又は高速道路）、ｃ）車両が停車中か否か、ｄ）車両がカーブを走行中か否か等を示す情報である。また、車室内の環境を示す車両情報は、例えば、ａ）車室内に音楽が流れているか否か、ｂ）車室内で運転者が同乗者と会話をしているか否か等を示す情報である。車両情報取得部２４は、取得した車両情報を、重み設定部１２Ａに出力する。なお、車両情報取得部２４は、車両の走行状態及び車室内の環境のいずれか一方のみを示す車両情報を取得してもよい。

重み設定部１２Ａは、車両情報取得部２４からの車両の走行状態を示す車両情報に基づいて、設定した第１の重み及び第２の重みを変更する。例えば、車両の車速が比較的速い（又は、車両が高速道路を走行している）場合には、車両の振動により運転者の身体の揺れが大きくなるため、第２の検出部２０により身体動作を精度良く検出できないおそれがある。そのため、重み設定部１２Ａは、第１の重みが第２の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。また例えば、車両の車速が比較的遅い（又は、車両が一般道路を走行している）場合には、運転者が頭部を左右に動かして車両の周囲の安全確認を行う頻度が多くなるため、第１の検出部１６により顔の挙動を精度良く検出できないおそれがある。そのため、重み設定部１２Ａは、第２の重みが第１の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。

また、重み設定部１２Ａは、車両情報取得部２４からの車両の走行状態を示す車両情報に基づいて、車両が停車中又はカーブを走行中であるか否かを判定する。車両が停車中である場合には、運転者は、例えば飲み物を飲むために、頭部や腕等を大きく動かす可能性が高い。また、車両がカーブを走行中である場合には、運転者の胴体は、遠心力により左右方向に大きく傾く可能性が高い。このような場合には、第２の検出部２０により身体動作を精度良く検出できないおそれがある。そのため、重み設定部１２Ａは、車両が停車中又はカーブを走行中であると判定した場合には、例えば第１の重みが第２の重みよりも大きくなるように、設定した第２の重みを変更する。

なお、車両が停車中又はカーブを走行中である場合には、第１の検出部１６による顔情報の検出結果、及び、第２の検出部２０による身体情報の検出結果をメモリ等に蓄積しないようにしてもよい。

また、重み設定部１２Ａは、車両情報取得部２４からの車室内の環境を示す車両情報に基づいて、車室内に音楽が流れているか否かを判定する。車室内に音楽が流れている場合には、運転者は、音楽に合わせて身体を揺らすなどしてリズムを取る可能性がある。そのため、このような場合には、運転者が音楽に合わせて身体を揺らしているのか、あるいは、運転者の身体が眠気で揺れているのかを判別するのが難しい。したがって、重み設定部１２Ａは、車室内に音楽が流れていると判定した場合には、第１の重みが第２の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。

また、重み設定部１２Ａは、車両情報取得部２４からの車室内の環境を示す車両情報に基づいて、車室内で運転者が同乗者と会話しているか否かを判定する。車室内で運転者が同乗者と会話している場合には、運転者は、会話が弾むなどした際に、笑って身体を揺らす可能性がある。そのため、このような場合には、運転者が笑って身体を揺らしているのか、あるいは、運転者の身体が眠気で揺れているのかを判別するのが難しい。したがって、重み設定部１２Ａは、車室内で運転者が同乗者と会話していると判定した場合には、第１の重みが第２の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。

［２－２．推定装置の動作］
図４を参照しながら、実施の形態２に係る推定装置２Ａの動作について説明する。図４は、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図４のフローチャートでは、図２のフローチャートの処理と同一の処理には同一のステップ番号を付して、その説明を省略する。

図４に示すように、上記実施の形態１と同様に、まず、ステップＳ１０１～Ｓ１０４が実行される。ステップＳ１０４の後、車両情報取得部２４は、例えば車両に搭載されたＣＡＮ等から、車両情報を取得する（Ｓ２０１）。車両情報取得部２４は、取得した車両情報を、重み設定部１２Ａに出力する。

重み設定部１２Ａは、車両情報取得部２４からの車両情報に基づいて、設定した第１の重み及び第２の重みを変更する（Ｓ２０２）。重み設定部１２Ａは、変更した第１の重み及び第２の重みを眠気推定部１４に出力する。

その後、重み設定部１２Ａは、車両情報取得部２４からの車両情報に基づいて、車両が停車中又はカーブを走行中であるか否かを判定する（Ｓ２０３）。車両が停車中又はカーブを走行中でない場合には（Ｓ２０３でＮＯ）、ステップＳ１０５に進む。一方、車両が停車中又はカーブを走行中である場合には（Ｓ２０３でＹＥＳ）、重み設定部１２Ａは、設定した第２の重みを変更する（Ｓ２０４）。その後、ステップＳ１０５に進む。

［２－３．効果］
本実施の形態では、車両情報を考慮することにより、第１の重み及び第２の重みを精度良く設定することができる。

（実施の形態３）
［３－１．推定装置の構成］
図５を参照しながら、実施の形態３に係る推定装置２Ｂの構成について説明する。図５は、実施の形態３に係る推定装置２Ｂの構成を示すブロック図である。なお、本実施の形態では、上記実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

図５に示すように、実施の形態３に係る推定装置２Ｂは、上記実施の形態１の構成要素に加えて、環境情報取得部２６を備えている。環境情報取得部２６は、例えば車両に搭載されたＣＡＮ及びセンサ等から、車両の周囲の環境を示す環境情報を取得する。環境情報は、例えば、ａ）現在の時間帯、ｂ）現在の天候等を示す情報である。環境情報取得部２６は、取得した環境情報を重み設定部１２Ｂに出力する。

重み設定部１２Ｂは、環境情報取得部２６からの環境情報に基づいて、設定した第１の重み及び第２の重みを変更する。例えば、現在の時間帯が夜間である場合には、運転者の顔に光が当たらないため、第１の検出部１６により運転者の顔の挙動を精度良く検出できないおそれがある。そのため、重み設定部１２Ｂは、第２の重みが第１の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。また例えば、現在の天候が雨天である場合には、運転者が頭部を左右に動かして車両の周囲の安全確認を行う頻度が多くなるため、第１の検出部１６により顔の挙動を精度良く検出できないおそれがある。そのため、重み設定部１２Ｂは、第２の重みが第１の重みよりも大きくなるように、設定した第１の重み及び第２の重みを変更する。

［３－２．推定装置の動作］
図６を参照しながら、実施の形態３に係る推定装置２Ｂの動作について説明する。図６は、実施の形態３に係る推定装置２Ｂの動作の流れを示すフローチャートである。なお、図６のフローチャートでは、図２のフローチャートの処理と同一の処理には同一のステップ番号を付して、その説明を省略する。

図６に示すように、上記実施の形態１と同様に、まず、ステップＳ１０１～Ｓ１０４が実行される。ステップＳ１０４の後、環境情報取得部２６は、例えば車両に搭載されたＣＡＮ及びセンサ等から、環境情報を取得する（Ｓ３０１）。環境情報取得部２６は、取得した環境情報を重み設定部１２Ｂに出力する。

重み設定部１２Ｂは、環境情報取得部２６からの環境情報に基づいて、設定した第１の重み及び第２の重みを変更する（Ｓ３０２）。重み設定部１２Ｂは、変更した第１の重み及び第２の重みを眠気推定部１４に出力する。その後、ステップＳ１０５が実行される。

［３－３．効果］
本実施の形態では、環境情報を考慮することにより、第１の重み及び第２の重みを精度良く設定することができる。

（他の変形例）
以上、一つ又は複数の態様に係る推定装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

上記各実施の形態では、眠気推定部１４は、運転者の眠気を推定したが、これに限定されず、運転者の各種状態（例えば、マイクロスリープ状態、異常行動又は体調の急変等）を推定してもよい。

また、上記各実施の形態では、第２の検出部２０は身体情報を検出したが、身体情報は、運転者の骨格点（例えば、頭部中心、鎖骨中心、右肩及び左肩の少なくとも１つの位置の骨格点）を示す骨格点情報を含んでいてもよい。この場合、第２の検出部２０は、骨格点情報により示される骨格点を時間方向に追跡してもよい。これにより、画像情報におけるフレームの一部が欠損した場合であっても、第２の検出部２０による身体情報の検出処理を継続して実行することができる。あるいは、第２の検出部２０は、ＧＣＮ（ＧｒａｐｈＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ）等を用いることにより、運転者の行動の分類精度を高めるようにしてもよい。

また、眠気推定部１４は、所定の処理周期（例えば、２分）で検出された顔情報及び身体情報に対して、運転者の眠気を推定するようにしてもよい。この時、眠気推定部１４は、所定の条件を満たす場合に、運転者の眠気を判定する処理周期を変更してもよい。所定の条件とは、例えば、ａ）運転者が運転中に飲食していると想定される場合、ｂ）顔情報及び／又は身体情報が一定時間以上欠損している場合、ｃ）第１の信頼度及び／又は第２の信頼度が閾値以下である場合等である。これにより、運転者の眠気をより精度良く推定することができる。

また、上記各実施の形態では、重み設定部１２（１２Ａ，１２Ｂ）は、第１の信頼度及び第２の信頼度に基づいて、第１の重み及び第２の重みを設定したが、例えば、第１の信頼度と第１の重みの初期値とを乗算し、且つ、第２の信頼度と第２の重みの初期値とを乗算することにより、第１の重み及び第２の重みを設定してもよい。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記実施の形態に係る推定装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えばフレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

本開示は、例えば車両の運転者の眠気を推定するための推定装置等に適用可能である。

２，２Ａ，２Ｂ推定装置
４撮像部
６画像情報取得部
８顔情報取得部
１０身体情報取得部
１２，１２Ａ，１２Ｂ重み設定部
１４眠気推定部
１６第１の検出部
１８第１の信頼度算出部
２０第２の検出部
２２第２の信頼度算出部
２４車両情報取得部
２６環境情報取得部

Claims

車両の運転者の眠気を推定するための推定装置であって、
前記運転者を撮像した画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、前記運転者の顔の挙動を示す第１の情報を検出する第１の検出部と、
前記第１の情報の検出結果の確からしさを示す指標である第１の信頼度を算出する第１の信頼度算出部と、
前記画像情報に基づいて、前記運転者の身体動作を示す第２の情報を検出する第２の検出部と、
前記第２の情報の検出結果の確からしさを示す指標である第２の信頼度を算出する第２の信頼度算出部と、
前記第１の情報及び前記第２の情報が検出された場合に、前記第１の信頼度及び前記第２の信頼度に基づいて、前記第１の情報に対応する第１の重み、及び、前記第２の情報に対応する第２の重みを設定する重み設定部と、
前記第１の重みで重み付けした前記第１の情報、及び、前記第２の重みで重み付けした前記第２の情報に基づいて、前記運転者の眠気を推定する推定部と、を備え、
前記第１の信頼度算出部は、（ｉ）前記運転者の顔に強い日差しが当たっているか、（ｉｉ）前記運転者の顔が影で暗くなっているか、（ｉｉｉ）前記運転者が笑っているために前記運転者の眼が細くなっているか、及び、（ｉｖ）前記運転者の瞬きの回数が第１の閾値以上又は前記第１の閾値よりも小さい第２の閾値以下であるか、の少なくとも１つに基づいて、前記第１の信頼度を算出する
推定装置。
前記推定装置は、さらに、前記車両の走行状態及び車室内の環境の少なくとも１つを示す車両情報を取得する車両情報取得部を備え、
前記重み設定部は、さらに、前記車両情報に基づいて、設定した前記第１の重み及び前記第２の重みを変更する
請求項１に記載の推定装置。
前記推定装置は、さらに、前記車両の周囲の環境を示す環境情報を取得する環境情報取得部を備え、
前記重み設定部は、さらに、前記環境情報に基づいて、設定した前記第１の重み及び前記第２の重みを変更する
請求項１に記載の推定装置。
前記推定装置は、さらに、前記車両の走行状態を示す車両情報を取得する車両情報取得部を備え、
前記重み設定部は、さらに、前記車両情報に基づいて、前記車両が停車中又はカーブを走行中であると判定した場合には、設定した前記第２の重みを変更する
請求項１に記載の推定装置。
前記第２の情報は、前記運転者の骨格点を示す骨格点情報を含む
請求項１～４のいずれか１項に記載の推定装置。
前記第２の検出部は、前記骨格点情報により示される前記骨格点を時間方向に追跡する
請求項５に記載の推定装置。
前記推定部は、所定の条件を満たす場合に、前記運転者の眠気を判定する処理周期を変更可能である
請求項１～６のいずれか１項に記載の推定装置。
車両の運転者の眠気を推定するための推定方法であって、
前記運転者を撮像した画像情報を取得するステップと、
前記画像情報に基づいて、前記運転者の顔の挙動を示す第１の情報を検出するステップと、
前記第１の情報の検出結果の確からしさを示す指標である第１の信頼度を算出するステップと、
前記画像情報に基づいて、前記運転者の身体動作を示す第２の情報を検出するステップと、
前記第２の情報の検出結果の確からしさを示す指標である第２の信頼度を算出するステップと、
前記第１の情報及び前記第２の情報が検出された場合に、前記第１の信頼度及び前記第２の信頼度に基づいて、前記第１の情報に対応する第１の重み、及び、前記第２の情報に対応する第２の重みを算出するステップと、
前記第１の重みで重み付けした前記第１の情報、及び、前記第２の重みで重み付けした前記第２の情報に基づいて、前記運転者の眠気を推定するステップと、を含み、
前記第１の信頼度を算出するステップでは、（ｉ）前記運転者の顔に強い日差しが当たっているか、（ｉｉ）前記運転者の顔が影で暗くなっているか、（ｉｉｉ）前記運転者が笑っているために前記運転者の眼が細くなっているか、及び、（ｉｖ）前記運転者の瞬きの回数が第１の閾値以上又は前記第１の閾値よりも小さい第２の閾値以下であるか、の少なくとも１つに基づいて、前記第１の信頼度を算出する
推定方法。
請求項８に記載の推定方法をコンピュータに実行させる
プログラム。