JP7846547B2 - 乗員状態監視装置 - Google Patents

Description

本発明は、乗員状態監視装置に関する。

従来の車両において乗員の状態を監視する装置として、例えば、以下の特許文献に記載の構造が知られている。

特許文献１に記載された運転支援装置では、視線検出部にて検出した視線に基づいて、モニタに表示すべき表示対象を決定する。また、モニタは、車外カメラにて撮影した表示対象の映像を表示する。

特許文献２では、ビデオ内の少なくとも１つのスライディング時間窓内に含まれるフレームの顔画像の注視領域の各々の種別分布に基づいて、運転者注意力の監視結果を決定している。

特開２００９－０２３５６５号公報 特表２０２１－５１８０１０号公報

しかしながら、前述した各特許文献に記載された発明では、乗員の状態をより正確に監視する観点から改善の余地があった。

具体的には、前述した各特許文献に記載された発明では、ビデオやカメラ等の撮像手段から乗員の状態を推定しているものの、乗員の三次元的な視点に関する情報を正確に把握していない。よって、係る発明を用いて乗員の脇見を監視しようとすると、正確に脇見を監視することが難しい課題があった。

本発明は、このような問題点を鑑みてなされたものであり、本発明の目的は、車両に搭乗する乗員の状態を正確に監視できる乗員状態監視装置を提供することにある。

本発明の乗員状態監視装置は、車両に搭乗する乗員を撮影する撮影部と、前記車両の車両部材の位置情報である車両部材座標を記憶する記憶部と、演算制御部と、を具備し、前記車両部材座標は、ダッシュボードの内装面を示す三次元座標の情報を含み、
前記演算制御部は、前記乗員を撮影した画像に基づいて、前記乗員が注視している位置を示す注視座標を算出し、前記注視座標および前記車両部材座標に基づいて、前記乗員の視線角度が前記ダッシュボードの内装面を向いており、かつ前記注視座標が前記ダッシュボードの内装面よりも前記乗員の側であると判定した場合に、前記乗員が脇見をしていると判断することを特徴とする。

本発明の乗員状態監視装置によれば、撮影部が撮影した画像から注視座標を三次元的に算出し、注視座標と車両部材座標とを比較することにより、乗員の状態を判断できることから、例えば、乗員が脇見をしている状態を容易に検出することができる。即ち、乗員の視線が前方を向いていても、室内に配置された携行機器等を凝視している場合に、その状態を検出して報知することができ、車両運転時の安全性を向上できる。

本発明の実施形態に係る乗員状態監視装置を備えた車両を示す側面図である。 本発明の実施形態に係る乗員状態監視装置を備えた車両の車室内前部を示す図である。 本発明の実施形態に係る乗員状態監視装置の接続構成を示すブロック図である。 本発明の実施形態に係る乗員状態監視装置において乗員の状態を示す模式図である。 本発明の実施形態に係る乗員の状態を監視する方法を示すフローチャートである。 本発明の実施形態に係る乗員状態監視装置において、車両部材座標を示す模式図である。 本発明の実施形態に係る乗員状態監視装置において、車両部材座標を示す模式図である。 本発明の実施形態に係る乗員状態監視装置において、注視座標と車両部材座標との関係性を詳述する模式図である。 本発明の実施形態に係る乗員状態監視装置において、視線と報知の有無との関係性を示す表である。 本発明の実施形態に係る乗員状態監視装置において、領域の重み付けを示す図である。

以下、本発明の実施形態に係る乗員状態監視装置１１を図面に基づき詳細に説明する。以下の説明では、同一の部材には原則的に同一の符号を付し、繰り返しの説明は省略する。

図１Ａは、乗員状態監視装置１１を備えた車両１０を示す側面図である。図１Ｂは、乗員状態監視装置１１を備えた車両１０の車室内前部を示す図である。

乗員状態監視装置１１は、車両１０に搭乗する乗員１８の状態を監視するための装置である。乗員状態監視装置１１は、撮影部２１と、記憶部２５と、演算制御部２６と、を主要に具備する。乗員状態監視装置１１の具体的な機能および構成は、図２以降の図を参照して後述する。

車両１０は、例えば、自動車や電車等である。車両１０は、例えば、エンジン搭載車両、ＥＶ（Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）、ＨＥＶ（Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）またはＰＨＥＶ（Ｐｌｕｇ－ｉｎ Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃａｌ Ｖｅｈｉｃｌｅ）である。

運転席であるシート１３には、車両１０を運転する乗員１８が着座している。乗員１８は、ステアリングハンドル１４、図示しないブレーキペダルおよびアクセルペダル等を操作することで、車両１０を運転する。

車体２８の前方部分にはフロントガラス１２が配設されている。

図１Ｂに示すように、ダッシュボード１９の左右方向中央付近には、ディスプレイ１５が配設されている。ディスプレイ１５は、車外気温、エアコンの作動状況などの車両１０に関する情報を一括して表示するマルチファンクションディスプレイであり、後述する警報を表示する報知部としても機能している。ここで、報知部としては、警報音を発するスピーカが採用されてもよい。

ディスプレイ１５よりも上方のダッシュボード１９には、車両１０を運転する乗員１８の頭部３０等を撮像するための撮影部２１が配設されている。撮影部２１は、ＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）と称される。撮影部２１は、例えば赤外線カメラ等である。

ステアリングハンドル１４の上方部分の奥側にはメータ類２３が配設される。メータ類２３には、車速、エンジンの回転速度等が表示される。

乗員状態監視装置１１は、車両１０を運転する乗員１８の状態を撮影部２１で監視し、乗員１８が脇見等をしていると判断したら、その旨を乗員１８に報知する。このようにすることで、乗員１８は、ディスプレイ１５等からの報知により、自らの状態を認識することができ、脇見をしている状態から、運転動作に集中している通常状態に復帰することができる。かかる動作に関しては、フローチャートを参照して後述する。

図２は、乗員状態監視装置１１の接続構成を示すブロック図である。

乗員状態監視装置１１は、演算制御部２６、撮影部２１、記憶部２５、ディスプレイ１５および報知部２７を、主に有する。

演算制御部２６は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を有する。演算制御部２６の入力側端子は、撮影部２１および記憶部２５に接続される。演算制御部２６の出力側端子は、ディスプレイ１５および報知部２７に接続される。後述するように、演算制御部２６は、乗員１８を撮影した画像に基づいて、乗員１８が注視している位置を示す注視座標１７を算出し、注視座標１７および車両部材座標１６に基づいて、乗員１８の状態を判断する。

撮影部２１は、車両１０に搭乗する乗員１８を撮影する。撮影部２１は、例えば赤外線カメラであり、日中および夜間において乗員１８の頭部３０を撮影することができる。

記憶部２５は、車両部材の位置情報である車両部材座標１６を記憶する。車両部材の位置情報とは、図１Ａに示したダッシュボード１９およびそれに備えられる各部材の表面の三次元位置を示す情報である。

ディスプレイ１５は、前述したとおり、車両１０に関連する各種情報等を映し出す表示装置である。

報知部２７は、例えば、車体２８に配設されたスピーカであり、乗員１８が脇見をしていると判断したら、その旨を発音することにより乗員１８に報知する。

図３は、撮影部２１が撮影する乗員１８の状態を示す模式図である。前述した撮影部２１は、乗員１８の頭部３０に備えられた眼球２０を撮影する。更に、前述した演算制御部２６は、頭部３０または眼球２０を撮影した映像から、乗員１８が注視している三次元上の位置である注視座標１７を算出する。例えば、演算制御部２６は、眼球２０の瞳の位置から、注視座標１７を算出する。

図４は、乗員１８の状態を監視する方法を示すフローチャートである。図４を参照して、乗員状態監視装置１１により乗員１８の状態としての脇見を監視する方法を説明する。

ステップＳ１０では、乗員１８の指示に基づいて車両１０は走行を開始する。

ステップＳ１１では、演算制御部２６は、撮影部２１により乗員１８の頭部３０および眼球２０を撮影する。演算制御部２６は、撮影部２１による当該撮影を、車両１０の走行が終了するまで続行する。

ステップＳ１２では、演算制御部２６は、撮影部２１が撮影した画像から注視座標１７の三次元座標を算出する。具体的には、図５Ｂに示すように、演算制御部２６は、乗員１８を撮影した画像から、注視座標１７を特定するための演算を行う。詳しくは、図６に示すように、演算制御部２６は、左右の眼球２０の視線から視線角度および焦点距離を算出し、眼球２０の位置から視線座標角度を算出し、頭部３０の位置および傾きから視点座標絶対値（対車体座標）を算出し、乗員１８の体勢から視点座標絶対値（対車体座標）を算出する。本実施形態では、乗員１８の眼球２０等に関する情報に基づいて、注視座標１７を算出することで、注視座標１７の三次元位置を正確に求めることができる。

ステップＳ１３では、演算制御部２６は、注視座標１７と車両部材座標１６とを比較する。図５Ａを参照して、車両部材座標１６は、車両１０の内装を構成する車両部材の表面を示す三次元座標である。例えば、車両部材座標１６は、フロントガラス１２の内面、ダッシュボード１９の内面等を示す三次元座標である。例えば、演算制御部２６は、注視座標１７と車両部材座標１６とを重ね合わせることで、両座標を比較する。

ステップＳ１４では、演算制御部２６は、乗員１８の状態を監視し、例えば、乗員１８が脇見をしているか否かを判断する。

具体的な演算例の一例としては、注視座標１７と車両部材座標１６とを比較することができる。例えば、図６を参照して、演算制御部２６は、注視座標１７が、車両部材の表面よりも乗員１８の側である場合に、乗員１８が脇見をしていると判断することができる。詳述すると、ダッシュボード１９の後方面を示す車両部材座標１６と、注視座標１７との距離Ｌ１０が、予め定められた閾値以上である場合に、乗員１８が脇見をしていると判断することができる。この場合、乗員１８は、フロントガラス１２を介して車両１０の前方を注視しておらず、例えば、ダッシュボード１９の後方側に配置されたスマートフォン等である携行機器２２を脇見している、と判断される。この場合は、後述するように、乗員１８に対して、脇見をしないように報知することができる。

図７の表を参照して、ステップＳ１４では、乗員１８の視線の向かう先である視線対象物体の種類から、脇見の有無または報知の要否を判断することができる。

具体的には、乗員１８の視線の角度が、フロントガラス１２またはミラー（サイドミラーもしくはバックミラー）を向いており、注視座標１７が車室外である場合は、演算制御部２６は、乗員１８は脇見をしておらず、報知は不要であると判断する。

また、乗員１８の視線の角度が、フロントガラス１２またはミラー（サイドミラーもしくはバックミラー）を向いており、注視座標１７が車室内である場合は、演算制御部２６は、車両部材座標１６と注視座標１７との関係性を考慮する。即ち、注視座標１７が車両部材座標１６の表面またはその近傍に存在する場合は、演算制御部２６は、乗員１８が、ガラスの曇りやゴミを一時的に見ていると判断し、脇見をしておらず報知は不要であると判断する。一方、注視座標１７が車両部材座標１６よりも手前側、即ち乗員１８の側に存在する場合は、演算制御部２６は、乗員１８が、スマートフォン等の携行機器２２を注視して脇見をしており、報知が必要と判断する。

更に、乗員１８の視線角度が、ダッシュボード１９等の内装面を向いており、焦点が車室内である場合は、演算制御部２６は、車両部材座標１６と注視座標１７との関係性を考慮する。即ち、注視座標１７が車両部材座標１６の表面またはその近傍に存在する場合は、演算制御部２６は、乗員１８が、インフォテイメントまたは内装の汚れを一時的に見ていると判断し、脇見をしておらず報知は不要であると判断する。一方、注視座標１７が車両部材座標１６よりも手前側、即ち乗員１８の側に存在する場合は、演算制御部２６は、乗員１８が、スマートフォン等の携行機器２２を注視して脇見をしており、報知が必要と判断する。また、注視座標１７が車両部材座標１６よりも奥側、即ち乗員１８から離れる側に存在する場合は、演算制御部２６は、乗員１８が、外れた部品や破損を一時的に見ており、脇見をしておらず報知は不要であると判断する。

上記のように乗員１８の脇見を判断することで、車両１０の内部状況や乗員１８の運転状況に応じて、脇見を正確に検知し且つ報知できる。

図８を参照して、ステップＳ１４では、携行機器２２等が配置される領域において脇見と判断される度合いが高くなるような重付け処理を行うことができる。具体的には、ダッシュボード１９において、例えばスマートフォンである携行機器２２が配置される領域は限定されている。通常、携行機器２２は、乗員１８の利便性および視認性を考慮し、ステアリングハンドル１４の左方近傍または右方近傍に配置される。図８では、点線で囲まれる領域２９に於いて、携行機器２２が配置される頻度が高い。

図６を参照して、重付け処理の一例としては、領域２９の内部において、Ｌ１０と比較する閾値を、他の領域よりも短く設定することが考えられる。このようにすることで、領域２９の内部において、より確実に脇見を検出しやすくなる。

このようにすることで、演算制御部２６は、領域２９において、脇見と判断される度合いが高くなるような重付け処理を行うことができる。即ち、乗員１８の視線が領域２９を向いた場合、乗員１８が脇見をしている可能性が高いと判断する。一方、乗員１８の視線が領域２９以外を向いた場合、乗員１８が脇見をしている可能性が低いと判断する。このようにすることで、携行機器２２を乗員１８が凝視することによる脇見をより正確に検知できる。

ステップＳ１４でＹＥＳの場合、即ち、乗員１８が脇見をしている場合は、ステップＳ１５に移行する。

ステップＳ１４でＮＯの場合、即ち、乗員１８が脇見をしていない場合は、ステップＳ１８に移行し、報知は行わない。

ステップＳ１５では、演算制御部２６は、乗員１８に報知する。具体的には、演算制御部２６は、報知部２７であるスピーカ等から、脇見を是正するための音声や警告音を発音する。また、報知部２７としては、ディスプレイ１５を採用することもでき、この場合は、脇見を是正するための画像が、ディスプレイ１５に表示される。報知部２７を介して乗員１８に報知することで、乗員１８が脇見することを是正することができる。

ステップＳ１６では、演算制御部２６は、乗員１８が脇見を継続しているかを判断する。ステップＳ１６における処理は、前述したステップＳ１３およびステップＳ１４と同様である。

ステップＳ１６でＹＥＳの場合、即ち、乗員１８が脇見を続行している場合は、演算制御部２６は、ステップＳ１５に戻り、報知を続行する。

ステップＳ１６でＮＯの場合、即ち、乗員１８が脇見を止めた場合は、演算制御部２６は、ステップＳ１７に移行する。

ステップＳ１７では、演算制御部２６は、報知部２７による報知を終了する。

ステップＳ１８では、乗員１８は、車両１０の走行を終了する。即ち、乗員１８は、車両１０を停止させる。

以上、本発明の実施形態について説明したが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲で変更が可能である。また、前述した各形態は相互に組み合わせることが可能である。

例えば、前述した実施形態では、演算制御部２６が監視する状態として脇見を採用したが、他の状態を監視対象にすることもできる。例えば、乗員１８が極端に体勢を崩した状態等を、演算制御部２６の監視対象状態にすることもできる。

１０ 車両
１１ 乗員状態監視装置
１２ フロントガラス
１３ シート
１４ ステアリングハンドル
１５ ディスプレイ
１６ 車両部材座標
１７ 注視座標
１８ 乗員
１９ ダッシュボード
２０ 眼球
２１ 撮影部
２２ 携行機器
２３ メータ類
２５ 記憶部
２６ 演算制御部
２７ 報知部
２８ 車体
２９ 領域
３０ 頭部

Claims (6)

1. 車両に搭乗する乗員を撮影する撮影部と、
   前記車両の車両部材の位置情報である車両部材座標を記憶する記憶部と、
   演算制御部と、を具備し、
   前記車両部材座標は、ダッシュボードの内装面を示す三次元座標の情報を含み、
   前記演算制御部は、
   前記乗員を撮影した画像に基づいて、前記乗員が注視している位置を示す注視座標を算出し、
   前記注視座標および前記車両部材座標に基づいて、前記乗員の視線角度が前記ダッシュボードの内装面を向いており、かつ前記注視座標が前記ダッシュボードの内装面よりも前記乗員の側であると判定した場合に、前記乗員が脇見をしていると判断することを特徴とする乗員状態監視装置。
2. 前記演算制御部は、
   前記画像に含まれる前記乗員の眼球に関する情報から、前記注視座標を算出することを特徴とする請求項１に記載の乗員状態監視装置。
3. 報知部を更に具備し、
   前記演算制御部は、
   前記注視座標および前記車両部材座標に基づいて、前記乗員が脇見をしていると判断したら、前記報知部を介して前記乗員に報知することを特徴とする請求項１または請求項２に記載の乗員状態監視装置。
4. 前記演算制御部は、前記ダッシュボードの内装面の所定の第１領域において脇見と判断される度合いが、前記ダッシュボードの内装面の前記第１領域を除いた第２領域において脇見と判断される度合いよりも、高くなる重付け処理を行うことを特徴とする請求項１から請求項３の何れかに記載の乗員状態監視装置。
5. 前記所定の第１領域は、ステアリングハンドルの左方近傍または右方近傍に配置されることを特徴とする請求項４に記載の乗員状態監視装置。
6. 前記演算制御部は、
   前記乗員の前記視線角度が前記第１領域を向いている場合には、前記注視座標が、前記ダッシュボードの内装面から前記乗員側に第１距離以上離れている場合に、前記乗員が脇見をしていると判断し、
   前記乗員の前記視線角度が前記第２領域を向いている場合には、前記注視座標が、前記ダッシュボードの内装面から前記乗員側に前記第１距離よりも長い第２距離以上離れている場合に、前記乗員が脇見をしていると判断することを特徴とする請求項４または５に記載の乗員状態監視装置。