JP7370456B2 - 乗員状態判定装置および乗員状態判定方法 - Google Patents

Description

本開示は車両の乗員の状態を検出する技術に関するものである。

例えば特許文献１には、車両中央前方に設置されている広角カメラによって運転席の乗員および助手席の乗員を同時に撮像し、運転席の乗員および助手席の乗員の状態を判定する装置が記載されている。

ＷＯ２０１８／１５８８０９号公報

上記特許文献１においては、運転席の乗員および助手席の乗員を同時に撮像するため、カメラを車両前方の中央付近にカメラを設置する必要がある。そのため、例えば、運転席または助手席の乗員が車両の窓側に姿勢を崩したときや車両の窓の方向に極端に顔向きを変化させたときには、乗員の顔の一部または全部が撮像できなくなってしまい、運転席または助手席の乗員の状態の判定精度が低下してしまう。常に精度よく乗員の状態を判定するためには、各乗員の正面にカメラを配置することや１人の乗員に対して複数のカメラを配置することが考えられるが、カメラの数が増加してしまい、コストが増加してしまう。

本開示は上記した課題を解決するためになされたものであり、車両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することを目的とする。

本開示に係る乗員状態判定装置は、車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、車両の外側に設けられ、車両の側後方と共に、運転席または助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、第１の画像が乗員の状態を判定するのに不適切な状態であるかを判定し、第１の画像が乗員の状態を判定するのに不適切な状態である場合、第２の画像から乗員の状態を判定し、第１の画像が乗員の状態を判定するのに不適切な状態でない場合、第１の画像に基づいて乗員の状態を判定する乗員状態判定部と、を備える。

本開示の乗員状態判定装置は、車両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することができる。

本開示の実施の形態１に係る乗員状態判定装置の構成を示すブロック図である。 本開示の実施の形態１に係る第１の撮像装置および第２の撮像装置の配置および撮像範囲の例を示す図である。 図３Ａおよび図３Ｂは、この発明の実施の形態１に係る、乗員状態判定装置のハードウェア構成例を示す図である。 本開示の実施形態１における乗員状態判定処理の動作を示すフローチャートである。 本実施の形態２に係る乗員状態判定装置の構成を示すブロック図である。 本開示の実施形態２における乗員状態判定処理の動作を示すフローチャートである。

以下、本開示を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。

実施の形態1
図１は本実施の形態１に係る乗員状態判定装置１００の構成を示すブロック図である。
乗員状態判定装置１００は、第１の画像取得部１、第２の画像取得部２、乗員状態判定部３を備える。
図１に示すように、乗員状態判定装置１００は、第１の撮像装置１０および第２の撮像装置２０および制御装置３０に接続されている。

図２は本実施の形態１に係る第１の撮像装置１０および第２の撮像装置２０の配置および撮像範囲の例を示す図である。
第１の撮像装置１０は、運転席および助手席に着座する乗員を撮像するための撮像装置であって、図２に示すように、車両前方中央部に設けられ、運転席および助手席に着座する乗員を同時に撮像できるように構成されている。第１の撮像装置１０としてはカメラが挙げられる。

第２の撮像装置２０は、電子ミラー用の撮像装置、つまり、車両の側後方を撮像するための撮像装置であって、図２に示すように、車両の外側の運転席側の窓ガラス４０ａ付近には撮像装置２０ａ、助手席側の窓ガラス４０ｂ付近には撮像装置２０ｂが設けられ、車両側後方と共に、前席の窓ガラス越しに運転席または助手席の乗員を撮像できるように構成されている。第２の撮像装置２０としてはカメラが挙げられる。

第１の画像取得部１は、第１の撮像装置１０の撮像した第１の画像を取得し、乗員状態判定部３に送信する。
第２の画像取得部２は、第２の撮像装置２０の撮像した第2の画像を取得し、乗員状態判定部３に送信する。
なお、本実施の形態１では、第１の画像取得部１と第２の画像取得部２に分けて記載しているが、１つの画像取得部が第１の画像および第２の画像を取得するようにしてもよい。
なお、実施の形態１においては第１の撮像装置１０と撮像装置２０ａで運転席の乗員（以下、運転者）の状態を判定する例で説明を行う。もちろん、第１の撮像装置１０と撮像装置２０ｂで助手席の乗員の状態を判定することも可能である。

乗員状態判定部３は、第１の画像取得部１から送信された第１の画像が、運転者の状態を判定するのに不適切な状態であるかを判定する。運転者の状態を判定するのに不適切な状態としては、例えば、運転者の顔が検出できない、運転者の顔の構成要素（目、鼻、口等）の一部または全部が検出できない、運転者の顔の位置が予め定められた領域の外に存在、白飛びまたは黒飛びしている画素が予め定められた割合以上等が挙げられる。
乗員状態判定部３は、第１の画像が運転者の状態を判定するのに不適切な状態の場合、第２の画像から運転者の状態を判定し、一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合、第１の画像から運転者の状態を判定する。
乗員状態判定部３は、第１の画像または第２の画像から判定する運転者の状態が確定した場合、判定した運転者の状態を制御装置３０に送信する。

また、運転者の状態とは、例えば、個人判定（個人認証）、居眠り状態、脇見状態またはデッドマン（運転不能状態）等が挙げられる。なお、運転者の状態は、運転者の目、鼻、口等、顔の構成要素である特徴点に基づいて判定されてもよいし、機械学習によって判定されてもよい。

制御装置３０は、乗員状態判定部３から送信された状態に応じて、制御する機器を選択し、制御を行う。例えば、乗員状態判定部３から送信された状態が居眠り状態である場合は、制御装置３０は警報装置（不図示）を制御し、運転者に覚醒を促すように警報を行わせ、乗員状態判定部３から送信された状態が個人認証の結果であった場合は、認証した個人に適した車両のシート位置および傾きとなるように、シートの駆動部を制御する。

次に、乗員状態判定装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、乗員状態判定装置１００のハードウェア構成例を示す図である。
乗員状態判定装置１００における第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能は、処理回路によって実現される。即ち、乗員状態判定装置１００は上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。

図３Ａに示すように、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各部の機能それぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図３Ｂに示すように、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能を実現する。即ち、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３は、プロセッサ２００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ２００ｂとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。メモリ２００ｃは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、乗員状態判定装置１００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって、上述の各機能を実現することができる。

次に、乗員状態判定装置１００の乗員状態の判定処理の動作について図４を用いて説明する。
図４は実施の形態１に係る乗員状態判定装置１００の乗員状態の判定処理の動作を示すフローチャートである。図４のフローチャートでは、運転者の状態を判定する例を説明する。

第１の画像取得部１および第２の画像取得部２は、各々第１の撮像装置１０および撮像装置２０ａから第１の画像および第２の画像を取得し、乗員状態判定部３に各画像を送信する（ステップＳＴ１）。乗員状態判定部３は、第１の画像が第１の画像が運転者の状態を判定するのに不適切な状態かを判定し（ステップＳＴ２）、第１の画像が運転者の状態を判定するのに不適切な状態の場合（ステップＳＴ２：ＹＥＳ）、第２の画像から乗員の状態を判定し（ステップＳＴ４）、第１の画像が運転者の状態を判定するのに不適切な状態ではない場合（ステップＳＴ２：ＮＯ）、前記第１の画像 から運転者の状態を判定する（ステップＳＴ４）。そして、乗員状態判定部３が第１の画像または第２の画像から運転者の状態が確定した場合（ステップＳＴ５：ＹＥＳ）、確定した運転者の状態を制御装置３０に送信し（ステップＳＴ６）、ステップ１の処理に戻る。一方、運転者の状態が確定しない場合（ＳＴ５：ＮＯ）、ステップ１の処理に戻る。

以上のように、車車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置１０が撮像した第１の画像を取得する第１画像取得部１と、車両の外側に設けられ、車両の側後方と共に、運転席または助手席の乗員を撮像する第２の撮像装置２０が撮像した第２の画像を取得する第２画像取得部２と、第１の画像が乗員の状態を判定するのに不適切な状態であるかを判定し、第１の画像が乗員の状態を判定するのに不適切な状態である場合、第２の画像から乗員の状態を判定し、第１の画像が乗員の状態を判定するのに不適切な状態でない場合、第１の画像に基づいて乗員の状態を判定する乗員状態判定部３と、を備える構成にしたので、両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、運転席の乗員および助手席の乗員を撮像するための第１の撮像装置が乗員を精度よく撮像できていない場合に、電子ミラー用の撮像装置である第２の撮像装置２０の画像から乗員の状態を判定するようにしたため、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することができる。
また、第１の撮像装置１０と第２の撮像装置２０は乗員に対して対称の位置に設けられており、第１の撮像装置１０にとって死角になってしまうステアリングの影を第２の撮像装置２０ａで補うことが可能となる。

実施の形態２
本実施の形態２では、第１の撮像装置１０および第２の撮像装置２０により撮像された画像を相互に補完させる構成を示す。実施の形態２については図５を用いて説明する。
図５は本実施の形態２に係る乗員状態判定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る乗員状態判定装置１００Ａは、実施の形態１で示した乗員状態判定装置１００に撮像画像合成部４を追加して構成している。
以下では、実施の形態１に係る乗員状態判定装置１００と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

乗員状態判定部３Ａは、第１の画像が運転者の状態を判定するのに不適切な状態の場合、第１の画像および第２の画像を撮像画像合成部４に送信し、撮像画像合成部４が作成した合成画像から運転者の状態を判定し、一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合、第１の画像から運転者の状態を判定する。

撮像画像合成部４は、乗員状態判定部３Ａから送信された第１の画像および第２の画像を照合し、第１の画像および第２の画像の両方に撮像されている共通領域を検出する。そして、共通領域が重なるように、第１の画像および第２の画像を合成し、合成画像を作成する。撮像画像合成部４は、撮像画像の合成が完了した場合、合成画像を乗員状態判定部３Ａに送信する。

撮像画像合成部４は、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３同様、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。

次に、乗員状態判定装置１００Ａの乗員状態判定処理について図７を用いて説明する。
図７は実施の形態２に係る乗員状態判定装置１００Ａの乗員状態の判定処理の動作を示すフローチャートである。図７のフローチャートでは、運転者の状態を判定する例を説明する。
なお、以下では、実施の形態１に係る乗員状態判定装置１００と同一のステップには図４で使用した符号を付し、説明を省略または簡略化する。

第１の画像が第１の画像が運転者の状態を判定するのに不適切な状態かを判定し（ステップＳＴ２）、第１の画像が運転者の状態を判定するのに不適切な状態の場合（ステップＳＴ２：ＹＥＳ）、第１の画像および第２の画像から合成画像を作成し（ステップＳＴ２１）、合成画像から運転者の状態を判定する（ステップＳＴ２２）。一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合（ステップＳＴ２：ＮＯ）、前記第１の画像 から運転者の状態を判定する（ステップＳＴ４）。

以上のとおり、本実施の形態２によれば、第１の画像が乗員の状態を判定するのに不適切な状態の場合に、第１の画像と第２の画像を合成した合成画像を作成し、合成画像から乗員の状態を判定するようにしたため、例えば、第１の画像には乗員の左目のみ撮像できており、第２の画像には乗員の右目のみ撮像できているような状況において、乗員の両目の情報から乗員の状態を判定することが可能であり、乗員の状態の判定精度を向上することが可能となる。

１００、１００Ａ 乗員状態判定装置、１ 第１の画像取得部、２ 第２の画像取得部 、３、３Ａ 乗員状態判定部、４ 撮像画像合成部、１０ 第１の撮像装置、２０ 第２の撮像装置、２０ａ、２０ｂ 撮像装置 ３０ 制御装置、４０ａ、４０ｂ 窓ガラス、２００ａ 処理回路、２００ｂ プロセッサ、２００ｃ メモリ

Claims (5)

1. 車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、
   前記車両の外側に設けられ、前記車両の側後方と共に、前記運転席または前記助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、
   前記第１の画像が前記乗員の状態を判定するのに不適切な状態であるかを判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態である場合、前記第１の画像および前記第２の画像を合成した合成画像を作成し、前記合成画像から前記乗員の状態を判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態でない場合、前記第１の画像に基づいて前記乗員の状態を判定する乗員状態判定部と、
   を備えた乗員状態判定装置。
2. 前記乗員の状態を判定するのに不適切な状態とは、前記乗員の顔の位置が予め定められた領域の外に存在する状態である請求項１記載の乗員状態判定装置。
3. 前記乗員の状態を判定するのに不適切な状態とは、前記乗員の顔が検出できない状態である請求項１記載の乗員状態判定装置。
4. 前記乗員の状態を判定するのに不適切な状態とは、前記第１の画像の白飛びまたは黒飛びしている画素の割合が予め定められた閾値以上の場合である請求項１記載の乗員状態判定装置。
5. 車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得ステップと、
   前記車両の外側に設けられ、前記車両の側後方および前記運転席または前記助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得ステップと、
   前記第１の画像が前記乗員の状態を判定するのに不適切な状態であるかを判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態である場合、前記第１の画像および前記第２の画像を合成した合成画像を作成し、前記合成画像から前記乗員の状態を判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態でない場合、前記第１の画像に基づいて前記乗員の状態を判定する乗員状態判定ステップと、
   を含む乗員状態判定方法。

Images