JP6594595B2 - 運転不能状態判定装置および運転不能状態判定方法 - Google Patents

Description

この発明は、車両を運転する運転者の運転不能状態を判定する技術に関するものである。

車両を運転する運転者を撮像した撮像画像から運転者の運転不能状態を判定する技術がある。撮像画像から運転者の運転不能状態を検出する方法の１つとして、撮像画像から運転者の顔を検出できない状態が一定時間継続して検知した場合に、運転不能状態と検出する方法がある。
例えば、特許文献１には、車両に搭載されたカメラが撮像した撮像画像から、運転者の顔を逐次検出し、車両の走行中に検出した運転者の顔が画像の所定範囲から外れている場合に、運転者が運転不能状態であることを検出する運転不能状態検出装置が開示されている。

特開２０１６−２７４５２号公報

上述した特許文献１に記載された運転不能状態検出装置では、運転者の顔が、例えば運転者の手、またはタオルの遮蔽物によって遮られた場合に、運転者の顔の画像を所定範囲内で検出することができず、運転者が運転不能状態であると誤検出する場合があるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することを目的とする。

この発明に係る運転不能状態判定装置は、車両内の撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から、運転者の顔を検出する顔検出部と、画像取得部が取得した撮像画像から判定領域画像を取得する判定領域取得部と、顔検出部が運転者の顔を検出できない状態が、第１の閾値時間継続した場合に、判定領域取得部が取得した撮像画像内の判定領域画像と、運転者が着座していない運転席を撮像した撮像画像である比較画像内の判定領域画像との差分に基づいて運転者の状態を判定する状態判定部とを備えるものである。

この発明によれば、運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することができる。

実施の形態１に係る運転不能状態判定装置の構成を示すブロック図である。 図２Ａ、図２Ｂは、実施の形態１に係る運転不能状態判定装置の顔検出部および判定領域取得部の処理の一例を示す図である。 図３Ａ、図３Ｂは、実施の形態１に係る運転不能状態判定装置のハードウェア構成例を示す図である。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄは、実施の形態１に係る運転不能状態判定装置の第１の状態判定部の判定処理を示す図である。 実施の形態１に係る運転不能状態判定装置の動作を示すフローチャートである。 実施の形態１に係る運転不能状態判定装置の注意喚起状態での動作を示すフローチャートである。 実施の形態１に係る発明の運転不能状態判定装置の判定結果に基づく表示例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る運転不能状態判定装置１００の構成を示すブロック図である。
運転不能状態判定装置１００は、まず、運転者の顔を検出する処理を行い、当該顔の検出に成功しなかった場合に、車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した第２の運転席の画像とを比較する。運転不能状態判定装置１００は、第１の運転席の撮像画像と、第２の運転席の画像との比較結果に基づいて、運転者が運転不能状態であるか否かを判定する。

詳細は後述するが、運転不能状態判定装置１００は、第１の運転席の撮像画像と第２の運転席の撮像画像との差分を算出する。運転不能状態判定装置１００は、算出した差分が基準値以上である場合は、運転者が運転不能状態でないと判定する。一方、運転不能状態判定装置１００は、算出した差分が基準値未満である場合は、運転者が運転不能状態であると判定する。
これにより、運転不能状態判定装置１００は、運転者の顔が運転者の手またはタオル等の遮蔽物で覆われているために、運転者の顔の検出に成功しなかった場合に、運転者が運転不能状態であると誤判定するのを防止することができる。

図１に示すように、運転不能状態判定装置１００は、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部（状態判定部）１０４、比較画像蓄積部１０５、顔情報取得部１０６および第２の状態判定部１０７を備える。
運転不能状態判定装置１００には、カメラ２００、警告装置３００および車両制御装置４００が接続されている。
カメラ２００は、運転不能状態判定装置１００を搭載した車両の車室内を撮像する撮像装置である。カメラ２００は、例えば赤外線カメラである。カメラ２００は、運転席に着座した運転者の少なくとも頭部を撮影可能な位置に設置される。また、カメラ２００は、１台または複数台で構成される。

警告装置３００は、運転不能状態判定装置１００の判定結果に基づいて、車両の運転者に対して音声または音声と表示によって、注意喚起を示す情報または警告を示す情報を生成する。警告装置３００は、生成した注意喚起を示す情報または警告を示す情報の出力制御を行う。警告装置３００を構成する、例えばスピーカ、またはスピーカおよびディスプレイは、出力制御に基づいて、注意喚起を示す情報または警告を示す情報を音声出力、または音声出力および表示する。
車両制御装置４００は、運転不能状態判定装置１００の判定結果に基づいて、車両の走行を制御する。

運転不能状態判定装置１００の各構成について説明する。
画像取得部１０１は、カメラ２００が撮像した撮像画像を取得する。撮像画像は、運転者が運転席に一般的な運転姿勢で着座している場合に、当該運転者の少なくとも頭部が映るように撮像された画像である。画像取得部１０１は、取得した撮像画像を顔検出部１０２および判定領域取得部１０３に出力する。
顔検出部１０２は、画像取得部１０１により取得された撮像画像を解析して輝度値の分布を検出する。顔検出部１０２は、検出した輝度値の分布と、予め学習により得られた照合用の輝度値の分布とを比較して、撮像画像から運転者の顔を検出する処理を行う。ここで、照合用の輝度値の分布は、人の顔が撮像された複数の撮像画像を用いて人の顔が撮像されている場合の輝度値の分布を学習して得られた、統計的な輝度値の分布のパターンを示すものである。顔検出部１０２は、運転者の顔を検出できなかった場合には、第１の状態判定部１０４および判定領域取得部１０３に対して、顔検出の失敗を示す情報を出力する。また、顔検出部１０２は、運転者の顔を検出した場合には、顔情報取得部１０６に対して、顔検出の成功を示す情報および撮像画像を出力する。

判定領域取得部１０３は、顔検出部１０２から顔検出の失敗を示す情報が入力されると、画像取得部１０１が取得した撮像画像から判定領域の画像（以下、判定領域画像と記載する）を取得する。ここで判定領域は、運転席のヘッドレストを全て含む領域である。また、判定領域は、車種毎の運転座席の位置およびカメラ２００の位置に基づいて予め設定される領域である。また、判定領域は、運転席の座席の前後方向への調整幅、運転席の座席の傾きの調整幅、および運転席のヘッドレストの上下方向への調整幅を考慮して定められた領域である。判定領域取得部１０３は、取得した判定領域画像を、第１の状態判定部１０４に出力する。

図２は、実施の形態１に係る運転不能状態判定装置１００の顔検出部１０２および判定領域取得部１０３の処理の一例を示す図である。
図２Ａは、運転席を正面から撮像した撮像画像における判定の例を示し、図２Ｂは運転席を斜め前方から撮像した撮像画像における判定領域の例を示した図である。なお、図２Ａおよび図２Ｂでは、顔検出部１０２が運転者Ｘの顔Ｘａの検出に成功する場合を例に示している。
顔検出部１０２は、図２Ａおよび図２Ｂで示した撮像画像Ａから運転者Ｘの顔Ｘａを検出する。
判定領域取得部１０３は、撮像画像Ａから予め定められた領域である判定領域Ｂの画像を取得する。判定領域Ｂは、運転席のヘッドレストＨを全て含む領域である。判定領域取得部１０３は、取得した判定領域Ｂの画像を第１の状態判定部１０４に出力する。

第１の状態判定部１０４は、顔検出部１０２から顔検出の失敗を示す情報が入力されると、運転者の状態を判定する。第１の状態判定部１０４は、判定領域取得部１０３から入力された顔検出の際に用いられた撮像画像における判定領域画像と、予め撮像された比較画像における判定領域画像とを比較する。第１の状態判定部１０４は、得られた比較結果に基づいて運転者の状態を判定する。ここで、比較画像は、カメラ２００によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した撮像画像である。

具体的には、顔検出部１０２は、顔検出に失敗すると顔検出に成功するまで繰り返し顔検出を実行する。第１の状態判定部１０４は、注意喚起が必要であると判定する時間（以下、第１の閾値時間と記載する）継続して、顔検出部１０２から繰り返し顔検出の失敗を示す情報が入力されると、顔検出の際に用いられた撮像画像における判定領域画像と、比較画像における判定領域画像との差分を算出する。第１の状態判定部１０４は、算出した差分と基準値とに基づいて、運転者が注意喚起を必要としている状態（以下、注意喚起状態と記載する）であるか判定を行う。さらに、第１の状態判定部１０４は、注意喚起状態が、第２の閾値時間継続した場合、運転者が運転不能状態であると判定する。ここで、第２の閾値時間とは、第１の閾値時間に対して、運転者が運転不能状態であると判断する時間を加算した時間である。
第１の状態判定部１０４は、運転者が注意喚起状態であると判定した場合、または運転者が運転不能状態であると判定した場合、当該判定結果を、警告装置３００または車両制御装置４００に出力する。

比較画像蓄積部１０５は、第１の状態判定部１０４が判定領域画像を比較する際に参照する比較画像を蓄積する。比較画像は、カメラ２００によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した撮像画像である。

顔情報取得部１０６は、顔検出部１０２から顔検出の成功を示す情報および顔検出の際に用いられた撮像画像が入力されると、当該撮像画像を解析して、運転者の顔の構成要素、例えば目、鼻および口の位置情報を取得する。顔情報取得部１０６は、取得した運転者の顔の構成要素の位置情報から、運転者の開眼度、および運転者の顔向き等、運転不能状態を判定するための顔情報を取得する。顔情報取得部１０６は、取得した顔情報を、第２の状態判定部１０７に出力する。

第２の状態判定部１０７は、顔情報取得部１０６が取得した顔情報から、例えば開眼度または顔向きを検出する。第２の状態判定部１０７は、取得した開眼度または顔向き等から、運転者が運転不能状態であるか否か判定を行う。第２の状態判定部１０７は、運転者が運転不能状態であると判定した場合、当該判定結果を、警告装置３００または車両制御装置４００に出力する。

次に、運転不能状態判定装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、運転不能状態判定装置１００のハードウェア構成例を示す図である。
運転不能状態判定装置１００における画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７の各機能は、処理回路により実現される。即ち、運転不能状態判定装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図３Ａに示すように、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図３Ｂに示すように、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７の各機能を実現する。即ち、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７は、プロセッサ１００ｂにより実行されるときに、後述する図５および図６に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、画像取得部１０１、顔検出部１０２、判定領域取得部１０３、第１の状態判定部１０４、顔情報取得部１０６および第２の状態判定部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、運転不能状態判定装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、第１の状態判定部１０４の詳細について、図４を参照しながら説明する。
図４は、実施の形態１に係る運転不能状態判定装置１００の第１の状態判定部１０４の判定処理を示す図である。図４Ａは比較画像蓄積部１０５に蓄積された比較画像における判定領域の画像、図４Ｂから図４Ｄは顔検出時の撮像画像および当該撮像画像における判定領域の画像の一例を示している。図４Ａは、運転者が着座していない運転席の座席を撮像した比較画像における判定領域の画像を示している。また、図４Ｂは運転者の顔が遮蔽物で遮られていない状態を示し、図４Ｃは運転者の顔が遮蔽物で遮られている状態を示し、図４Ｄは運転者の顔が前傾している状態を示している。

図４Ａの比較画像における判定領域Ｃの画像と、図４Ｂから図４Ｄの顔検出時の撮像画像Ａにおける判定領域Ｂａ，Ｂｂ，Ｂｃの画像とは、同一領域を撮像した画像となる。
まず、図４Ａの比較画像と、図４Ｂの顔検出時の撮像画像との比較について説明する。第１の状態判定部１０４は、撮像画像Ａにおける判定領域Ｂａの画像と、比較画像における判定領域Ｃの画像とを比較し、比較された２つの画像のヘッドレストが撮像された領域の差分を算出する。第１の状態判定部１０４は、比較画像における判定領域Ｃの画像と、撮像画像Ａにおける判定領域Ｂａとの差分を、ヘッドレストが撮像された領域Ｈａと領域Ｈｂとの差分に基づいて算出する。
第１の状態判定部１０４は、ヘッドレストが撮像された領域の差分を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、判定領域画像の輝度の少なくともいずれかを用いて算出する。

次に、図４Ａの比較画像と、図４Ｃの顔検出時の撮像画像との比較について説明する。
第１の状態判定部１０４は、撮像画像Ａにおける判定領域Ｂｂの画像と、比較画像における判定領域Ｃの画像とを比較し、比較された２つの画像のヘッドレストが撮像された領域の差分を算出する。第１の状態判定部１０４は、比較画像の判定領域Ｃの画像と撮像画像Ａの判定領域Ｂｂの画像との差分を、ヘッドレストが撮像された領域Ｈａと領域Ｈｃとの差分に基づいて算出する。

次に、図４Ａの比較画像と、図４Ｄの顔検出時の撮像画像との比較について説明する。第１の状態判定部１０４は、撮像画像Ａにおける判定領域Ｂｃの画像と、比較画像における判定領域Ｃの画像とを比較し、比較された２つの画像のヘッドレストが撮像された領域の差分を算出する。第１の状態判定部１０４は、比較画像の判定領域Ｃの画像と撮像画像Ａの判定領域Ｂｃの画像との差分を、ヘッドレストが撮像された領域Ｈａと領域Ｈｄとの差分に基づいて算出する。

第１の状態判定部１０４が、図４Ａの比較画像における判定領域Ｃの画像と、運転者の顔が遮蔽物で遮られていない状態を示す図４Ｂの撮像画像Ａにおける判定領域Ｂａの画像との比較を行う場合、比較画像における判定領域Ｃの画像のうちヘッドレストが撮像された領域Ｈａの割合を１００％とし、撮像画像Ａにおける判定領域Ｂａの画像のうちヘッドレストが撮像された領域Ｈｂの割合を、例えば２０％と算出する。第１の状態判定部１０４は、領域Ｈａの割合（１００％）と、領域Ｈｂの割合（２０％）の差分割合（８０％）を算出し、算出した差分割合が予め定めておいた基準値（例えば、５０％）以上であると判定する。第１の状態判定部１０４は、判定結果から撮像画像Ａのヘッドレストが運転者の頭部等で十分に隠れており、比較画像と比べて大きく差異があると判定する。

一方、第１の状態判定部１０４が、図４Ａの比較画像における判定領域Ｃの画像と、運転者の顔が遮蔽物で遮られた状態を示す図４Ｃの撮像画像Ａにおける判定領域Ｂｂの画像との比較を行う場合、比較画像における判定領域Ｃの画像のうちヘッドレストが撮像された領域Ｈａの割合を１００％とし、撮像画像Ａにおける判定領域Ｂｂの画像のうちヘッドレストが撮像された領域Ｈｃの割合を、例えば２０％と算出する。第１の状態判定部１０４は、領域Ｈａの割合（１００％）と、領域Ｈｃの割合（２０％）の差分割合（８０％）を算出し、算出した差分割合が予め定めておいた基準値（例えば、５０％）以上であると判定する。第１の状態判定部１０４は、判定結果から撮像画像Ａのヘッドレストが運転者の頭部等で十分に隠れており、比較画像と比べて大きく差異があると判定する。

また、第１の状態判定部１０４が、図４Ａの比較画像における判定領域Ｃの画像と、運転者の顔が前傾している状態を示す図４Ｄの撮像画像Ａにおける判定領域Ｂｃの画像との比較を行う場合、比較画像における判定領域Ｃの画像のうちヘッドレストを撮像した領域Ｈａの割合を１００％とし、撮像画像Ａにおける判定領域Ｂｃの画像のうちヘッドレストを撮像した領域Ｈｄの割合を例えば８０％と算出する。第１の状態判定部１０４は、領域Ｈａの割合（１００％）と、領域Ｈｄの割合（８０％）の差分割合（２０％）を算出し、算出した差分割合が予め定めておいた基準値（例えば、５０％）未満であると判定する。第１の状態判定部１０４は、判定結果から撮像画像Ａのヘッドレストが運転者の頭部等で隠れておらず、比較画像と比べて大きな差異がないと判定する。

第１の状態判定部１０４は、算出した差分割合が、予め定められた基準値未満であった場合には、運転者が注意喚起を必要とする状態であると判定する。
例えば、図４Ａの比較画像における判定領域Ｃの画像と、図４Ｂの撮像画像Ａにおける判定領域Ｂａの画像との比較では、第１の状態判定部１０４は、領域Ｈａと領域Ｈｂとの差分割合が基準値以上であることから、運転者Ｘが注意喚起を必要とする状態ではないと判定する。
同様に、図４Ａの比較画像における判定領域Ｃの画像と、図４Ｃの撮像画像Ａにおける判定領域Ｂｂの画像との比較では、第１の状態判定部１０４は、領域Ｈａと領域Ｈｃとの差分割合が基準値以上であることから、運転者Ｘが注意喚起を必要とする状態ではないと判定する。
一方、例えば、図４Ａの比較画像における判定領域Ｃと、図４Ｄの撮像画像Ａにおける判定領域Ｂｃの画像との比較では、領域Ｈａと領域Ｈｄとの差分割合が基準値未満であることから、第１の状態判定部１０４は、運転者Ｘが注意喚起を必要とする状態であると判定する。

次に、運転不能状態判定装置１００の動作について説明する。
運転不能状態判定装置１００の動作は、第１の状態判定部１０４が、運転者が注意喚起状態であると判定していない場合の動作と、第１の状態判定部１０４が、運転者が注意喚起状態であると既に判定している場合の動作とに分けて説明する。
まず、図５のフローチャートを参照しながら、第１の状態判定部１０４が、運転者が注意喚起状態であると判定していない場合の、運転不能状態判定装置１００の動作について説明する。
図５は、実施の形態１に係る運転不能状態判定装置１００の動作を示すフローチャートである。図５のフローチャートの処理が行われる前提として、第１の状態判定部１０４が、運転者が注意喚起状態であると判定していないものとする。

画像取得部１０１が撮像画像を取得すると（ステップＳＴ１）、顔検出部１０２は取得された撮像画像から運転者の顔を検出する処理を行う（ステップＳＴ２）。顔検出部１０２は、ステップＳＴ２の処理により、撮像画像から運転者の顔検出に成功したか否か判定を行う（ステップＳＴ３）。顔検出に成功した場合（ステップＳＴ３；ＹＥＳ）、顔検出部１０２は、顔情報取得部１０６に対して顔検出に成功したことを示す情報と撮像画像とを出力する。顔情報取得部１０６は、顔検出部１０２から入力された撮像画像から、運転者の顔情報を取得し（ステップＳＴ４）、第２の状態判定部１０７に出力する。第２の状態判定部１０７は、ステップＳＴ４で取得された運転者の顔情報に基づいて、運転者が運転不能状態であるかの判定処理を実行する（ステップＳＴ５）。その後、フローチャートは処理を終了する。

一方、顔検出に失敗した場合（ステップＳＴ３；ＮＯ）、顔検出部１０２は、判定領域取得部１０３および第１の状態判定部１０４に対して顔検出に失敗したことを示す情報を出力する。判定領域取得部１０３は、ステップＳＴ１で取得された撮像画像から判定領域の画像を取得し（ステップＳＴ６）、第１の状態判定部１０４に出力する。第１の状態判定部１０４は、顔検出部１０２から顔検出に失敗したことを示す情報が入力されると、カウンタ（図示しない）が起動済みであるか否か判定を行う（ステップＳＴ７）。カウンタが起動済みでない場合（ステップＳＴ７；ＮＯ）、第１の状態判定部１０４はカウンタのカウントを開始し（ステップＳＴ８）、カウンタのカウントアップを行う（ステップＳＴ９）。一方、カウンタが起動済みである場合（ステップＳＴ７；ＹＥＳ）、フローチャートはステップＳＴ９の処理に進む。

第１の状態判定部１０４は、カウンタのカウント値を参照し、第１の閾値時間が経過したか否か判定を行う（ステップＳＴ１０）。第１の閾値時間が経過していない場合（ステップＳＴ１０；ＮＯ）、フローチャートは処理を終了する。一方、予め設定した第１の閾値時間が経過した場合（ステップＳＴ１０；ＹＥＳ）、第１の状態判定部１０４は、ステップＳＴ６で取得された判定領域画像のヘッドレストを撮像した領域の割合と、比較画像のヘッドレストを撮像した領域の割合との差分を算出する（ステップＳＴ１１）。

第１の状態判定部１０４は、ステップＳＴ１１で算出した差分が、基準値以上であるか否か判定を行う（ステップＳＴ１２）。差分が基準値以上である場合（ステップＳＴ１２；ＹＥＳ）、第１の状態判定部１０４は、運転者が運転不能状態ではないと判定し、処理を終了する。一方、差分が基準値未満であると判定した場合（ステップＳＴ１２；ＮＯ）、第１の状態判定部１０４は、運転者が注意喚起状態であると判定する（ステップＳＴ１３）。第１の状態判定部１０４は、ステップＳＴ１３の判定結果を警告装置３００または車両制御装置４００に出力し（ステップＳＴ１４）、処理を終了する。

次に、図６のフローチャートを参照しながら、第１の状態判定部１０４が、運転者が注意喚起状態であると判定済みである場合の、運転不能状態判定装置１００の動作について説明する。
図６は、実施の形態１に係る運転不能状態判定装置１００の注意喚起状態での動作を示すフローチャートである。図６のフローチャートの処理が行われる前提として、第１の状態判定部１０４が、図５のフローチャートのステップＳＴ１３において、注意喚起状態であると判定しているものとする。
画像取得部１０１が撮像画像を取得すると（ステップＳＴ２１）、顔検出部１０２は取得された撮像画像から運転者の顔を検出する処理を行う（ステップＳＴ２２）。顔検出部１０２は、ステップＳＴ２２の処理により撮像画像から運転者の顔検出に成功したか否か判定を行う（ステップＳＴ２３）。顔検出に成功した場合（ステップＳＴ２３；ＹＥＳ）、顔検出部１０２は、顔検出に成功したことを示す情報を第１の状態判定部１０４に出力する。第１の状態判定部１０４、顔検出に成功したことを示す情報が入力されると、運転者への注意喚起を解除する（ステップＳＴ２４）。

一方、顔検出に失敗した場合（ステップＳＴ２３；ＮＯ）、顔検出部１０２は、顔検出に失敗したことを示す情報を第１の状態判定部１０４に出力する。第１の状態判定部１０４は、顔検出に失敗したことを示す情報が入力されると、カウンタのカウントアップを行う（ステップＳＴ２５）。第１の状態判定部１０４は、カウンタのカウント値を参照し、第２の閾値時間が経過したか否か判定を行う（ステップＳＴ２６）。第２の閾値時間が経過していない場合（ステップＳＴ２６；ＮＯ）、フローチャートは処理を終了する。

一方、第２の閾値時間が経過した場合（ステップＳＴ２６；ＹＥＳ）、第１の状態判定部１０４は、運転者が運転不能状態であると判定する（ステップＳＴ２７）。第１の状態判定部１０４は、ステップＳＴ２７の判定結果を警告装置３００または車両制御装置４００に出力する（ステップＳＴ２８）。第１の状態判定部１０４は、カウンタをリセットし（ステップＳＴ２９）、処理を終了する。
なお、図５および図６のフローチャートはそれぞれ１周期の処理を示したものであり、運転者が運転中である場合には、当該フローチャートの処理が繰り返し実施される。

以上のように、この実施の形態１の運転不能状態判定装置１００は、車両内の撮像画像を取得する画像取得部１０１と、取得された撮像画像から、運転者の顔を検出する顔検出部１０２と、取得された撮像画像から判定領域画像を取得する判定領域取得部１０３と、運転者の顔を検出できない状態が、第１の閾値時間継続した場合に、取得された撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分に基づいて運転者の状態を判定する第１の状態判定部１０４とを備えるように構成した。
従って、実施の形態１の運転不能状態判定装置１００は、撮像画像内の判定領域画像と、比較画像内の判定領域画像との差分と基準値との比較により、運転者の顔が正常位置に位置していると判定することができる。運転者の顔が遮蔽物で遮られている場合に、運転者が運転不能状態であると誤判定するのを防止することができる。

また、この実施の形態１によれば、第１の状態判定部１０４は、差分が基準値未満である場合に、運転者が注意喚起状態であると判定し、さらに運転者が注意喚起状態であると判定し、且つ顔検出部１０２が運転者の顔を検出できない状態が第２の閾値時間継続した場合に、運転者が運転不能状態であると判定するように構成したので、運転者の運転不能状態をより精度よく判定することができる。

上述した実施の形態１で示した運転不能状態判定装置１００において、運転者が注意喚起を必要とする状態であると判定した場合、または運転者が運転不能状態であると判定した場合、外部の警告装置３００が音声により警告を行う。
また、警告装置３００はディスプレイに運転不能状態と判定していることを表示し、当該運転不能状態との判定を解除する入力を受け付けるボタンを表示してもよい。
図７は、実施の形態１に係る発明の運転不能状態判定装置１００の判定結果を運転者に通知する一例を示す図である。
ディスプレイ３０１には、運転不能状態判定装置１００の判定結果３０２と、当該判定結果を解除するためのボタン３０３が表示される。判定結果３０２は、例えば「運転不能状態と判定中」と表示される。また、ボタン３０３は、例えば「正常状態にリセット」と表示される。

運転者は、ディスプレイ３０１に表示された判定結果３０２を参照し、自身が運転不能状態でない場合には、ボタン３０３を押下することにより、運転不能状態判定装置１００に、判定結果を解除させることができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る運転不能状態判定装置は、判定精度の向上が求められるドライバモニタリングシステム等に用いられるのに適している。

１００ 運転不能状態判定装置、１０１ 画像取得部、１０２ 顔検出部、１０３ 判定領域取得部、１０４ 第１の状態判定部、１０５ 比較画像蓄積部、１０６ 顔情報取得部、１０７ 第２の状態判定部。

Claims (5)

1. 車両内の撮像画像を取得する画像取得部と、
   前記画像取得部が取得した撮像画像から、運転者の顔を検出する顔検出部と、
   前記画像取得部が取得した撮像画像から判定領域画像を取得する判定領域取得部と、
   前記顔検出部が前記運転者の顔を検出できない状態が、第１の閾値時間継続した場合に、前記判定領域取得部が取得した前記撮像画像内の判定領域画像と、前記運転者が着座していない運転席を撮像した撮像画像である比較画像内の判定領域画像との差分に基づいて前記運転者の状態を判定する状態判定部とを備えた運転不能状態判定装置。
2. 前記状態判定部は、基準値以上の前記差分を検出した場合に、前記運転者が注意喚起状態でないと判定することを特徴とする請求項１記載の運転不能状態判定装置。
3. 前記状態判定部は、前記差分が基準値未満である場合に、前記運転者が注意喚起状態であると判定することを特徴とする請求項１記載の運転不能状態判定装置。
4. 前記状態判定部は、前記運転者が注意喚起状態であると判定し、且つ前記顔検出部が前記運転者の顔を検出できない状態が第２の閾値時間継続した場合に、前記運転者が運転不能状態であると判定することを特徴とする請求項３記載の運転不能状態判定装置。
5. 画像取得部が、車両内の撮像画像を取得するステップと、
   顔検出部が、前記取得された撮像画像から、運転者の顔を検出するステップと、
   判定領域取得部が、前記取得された撮像画像から判定領域画像を取得するステップと、
   状態判定部が、前記運転者の顔を検出できない状態が、第１の閾値時間継続した場合に、前記取得された前記撮像画像内の判定領域画像と、前記運転者が着座していない運転席を撮像した撮像画像である比較画像内の判定領域画像との差分に基づいて前記運転者の状態を判定するステップとを備えた運転不能状態判定方法。

Images