JP6960995B2

JP6960995B2 - 状態判定装置および状態判定方法

Info

Publication number: JP6960995B2
Application number: JP2019523262A
Authority: JP
Inventors: 翔悟甫天; 友美保科; 和樹國廣; 洸暉安部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-06-07
Filing date: 2017-06-07
Publication date: 2021-11-05
Anticipated expiration: 2037-06-07
Also published as: JPWO2018225176A1; WO2018225176A1

Description

この発明は、車両を運転する運転者の状態を判定する技術に関するものである。

従来、車両を運転する運転者を撮像した撮像画像から運転者の運転姿勢の崩れを検出し、運転者が運転することができない状態（以下、運転不能状態と記載する）であるか否か判定する技術がある。例えば、特許文献１には、車両に搭載されたカメラにより撮像された運転席の撮像画像から、運転者の首よりも上の頭部を逐次検出し、車両の走行中に検出された運転者の頭部が、撮像画像の所定範囲から外れている場合に運転姿勢が崩れているとして運転者が運転不能状態であることを検出するドライバの運転不能状態検出装置が開示されている。

特開２０１６−２７４５２号公報

上記特許文献１に記載されたドライバの運転不能状態検出装置では、撮像画像に映りこんだ他の乗員の頭部、車両内装または風景などの運転者の頭部以外を運転者の頭部であると誤って検出した場合、運転不能状態でない運転者を運転不能状態であると誤検出してしまうという課題があった。

この発明は、上記のような課題を解決するためになされたもので、運転者の運転不能状態の誤検出を抑制し、運転者の状態の判定精度を向上させることを目的とする。

この発明に係る状態判定装置は、運転者を含む車内の撮像画像を取得する画像取得部と、前記画像取得部が取得した撮像画像から、前記運転者の顔位置を検出する顔検出部と、前記顔検出部が検出した前記運転者の顔位置と、予め算出された前記運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定する姿勢判定部と、前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行うことにより、前記姿勢判定部による前記運転者の姿勢が崩れているとの判定が正しいか否かを判定する画像比較部と、前記画像比較部の再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行う状態判定部と、前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭のうち、前記運転者の首周りの輪郭に、予め定義した三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除する輪郭検出部とを備える。
また、この発明に係る状態判定方法は、画像取得部が、運転者を含む車内の撮像画像を取得するステップと、顔検出部が、前記取得された撮像画像から、前記運転者の顔位置を検出するステップと、姿勢判定部が、前記検出された前記運転者の顔位置と、予め算出された前記運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定するステップと、画像比較部が、前記運転者の姿勢が崩れていると判定した場合に、前記取得された撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行うことにより、前記姿勢判定部による前記運転者の姿勢が崩れているとの判定が正しいか否かを判定するステップと、前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、輪郭検出部が、前記画像取得部が取得した撮像画像内の第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭のうち、前記運転者の首周りの輪郭に、予め定義した三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除するステップと、状態判定部が、前記再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行うステップとを備える。

この発明によれば、運転者の運転不能状態の誤検出を抑制し、運転者の状態の判定精度を向上させることができる。

実施の形態１に係る状態判定装置の構成を示すブロック図である。図２Ａ、図２Ｂは、実施の形態１に係る状態判定装置の画像比較部が設定する第１領域の一例を示す図である。図３Ａ、図３Ｂは、実施の形態１に係る状態判定装置のハードウェア構成例を示す図である。実施の形態１に係る状態判定装置の顔検出部および基準点算出部の処理を示す図である。実施の形態１の状態判定装置による運転者の頭部の移動方向の設定および各移動方向に設定された第１の姿勢崩れ判定量の一例を示す図である。図６Ａ、図６Ｂ、図６Ｃは、実施の形態１に係る状態判定装置の画像比較部の処理を示す図である。図７Ａ、図７Ｂ、図７Ｃは、実施の形態１に係る状態判定装置の画像比較部の処理を示す図である。実施の形態１に係る状態判定装置の基準点算出処理の動作を示すフローチャートである。実施の形態１に係る状態判定装置の状態判定処理の動作を示すフローチャートである。図１０Ａ、図１０Ｂ、図１０Ｃは、実施の形態１に係る状態判定装置の姿勢判定部による運転者の顔向きの変位量の判定を示す図である。実施の形態１の状態判定装置による運転者の頭部の移動方向の設定および各移動方向に設定された第２の姿勢崩れ判定量の一例を示す図である。実施の形態２に係る状態判定装置の構成を示すブロック図である。図１３Ａ、図１３Ｂは、実施の形態２に係る状態判定装置の軸検出部による頭部中心軸の検出を示す図である。図１４Ａ、図１４Ｂ、図１４Ｃは、実施の形態２に係る状態判定装置の軸検出部による頭部中心軸の傾きの判定を示す図である。実施の形態２に係る状態判定装置の状態判定処理の動作を示すフローチャートである。実施の形態３に係る状態判定装置の構成を示すブロック図である。図１７Ａ，図１７Ｂは、実施の形態３に係る状態判定装置の輪郭検出部が設定する第２領域の設定例を示す図である。実施の形態３に係る状態判定装置の状態判定処理の動作を示すフローチャートである。実施の形態１から実施の形態３に係る発明の状態判定装置の判定結果に基づく表示例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る状態判定装置１００の構成を示すブロック図である。
状態判定装置１００は、まず、運転者の顔を検出し当該検出した顔の移動量および移動方向に基づいて、運転者の姿勢が崩れているか否かを判定する。そして、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、正常な状態の運転者が運転席に着座しているときの第２の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第２の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。
または、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した第３の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第３の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。

詳細は後述するが、状態判定装置１００は、第１の運転席の撮像画像と第２の運転席の撮像画像との一致度を算出する。または、状態判定装置１００は、第１の運転席の撮像画像と第３の運転席の撮像画像との乖離度を算出する。
状態判定装置１００は、算出した一致度または乖離度が小さい場合は運転者が正常な状態の姿勢とは異なる姿勢、即ち姿勢が崩れていると判定し、運転者が運転不能状態であると判定する。
一方、状態判定装置１００は、算出した一致度または乖離度が大きい場合は運転者が正常な状態の姿勢と同等の姿勢、即ち姿勢が崩れていないと判定し、運転者が運転不能状態でないと判定する。
これにより、状態判定装置１００が、例えば他の乗員の頭部等を運転者の顔であると誤検出し、当該検出結果に基づいて運転者の姿勢が崩れていると判定した場合であっても、第１の運転席の撮像画像と第２の運転席の撮像画像との比較、または第１の運転席の撮像画像と第３の運転席の撮像画像との比較によって、当該判定のチェックを行うことができるため、運転不能状態であると誤検出することを抑制することができる。

状態判定装置１００は、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５、比較画像蓄積部１０６および状態判定部１０７を備える。
また、状態判定装置１００には、カメラ２００、車両情報認識装置３００、警告装置４００および車両制御装置５００が接続されている。
カメラ２００は、状態判定装置１００を搭載した車両内を撮像する撮像手段である。カメラ２００は、例えば赤外線カメラ等である。カメラ２００は、運転席に着座した運転者の少なくとも頭部を撮影可能な位置に設置される。また、カメラ２００は、１台または複数台で構成される。

車両情報認識装置３００は、状態判定装置１００を搭載した車両の車両情報を認識する装置である。車両情報認識装置３００は、例えば車速センサおよびブレーキセンサを備える。車速センサは、車両の走行速度を取得するセンサである。ブレーキセンサは、車両のブレーキペダルの操作量を検出するセンサである。
警告装置４００は、状態判定装置１００の判定結果に基づいて、車両の運転者に対して音声または音声と表示によって、注意喚起を示す情報または警告を示す情報を生成する。警告装置４００は、生成した注意喚起を示す情報または警告を示す情報の出力制御を行う。警告装置４００を構成する、例えばスピーカ、またはスピーカおよびディスプレイは、出力制御に基づいて、注意喚起を示す情報または警告を示す情報を音声出力、または音声出力および表示する。
車両制御装置５００は、状態判定装置１００の判定結果に基づいて、車両の走行を制御する。

状態判定装置１００の各構成について説明する。
画像取得部１０１は、カメラ２００が撮像した撮像画像を取得する。撮像画像は、車内の運転者の少なくとも頭部が映るように撮像された画像である。画像取得部１０１は、取得した撮像画像を顔検出部１０２および画像比較部１０５に出力する。
顔検出部１０２は、画像取得部１０１により取得された撮像画像を解析して運転者の顔位置を検出し、後述する基準点算出部１０３および姿勢判定部１０４に出力する。顔位置は、撮像画像上の二次元座標で表され、例えば、顔検出部１０２は、撮像画像に基づいて運転者の頭部の輪郭に接する枠を設定し、当該設定した枠の中心点の座標を運転者の顔位置とする。顔検出部１０２の処理の詳細については後述する。なお、これに限らず、顔検出部１０２は、例えば撮像画像を解析して両目を検出し、両目の中心を顔位置としてもよい。

基準点算出部１０３は、顔検出部１０２から取得した顔位置に基づいて、運転者が正常な状態で運転しているときの姿勢における顔位置（以下、基準点と記載する）を算出する。基準点算出部１０３は、当該算出した基準点を姿勢判定部１０４に出力する。基準点算出部１０３の処理の詳細については後述する。

姿勢判定部１０４は、基準点と顔検出部１０２が取得した運転者の顔位置に基づいて、基準点からの運転者の頭部の移動量および移動方向を算出する。姿勢判定部１０４は、算出した移動量が、算出した移動方向において予め設定された顔位置の移動量の閾値である第１の姿勢崩れ判定量以上である場合、運転者の姿勢が崩れていると判定する。一方、姿勢判定部１０４は、算出した移動量が、算出した移動方向において予め設定された第１の姿勢崩れ判定量未満である場合、運転者の姿勢が崩れていないと判定する。姿勢判定部１０４は、判定結果を画像比較部１０５に出力する。

姿勢判定部１０４は、基準点算出部１０３が算出した基準点と顔検出部１０２が取得した運転者の顔位置との距離を算出する。この実施の形態１においては、算出した距離を運転者の頭部の移動量とする。また、姿勢判定部１０４は、基準点算出部１０３が算出した基準点を中心として、撮像画像を複数の領域に分割し、顔検出部１０２が取得した運転者の顔位置がいずれの領域に属するかを判定する。この実施の形態１においては、判定結果である領域を頭部の移動方向とする。
なお、姿勢判定部１０４は、基準点と顔検出部１０２が取得した運転者の顔位置とを結んだ直線が、基準点を原点としたＸ軸となす角度を頭部の移動方向としてもよい。姿勢判定部１０４の処理の詳細については後述する。

画像比較部１０５は、姿勢判定部１０４の判定結果が姿勢崩れを示すものである場合、当該判定の際に用いられた撮像画像（以下、姿勢判定時の撮像画像と記載する）における第１領域の画像と、予め撮像された比較画像における第１領域の画像とを比較し、運転者の姿勢崩れを判定する。
ここで、比較画像は、運転者が正常な状態で運転席に着座しているときに撮像した撮像画像、または運転者が着座していない運転席の座席を撮像した撮像画像である。
また、第１領域は、運転席の座席の前後方向への調整幅、運転席の座席の傾きの調整幅、および運転席のヘッドレストの上下方向への調整幅を考慮して定められた領域であり、且つ運転席のヘッドレストを全て含む領域である。また、第１領域は、運転席の平均的な座席位置、運転者の平均的な座高または一般の運転者が通常の運転動作を行う際に撮像される範囲を考慮して定めてもよい。第１領域は、車種毎の運転座席の位置および撮像装置の位置に基づいて予め設定される領域である。

画像比較部１０５は、比較画像として運転者が着座しているときに撮像した撮像画像を用いる場合、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度を算出する。一方、画像比較部１０５は、比較画像として運転者が着座していない運転席の座席の撮像画像を用いる場合、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度を算出する。画像比較部１０５は、算出した一致度または乖離度に基づいて、運転者の姿勢が崩れているか否かの再判定を行う。

画像比較部１０５は、一致度または乖離度が閾値以上である場合は、運転者の姿勢が崩れていないと判定する。即ち、画像比較部１０５は、顔検出部１０２が運転者の顔以外を運転者の顔であると誤検出した顔位置に基づいて、姿勢判定部１０４が、当該誤った顔位置と基準点とに基づいて姿勢崩れと誤判定したものと判定する。一方、画像比較部１０５は、一致度または乖離度が閾値未満である場合は、運転者の姿勢が崩れている、即ち姿勢判定部１０４の判定結果が正しいと判定する。画像比較部１０５は、判定結果を状態判定部１０７に出力する。
なお、一致度、乖離度および画像比較部１０５による一致度または乖離度の算出方法の詳細は後述する。

図２は、実施の形態１に係る状態判定装置１００の画像比較部１０５が用いる第１領域の一例を示す図である。図２Ａは、運転席を正面から撮像した撮像画像における第１領域の例を示し、図２Ｂは運転席を斜め前方から撮像した撮像画像における第１領域の例を示した図である。
図２Ａおよび図２Ｂで示した第１領域Ｅａ，Ｅｂは、運転席のヘッドレストＨを全て含む領域である。また、第１領域Ｅａ，Ｅｂは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第１領域Ｅａ，Ｅｂは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、運転席のヘッドレストＨが全て含まれる領域である。

比較画像蓄積部１０６は、画像比較部１０５が撮像画像を比較する際に参照する比較画像を蓄積する。比較画像は、姿勢判定時の撮像画像における第１領域と同一の領域を予め撮像した撮像画像である。比較画像は、運転者が正常な状態で運転席に着座しているときに撮像した撮像画像、または運転者が運転席に着座していない運転席の座席を撮像した撮像画像である。運転者が正常な状態で運転席に着座している撮像画像は、例えば、後述する基準点を算出する際に撮像された画像である。運転者を撮像した撮像画像である場合、比較画像蓄積部１０６は、運転者毎に比較画像を蓄積する。

状態判定部１０７は、画像比較部１０５の判定結果に基づいて、運転者が運転不能状態であるか否か判定を行う。状態判定部１０７は、当該判定結果に基づいて姿勢崩れの状態が一定時間以上継続した場合、運転者が運転不能状態であると判定する。
より具体的には、状態判定部１０７は、当該判定結果に基づいて姿勢崩れの状態が、注意喚起が必要であると判定する時間（以下、注意喚起判定時間と記載する）継続した場合、運転者に対して注意喚起を行う必要がある状態（以下、注意喚起状態）であると判定する。状態判定部１０７は、注意喚起状態が運転不能状態であると判断する時間（以下、運転不能判定時間と記載する）継続した場合、運転者が運転不能状態であると判定する。
状態判定部１０７は、運転者が注意喚起状態であると判定した場合、または運転者が運転不能状態であると判定した場合、当該判定結果を、外部の警告装置４００または車両制御装置５００に出力する。

次に、状態判定装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、状態判定装置１００のハードウェア構成例を示す図である。
状態判定装置１００における画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能は、処理回路により実現される。即ち、状態判定装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図３Ａに示すように、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図３Ｂに示すように、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能を実現する。即ち、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７は、プロセッサ１００ｂにより実行されるときに、後述する図８および図９に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、状態判定装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、顔検出部１０２および基準点算出部１０３による基準点算出処理の詳細について、図４を参照しながら説明する。
図４は、実施の形態１に係る状態判定装置１００の顔検出部１０２および基準点算出部１０３の処理を示す図である。
顔検出部１０２は、撮像画像Ａが撮像された際の車速を車両情報認識装置３００から取得し、取得した車速が予め設定した閾値、例えば３０ｋｍ／ｈ以上であるか否か判定を行う。顔検出部１０２は、車速が例えば３０ｋｍ／ｈ以上であると判定した場合に、撮像画像Ａから運転者のＸの顔領域Ｂを検出する。車速が低速度帯よりも高速度帯である方が、運転者の頭部の位置が固定されることを考慮して、車速の閾値は例えば３０ｋｍ／ｈ以上の任意の値が設定される。顔検出部１０２は、撮像画像Ａから検出した顔領域Ｂの中で、運転者Ｘの首から上の頭部の輪郭に接する枠Ｃを設定し、設定した枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を算出し、運転者Ｘの顔位置として取得する。顔検出部１０２は、算出した中心点Ｐの二次元座標（ｐｘ、ｐｙ）を基準点算出部１０３に出力する。

基準点算出部１０３は、顔検出部１０２が算出した中心点Ｐの二次元座標（ｐｘ、ｐｙ）を記録領域（図示しない）に記録する。基準点算出部１０３は、記録した運転者Ｘの二次元座標（ｐｘ、ｐｙ）の数が、予め設定されたサンプル数以上となった場合、記録された二次元座標の平均値を求めて基準点を算出する。予め設定されるサンプル数は、例えば任意の固定時間分の座標数に基づいて設定される。具体的には、カメラ２００の撮像速度が１０ｆｐｓの場合、固定時間である３秒分となる３０個がサンプル数として設定される。基準点算出部１０３は、算出した基準点を、運転者Ｘの基準点として姿勢判定部１０４に出力する。運転者Ｘの基準点は、運転者Ｘによる運転が終了するまで、姿勢判定部１０４において保持される。

ここで、運転者Ｘによる運転が終了するまでとは、目的の場所に到達するまで、車両のエンジンを停止させるまで、または他の運転者と運転を交代するまでである。基準点算出部１０３は、車両情報認識装置３００から入力される情報、例えば車速情報およびブレーキ情報等を参照し、運転者Ｘによる運転が終了したと判断した場合には、基準点算出部１０３の記憶領域に記録した情報、および姿勢判定部１０４に設定した基準点のリセットを行う。
なお、顔検出部１０２は、車速が予め設定した閾値未満である場合、または撮像画像から運転者の顔領域が検出されない場合、中心点の二次元座標の算出を行わない。また、基準点算出部１０３は、中心点の二次元座標の記録数が予め設定したサンプル数未満である場合、基準点の算出を行わない。

次に、顔検出部１０２および姿勢判定部１０４による姿勢判定処理の詳細について、図４および図５を参照しながら説明する。
顔検出部１０２は、姿勢判定部１０４をモニタし、既に基準点が設定されている場合に、姿勢判定処理のための顔位置を取得する。顔検出部１０２は、姿勢判定処理のための顔位置の取得は、車両の車速に関係することなく行う。顔検出部１０２は、図４で示したように画像取得部１０１が取得した撮像画像Ａから、運転者Ｘの顔領域Ｂを検出し、検出した顔領域Ｂに含まれる頭部の輪郭に接する枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を運転者Ｘの顔位置Ｐａとして取得する。顔検出部１０２は、取得した運転者の顔位置Ｐａを姿勢判定部１０４に出力する。

姿勢判定部１０４は、予め算出された基準点Ｑが設定されており、当該基準点Ｑに対する運転者Ｘの顔位置Ｐａの移動方向および顔位置Ｐａの移動量を算出する。姿勢判定部１０４は、算出した顔位置Ｐａの移動量が、算出した顔位置Ｐａの移動方向において予め設定された第１の姿勢崩れ判定量以上であるか否か判定することにより、運転者の姿勢が崩れているか否か判定を行う。
図５は、実施の形態１の状態判定装置１００による運転者の頭部の移動方向の設定および各移動方向に設定された第１の姿勢崩れ判定量の一例を示す図である。
図５では、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。当該各領域が顔位置Ｐａの移動方向を示す。図５の例では、顔位置ＰａがＡｒｅａ２に位置していることから、姿勢判定部１０４は、顔位置Ｐａの移動方向がＡｒｅａ２であると特定する。

また、各領域には、第１の姿勢崩れ判定量が設定されている。図５の例では、Ａｒｅａ１における第１の姿勢崩れ判定量がｍ_ｔｈｒ１、Ａｒｅａ２における第１の姿勢崩れ判定量がｍ_ｔｈｒ２、Ａｒｅａ３における第１の姿勢崩れ判定量がｍ_ｔｈｒ３およびＡｒｅａ４における第１の姿勢崩れ判定量がｍ_ｔｈｒ４と設定されている。顔位置ＰａはＡｒｅａ２に位置していることから、顔位置Ｐａの第１の姿勢崩れ判定量はｍ_ｔｈｒ２となる。
姿勢判定部１０４は、顔位置Ｐａと基準点Ｑとの２点間の距離ｍを算出し、顔位置Ｐａの移動量ｍとする。姿勢判定部１０４は、算出した顔位置Ｐａの移動量ｍと、顔位置Ｐａの第１の姿勢崩れ判定量ｍ_ｔｈｒ２とを比較し、移動量ｍが第１の姿勢崩れ判定量ｍ_ｔｈｒ２以上であった場合、運転者Ｘの姿勢が崩れていると判定する。一方、姿勢判定部１０４は、移動量ｍが第１の姿勢崩れ判定量ｍ_ｔｈｒ２未満であった場合、運転者Ｘの姿勢が崩れていないと判定する。

次に、画像比較部１０５の詳細について、図６および図７を参照しながら説明する。画像比較部１０５が姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合と、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて比較する場合とに分けて説明する。
図６，図７は、実施の形態１に係る状態判定装置１００の画像比較部１０５の処理を示す図である。
まず、図６を参照しながら、画像比較部１０５が、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合について説明する。図６は、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合を示し、図６Ａは比較画像蓄積部１０６に蓄積された比較画像における第１領域の画像、図６Ｂおよび図６Ｃは姿勢判定時の撮像画像および当該撮像画像における第１領域の画像の一例を示している。また、図６Ａは、運転者Ｘが正常な状態で運転席に着座しているときに撮像した比較画像の第１領域Ｄａを示している。

図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂまたは図６Ｃの姿勢判定時の撮像画像Ａの第１領域Ｅａ，Ｅｂの画像とは、同一領域を撮像した画像となる。画像比較部１０５は、撮像画像Ａの第１領域Ｅａの画像と比較画像の第１領域Ｄａの画像とを比較、または撮像画像Ａの第１領域Ｅｂの画像と比較画像の第１領域Ｄａの画像とを比較し、２つの画像の一致度を算出する。画像比較部１０５は、比較画像の第１領域Ｄａの画像と撮像画像Ａの第１領域Ｅａ，Ｅｂの画像との一致度を、ヘッドレストを撮像した領域の一致度、即ち領域Ｈａと領域Ｈｂ、または領域Ｈａと領域Ｈｃの一致度に基づいて算出する。画像比較部１０５は、ヘッドレストを撮像した領域の一致度を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、第１領域の画像の輝度の少なくともいずれかを用いて算出する。

画像比較部１０５が、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂの撮像画像Ａの第１領域Ｅａの画像との比較を行う場合、比較画像の第１領域Ｄａの画像のヘッドレストを撮像した領域Ｈａと、撮像画像Ａの第１領域Ｅａの画像におけるヘッドレストを撮像した領域Ｈｂとの一致度を算出する。画像比較部１０５は、領域Ｈａと領域Ｈｂとの高い一致度を算出する。
一方、画像比較部１０５が、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｃの第１領域Ｅｂの画像との比較を行う場合、比較画像の第１領域Ｄａの画像のヘッドレストを撮像した領域Ｈａと、撮像画像Ａの第１領域Ｅｂの画像におけるヘッドレストを撮像した領域Ｈｃとの一致度を算出する。画像比較部１０５は、領域Ｈａと領域Ｈｃとの低い一致度を算出する。

画像比較部１０５は、算出した一致度が予め設定した閾値以上であった場合には、運転者の姿勢が崩れていないと判定する。画像比較部１０５は、例えば、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂの撮像画像Ａの第１領域Ｅａの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が高いことから、運転者Ｘの姿勢が崩れていないと判定する。
一方、画像比較部１０５は、算出した一致度が予め設定した閾値未満であった場合には運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図６Ａの比較画像の第１領域Ｄａと、図６Ｃの撮像画像Ａの第１領域Ｅｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。

次に、図７を参照しながら、画像比較部１０５が、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて判定する場合について説明する。図７は、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて判定する場合を示し、図７Ａは比較画像蓄積部１０６に蓄積された比較画像における第１領域の画像、図７Ｂおよび図７Ｃは姿勢判定時の撮像画像および当該撮像画像における第１領域の画像の一例を示している。また、図７Ａは、運転者が着座していない運転席の座席を撮像した比較画像の第１領域Ｄｂを示している。

図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂまたは図７Ｃの姿勢判定時の撮像画像Ａの第１領域Ｆａ，Ｆｂの画像とは、同一領域を撮像した画像となる。画像比較部１０５は、撮像画像Ａの第１領域Ｆａの画像と比較画像の第１領域Ｄｂの画像とを比較、または撮像画像Ａの第１領域Ｆｂの画像と比較画像の第１領域Ｄｂの画像とを比較し、２つの画像の乖離度を算出する。画像比較部１０５は、比較画像の第１領域Ｄｂの画像と撮像画像Ａの第１領域Ｆａ，Ｆｂの画像との乖離度を、ヘッドレストを撮像した領域の乖離度、即ち領域Ｈｃと領域Ｈｄ、または領域Ｈｃと領域Ｈｅの乖離度に基づいて算出する。画像比較部１０５は、ヘッドレストを撮像した領域の乖離度を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、第１領域の画像の輝度の少なくともいずれかを用いて算出する。

画像比較部１０５が、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂの撮像画像Ａの第１領域Ｆａの画像との比較を行う場合、比較画像の第１領域Ｄｂの画像のヘッドレストを撮像した領域Ｈｃと、撮像画像Ａの第１領域Ｆａの画像におけるヘッドレストを撮像した領域Ｈｄとの乖離度を算出する。画像比較部１０５は、領域Ｈｃと領域Ｈｄとの高い乖離度を算出する。

一方、画像比較部１０５が、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｃの撮像画像Ａの第１領域Ｆｂの画像との比較を行う場合、比較画像の第１領域Ｄｂのヘッドレストを撮像した領域Ｈｃと、撮像画像Ａの第１領域Ｆｂの画像におけるヘッドレストを撮像した領域Ｈｅとの乖離度を算出する。画像比較部１０５は、領域Ｈｃと領域Ｈｅとの低い乖離度を算出する。

画像比較部１０５は、算出した乖離度が予め設定した閾値以上であった場合には、運転者の姿勢が崩れていないと判定する。状態判定部１０７は、例えば、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂの撮像画像Ａの第１領域Ｆａの画像との比較では、領域Ｈｃと領域Ｈｄとの乖離度が高いことから、運転者Ｘの姿勢が崩れていないと判定する。
一方、画像比較部１０５は、算出した乖離度が予め設定した閾値未満であった場合には、運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図７Ａの比較画像の第１領域Ｄｂと、図７Ｃの撮像画像Ａの第１領域Ｆｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。

次に、状態判定装置１００の動作について説明する。
状態判定装置１００の動作は、基準点算出処理の動作と、状態判定処理の動作とに分けて説明する。まず、図８のフローチャートを参照しながら、基準点算出処理の動作について説明する。
図８は、実施の形態１に係る状態判定装置１００の基準点算出処理の動作を示すフローチャートである。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ１）、当該撮像画像が撮像された際の車速が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ２）。車速が予め設定した閾値未満である場合（ステップＳＴ２；ＮＯ）、処理を終了する。一方、車速が予め設定した閾値以上である場合（ステップＳＴ２；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域が検出可能か否か判定を行う（ステップＳＴ３）。顔領域が検出可能でない場合（ステップＳＴ３；ＮＯ）、処理を終了する。一方、顔領域が検出可能である場合（ステップＳＴ３；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域を検出し、検出した顔領域から顔位置を取得し、基準点算出部１０３に出力する（ステップＳＴ４）。

基準点算出部１０３は、ステップＳＴ４で取得された顔位置をバッファ等に記録する（ステップＳＴ５）。基準点算出部１０３は、顔位置の記録数が、予め設定した閾値以上となったか否か判定を行う（ステップＳＴ６）。顔位置の記録数が、予め設定した閾値未満である場合（ステップＳＴ６；ＮＯ）、処理を終了する。一方、顔領域の位置情報の記録数が、予め設定した閾値以上である場合（ステップＳＴ６；ＹＥＳ）、記録した顔位置から基準点を算出する（ステップＳＴ７）。基準点算出部１０３は、ステップＳＴ７で算出した基準点を姿勢判定部１０４に出力し（ステップＳＴ８）、処理を終了する。

次に、図９のフローチャートを参照しながら、状態判定処理の動作について説明する。
図９は、実施の形態１に係る状態判定装置１００の状態判定処理の動作を示すフローチャートである。画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２および画像比較部１０５に出力しているものとする。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ２１）、姿勢判定部１０４により運転者の姿勢が崩れていると判定されているか否か判定を行う（ステップＳＴ２２）。姿勢判定部１０４により運転者の姿勢が崩れていると判定されている場合（ステップＳＴ２２；ＹＥＳ）、フローチャートはステップＳＴ２７の処理に進む。一方、姿勢判定部１０４により運転者の姿勢が崩れていると判定されていない場合（ステップＳＴ２２；ＮＯ）、顔検出部１０２は姿勢判定部１０４に基準点が設定されているか否か判定を行う（ステップＳＴ２３）。ステップＳＴ２３の判定処理は、顔検出部１０２が姿勢判定部１０４をモニタして行う。姿勢判定部１０４に基準点が設定されていない場合（ステップＳＴ２３；ＮＯ）、処理を終了する。一方、姿勢判定部１０４に基準点が設定されている場合（ステップＳＴ２３；ＹＥＳ）、顔検出部１０２はステップＳＴ２１で入力された撮像画像から運転者の顔位置を取得し、姿勢判定部１０４に出力する（ステップＳＴ２４）。

姿勢判定部１０４は、予め基準点算出部１０３によって設定された基準点と、ステップＳＴ２３で取得された運転者の顔位置とを比較し、運転者の顔位置の移動方向および移動量を算出する（ステップＳＴ２５）。姿勢判定部１０４は、ステップＳＴ２５で算出した運転者の顔位置の移動方向および移動量に基づいて、運転者の姿勢が崩れているか否か判定を行う（ステップＳＴ２６）。運転者の姿勢が崩れていない場合（ステップＳＴ２６；ＮＯ）、処理を終了する。

一方、運転者の姿勢が崩れている場合（ステップＳＴ２６；ＹＥＳ）、画像比較部１０５は画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。画像比較部１０５は、ステップＳＴ２７で取得した姿勢判定時の撮像画像の第１領域の画像と、比較画像蓄積部１０６に蓄積された比較画像の第１領域の画像との比較を行い、一致度または乖離度が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ２８）。一致度または乖離度が予め設定した閾値以上である場合（ステップＳＴ２８；ＹＥＳ）、画像比較部１０５は姿勢判定部１０４の誤判定であると判定する。状態判定部１０７は、画像比較部１０５の判定結果に基づいて、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除、およびカウンタをリセットし（ステップＳＴ２９）、処理を終了する。

一方、一致度または乖離度が予め設定した閾値以上でない場合（ステップＳＴ２８；ＮＯ）、画像比較部１０５は姿勢判定部１０４の判定結果が正しいと判定する。状態判定部１０７は、画像比較部１０５の判定結果に基づいて、カウンタ（図示しない）が起動済みであるか否か判定を行う（ステップＳＴ３０）。カウンタが起動済みである場合（ステップＳＴ３０；ＹＥＳ）、ステップＳＴ３２の処理に進む。一方、カウンタが起動済みでない場合（ステップＳＴ３０；ＮＯ）、状態判定部１０７はカウンタのカウントを開始し（ステップＳＴ３１）、カウンタのカウントアップを行う（ステップＳＴ３２）。状態判定部１０７は、カウンタのカウント値を参照し、注意喚起判定時間（例えば、３秒）が経過したか否か判定を行う（ステップＳＴ３３）。注意喚起判定時間が経過していない場合（ステップＳＴ３３；ＮＯ）、フローチャートは処理を終了する。

一方、注意喚起判定時間が経過している場合（ステップＳＴ３３：ＹＥＳ）、状態判定部１０７はさらにカウンタのカウント値を参照し、運転不能判定時間（例えば、１０秒）が経過したか否か判定を行う（ステップＳＴ３４）。運転不能判定時間が経過していない場合（ステップＳＴ３４；ＮＯ）、状態判定部１０７は、運転者が注意喚起を必要とする状態であると判定する（ステップＳＴ３５）。状態判定部１０７は当該判定結果を外部の警告装置４００または車両制御装置５００に出力し、処理を終了する。一方、運転不能判定時間が経過している場合（ステップＳＴ３４；ＹＥＳ）、状態判定部１０７は、運転者が運転不能状態であると判定する（ステップＳＴ３６）。状態判定部１０７は当該判定結果を外部の警告装置４００または車両制御装置５００に出力し、処理を終了する。

図９のフローチャートのステップＳＴ３５において、状態判定部１０７が、運転者が注意喚起を必要とする状態であると判定すると、その後の画像比較部１０５の処理頻度を低下させるように構成してもよい。状態判定部１０７は、運転者が注意喚起を必要とする状態であると判定すると、当該判定結果を画像比較部１０５に出力する。画像比較部１０５は、出力された判定結果に基づいて、第１領域の画像と、比較画像とを比較をする処理頻度を低下させる。さらに、状態判定部１０７が、運転者が運転不能状態であるとの判定結果を画像比較部１０５に出力すると、画像比較部１０５は、第１領域の画像と、比較画像とを比較をする処理頻度をさらに低く設定してもよい。これにより、画像比較処理の処理負荷を軽減することができる。

上述した説明では、姿勢判定部１０４が、基準点に対する運転者の顔位置の移動方向および顔位置の移動量を算出し、算出した顔位置の移動量を、顔位置の移動方向における第１の姿勢崩れ判定量と比較することにより、運転者の姿勢が崩れているか否か判定を行う構成を示した。
姿勢判定部１０４は、運転者の顔位置の移動方向および移動量に加えて、運転者の顔向きも考慮して、運転者の姿勢が崩れているか否か判定する構成としてもよい。運転者の顔向きは、運転者の顔向きの左右方向へのある時間における変位量、および運転者の顔向きの上下方向へのある時間における変位量に基づいて算出する。

図１０は、実施の形態１に係る状態判定装置１００の姿勢判定部１０４による運転者の顔向きの変位量の算出を示す図である。
図１０Ａは、運転者の顔向きの左右方向および上下方向を定義した図である。
運転者Ｘの正面視において、Ｙａｗ方向が、運転者Ｘの顔向きの左右方向であり、Ｐｉｔｃｈ方向が、運転者Ｘの顔向きの上下方向である。
姿勢判定部１０４は、画像取得部１０１が取得した撮像画像から、運転者の正面視に対するＹａｗ方向およびＰｉｔｃｈ方向への変位量を算出する。図１０Ｂは、姿勢判定部１０４が時間の経過に伴って、Ｙａｗ方向に変位量「Ｙ_ｄ」を算出した場合を示している。図１０Ｃは、姿勢判定部１０４が時間の経過に伴って、Ｐｉｔｃｈ方向に変位量「Ｐ_ｄ」を算出した場合を示している。
姿勢判定部１０４は、顔位置の移動量と、第１の姿勢崩れ判定量との比較に加えて、図１０Ｂで算出した変位量「Ｙ_ｄ」または図１０Ｃで算出した変位量「Ｐ_ｄ」を、予め設定された顔向きの変位量の閾値である第２の姿勢崩れ判定量と比較することにより、運転者の姿勢が崩れているか否か判定を行う。第２の姿勢崩れ判定量は、顔向きのＹａｗ方向判定量、または顔向きのＰｉｔｃｈ方向判定量の少なくともいずれか一方で構成される。

図１１は、実施の形態１の状態判定装置１００による運転者の頭部の移動方向の設定および各移動方向に設定された第２の姿勢崩れ判定量の一例を示す図である。
図１１は、図５と同様に、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。各領域には、第１の姿勢崩れ判定量に加えて、第２の姿勢崩れ判定量が設定されている。図１１の例では、Ａｒｅａ１における第１の姿勢崩れ判定量がｍ_ｔｈｒ１、顔向きのＹａｗ方向判定量（第２の姿勢崩れ判定量）がｙ_ｔｈｒ１、顔向きのＰｉｔｃｈ方向判定量（第２の姿勢崩れ判定量）がＰ_ｔｈｒ１と設定されている。また、Ａｒｅａ３における顔位置の移動量の第１の姿勢崩れ判定量がｍ_ｔｈｒ３、顔向きのＰｉｔｃｈ方向判定量がＰ_ｔｈｒ３と設定されている。

次に、姿勢判定部１０４は、顔位置Ｐａと基準点Ｑとの２点間の距離ｍを算出し、顔位置Ｐａの移動量ｍとする。また、姿勢判定部１０４は、顔位置Ｐａにおける運転者の顔向きの変位量Ｙ_ｄおよび変位量Ｐ_ｄを算出する。姿勢判定部１０４は、算出した顔位置Ｐａの移動量ｍが第１の姿勢崩れ判定量ｍ_ｔｈｒ２以上であり、算出した顔向きの変位量Ｙ_ｄがＹａｗ方向判定量Ｙ_ｔｈｒ２以上であり、且つ変位量Ｐ_ｄがＰｉｔｃｈ方向判定量Ｐ_ｔｈｒ２以上である場合に、運転者の姿勢が崩れていると判定する。一方、姿勢判定部１０４は、移動量ｍが第１の姿勢崩れ判定量ｍ_ｔｈｒ２未満であった場合、顔向きの変位量Ｙ_ｄがＹａｗ方向判定量Ｙ_ｔｈｒ２未満であった場合、または変位量Ｐ_ｄがＰｉｔｃｈ方向判定量Ｐ_ｔｈｒ２未満であった場合、運転者の姿勢が崩れていないと判定する。

このように、姿勢判定部１０４が、運転者の顔向きのある時間における変位量も考慮して、運転者の姿勢が崩れているか否か判定することにより、運転者の運転状態判定の精度が向上する。

以上のように、この実施の形態１によれば、運転者を含む車内の撮像画像を取得する画像取得部１０１と、取得された撮像画像から、運転者の顔位置を検出する顔検出部１０２と、検出された運転者の顔位置と、予め算出された運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の運転者の顔位置の移動を検出した場合に、運転者の姿勢が崩れていると判定する姿勢判定部１０４と、運転者の姿勢が崩れていると判定された場合に、取得された撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って運転者の姿勢が崩れているか否か再判定を行う画像比較部１０５と、再判定の結果に基づいて、運転者が運転不能状態であるか否か判定を行う状態判定部１０７とを備えように構成したので、撮像画像に映りこんだ他の乗員の頭部、車両内装または風景などの運転者の頭部以外を運転者の頭部であると誤って検出した場合であっても、運転不能状態でない運転者を運転不能状態であると誤検出するのを抑制することができる。これにより、運転者の運転不能状態の判定を精度よく行うことができる。

また、この実施の形態１によれば、姿勢判定部１０４が、第２の姿勢崩れ判定量以上の運転者の顔向きの変位を検出した場合に、運転者の姿勢が崩れていると判定するように構成したので、運転者の運転状態をより精度よく判定することができる。

また、この実施の形態１によれば、画像比較部１０５は、状態判定部１０７が、運転者が注意喚起を必要とする状態、または運転不能状態であると判定すると、撮像画像内の第１領域の画像と、比較画像内の第１領域の画像とを比較する処理の頻度を低下させるように構成したので、状態判定装置の処理負荷を軽減することができる。

実施の形態２．
この実施の形態２では、運転者の頭部中心軸の傾きを考慮して運転者の運転状態を判定する構成を示す。
図１２は、実施の形態２に係る状態判定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る状態判定装置１００Ａは、図１に示した実施の形態１の状態判定装置１００に、軸検出部１０８を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

軸検出部１０８は、姿勢判定部１０４の判定結果を参照し、運転者の姿勢が崩れているとの判定結果であった場合、画像取得部１０１が取得した姿勢判定時の撮像画像から運転者の頭部中心軸を検出する。軸検出部１０８は、検出した頭部中心軸の、予め設定した軸に対する傾きを算出する。軸検出部１０８は、算出した傾きが予め設定した閾値範囲内であるか否か判定を行う。軸検出部１０８は、算出した傾きが予め設定した閾値範囲内である場合には、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、軸検出部１０８は、算出した角度が閾値範囲内でないと判定した場合、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に出力する。

軸検出部１０８が検出する頭部中心軸および頭部中心軸の傾きの判定について、図１３および図１４を参照しながら説明する。
図１３は、実施の形態２に係る状態判定装置１００Ａの軸検出部１０８による頭部中心軸の検出を示す図である。図１３Ａは、運転者Ｘが運転席に正常な状態で着座した場合を示している。運転者Ｘが搭乗している車両（図示しない）の横方向且つ路面に水平な方向をｘ軸、車両の前後方向且つ路面に水平な方向をｙ軸、車両の上下方向且つｘ軸およびｙ軸に垂直な方向をｚ軸とする。
図１３Ｂは、運転者Ｘの頭部を上方から見た図である。頭部中心軸Ｒは、運転者Ｘの頭部を上方から視認した場合に得られる円Ｘａの中心を通る軸である。軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から得られる、両目の位置、鼻の付け根の位置および鼻の頂部の位置に基づいて、頭部中心軸Ｒを検出する。例えば、軸検出部１０８は、両目の中央位置と、鼻の頂部の位置に基づいて、頭部中心軸Ｒのｘ軸に対する傾きを検出する。また、例えば軸検出部１０８は、鼻の頂部と、鼻の付け根との間の距離に基づいて、頭部中心軸Ｒのｙ軸に対する傾きを検出する。

図１４は、実施の形態２に係る状態判定装置１００Ａの軸検出部１０８による頭部中心軸の傾きの判定を示す図である。図１４Ａは、頭部中心軸Ｒのｘ軸に対する傾きを示す図であり、図１４Ｂは頭部中心軸Ｒのｙ軸に対する傾きを示す図である。
軸検出部１０８は、頭部中心軸Ｒと、ｘ軸とのなす角度θ_ｆ−ｘを算出する。同様に、軸検出部１０８は、頭部中心軸Ｒと、ｙ軸とのなす角度θ_ｆ−ｙを算出する。軸検出部１０８は、算出した角度θ_ｆ−ｘおよび角度θ_ｆ−ｙが、図１４Ｃで示した閾値範囲（角度θ_ｔｈｒ１から角度θ_ｔｈｒ２の間の範囲）内であるか否か判定を行う。角度θ_ｆ−ｘおよび角度θ_ｆ−ｙが角度θ_ｔｈｒ１から角度θ_ｔｈｒ２の間の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、角度θ_ｆ−ｘまたは角度θ_ｆ−ｙが、０°から角度θ_ｔｈｒ１の範囲内または角度θ_ｔｈｒ２から１８０°の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持する。
なお、上述した閾値範囲は一例であり、適宜設定可能である。また角度θ_ｆ−ｘの閾値範囲と、角度θ_ｆ−ｙの閾値範囲とをそれぞれ別々に設定してもよい。

次に、状態判定装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態判定装置１００Ａにおける軸検出部１０８は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、状態判定装置１００Ａによる状態判定処理の動作について説明する。
図１５は、実施の形態２に係る状態判定装置１００Ａの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、軸検出部１０８および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から運転者の頭部中心軸を検出する（ステップＳＴ４１）。軸検出部１０８は、検出した頭部中心軸とｘ軸とのなす角度、および頭部中心軸とｙ軸とのなす角度を算出する（ステップＳＴ４２）。

軸検出部１０８は、算出したｘ軸とのなす角度、およびｙ軸とのなす角度が、予め設定した閾値範囲内であるか否か判定を行う（ステップＳＴ４３）。算出したｘ軸とのなす角度、およびｙ軸とのなす角度が、予め設定した閾値範囲内である場合（ステップＳＴ４３；ＹＥＳ）、軸検出部１０８は姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除し（ステップＳＴ４４）、処理を終了する。

一方、算出したｘ軸とのなす角度、またはｙ軸とのなす角度が、予め設定した閾値範囲内でない場合（ステップＳＴ４３；ＮＯ）、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に対して姿勢判定部１０４による運転者の姿勢が崩れているとの判定を通知する（ステップＳＴ４５）。画像比較部１０５は、ステップＳＴ４５で通知された判定に基づいて、画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。その後、フローチャートはステップＳＴ２８以降の処理を行う。

以上のように、この実施の形態２によれば、姿勢判定部１０４が運転者の姿勢が崩れていると判定した場合に、取得された撮像画像から運転者の頭部中心軸の傾きを検出し、検出した頭部中心軸の傾きが予め設定された閾値範囲内である場合、運転者の姿勢が崩れているとの判定を解除する軸検出部１０８を備えるように構成したので、正常な状態の姿勢とは異なる姿勢で運転している運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。これにより、運転者の運転状態判定の精度を向上させることができる。また、運転者の頭部が車両前方側に移動した状態での運転、または運転者が車両前方側を覗き込む動作を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。

実施の形態３．
この実施の形態３では、車両の構造部に肘を掛けて運転（以下、肘掛運転と記載する）を行っている運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制する構成を示す。ここで、肘掛運転とは、例えば運転者の頭部が移動し、運転席ドアの窓枠、または運転席ドアの肘掛に肘をついた状態での運転である。
図１６は、実施の形態３に係る状態判定装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る状態判定装置１００Ｂは、図１に示した実施の形態１の状態判定装置１００に、輪郭検出部１０９を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

輪郭検出部１０９は、姿勢判定部１０４の判定結果を参照し、運転者の姿勢が崩れているとの判定結果であった場合、画像取得部１０１が取得した姿勢判定時の撮像画像における第２領域の画像を取得する。第２領域は、運転席のヘッドレストを全て含む領域である。さらに、第２領域は、運転者が運転席に正常な状態で着座した場合に、運転者の腕の付け根が入る範囲、且つ運転者が両腕を広げた際に当該運転者の両肘が入る範囲の領域である。

図１７は、実施の形態３に係る状態判定装置１００Ｂの輪郭検出部１０９が取得する第２領域の一例を示す図である。図１７Ａは、運転席を正面から撮像した撮像画像に設定される第２領域の例を示し、図１７Ｂは運転席を斜め前方から撮像した撮像画像から取得される第２領域の例を示している。
図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転者Ｘの腕の付け根Ｘｂの位置、および運転者Ｘが両腕を広げた際の両肘Ｘｃの位置を考慮した領域である。図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第２領域Ｅｃ，Ｅｄは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、領域内に運転席のヘッドレストＨを全て含む領域である。

輪郭検出部１０９は、取得した第２領域の画像にエッジ検出を行い、運転者の輪郭を検出する。輪郭検出部１０９は、検出した運転者の輪郭のうち、運転者の首周りの輪郭に予め定義した三角形状が存在する場合に、運転者は肘掛運転を行っていると判断する。輪郭検出部１０９は、運転者が肘掛運転を行っていると判断した場合に、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、輪郭検出部１０９は、運転者の首周りの輪郭に予め定義した三角形状が存在しない場合、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に出力する。

輪郭検出部１０９は、例えば図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄの画像に対してエッジ検出を行い、運転者Ｘの輪郭を検出した場合、首周りの輪郭に三角形状Ｓａおよび三角形状Ｓｂが存在すると判断する。輪郭検出部１０９は、図１７Ａおよび図１７Ｂで示した撮像画像に対して、運転者Ｘが肘掛運転を行っていると判断する。

次に、状態判定装置１００Ｂのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態判定装置１００Ｂにおける輪郭検出部１０９は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、状態判定装置１００Ｂによる状態判定処理の動作について説明する。
図１８は、実施の形態３に係る状態判定装置１００Ｂの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、輪郭検出部１０９および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、輪郭検出部１０９は画像取得部１０１が取得した姿勢判定時の撮像画像における第２領域の画像を取得する（ステップＳＴ５１）。輪郭検出部１０９は、ステップＳＴ５１で取得した第２領域の画像から運転者の輪郭を検出する（ステップＳＴ５２）。

輪郭検出部１０９は、ステップＳＴ５２で検出した運転者の輪郭のうち、運転者の首周りに輪郭に対して予め設定した三角形状と一致または類似する形状が存在するか否か判定を行う（ステップＳＴ５３）。予め設定した三角形状と一致または類似する形状が存在する場合（ステップＳＴ５３；ＹＥＳ）、輪郭検出部１０９は運転者が肘掛運転をしていると判断する。（ステップＳＴ５４）。また、輪郭検出部１０９は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除し（ステップＳＴ５５）、処理を終了する。

一方、予め設定した三角形状と一致または類似する形状が存在しない場合（ステップＳＴ５３；ＮＯ）、輪郭検出部１０９は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に対して姿勢判定部１０４による運転者の姿勢が崩れているとの判定を通知する（ステップＳＴ５６）。画像比較部１０５は、ステップＳＴ５６で通知された判定に基づいて、画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。その後、フローチャートはステップＳＴ２８以降の処理を行う。

以上のように、この実施の形態３によれば、姿勢判定部１０４が運転者の姿勢が崩れていると判定した場合に、取得された姿勢判定時の撮像画像内の第２領域の画像から、運転者の輪郭を検出し、検出した輪郭に三角形の形状が含まれる場合、運転者の姿勢が崩れているとの判定を解除する輪郭検出部１０９を備えるように構成したので、頭部が移動した状態で肘掛運転を行っている運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。これにより、運転者の運転状態判定の精度を向上させることができる。

なお、上述した実施の形態３では、実施の形態１で示した状態判定装置１００に輪郭検出部１０９を追加して適用する構成を示したが、実施の形態２で示した状態判定装置１００Ａに輪郭検出部１０９を追加して構成してもよい。
その場合、輪郭検出部１０９は、軸検出部１０８と並行して処理を行ってもよいし、軸検出部１０８の処理の後段で処理を実行してもよい。

上述した実施の形態１から実施の形態３で示した状態判定装置１００，１００Ａ，１００Ｂにおいて、運転者が注意喚起を必要とする状態であると判定した場合、または運転者が運転不能状態であると判定した場合、外部の警告装置４００が音声により警告を行う。
また、警告装置４００はディスプレイに運転不能状態と判定していることを表示し、当該運転不能状態との判定を解除する入力を受け付けるボタンを表示してもよい。
図１９は、実施の形態１から実施の形態３に係る発明の状態判定装置１００，１００Ａ，１００Ｂの判定結果を運転者に通知する一例を示す図である。
ディスプレイ４０１には、状態判定装置１００，１００Ａ，１００Ｂの判定結果４０２と、当該判定結果を解除するためのボタン４０３が表示される。判定結果４０２は、例えば「運転不能状態と判定中」と表示される。また、ボタン４０３は、例えば「正常状態にリセット」と表示される。

運転者は、ディスプレイ４０１に表示された判定結果４０２を参照し、自身が運転不能状態でない場合には、ボタン４０３を押下することにより、状態判定装置１００，１００Ａ，１００Ｂに、判定結果を解除させることができる

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

この発明に係る状態判定装置は、判定精度の向上が求められるドライバモニタリングシステム等に適用し、運転者の姿勢崩れに基づいて運転状態を判定するのに適している。

１００，１００Ａ，１００Ｂ状態判定装置、１０１画像取得部、１０２顔検出部、１０３基準点算出部、１０４姿勢判定部、１０５画像比較部、１０６比較画像蓄積部、１０７状態判定部、１０８軸検出部、１０９輪郭検出部。

Claims

運転者を含む車内の撮像画像を取得する画像取得部と、
前記画像取得部が取得した撮像画像から、前記運転者の顔位置を検出する顔検出部と、
前記顔検出部が検出した前記運転者の顔位置と、予め算出された前記運転者の基準点と
を比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定する姿勢判定部と、
前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行うことにより、前記姿勢判定部による前記運転者の姿勢が崩れているとの判定が正しいか否かを判定する画像比較部と、
前記画像比較部の再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行う状態判定部と、
前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭のうち、前記運転者の首周りの輪郭に、予め定義した三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除する輪郭検出部とを備えた状態判定装置。
前記姿勢判定部は、第２の姿勢崩れ判定量以上の前記運転者の顔向きの変位を検出した場合に、前記運転者の姿勢が崩れていると判定し、
前記輪郭検出部は、前記姿勢判定部が前記第２の姿勢崩れ判定量以上の前記運転者の顔向きの変位を検出することにより前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の前記第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭のうち、前記運転者の首周りの輪郭に、予め定義した三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除することを特徴とする請求項１記載の状態判定装置。
前記画像比較部は、前記比較画像が、前記運転者が運転席に着座しているときの当該運転席を撮像した撮像画像である場合、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像との一致度を算出し、当該算出した一致度に応じて、前記運転者の姿勢が崩れているか否かの再判定を行うことを特徴とする請求項１記載の状態判定装置。
前記画像比較部は、前記比較画像が、前記運転者が着座していない運転席を撮像した撮像画像である場合、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像との乖離度を算出し、当該算出した乖離度に応じて、前記運転者の姿勢が崩れているか否かの再判定を行うことを特徴とする請求項１記載の状態判定装置。
前記状態判定部は、前記画像比較部により前記運転者の姿勢が崩れていると再判定された状態が注意喚起判定時間以上継続した場合に、前記運転者が注意喚起を必要とする状態であると判定し、前記運転者の姿勢が崩れているとの再判定された状態が、前記注意喚起判定時間よりも長い運転不能判定時間以上継続した場合に、前記運転者が運転不能状態であると判定することを特徴とする請求項１記載の状態判定装置。
前記画像比較部は、前記状態判定部が、前記運転者が前記注意喚起を必要とする状態、
または運転不能状態であると判定した場合に、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像とを比較する処理の頻度を低下させることを特徴とする請求項５記載の状態判定装置。
前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像から前記運転者の頭部中心軸の傾きを検出し、検出した前記頭部中心軸の傾きが予め設定された閾値範囲内である場合、前記運転者の姿勢が崩れているとの判定を解除する軸検出部を備えたことを特徴とする請求項１記載の状態判定装置。
画像取得部が、運転者を含む車内の撮像画像を取得するステップと、
顔検出部が、前記取得された撮像画像から、前記運転者の顔位置を検出するステップと、
姿勢判定部が、前記検出された前記運転者の顔位置と、予め算出された前記運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定するステップと、
画像比較部が、前記運転者の姿勢が崩れていると判定した場合に、前記取得された撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行うことにより、前記姿勢判定部による前記運転者の姿勢が崩れているとの判定が正しいか否かを判定するステップと、
前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、輪郭検出部が、前記画像取得部が取得した撮像画像内の第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭のうち、前記運転者の首周りの輪郭に、予め定義した三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除するステップと、
状態判定部が、前記再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行うステップとを備えた状態判定方法。