JPWO2018225176A1 - 状態判定装置および状態判定方法 - Google Patents
状態判定装置および状態判定方法 Download PDFInfo
- Publication number
- JPWO2018225176A1 JPWO2018225176A1 JP2019523262A JP2019523262A JPWO2018225176A1 JP WO2018225176 A1 JPWO2018225176 A1 JP WO2018225176A1 JP 2019523262 A JP2019523262 A JP 2019523262A JP 2019523262 A JP2019523262 A JP 2019523262A JP WO2018225176 A1 JPWO2018225176 A1 JP WO2018225176A1
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- posture
- determination
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
車内の撮像画像から、運転者の顔位置を検出する顔検出部（１０２）と、検出された運転者の顔位置と、予め算出された運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の運転者の顔位置の移動を検出した場合に、運転者の姿勢が崩れていると判定する姿勢判定部（１０４）と、運転者の姿勢が崩れていると判定された場合に、撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って運転者の姿勢が崩れているか否か再判定を行う画像比較部（１０５）と、再判定の結果に基づいて、運転者が運転不能状態であるか否か判定を行う状態判定部（１０７）とを備える。
Description
この発明は、車両を運転する運転者の状態を判定する技術に関するものである。
従来、車両を運転する運転者を撮像した撮像画像から運転者の運転姿勢の崩れを検出し、運転者が運転することができない状態（以下、運転不能状態と記載する）であるか否か判定する技術がある。例えば、特許文献１には、車両に搭載されたカメラにより撮像された運転席の撮像画像から、運転者の首よりも上の頭部を逐次検出し、車両の走行中に検出された運転者の頭部が、撮像画像の所定範囲から外れている場合に運転姿勢が崩れているとして運転者が運転不能状態であることを検出するドライバの運転不能状態検出装置が開示されている。
上記特許文献１に記載されたドライバの運転不能状態検出装置では、撮像画像に映りこんだ他の乗員の頭部、車両内装または風景などの運転者の頭部以外を運転者の頭部であると誤って検出した場合、運転不能状態でない運転者を運転不能状態であると誤検出してしまうという課題があった。
この発明は、上記のような課題を解決するためになされたもので、運転者の運転不能状態の誤検出を抑制し、運転者の状態の判定精度を向上させることを目的とする。
この発明に係る状態判定装置は、運転者を含む車内の撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から、運転者の顔位置を検出する顔検出部と、顔検出部が検出した運転者の顔位置と、予め算出された運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の運転者の顔位置の移動を検出した場合に、運転者の姿勢が崩れていると判定する姿勢判定部と、姿勢判定部が運転者の姿勢が崩れていると判定した場合に、画像取得部が取得した撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って運転者の姿勢が崩れているか否か再判定を行う画像比較部と、画像比較部の再判定の結果に基づいて、運転者が運転不能状態であるか否か判定を行う状態判定部とを備える。
この発明によれば、運転者の運転不能状態の誤検出を抑制し、運転者の状態の判定精度を向上させることができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る状態判定装置１００の構成を示すブロック図である。
状態判定装置１００は、まず、運転者の顔を検出し当該検出した顔の移動量および移動方向に基づいて、運転者の姿勢が崩れているか否かを判定する。そして、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、正常な状態の運転者が運転席に着座しているときの第２の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第２の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。
または、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した第３の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第３の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。
実施の形態１．
図１は、実施の形態１に係る状態判定装置１００の構成を示すブロック図である。
状態判定装置１００は、まず、運転者の顔を検出し当該検出した顔の移動量および移動方向に基づいて、運転者の姿勢が崩れているか否かを判定する。そして、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、正常な状態の運転者が運転席に着座しているときの第２の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第２の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。
または、状態判定装置１００は、姿勢が崩れていると判定したときに車室内の撮像装置から取得した第１の運転席の撮像画像と、車室内の撮像装置によって予め撮像された画像であって、運転者が着座していない運転席の座席を撮像した第３の運転席の画像とを比較する。状態判定装置１００は、第１の運転席の撮像画像と、第３の運転席の画像との比較結果に基づいて、運転者の姿勢崩れを判定し、運転者が運転不能状態であるか否かを判定する。
詳細は後述するが、状態判定装置１００は、第１の運転席の撮像画像と第２の運転席の撮像画像との一致度を算出する。または、状態判定装置１００は、第１の運転席の撮像画像と第３の運転席の撮像画像との乖離度を算出する。
状態判定装置１００は、算出した一致度または乖離度が小さい場合は運転者が正常な状態の姿勢とは異なる姿勢、即ち姿勢が崩れていると判定し、運転者が運転不能状態であると判定する。
一方、状態判定装置１００は、算出した一致度または乖離度が大きい場合は運転者が正常な状態の姿勢と同等の姿勢、即ち姿勢が崩れていないと判定し、運転者が運転不能状態でないと判定する。
これにより、状態判定装置１００が、例えば他の乗員の頭部等を運転者の顔であると誤検出し、当該検出結果に基づいて運転者の姿勢が崩れていると判定した場合であっても、第１の運転席の撮像画像と第２の運転席の撮像画像との比較、または第１の運転席の撮像画像と第３の運転席の撮像画像との比較によって、当該判定のチェックを行うことができるため、運転不能状態であると誤検出することを抑制することができる。
状態判定装置１００は、算出した一致度または乖離度が小さい場合は運転者が正常な状態の姿勢とは異なる姿勢、即ち姿勢が崩れていると判定し、運転者が運転不能状態であると判定する。
一方、状態判定装置１００は、算出した一致度または乖離度が大きい場合は運転者が正常な状態の姿勢と同等の姿勢、即ち姿勢が崩れていないと判定し、運転者が運転不能状態でないと判定する。
これにより、状態判定装置１００が、例えば他の乗員の頭部等を運転者の顔であると誤検出し、当該検出結果に基づいて運転者の姿勢が崩れていると判定した場合であっても、第１の運転席の撮像画像と第２の運転席の撮像画像との比較、または第１の運転席の撮像画像と第３の運転席の撮像画像との比較によって、当該判定のチェックを行うことができるため、運転不能状態であると誤検出することを抑制することができる。
状態判定装置１００は、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５、比較画像蓄積部１０６および状態判定部１０７を備える。
また、状態判定装置１００には、カメラ２００、車両情報認識装置３００、警告装置４００および車両制御装置５００が接続されている。
カメラ２００は、状態判定装置１００を搭載した車両内を撮像する撮像手段である。カメラ２００は、例えば赤外線カメラ等である。カメラ２００は、運転席に着座した運転者の少なくとも頭部を撮影可能な位置に設置される。また、カメラ２００は、１台または複数台で構成される。
また、状態判定装置１００には、カメラ２００、車両情報認識装置３００、警告装置４００および車両制御装置５００が接続されている。
カメラ２００は、状態判定装置１００を搭載した車両内を撮像する撮像手段である。カメラ２００は、例えば赤外線カメラ等である。カメラ２００は、運転席に着座した運転者の少なくとも頭部を撮影可能な位置に設置される。また、カメラ２００は、１台または複数台で構成される。
車両情報認識装置３００は、状態判定装置１００を搭載した車両の車両情報を認識する装置である。車両情報認識装置３００は、例えば車速センサおよびブレーキセンサを備える。車速センサは、車両の走行速度を取得するセンサである。ブレーキセンサは、車両のブレーキペダルの操作量を検出するセンサである。
警告装置４００は、状態判定装置１００の判定結果に基づいて、車両の運転者に対して音声または音声と表示によって、注意喚起を示す情報または警告を示す情報を生成する。警告装置４００は、生成した注意喚起を示す情報または警告を示す情報の出力制御を行う。警告装置４００を構成する、例えばスピーカ、またはスピーカおよびディスプレイは、出力制御に基づいて、注意喚起を示す情報または警告を示す情報を音声出力、または音声出力および表示する。
車両制御装置５００は、状態判定装置１００の判定結果に基づいて、車両の走行を制御する。
警告装置４００は、状態判定装置１００の判定結果に基づいて、車両の運転者に対して音声または音声と表示によって、注意喚起を示す情報または警告を示す情報を生成する。警告装置４００は、生成した注意喚起を示す情報または警告を示す情報の出力制御を行う。警告装置４００を構成する、例えばスピーカ、またはスピーカおよびディスプレイは、出力制御に基づいて、注意喚起を示す情報または警告を示す情報を音声出力、または音声出力および表示する。
車両制御装置５００は、状態判定装置１００の判定結果に基づいて、車両の走行を制御する。
状態判定装置１００の各構成について説明する。
画像取得部１０１は、カメラ２００が撮像した撮像画像を取得する。撮像画像は、車内の運転者の少なくとも頭部が映るように撮像された画像である。画像取得部１０１は、取得した撮像画像を顔検出部１０２および画像比較部１０５に出力する。
顔検出部１０２は、画像取得部１０１により取得された撮像画像を解析して運転者の顔位置を検出し、後述する基準点算出部１０３および姿勢判定部１０４に出力する。顔位置は、撮像画像上の二次元座標で表され、例えば、顔検出部１０２は、撮像画像に基づいて運転者の頭部の輪郭に接する枠を設定し、当該設定した枠の中心点の座標を運転者の顔位置とする。顔検出部１０２の処理の詳細については後述する。なお、これに限らず、顔検出部１０２は、例えば撮像画像を解析して両目を検出し、両目の中心を顔位置としてもよい。
画像取得部１０１は、カメラ２００が撮像した撮像画像を取得する。撮像画像は、車内の運転者の少なくとも頭部が映るように撮像された画像である。画像取得部１０１は、取得した撮像画像を顔検出部１０２および画像比較部１０５に出力する。
顔検出部１０２は、画像取得部１０１により取得された撮像画像を解析して運転者の顔位置を検出し、後述する基準点算出部１０３および姿勢判定部１０４に出力する。顔位置は、撮像画像上の二次元座標で表され、例えば、顔検出部１０２は、撮像画像に基づいて運転者の頭部の輪郭に接する枠を設定し、当該設定した枠の中心点の座標を運転者の顔位置とする。顔検出部１０２の処理の詳細については後述する。なお、これに限らず、顔検出部１０２は、例えば撮像画像を解析して両目を検出し、両目の中心を顔位置としてもよい。
基準点算出部１０３は、顔検出部１０２から取得した顔位置に基づいて、運転者が正常な状態で運転しているときの姿勢における顔位置（以下、基準点と記載する）を算出する。基準点算出部１０３は、当該算出した基準点を姿勢判定部１０４に出力する。基準点算出部１０３の処理の詳細については後述する。
姿勢判定部１０４は、基準点と顔検出部１０２が取得した運転者の顔位置に基づいて、基準点からの運転者の頭部の移動量および移動方向を算出する。姿勢判定部１０４は、算出した移動量が、算出した移動方向において予め設定された顔位置の移動量の閾値である第１の姿勢崩れ判定量以上である場合、運転者の姿勢が崩れていると判定する。一方、姿勢判定部１０４は、算出した移動量が、算出した移動方向において予め設定された第１の姿勢崩れ判定量未満である場合、運転者の姿勢が崩れていないと判定する。姿勢判定部１０４は、判定結果を画像比較部１０５に出力する。
姿勢判定部１０４は、基準点算出部１０３が算出した基準点と顔検出部１０２が取得した運転者の顔位置との距離を算出する。この実施の形態１においては、算出した距離を運転者の頭部の移動量とする。また、姿勢判定部１０４は、基準点算出部１０３が算出した基準点を中心として、撮像画像を複数の領域に分割し、顔検出部１０２が取得した運転者の顔位置がいずれの領域に属するかを判定する。この実施の形態１においては、判定結果である領域を頭部の移動方向とする。
なお、姿勢判定部１０４は、基準点と顔検出部１０２が取得した運転者の顔位置とを結んだ直線が、基準点を原点としたＸ軸となす角度を頭部の移動方向としてもよい。姿勢判定部１０４の処理の詳細については後述する。
なお、姿勢判定部１０４は、基準点と顔検出部１０２が取得した運転者の顔位置とを結んだ直線が、基準点を原点としたＸ軸となす角度を頭部の移動方向としてもよい。姿勢判定部１０４の処理の詳細については後述する。
画像比較部１０５は、姿勢判定部１０４の判定結果が姿勢崩れを示すものである場合、当該判定の際に用いられた撮像画像（以下、姿勢判定時の撮像画像と記載する）における第１領域の画像と、予め撮像された比較画像における第１領域の画像とを比較し、運転者の姿勢崩れを判定する。
ここで、比較画像は、運転者が正常な状態で運転席に着座しているときに撮像した撮像画像、または運転者が着座していない運転席の座席を撮像した撮像画像である。
また、第１領域は、運転席の座席の前後方向への調整幅、運転席の座席の傾きの調整幅、および運転席のヘッドレストの上下方向への調整幅を考慮して定められた領域であり、且つ運転席のヘッドレストを全て含む領域である。また、第１領域は、運転席の平均的な座席位置、運転者の平均的な座高または一般の運転者が通常の運転動作を行う際に撮像される範囲を考慮して定めてもよい。第１領域は、車種毎の運転座席の位置および撮像装置の位置に基づいて予め設定される領域である。
ここで、比較画像は、運転者が正常な状態で運転席に着座しているときに撮像した撮像画像、または運転者が着座していない運転席の座席を撮像した撮像画像である。
また、第１領域は、運転席の座席の前後方向への調整幅、運転席の座席の傾きの調整幅、および運転席のヘッドレストの上下方向への調整幅を考慮して定められた領域であり、且つ運転席のヘッドレストを全て含む領域である。また、第１領域は、運転席の平均的な座席位置、運転者の平均的な座高または一般の運転者が通常の運転動作を行う際に撮像される範囲を考慮して定めてもよい。第１領域は、車種毎の運転座席の位置および撮像装置の位置に基づいて予め設定される領域である。
画像比較部１０５は、比較画像として運転者が着座しているときに撮像した撮像画像を用いる場合、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度を算出する。一方、画像比較部１０５は、比較画像として運転者が着座していない運転席の座席の撮像画像を用いる場合、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度を算出する。画像比較部１０５は、算出した一致度または乖離度に基づいて、運転者の姿勢が崩れているか否かの再判定を行う。
画像比較部１０５は、一致度または乖離度が閾値以上である場合は、運転者の姿勢が崩れていないと判定する。即ち、画像比較部１０５は、顔検出部１０２が運転者の顔以外を運転者の顔であると誤検出した顔位置に基づいて、姿勢判定部１０４が、当該誤った顔位置と基準点とに基づいて姿勢崩れと誤判定したものと判定する。一方、画像比較部１０５は、一致度または乖離度が閾値未満である場合は、運転者の姿勢が崩れている、即ち姿勢判定部１０４の判定結果が正しいと判定する。画像比較部１０５は、判定結果を状態判定部１０７に出力する。
なお、一致度、乖離度および画像比較部１０５による一致度または乖離度の算出方法の詳細は後述する。
なお、一致度、乖離度および画像比較部１０５による一致度または乖離度の算出方法の詳細は後述する。
図２は、実施の形態１に係る状態判定装置１００の画像比較部１０５が用いる第１領域の一例を示す図である。図２Ａは、運転席を正面から撮像した撮像画像における第１領域の例を示し、図２Ｂは運転席を斜め前方から撮像した撮像画像における第１領域の例を示した図である。
図２Ａおよび図２Ｂで示した第１領域Ｅａ，Ｅｂは、運転席のヘッドレストＨを全て含む領域である。また、第１領域Ｅａ，Ｅｂは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第１領域Ｅａ，Ｅｂは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、運転席のヘッドレストＨが全て含まれる領域である。
図２Ａおよび図２Ｂで示した第１領域Ｅａ，Ｅｂは、運転席のヘッドレストＨを全て含む領域である。また、第１領域Ｅａ，Ｅｂは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第１領域Ｅａ，Ｅｂは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、運転席のヘッドレストＨが全て含まれる領域である。
比較画像蓄積部１０６は、画像比較部１０５が撮像画像を比較する際に参照する比較画像を蓄積する。比較画像は、姿勢判定時の撮像画像における第１領域と同一の領域を予め撮像した撮像画像である。比較画像は、運転者が正常な状態で運転席に着座しているときに撮像した撮像画像、または運転者が運転席に着座していない運転席の座席を撮像した撮像画像である。運転者が正常な状態で運転席に着座している撮像画像は、例えば、後述する基準点を算出する際に撮像された画像である。運転者を撮像した撮像画像である場合、比較画像蓄積部１０６は、運転者毎に比較画像を蓄積する。
状態判定部１０７は、画像比較部１０５の判定結果に基づいて、運転者が運転不能状態であるか否か判定を行う。状態判定部１０７は、当該判定結果に基づいて姿勢崩れの状態が一定時間以上継続した場合、運転者が運転不能状態であると判定する。
より具体的には、状態判定部１０７は、当該判定結果に基づいて姿勢崩れの状態が、注意喚起が必要であると判定する時間（以下、注意喚起判定時間と記載する）継続した場合、運転者に対して注意喚起を行う必要がある状態（以下、注意喚起状態）であると判定する。状態判定部１０７は、注意喚起状態が運転不能状態であると判断する時間（以下、運転不能判定時間と記載する）継続した場合、運転者が運転不能状態であると判定する。
状態判定部１０７は、運転者が注意喚起状態であると判定した場合、または運転者が運転不能状態であると判定した場合、当該判定結果を、外部の警告装置４００または車両制御装置５００に出力する。
より具体的には、状態判定部１０７は、当該判定結果に基づいて姿勢崩れの状態が、注意喚起が必要であると判定する時間（以下、注意喚起判定時間と記載する）継続した場合、運転者に対して注意喚起を行う必要がある状態（以下、注意喚起状態）であると判定する。状態判定部１０７は、注意喚起状態が運転不能状態であると判断する時間（以下、運転不能判定時間と記載する）継続した場合、運転者が運転不能状態であると判定する。
状態判定部１０７は、運転者が注意喚起状態であると判定した場合、または運転者が運転不能状態であると判定した場合、当該判定結果を、外部の警告装置４００または車両制御装置５００に出力する。
次に、状態判定装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、状態判定装置１００のハードウェア構成例を示す図である。
状態判定装置１００における画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能は、処理回路により実現される。即ち、状態判定装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
図３Ａおよび図３Ｂは、状態判定装置１００のハードウェア構成例を示す図である。
状態判定装置１００における画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能は、処理回路により実現される。即ち、状態判定装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
図３Ａに示すように、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
図３Ｂに示すように、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能を実現する。即ち、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７は、プロセッサ１００ｂにより実行されるときに、後述する図８および図９に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の手順または方法をコンピュータに実行させるものであるともいえる。
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
なお、画像取得部１０１、顔検出部１０２、基準点算出部１０３、姿勢判定部１０４、画像比較部１０５および状態判定部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、状態判定装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
次に、顔検出部１０２および基準点算出部１０３による基準点算出処理の詳細について、図４を参照しながら説明する。
図４は、実施の形態１に係る状態判定装置１００の顔検出部１０２および基準点算出部１０３の処理を示す図である。
顔検出部１０２は、撮像画像Ａが撮像された際の車速を車両情報認識装置３００から取得し、取得した車速が予め設定した閾値、例えば３０ｋｍ／ｈ以上であるか否か判定を行う。顔検出部１０２は、車速が例えば３０ｋｍ／ｈ以上であると判定した場合に、撮像画像Ａから運転者のＸの顔領域Ｂを検出する。車速が低速度帯よりも高速度帯である方が、運転者の頭部の位置が固定されることを考慮して、車速の閾値は例えば３０ｋｍ／ｈ以上の任意の値が設定される。顔検出部１０２は、撮像画像Ａから検出した顔領域Ｂの中で、運転者Ｘの首から上の頭部の輪郭に接する枠Ｃを設定し、設定した枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を算出し、運転者Ｘの顔位置として取得する。顔検出部１０２は、算出した中心点Ｐの二次元座標（ｐｘ、ｐｙ）を基準点算出部１０３に出力する。
図４は、実施の形態１に係る状態判定装置１００の顔検出部１０２および基準点算出部１０３の処理を示す図である。
顔検出部１０２は、撮像画像Ａが撮像された際の車速を車両情報認識装置３００から取得し、取得した車速が予め設定した閾値、例えば３０ｋｍ／ｈ以上であるか否か判定を行う。顔検出部１０２は、車速が例えば３０ｋｍ／ｈ以上であると判定した場合に、撮像画像Ａから運転者のＸの顔領域Ｂを検出する。車速が低速度帯よりも高速度帯である方が、運転者の頭部の位置が固定されることを考慮して、車速の閾値は例えば３０ｋｍ／ｈ以上の任意の値が設定される。顔検出部１０２は、撮像画像Ａから検出した顔領域Ｂの中で、運転者Ｘの首から上の頭部の輪郭に接する枠Ｃを設定し、設定した枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を算出し、運転者Ｘの顔位置として取得する。顔検出部１０２は、算出した中心点Ｐの二次元座標（ｐｘ、ｐｙ）を基準点算出部１０３に出力する。
基準点算出部１０３は、顔検出部１０２が算出した中心点Ｐの二次元座標（ｐｘ、ｐｙ）を記録領域（図示しない）に記録する。基準点算出部１０３は、記録した運転者Ｘの二次元座標（ｐｘ、ｐｙ）の数が、予め設定されたサンプル数以上となった場合、記録された二次元座標の平均値を求めて基準点を算出する。予め設定されるサンプル数は、例えば任意の固定時間分の座標数に基づいて設定される。具体的には、カメラ２００の撮像速度が１０ｆｐｓの場合、固定時間である３秒分となる３０個がサンプル数として設定される。基準点算出部１０３は、算出した基準点を、運転者Ｘの基準点として姿勢判定部１０４に出力する。運転者Ｘの基準点は、運転者Ｘによる運転が終了するまで、姿勢判定部１０４において保持される。
ここで、運転者Ｘによる運転が終了するまでとは、目的の場所に到達するまで、車両のエンジンを停止させるまで、または他の運転者と運転を交代するまでである。基準点算出部１０３は、車両情報認識装置３００から入力される情報、例えば車速情報およびブレーキ情報等を参照し、運転者Ｘによる運転が終了したと判断した場合には、基準点算出部１０３の記憶領域に記録した情報、および姿勢判定部１０４に設定した基準点のリセットを行う。
なお、顔検出部１０２は、車速が予め設定した閾値未満である場合、または撮像画像から運転者の顔領域が検出されない場合、中心点の二次元座標の算出を行わない。また、基準点算出部１０３は、中心点の二次元座標の記録数が予め設定したサンプル数未満である場合、基準点の算出を行わない。
なお、顔検出部１０２は、車速が予め設定した閾値未満である場合、または撮像画像から運転者の顔領域が検出されない場合、中心点の二次元座標の算出を行わない。また、基準点算出部１０３は、中心点の二次元座標の記録数が予め設定したサンプル数未満である場合、基準点の算出を行わない。
次に、顔検出部１０２および姿勢判定部１０４による姿勢判定処理の詳細について、図４および図５を参照しながら説明する。
顔検出部１０２は、姿勢判定部１０４をモニタし、既に基準点が設定されている場合に、姿勢判定処理のための顔位置を取得する。顔検出部１０２は、姿勢判定処理のための顔位置の取得は、車両の車速に関係することなく行う。顔検出部１０２は、図４で示したように画像取得部１０１が取得した撮像画像Ａから、運転者Ｘの顔領域Ｂを検出し、検出した顔領域Ｂに含まれる頭部の輪郭に接する枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を運転者Ｘの顔位置Ｐａとして取得する。顔検出部１０２は、取得した運転者の顔位置Ｐａを姿勢判定部１０４に出力する。
顔検出部１０２は、姿勢判定部１０４をモニタし、既に基準点が設定されている場合に、姿勢判定処理のための顔位置を取得する。顔検出部１０２は、姿勢判定処理のための顔位置の取得は、車両の車速に関係することなく行う。顔検出部１０２は、図４で示したように画像取得部１０１が取得した撮像画像Ａから、運転者Ｘの顔領域Ｂを検出し、検出した顔領域Ｂに含まれる頭部の輪郭に接する枠Ｃの中心点Ｐを取得する。顔検出部１０２は、取得した中心点Ｐの、撮像画像Ａ上の二次元座標（ｐｘ、ｐｙ）を運転者Ｘの顔位置Ｐａとして取得する。顔検出部１０２は、取得した運転者の顔位置Ｐａを姿勢判定部１０４に出力する。
姿勢判定部１０４は、予め算出された基準点Ｑが設定されており、当該基準点Ｑに対する運転者Ｘの顔位置Ｐａの移動方向および顔位置Ｐａの移動量を算出する。姿勢判定部１０４は、算出した顔位置Ｐａの移動量が、算出した顔位置Ｐａの移動方向において予め設定された第１の姿勢崩れ判定量以上であるか否か判定することにより、運転者の姿勢が崩れているか否か判定を行う。
図５は、実施の形態１の状態判定装置１００による運転者の頭部の移動方向の設定および各移動方向に設定された第１の姿勢崩れ判定量の一例を示す図である。
図５では、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。当該各領域が顔位置Ｐａの移動方向を示す。図５の例では、顔位置ＰａがＡｒｅａ２に位置していることから、姿勢判定部１０４は、顔位置Ｐａの移動方向がＡｒｅａ２であると特定する。
図５は、実施の形態１の状態判定装置１００による運転者の頭部の移動方向の設定および各移動方向に設定された第１の姿勢崩れ判定量の一例を示す図である。
図５では、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。当該各領域が顔位置Ｐａの移動方向を示す。図５の例では、顔位置ＰａがＡｒｅａ２に位置していることから、姿勢判定部１０４は、顔位置Ｐａの移動方向がＡｒｅａ２であると特定する。
また、各領域には、第１の姿勢崩れ判定量が設定されている。図５の例では、Ａｒｅａ１における第１の姿勢崩れ判定量がｍｔｈｒ１、Ａｒｅａ２における第１の姿勢崩れ判定量がｍｔｈｒ２、Ａｒｅａ３における第１の姿勢崩れ判定量がｍｔｈｒ３およびＡｒｅａ４における第１の姿勢崩れ判定量がｍｔｈｒ４と設定されている。顔位置ＰａはＡｒｅａ２に位置していることから、顔位置Ｐａの第１の姿勢崩れ判定量はｍｔｈｒ２となる。
姿勢判定部１０４は、顔位置Ｐａと基準点Ｑとの２点間の距離ｍを算出し、顔位置Ｐａの移動量ｍとする。姿勢判定部１０４は、算出した顔位置Ｐａの移動量ｍと、顔位置Ｐａの第１の姿勢崩れ判定量ｍｔｈｒ２とを比較し、移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２以上であった場合、運転者Ｘの姿勢が崩れていると判定する。一方、姿勢判定部１０４は、移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２未満であった場合、運転者Ｘの姿勢が崩れていないと判定する。
姿勢判定部１０４は、顔位置Ｐａと基準点Ｑとの２点間の距離ｍを算出し、顔位置Ｐａの移動量ｍとする。姿勢判定部１０４は、算出した顔位置Ｐａの移動量ｍと、顔位置Ｐａの第１の姿勢崩れ判定量ｍｔｈｒ２とを比較し、移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２以上であった場合、運転者Ｘの姿勢が崩れていると判定する。一方、姿勢判定部１０４は、移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２未満であった場合、運転者Ｘの姿勢が崩れていないと判定する。
次に、画像比較部１０５の詳細について、図６および図７を参照しながら説明する。画像比較部１０５が姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合と、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて比較する場合とに分けて説明する。
図６，図７は、実施の形態１に係る状態判定装置１００の画像比較部１０５の処理を示す図である。
まず、図６を参照しながら、画像比較部１０５が、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合について説明する。図６は、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合を示し、図６Ａは比較画像蓄積部１０６に蓄積された比較画像における第１領域の画像、図６Ｂおよび図６Ｃは姿勢判定時の撮像画像および当該撮像画像における第１領域の画像の一例を示している。また、図６Ａは、運転者Ｘが正常な状態で運転席に着座しているときに撮像した比較画像の第１領域Ｄａを示している。
図６，図７は、実施の形態１に係る状態判定装置１００の画像比較部１０５の処理を示す図である。
まず、図６を参照しながら、画像比較部１０５が、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合について説明する。図６は、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との一致度に基づいて比較する場合を示し、図６Ａは比較画像蓄積部１０６に蓄積された比較画像における第１領域の画像、図６Ｂおよび図６Ｃは姿勢判定時の撮像画像および当該撮像画像における第１領域の画像の一例を示している。また、図６Ａは、運転者Ｘが正常な状態で運転席に着座しているときに撮像した比較画像の第１領域Ｄａを示している。
図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂまたは図６Ｃの姿勢判定時の撮像画像Ａの第１領域Ｅａ，Ｅｂの画像とは、同一領域を撮像した画像となる。画像比較部１０５は、撮像画像Ａの第１領域Ｅａの画像と比較画像の第１領域Ｄａの画像とを比較、または撮像画像Ａの第１領域Ｅｂの画像と比較画像の第１領域Ｄａの画像とを比較し、２つの画像の一致度を算出する。画像比較部１０５は、比較画像の第１領域Ｄａの画像と撮像画像Ａの第１領域Ｅａ，Ｅｂの画像との一致度を、ヘッドレストを撮像した領域の一致度、即ち領域Ｈａと領域Ｈｂ、または領域Ｈａと領域Ｈｃの一致度に基づいて算出する。画像比較部１０５は、ヘッドレストを撮像した領域の一致度を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、第１領域の画像の輝度の少なくともいずれかを用いて算出する。
画像比較部１０５が、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂの撮像画像Ａの第１領域Ｅａの画像との比較を行う場合、比較画像の第１領域Ｄａの画像のヘッドレストを撮像した領域Ｈａと、撮像画像Ａの第１領域Ｅａの画像におけるヘッドレストを撮像した領域Ｈｂとの一致度を算出する。画像比較部１０５は、領域Ｈａと領域Ｈｂとの高い一致度を算出する。
一方、画像比較部１０５が、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｃの第１領域Ｅｂの画像との比較を行う場合、比較画像の第１領域Ｄａの画像のヘッドレストを撮像した領域Ｈａと、撮像画像Ａの第１領域Ｅｂの画像におけるヘッドレストを撮像した領域Ｈｃとの一致度を算出する。画像比較部１０５は、領域Ｈａと領域Ｈｃとの低い一致度を算出する。
一方、画像比較部１０５が、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｃの第１領域Ｅｂの画像との比較を行う場合、比較画像の第１領域Ｄａの画像のヘッドレストを撮像した領域Ｈａと、撮像画像Ａの第１領域Ｅｂの画像におけるヘッドレストを撮像した領域Ｈｃとの一致度を算出する。画像比較部１０５は、領域Ｈａと領域Ｈｃとの低い一致度を算出する。
画像比較部１０５は、算出した一致度が予め設定した閾値以上であった場合には、運転者の姿勢が崩れていないと判定する。画像比較部１０５は、例えば、図６Ａの比較画像の第１領域Ｄａの画像と、図６Ｂの撮像画像Ａの第１領域Ｅａの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が高いことから、運転者Ｘの姿勢が崩れていないと判定する。
一方、画像比較部１０５は、算出した一致度が予め設定した閾値未満であった場合には運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図６Ａの比較画像の第１領域Ｄａと、図６Ｃの撮像画像Ａの第１領域Ｅｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。
一方、画像比較部１０５は、算出した一致度が予め設定した閾値未満であった場合には運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図６Ａの比較画像の第１領域Ｄａと、図６Ｃの撮像画像Ａの第１領域Ｅｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。
次に、図７を参照しながら、画像比較部１０５が、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて判定する場合について説明する。図７は、姿勢判定時の撮像画像における第１領域の画像と、比較画像における第１領域の画像との乖離度に基づいて判定する場合を示し、図７Ａは比較画像蓄積部１０６に蓄積された比較画像における第１領域の画像、図７Ｂおよび図７Ｃは姿勢判定時の撮像画像および当該撮像画像における第１領域の画像の一例を示している。また、図７Ａは、運転者が着座していない運転席の座席を撮像した比較画像の第１領域Ｄｂを示している。
図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂまたは図７Ｃの姿勢判定時の撮像画像Ａの第１領域Ｆａ，Ｆｂの画像とは、同一領域を撮像した画像となる。画像比較部１０５は、撮像画像Ａの第１領域Ｆａの画像と比較画像の第１領域Ｄｂの画像とを比較、または撮像画像Ａの第１領域Ｆｂの画像と比較画像の第１領域Ｄｂの画像とを比較し、２つの画像の乖離度を算出する。画像比較部１０５は、比較画像の第１領域Ｄｂの画像と撮像画像Ａの第１領域Ｆａ，Ｆｂの画像との乖離度を、ヘッドレストを撮像した領域の乖離度、即ち領域Ｈｃと領域Ｈｄ、または領域Ｈｃと領域Ｈｅの乖離度に基づいて算出する。画像比較部１０５は、ヘッドレストを撮像した領域の乖離度を、ヘッドレストが撮像されているピクセル数、ヘッドレストが視認可能な輪郭の長さ、第１領域の画像の輝度の少なくともいずれかを用いて算出する。
画像比較部１０５が、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂの撮像画像Ａの第１領域Ｆａの画像との比較を行う場合、比較画像の第１領域Ｄｂの画像のヘッドレストを撮像した領域Ｈｃと、撮像画像Ａの第１領域Ｆａの画像におけるヘッドレストを撮像した領域Ｈｄとの乖離度を算出する。画像比較部１０５は、領域Ｈｃと領域Ｈｄとの高い乖離度を算出する。
一方、画像比較部１０５が、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｃの撮像画像Ａの第１領域Ｆｂの画像との比較を行う場合、比較画像の第１領域Ｄｂのヘッドレストを撮像した領域Ｈｃと、撮像画像Ａの第１領域Ｆｂの画像におけるヘッドレストを撮像した領域Ｈｅとの乖離度を算出する。画像比較部１０５は、領域Ｈｃと領域Ｈｅとの低い乖離度を算出する。
画像比較部１０５は、算出した乖離度が予め設定した閾値以上であった場合には、運転者の姿勢が崩れていないと判定する。状態判定部１０７は、例えば、図７Ａの比較画像の第１領域Ｄｂの画像と、図７Ｂの撮像画像Ａの第１領域Ｆａの画像との比較では、領域Ｈｃと領域Ｈｄとの乖離度が高いことから、運転者Ｘの姿勢が崩れていないと判定する。
一方、画像比較部１０５は、算出した乖離度が予め設定した閾値未満であった場合には、運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図７Ａの比較画像の第１領域Ｄｂと、図７Ｃの撮像画像Ａの第１領域Ｆｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。
一方、画像比較部１０５は、算出した乖離度が予め設定した閾値未満であった場合には、運転者の姿勢が崩れていると判定する。画像比較部１０５は、例えば、図７Ａの比較画像の第１領域Ｄｂと、図７Ｃの撮像画像Ａの第１領域Ｆｂの画像との比較では、領域Ｈａと領域Ｈｂとの一致度が低いことから、運転者Ｘの姿勢が崩れていると判定する。
次に、状態判定装置１００の動作について説明する。
状態判定装置１００の動作は、基準点算出処理の動作と、状態判定処理の動作とに分けて説明する。まず、図８のフローチャートを参照しながら、基準点算出処理の動作について説明する。
図８は、実施の形態１に係る状態判定装置１００の基準点算出処理の動作を示すフローチャートである。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ１）、当該撮像画像が撮像された際の車速が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ２）。車速が予め設定した閾値未満である場合（ステップＳＴ２；ＮＯ）、処理を終了する。一方、車速が予め設定した閾値以上である場合（ステップＳＴ２；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域が検出可能か否か判定を行う（ステップＳＴ３）。顔領域が検出可能でない場合（ステップＳＴ３；ＮＯ）、処理を終了する。一方、顔領域が検出可能である場合（ステップＳＴ３；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域を検出し、検出した顔領域から顔位置を取得し、基準点算出部１０３に出力する（ステップＳＴ４）。
状態判定装置１００の動作は、基準点算出処理の動作と、状態判定処理の動作とに分けて説明する。まず、図８のフローチャートを参照しながら、基準点算出処理の動作について説明する。
図８は、実施の形態１に係る状態判定装置１００の基準点算出処理の動作を示すフローチャートである。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ１）、当該撮像画像が撮像された際の車速が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ２）。車速が予め設定した閾値未満である場合（ステップＳＴ２；ＮＯ）、処理を終了する。一方、車速が予め設定した閾値以上である場合（ステップＳＴ２；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域が検出可能か否か判定を行う（ステップＳＴ３）。顔領域が検出可能でない場合（ステップＳＴ３；ＮＯ）、処理を終了する。一方、顔領域が検出可能である場合（ステップＳＴ３；ＹＥＳ）、顔検出部１０２はステップＳＴ１で入力された撮像画像から顔領域を検出し、検出した顔領域から顔位置を取得し、基準点算出部１０３に出力する（ステップＳＴ４）。
基準点算出部１０３は、ステップＳＴ４で取得された顔位置をバッファ等に記録する（ステップＳＴ５）。基準点算出部１０３は、顔位置の記録数が、予め設定した閾値以上となったか否か判定を行う（ステップＳＴ６）。顔位置の記録数が、予め設定した閾値未満である場合（ステップＳＴ６；ＮＯ）、処理を終了する。一方、顔領域の位置情報の記録数が、予め設定した閾値以上である場合（ステップＳＴ６；ＹＥＳ）、記録した顔位置から基準点を算出する（ステップＳＴ７）。基準点算出部１０３は、ステップＳＴ７で算出した基準点を姿勢判定部１０４に出力し（ステップＳＴ８）、処理を終了する。
次に、図９のフローチャートを参照しながら、状態判定処理の動作について説明する。
図９は、実施の形態１に係る状態判定装置１００の状態判定処理の動作を示すフローチャートである。画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２および画像比較部１０５に出力しているものとする。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ２１）、姿勢判定部１０４により運転者の姿勢が崩れていると判定されているか否か判定を行う（ステップＳＴ２２）。姿勢判定部１０４により運転者の姿勢が崩れていると判定されている場合（ステップＳＴ２２；ＹＥＳ）、フローチャートはステップＳＴ２７の処理に進む。一方、姿勢判定部１０４により運転者の姿勢が崩れていると判定されていない場合（ステップＳＴ２２；ＮＯ）、顔検出部１０２は姿勢判定部１０４に基準点が設定されているか否か判定を行う（ステップＳＴ２３）。ステップＳＴ２３の判定処理は、顔検出部１０２が姿勢判定部１０４をモニタして行う。姿勢判定部１０４に基準点が設定されていない場合（ステップＳＴ２３；ＮＯ）、処理を終了する。一方、姿勢判定部１０４に基準点が設定されている場合（ステップＳＴ２３；ＹＥＳ）、顔検出部１０２はステップＳＴ２１で入力された撮像画像から運転者の顔位置を取得し、姿勢判定部１０４に出力する（ステップＳＴ２４）。
図９は、実施の形態１に係る状態判定装置１００の状態判定処理の動作を示すフローチャートである。画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２および画像比較部１０５に出力しているものとする。
顔検出部１０２は、画像取得部１０１から撮像画像が入力されると（ステップＳＴ２１）、姿勢判定部１０４により運転者の姿勢が崩れていると判定されているか否か判定を行う（ステップＳＴ２２）。姿勢判定部１０４により運転者の姿勢が崩れていると判定されている場合（ステップＳＴ２２；ＹＥＳ）、フローチャートはステップＳＴ２７の処理に進む。一方、姿勢判定部１０４により運転者の姿勢が崩れていると判定されていない場合（ステップＳＴ２２；ＮＯ）、顔検出部１０２は姿勢判定部１０４に基準点が設定されているか否か判定を行う（ステップＳＴ２３）。ステップＳＴ２３の判定処理は、顔検出部１０２が姿勢判定部１０４をモニタして行う。姿勢判定部１０４に基準点が設定されていない場合（ステップＳＴ２３；ＮＯ）、処理を終了する。一方、姿勢判定部１０４に基準点が設定されている場合（ステップＳＴ２３；ＹＥＳ）、顔検出部１０２はステップＳＴ２１で入力された撮像画像から運転者の顔位置を取得し、姿勢判定部１０４に出力する（ステップＳＴ２４）。
姿勢判定部１０４は、予め基準点算出部１０３によって設定された基準点と、ステップＳＴ２３で取得された運転者の顔位置とを比較し、運転者の顔位置の移動方向および移動量を算出する（ステップＳＴ２５）。姿勢判定部１０４は、ステップＳＴ２５で算出した運転者の顔位置の移動方向および移動量に基づいて、運転者の姿勢が崩れているか否か判定を行う（ステップＳＴ２６）。運転者の姿勢が崩れていない場合（ステップＳＴ２６；ＮＯ）、処理を終了する。
一方、運転者の姿勢が崩れている場合（ステップＳＴ２６；ＹＥＳ）、画像比較部１０５は画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。画像比較部１０５は、ステップＳＴ２７で取得した姿勢判定時の撮像画像の第１領域の画像と、比較画像蓄積部１０６に蓄積された比較画像の第１領域の画像との比較を行い、一致度または乖離度が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ２８）。一致度または乖離度が予め設定した閾値以上である場合（ステップＳＴ２８；ＹＥＳ）、画像比較部１０５は姿勢判定部１０４の誤判定であると判定する。状態判定部１０７は、画像比較部１０５の判定結果に基づいて、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除、およびカウンタをリセットし（ステップＳＴ２９）、処理を終了する。
一方、一致度または乖離度が予め設定した閾値以上でない場合（ステップＳＴ２８；ＮＯ）、画像比較部１０５は姿勢判定部１０４の判定結果が正しいと判定する。状態判定部１０７は、画像比較部１０５の判定結果に基づいて、カウンタ（図示しない）が起動済みであるか否か判定を行う（ステップＳＴ３０）。カウンタが起動済みである場合（ステップＳＴ３０；ＹＥＳ）、ステップＳＴ３２の処理に進む。一方、カウンタが起動済みでない場合（ステップＳＴ３０；ＮＯ）、状態判定部１０７はカウンタのカウントを開始し（ステップＳＴ３１）、カウンタのカウントアップを行う（ステップＳＴ３２）。状態判定部１０７は、カウンタのカウント値を参照し、注意喚起判定時間（例えば、３秒）が経過したか否か判定を行う（ステップＳＴ３３）。注意喚起判定時間が経過していない場合（ステップＳＴ３３；ＮＯ）、フローチャートは処理を終了する。
一方、注意喚起判定時間が経過している場合（ステップＳＴ３３：ＹＥＳ）、状態判定部１０７はさらにカウンタのカウント値を参照し、運転不能判定時間（例えば、１０秒）が経過したか否か判定を行う（ステップＳＴ３４）。運転不能判定時間が経過していない場合（ステップＳＴ３４；ＮＯ）、状態判定部１０７は、運転者が注意喚起を必要とする状態であると判定する（ステップＳＴ３５）。状態判定部１０７は当該判定結果を外部の警告装置４００または車両制御装置５００に出力し、処理を終了する。一方、運転不能判定時間が経過している場合（ステップＳＴ３４；ＹＥＳ）、状態判定部１０７は、運転者が運転不能状態であると判定する（ステップＳＴ３６）。状態判定部１０７は当該判定結果を外部の警告装置４００または車両制御装置５００に出力し、処理を終了する。
図９のフローチャートのステップＳＴ３５において、状態判定部１０７が、運転者が注意喚起を必要とする状態であると判定すると、その後の画像比較部１０５の処理頻度を低下させるように構成してもよい。状態判定部１０７は、運転者が注意喚起を必要とする状態であると判定すると、当該判定結果を画像比較部１０５に出力する。画像比較部１０５は、出力された判定結果に基づいて、第１領域の画像と、比較画像とを比較をする処理頻度を低下させる。さらに、状態判定部１０７が、運転者が運転不能状態であるとの判定結果を画像比較部１０５に出力すると、画像比較部１０５は、第１領域の画像と、比較画像とを比較をする処理頻度をさらに低く設定してもよい。これにより、画像比較処理の処理負荷を軽減することができる。
上述した説明では、姿勢判定部１０４が、基準点に対する運転者の顔位置の移動方向および顔位置の移動量を算出し、算出した顔位置の移動量を、顔位置の移動方向における第１の姿勢崩れ判定量と比較することにより、運転者の姿勢が崩れているか否か判定を行う構成を示した。
姿勢判定部１０４は、運転者の顔位置の移動方向および移動量に加えて、運転者の顔向きも考慮して、運転者の姿勢が崩れているか否か判定する構成としてもよい。運転者の顔向きは、運転者の顔向きの左右方向へのある時間における変位量、および運転者の顔向きの上下方向へのある時間における変位量に基づいて算出する。
姿勢判定部１０４は、運転者の顔位置の移動方向および移動量に加えて、運転者の顔向きも考慮して、運転者の姿勢が崩れているか否か判定する構成としてもよい。運転者の顔向きは、運転者の顔向きの左右方向へのある時間における変位量、および運転者の顔向きの上下方向へのある時間における変位量に基づいて算出する。
図１０は、実施の形態１に係る状態判定装置１００の姿勢判定部１０４による運転者の顔向きの変位量の算出を示す図である。
図１０Ａは、運転者の顔向きの左右方向および上下方向を定義した図である。
運転者Ｘの正面視において、Ｙａｗ方向が、運転者Ｘの顔向きの左右方向であり、Ｐｉｔｃｈ方向が、運転者Ｘの顔向きの上下方向である。
姿勢判定部１０４は、画像取得部１０１が取得した撮像画像から、運転者の正面視に対するＹａｗ方向およびＰｉｔｃｈ方向への変位量を算出する。図１０Ｂは、姿勢判定部１０４が時間の経過に伴って、Ｙａｗ方向に変位量「Ｙｄ」を算出した場合を示している。図１０Ｃは、姿勢判定部１０４が時間の経過に伴って、Ｐｉｔｃｈ方向に変位量「Ｐｄ」を算出した場合を示している。
姿勢判定部１０４は、顔位置の移動量と、第１の姿勢崩れ判定量との比較に加えて、図１０Ｂで算出した変位量「Ｙｄ」または図１０Ｃで算出した変位量「Ｐｄ」を、予め設定された顔向きの変位量の閾値である第２の姿勢崩れ判定量と比較することにより、運転者の姿勢が崩れているか否か判定を行う。第２の姿勢崩れ判定量は、顔向きのＹａｗ方向判定量、または顔向きのＰｉｔｃｈ方向判定量の少なくともいずれか一方で構成される。
図１０Ａは、運転者の顔向きの左右方向および上下方向を定義した図である。
運転者Ｘの正面視において、Ｙａｗ方向が、運転者Ｘの顔向きの左右方向であり、Ｐｉｔｃｈ方向が、運転者Ｘの顔向きの上下方向である。
姿勢判定部１０４は、画像取得部１０１が取得した撮像画像から、運転者の正面視に対するＹａｗ方向およびＰｉｔｃｈ方向への変位量を算出する。図１０Ｂは、姿勢判定部１０４が時間の経過に伴って、Ｙａｗ方向に変位量「Ｙｄ」を算出した場合を示している。図１０Ｃは、姿勢判定部１０４が時間の経過に伴って、Ｐｉｔｃｈ方向に変位量「Ｐｄ」を算出した場合を示している。
姿勢判定部１０４は、顔位置の移動量と、第１の姿勢崩れ判定量との比較に加えて、図１０Ｂで算出した変位量「Ｙｄ」または図１０Ｃで算出した変位量「Ｐｄ」を、予め設定された顔向きの変位量の閾値である第２の姿勢崩れ判定量と比較することにより、運転者の姿勢が崩れているか否か判定を行う。第２の姿勢崩れ判定量は、顔向きのＹａｗ方向判定量、または顔向きのＰｉｔｃｈ方向判定量の少なくともいずれか一方で構成される。
図１１は、実施の形態１の状態判定装置１００による運転者の頭部の移動方向の設定および各移動方向に設定された第２の姿勢崩れ判定量の一例を示す図である。
図１１は、図５と同様に、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。各領域には、第１の姿勢崩れ判定量に加えて、第２の姿勢崩れ判定量が設定されている。図１１の例では、Ａｒｅａ１における第１の姿勢崩れ判定量がｍｔｈｒ１、顔向きのＹａｗ方向判定量（第２の姿勢崩れ判定量）がｙｔｈｒ１、顔向きのＰｉｔｃｈ方向判定量（第２の姿勢崩れ判定量）がＰｔｈｒ１と設定されている。また、Ａｒｅａ３における顔位置の移動量の第１の姿勢崩れ判定量がｍｔｈｒ３、顔向きのＰｉｔｃｈ方向判定量がＰｔｈｒ３と設定されている。
図１１は、図５と同様に、基準点Ｑを中心として、４つに分割された領域、Ａｒｅａ１、Ａｒｅａ２、Ａｒｅａ３およびＡｒｅａ４が設定されている。各領域には、第１の姿勢崩れ判定量に加えて、第２の姿勢崩れ判定量が設定されている。図１１の例では、Ａｒｅａ１における第１の姿勢崩れ判定量がｍｔｈｒ１、顔向きのＹａｗ方向判定量（第２の姿勢崩れ判定量）がｙｔｈｒ１、顔向きのＰｉｔｃｈ方向判定量（第２の姿勢崩れ判定量）がＰｔｈｒ１と設定されている。また、Ａｒｅａ３における顔位置の移動量の第１の姿勢崩れ判定量がｍｔｈｒ３、顔向きのＰｉｔｃｈ方向判定量がＰｔｈｒ３と設定されている。
次に、姿勢判定部１０４は、顔位置Ｐａと基準点Ｑとの２点間の距離ｍを算出し、顔位置Ｐａの移動量ｍとする。また、姿勢判定部１０４は、顔位置Ｐａにおける運転者の顔向きの変位量Ｙｄおよび変位量Ｐｄを算出する。姿勢判定部１０４は、算出した顔位置Ｐａの移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２以上であり、算出した顔向きの変位量ＹｄがＹａｗ方向判定量Ｙｔｈｒ２以上であり、且つ変位量ＰｄがＰｉｔｃｈ方向判定量Ｐｔｈｒ２以上である場合に、運転者の姿勢が崩れていると判定する。一方、姿勢判定部１０４は、移動量ｍが第１の姿勢崩れ判定量ｍｔｈｒ２未満であった場合、顔向きの変位量ＹｄがＹａｗ方向判定量Ｙｔｈｒ２未満であった場合、または変位量ＰｄがＰｉｔｃｈ方向判定量Ｐｔｈｒ２未満であった場合、運転者の姿勢が崩れていないと判定する。
このように、姿勢判定部１０４が、運転者の顔向きのある時間における変位量も考慮して、運転者の姿勢が崩れているか否か判定することにより、運転者の運転状態判定の精度が向上する。
以上のように、この実施の形態１によれば、運転者を含む車内の撮像画像を取得する画像取得部１０１と、取得された撮像画像から、運転者の顔位置を検出する顔検出部１０２と、検出された運転者の顔位置と、予め算出された運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の運転者の顔位置の移動を検出した場合に、運転者の姿勢が崩れていると判定する姿勢判定部１０４と、運転者の姿勢が崩れていると判定された場合に、取得された撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って運転者の姿勢が崩れているか否か再判定を行う画像比較部１０５と、再判定の結果に基づいて、運転者が運転不能状態であるか否か判定を行う状態判定部１０７とを備えように構成したので、撮像画像に映りこんだ他の乗員の頭部、車両内装または風景などの運転者の頭部以外を運転者の頭部であると誤って検出した場合であっても、運転不能状態でない運転者を運転不能状態であると誤検出するのを抑制することができる。これにより、運転者の運転不能状態の判定を精度よく行うことができる。
また、この実施の形態１によれば、姿勢判定部１０４が、第２の姿勢崩れ判定量以上の運転者の顔向きの変位を検出した場合に、運転者の姿勢が崩れていると判定するように構成したので、運転者の運転状態をより精度よく判定することができる。
また、この実施の形態１によれば、画像比較部１０５は、状態判定部１０７が、運転者が注意喚起を必要とする状態、または運転不能状態であると判定すると、撮像画像内の第１領域の画像と、比較画像内の第１領域の画像とを比較する処理の頻度を低下させるように構成したので、状態判定装置の処理負荷を軽減することができる。
実施の形態２．
この実施の形態２では、運転者の頭部中心軸の傾きを考慮して運転者の運転状態を判定する構成を示す。
図１２は、実施の形態２に係る状態判定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る状態判定装置１００Ａは、図１に示した実施の形態１の状態判定装置１００に、軸検出部１０８を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
この実施の形態２では、運転者の頭部中心軸の傾きを考慮して運転者の運転状態を判定する構成を示す。
図１２は、実施の形態２に係る状態判定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る状態判定装置１００Ａは、図１に示した実施の形態１の状態判定装置１００に、軸検出部１０８を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
軸検出部１０８は、姿勢判定部１０４の判定結果を参照し、運転者の姿勢が崩れているとの判定結果であった場合、画像取得部１０１が取得した姿勢判定時の撮像画像から運転者の頭部中心軸を検出する。軸検出部１０８は、検出した頭部中心軸の、予め設定した軸に対する傾きを算出する。軸検出部１０８は、算出した傾きが予め設定した閾値範囲内であるか否か判定を行う。軸検出部１０８は、算出した傾きが予め設定した閾値範囲内である場合には、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、軸検出部１０８は、算出した角度が閾値範囲内でないと判定した場合、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に出力する。
軸検出部１０８が検出する頭部中心軸および頭部中心軸の傾きの判定について、図１３および図１４を参照しながら説明する。
図１３は、実施の形態２に係る状態判定装置１００Ａの軸検出部１０８による頭部中心軸の検出を示す図である。図１３Ａは、運転者Ｘが運転席に正常な状態で着座した場合を示している。運転者Ｘが搭乗している車両（図示しない）の横方向且つ路面に水平な方向をｘ軸、車両の前後方向且つ路面に水平な方向をｙ軸、車両の上下方向且つｘ軸およびｙ軸に垂直な方向をｚ軸とする。
図１３Ｂは、運転者Ｘの頭部を上方から見た図である。頭部中心軸Ｒは、運転者Ｘの頭部を上方から視認した場合に得られる円Ｘａの中心を通る軸である。軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から得られる、両目の位置、鼻の付け根の位置および鼻の頂部の位置に基づいて、頭部中心軸Ｒを検出する。例えば、軸検出部１０８は、両目の中央位置と、鼻の頂部の位置に基づいて、頭部中心軸Ｒのｘ軸に対する傾きを検出する。また、例えば軸検出部１０８は、鼻の頂部と、鼻の付け根との間の距離に基づいて、頭部中心軸Ｒのｙ軸に対する傾きを検出する。
図１３は、実施の形態２に係る状態判定装置１００Ａの軸検出部１０８による頭部中心軸の検出を示す図である。図１３Ａは、運転者Ｘが運転席に正常な状態で着座した場合を示している。運転者Ｘが搭乗している車両（図示しない）の横方向且つ路面に水平な方向をｘ軸、車両の前後方向且つ路面に水平な方向をｙ軸、車両の上下方向且つｘ軸およびｙ軸に垂直な方向をｚ軸とする。
図１３Ｂは、運転者Ｘの頭部を上方から見た図である。頭部中心軸Ｒは、運転者Ｘの頭部を上方から視認した場合に得られる円Ｘａの中心を通る軸である。軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から得られる、両目の位置、鼻の付け根の位置および鼻の頂部の位置に基づいて、頭部中心軸Ｒを検出する。例えば、軸検出部１０８は、両目の中央位置と、鼻の頂部の位置に基づいて、頭部中心軸Ｒのｘ軸に対する傾きを検出する。また、例えば軸検出部１０８は、鼻の頂部と、鼻の付け根との間の距離に基づいて、頭部中心軸Ｒのｙ軸に対する傾きを検出する。
図１４は、実施の形態２に係る状態判定装置１００Ａの軸検出部１０８による頭部中心軸の傾きの判定を示す図である。図１４Ａは、頭部中心軸Ｒのｘ軸に対する傾きを示す図であり、図１４Ｂは頭部中心軸Ｒのｙ軸に対する傾きを示す図である。
軸検出部１０８は、頭部中心軸Ｒと、ｘ軸とのなす角度θｆ−ｘを算出する。同様に、軸検出部１０８は、頭部中心軸Ｒと、ｙ軸とのなす角度θｆ−ｙを算出する。軸検出部１０８は、算出した角度θｆ−ｘおよび角度θｆ−ｙが、図１４Ｃで示した閾値範囲（角度θｔｈｒ１から角度θｔｈｒ２の間の範囲）内であるか否か判定を行う。角度θｆ−ｘおよび角度θｆ−ｙが角度θｔｈｒ１から角度θｔｈｒ２の間の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、角度θｆ−ｘまたは角度θｆ−ｙが、０°から角度θｔｈｒ１の範囲内または角度θｔｈｒ２から１８０°の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持する。
なお、上述した閾値範囲は一例であり、適宜設定可能である。また角度θｆ−ｘの閾値範囲と、角度θｆ−ｙの閾値範囲とをそれぞれ別々に設定してもよい。
軸検出部１０８は、頭部中心軸Ｒと、ｘ軸とのなす角度θｆ−ｘを算出する。同様に、軸検出部１０８は、頭部中心軸Ｒと、ｙ軸とのなす角度θｆ−ｙを算出する。軸検出部１０８は、算出した角度θｆ−ｘおよび角度θｆ−ｙが、図１４Ｃで示した閾値範囲（角度θｔｈｒ１から角度θｔｈｒ２の間の範囲）内であるか否か判定を行う。角度θｆ−ｘおよび角度θｆ−ｙが角度θｔｈｒ１から角度θｔｈｒ２の間の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、角度θｆ−ｘまたは角度θｆ−ｙが、０°から角度θｔｈｒ１の範囲内または角度θｔｈｒ２から１８０°の範囲内である場合、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持する。
なお、上述した閾値範囲は一例であり、適宜設定可能である。また角度θｆ−ｘの閾値範囲と、角度θｆ−ｙの閾値範囲とをそれぞれ別々に設定してもよい。
次に、状態判定装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態判定装置１００Ａにおける軸検出部１０８は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
状態判定装置１００Ａにおける軸検出部１０８は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
次に、状態判定装置１００Ａによる状態判定処理の動作について説明する。
図１５は、実施の形態２に係る状態判定装置１００Ａの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、軸検出部１０８および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から運転者の頭部中心軸を検出する（ステップＳＴ４１）。軸検出部１０８は、検出した頭部中心軸とｘ軸とのなす角度、および頭部中心軸とｙ軸とのなす角度を算出する（ステップＳＴ４２）。
図１５は、実施の形態２に係る状態判定装置１００Ａの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、軸検出部１０８および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、軸検出部１０８は、画像取得部１０１が取得した姿勢判定時の撮像画像から運転者の頭部中心軸を検出する（ステップＳＴ４１）。軸検出部１０８は、検出した頭部中心軸とｘ軸とのなす角度、および頭部中心軸とｙ軸とのなす角度を算出する（ステップＳＴ４２）。
軸検出部１０８は、算出したｘ軸とのなす角度、およびｙ軸とのなす角度が、予め設定した閾値範囲内であるか否か判定を行う（ステップＳＴ４３）。算出したｘ軸とのなす角度、およびｙ軸とのなす角度が、予め設定した閾値範囲内である場合（ステップＳＴ４３；ＹＥＳ）、軸検出部１０８は姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除し（ステップＳＴ４４）、処理を終了する。
一方、算出したｘ軸とのなす角度、またはｙ軸とのなす角度が、予め設定した閾値範囲内でない場合（ステップＳＴ４３；ＮＯ）、軸検出部１０８は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に対して姿勢判定部１０４による運転者の姿勢が崩れているとの判定を通知する（ステップＳＴ４５）。画像比較部１０５は、ステップＳＴ４５で通知された判定に基づいて、画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。その後、フローチャートはステップＳＴ２８以降の処理を行う。
以上のように、この実施の形態２によれば、姿勢判定部１０４が運転者の姿勢が崩れていると判定した場合に、取得された撮像画像から運転者の頭部中心軸の傾きを検出し、検出した頭部中心軸の傾きが予め設定された閾値範囲内である場合、運転者の姿勢が崩れているとの判定を解除する軸検出部１０８を備えるように構成したので、正常な状態の姿勢とは異なる姿勢で運転している運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。これにより、運転者の運転状態判定の精度を向上させることができる。また、運転者の頭部が車両前方側に移動した状態での運転、または運転者が車両前方側を覗き込む動作を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。
実施の形態３．
この実施の形態３では、車両の構造部に肘を掛けて運転（以下、肘掛運転と記載する）を行っている運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制する構成を示す。ここで、肘掛運転とは、例えば運転者の頭部が移動し、運転席ドアの窓枠、または運転席ドアの肘掛に肘をついた状態での運転である。
図１６は、実施の形態３に係る状態判定装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る状態判定装置１００Ｂは、図１に示した実施の形態１の状態判定装置１００に、輪郭検出部１０９を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
この実施の形態３では、車両の構造部に肘を掛けて運転（以下、肘掛運転と記載する）を行っている運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制する構成を示す。ここで、肘掛運転とは、例えば運転者の頭部が移動し、運転席ドアの窓枠、または運転席ドアの肘掛に肘をついた状態での運転である。
図１６は、実施の形態３に係る状態判定装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る状態判定装置１００Ｂは、図１に示した実施の形態１の状態判定装置１００に、輪郭検出部１０９を追加して構成している。以下では、実施の形態１に係る状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
輪郭検出部１０９は、姿勢判定部１０４の判定結果を参照し、運転者の姿勢が崩れているとの判定結果であった場合、画像取得部１０１が取得した姿勢判定時の撮像画像における第２領域の画像を取得する。第２領域は、運転席のヘッドレストを全て含む領域である。さらに、第２領域は、運転者が運転席に正常な状態で着座した場合に、運転者の腕の付け根が入る範囲、且つ運転者が両腕を広げた際に当該運転者の両肘が入る範囲の領域である。
図１７は、実施の形態３に係る状態判定装置１００Ｂの輪郭検出部１０９が取得する第２領域の一例を示す図である。図１７Ａは、運転席を正面から撮像した撮像画像に設定される第２領域の例を示し、図１７Ｂは運転席を斜め前方から撮像した撮像画像から取得される第２領域の例を示している。
図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転者Ｘの腕の付け根Ｘｂの位置、および運転者Ｘが両腕を広げた際の両肘Ｘｃの位置を考慮した領域である。図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第２領域Ｅｃ，Ｅｄは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、領域内に運転席のヘッドレストＨを全て含む領域である。
図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転者Ｘの腕の付け根Ｘｂの位置、および運転者Ｘが両腕を広げた際の両肘Ｘｃの位置を考慮した領域である。図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄは、運転席のヘッドレストＨを全て含む領域である。また、第２領域Ｅｃ，Ｅｄは、運転席の座席位置、運転者Ｘの座高、通常の運転動作を考慮した領域である。なお、第２領域Ｅｃ，Ｅｄは、運転席の座席位置が最前位置であった場合にも、最後位置にあった場合にも、領域内に運転席のヘッドレストＨを全て含む領域である。
輪郭検出部１０９は、取得した第２領域の画像にエッジ検出を行い、運転者の輪郭を検出する。輪郭検出部１０９は、検出した運転者の輪郭のうち、運転者の首周りの輪郭に予め定義した三角形状が存在する場合に、運転者は肘掛運転を行っていると判断する。輪郭検出部１０９は、運転者が肘掛運転を行っていると判断した場合に、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除する。一方、輪郭検出部１０９は、運転者の首周りの輪郭に予め定義した三角形状が存在しない場合、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に出力する。
輪郭検出部１０９は、例えば図１７Ａおよび図１７Ｂで示した第２領域Ｅｃ，Ｅｄの画像に対してエッジ検出を行い、運転者Ｘの輪郭を検出した場合、首周りの輪郭に三角形状Ｓａおよび三角形状Ｓｂが存在すると判断する。輪郭検出部１０９は、図１７Ａおよび図１７Ｂで示した撮像画像に対して、運転者Ｘが肘掛運転を行っていると判断する。
次に、状態判定装置１００Ｂのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態判定装置１００Ｂにおける輪郭検出部１０９は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
状態判定装置１００Ｂにおける輪郭検出部１０９は、図３Ａで示した処理回路１００ａ、または図３Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
次に、状態判定装置１００Ｂによる状態判定処理の動作について説明する。
図１８は、実施の形態３に係る状態判定装置１００Ｂの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、輪郭検出部１０９および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、輪郭検出部１０９は画像取得部１０１が取得した姿勢判定時の撮像画像における第２領域の画像を取得する（ステップＳＴ５１）。輪郭検出部１０９は、ステップＳＴ５１で取得した第２領域の画像から運転者の輪郭を検出する（ステップＳＴ５２）。
図１８は、実施の形態３に係る状態判定装置１００Ｂの状態判定処理の動作を示すフローチャートである。
なお、以下では、実施の形態１に係る状態判定装置１００と同一のステップには図９で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、画像取得部１０１は、常時、撮像画像を取得し、顔検出部１０２、輪郭検出部１０９および画像比較部１０５に出力しているものとする。
ステップＳＴ２６において、姿勢判定部１０４が、運転者の姿勢が崩れていると判定した場合（ステップＳＴ２６；ＹＥＳ）、輪郭検出部１０９は画像取得部１０１が取得した姿勢判定時の撮像画像における第２領域の画像を取得する（ステップＳＴ５１）。輪郭検出部１０９は、ステップＳＴ５１で取得した第２領域の画像から運転者の輪郭を検出する（ステップＳＴ５２）。
輪郭検出部１０９は、ステップＳＴ５２で検出した運転者の輪郭のうち、運転者の首周りに輪郭に対して予め設定した三角形状と一致または類似する形状が存在するか否か判定を行う（ステップＳＴ５３）。予め設定した三角形状と一致または類似する形状が存在する場合（ステップＳＴ５３；ＹＥＳ）、輪郭検出部１０９は運転者が肘掛運転をしていると判断する。（ステップＳＴ５４）。また、輪郭検出部１０９は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を解除し（ステップＳＴ５５）、処理を終了する。
一方、予め設定した三角形状と一致または類似する形状が存在しない場合（ステップＳＴ５３；ＮＯ）、輪郭検出部１０９は、姿勢判定部１０４による運転者の姿勢が崩れているとの判定を維持し、画像比較部１０５に対して姿勢判定部１０４による運転者の姿勢が崩れているとの判定を通知する（ステップＳＴ５６）。画像比較部１０５は、ステップＳＴ５６で通知された判定に基づいて、画像取得部１０１が取得した姿勢判定時の撮像画像における第１領域の画像を取得する（ステップＳＴ２７）。その後、フローチャートはステップＳＴ２８以降の処理を行う。
以上のように、この実施の形態３によれば、姿勢判定部１０４が運転者の姿勢が崩れていると判定した場合に、取得された姿勢判定時の撮像画像内の第２領域の画像から、運転者の輪郭を検出し、検出した輪郭に三角形の形状が含まれる場合、運転者の姿勢が崩れているとの判定を解除する輪郭検出部１０９を備えるように構成したので、頭部が移動した状態で肘掛運転を行っている運転者を、注意喚起を必要とする状態、または運転不能状態と誤判定するのを抑制することができる。これにより、運転者の運転状態判定の精度を向上させることができる。
なお、上述した実施の形態３では、実施の形態１で示した状態判定装置１００に輪郭検出部１０９を追加して適用する構成を示したが、実施の形態２で示した状態判定装置１００Ａに輪郭検出部１０９を追加して構成してもよい。
その場合、輪郭検出部１０９は、軸検出部１０８と並行して処理を行ってもよいし、軸検出部１０８の処理の後段で処理を実行してもよい。
その場合、輪郭検出部１０９は、軸検出部１０８と並行して処理を行ってもよいし、軸検出部１０８の処理の後段で処理を実行してもよい。
上述した実施の形態１から実施の形態３で示した状態判定装置１００，１００Ａ，１００Ｂにおいて、運転者が注意喚起を必要とする状態であると判定した場合、または運転者が運転不能状態であると判定した場合、外部の警告装置４００が音声により警告を行う。
また、警告装置４００はディスプレイに運転不能状態と判定していることを表示し、当該運転不能状態との判定を解除する入力を受け付けるボタンを表示してもよい。
図１９は、実施の形態１から実施の形態３に係る発明の状態判定装置１００，１００Ａ，１００Ｂの判定結果を運転者に通知する一例を示す図である。
ディスプレイ４０１には、状態判定装置１００，１００Ａ，１００Ｂの判定結果４０２と、当該判定結果を解除するためのボタン４０３が表示される。判定結果４０２は、例えば「運転不能状態と判定中」と表示される。また、ボタン４０３は、例えば「正常状態にリセット」と表示される。
また、警告装置４００はディスプレイに運転不能状態と判定していることを表示し、当該運転不能状態との判定を解除する入力を受け付けるボタンを表示してもよい。
図１９は、実施の形態１から実施の形態３に係る発明の状態判定装置１００，１００Ａ，１００Ｂの判定結果を運転者に通知する一例を示す図である。
ディスプレイ４０１には、状態判定装置１００，１００Ａ，１００Ｂの判定結果４０２と、当該判定結果を解除するためのボタン４０３が表示される。判定結果４０２は、例えば「運転不能状態と判定中」と表示される。また、ボタン４０３は、例えば「正常状態にリセット」と表示される。
運転者は、ディスプレイ４０１に表示された判定結果４０２を参照し、自身が運転不能状態でない場合には、ボタン４０３を押下することにより、状態判定装置１００，１００Ａ，１００Ｂに、判定結果を解除させることができる
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
この発明に係る状態判定装置は、判定精度の向上が求められるドライバモニタリングシステム等に適用し、運転者の姿勢崩れに基づいて運転状態を判定するのに適している。
１００，１００Ａ，１００Ｂ 状態判定装置、１０１ 画像取得部、１０２ 顔検出部、１０３ 基準点算出部、１０４ 姿勢判定部、１０５ 画像比較部、１０６ 比較画像蓄積部、１０７ 状態判定部、１０８ 軸検出部、１０９ 輪郭検出部。
この発明に係る状態判定装置は、運転者を含む車内の撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から、運転者の顔位置を検出する顔検出部と、顔検出部が検出した運転者の顔位置と、予め算出された運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の運転者の顔位置の移動を検出した場合に、運転者の姿勢が崩れていると判定する姿勢判定部と、姿勢判定部が運転者の姿勢が崩れていると判定した場合に、画像取得部が取得した撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って運転者の姿勢が崩れているか否か再判定を行うことにより、前記姿勢判定部による前記運転者の姿勢が崩れているとの判定が正しいか否かを判定する画像比較部と、画像比較部の再判定の結果に基づいて、運転者が運転不能状態であるか否か判定を行う状態判定部とを備える。
Claims (9)
- 運転者を含む車内の撮像画像を取得する画像取得部と、
前記画像取得部が取得した撮像画像から、前記運転者の顔位置を検出する顔検出部と、
前記顔検出部が検出した前記運転者の顔位置と、予め算出された前記運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定する姿勢判定部と、
前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行う画像比較部と、
前記画像比較部の再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行う状態判定部とを備えた状態判定装置。 - 前記姿勢判定部は、第２の姿勢崩れ判定量以上の前記運転者の顔向きの変位を検出した場合に、前記運転者の姿勢が崩れていると判定することを特徴とする請求項１記載の状態判定装置。
- 前記画像比較部は、前記比較画像が、前記運転者が運転席に着座しているときの当該運転席を撮像した撮像画像である場合、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像との一致度を算出し、当該算出した一致度に応じて、前記運転者の姿勢が崩れているか否かの再判定を行うことを特徴とする請求項１記載の状態判定装置。
- 前記画像比較部は、前記比較画像が、前記運転者が着座していない運転席を撮像した撮像画像である場合、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像との乖離度を算出し、当該算出した乖離度に応じて、前記運転者の姿勢が崩れているか否かの再判定を行うことを特徴とする請求項１記載の状態判定装置。
- 前記状態判定部は、前記画像比較部により前記運転者の姿勢が崩れていると再判定された状態が注意喚起判定時間以上継続した場合に、前記運転者が注意喚起を必要とする状態であると判定し、前記運転者の姿勢が崩れているとの再判定された状態が、前記注意喚起判定時間よりも長い運転不能判定時間以上継続した場合に、前記運転者が運転不能状態であると判定することを特徴とする請求項１記載の状態判定装置。
- 前記画像比較部は、前記状態判定部が、前記運転者が前記注意喚起を必要とする状態、または運転不能状態であるとであると判定した場合に、前記撮像画像内の第１領域の画像と、前記比較画像内の第１領域の画像とを比較する処理の頻度を低下させることを特徴とする請求項５記載の状態判定装置。
- 前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像から前記運転者の頭部中心軸の傾きを検出し、検出した前記頭部中心軸の傾きが予め設定された閾値範囲内である場合、前記運転者の姿勢が崩れているとの判定を解除する軸検出部を備えたことを特徴とする請求項１記載の状態判定装置。
- 前記姿勢判定部が前記運転者の姿勢が崩れていると判定した場合に、前記画像取得部が取得した撮像画像内の第２領域の画像から、前記運転者の輪郭を検出し、検出した輪郭に三角形の形状が含まれる場合、前記運転者の姿勢が崩れているとの判定を解除する輪郭検出部を備えたことを特徴とする請求項１記載の状態判定装置。
- 画像取得部が、運転者を含む車内の撮像画像を取得するステップと、
顔検出部が、前記取得された撮像画像から、前記運転者の顔位置を検出するステップと、
姿勢判定部が、前記検出された前記運転者の顔位置と、予め算出された前記運転者の基準点とを比較し、設定された移動方向に、第１の姿勢崩れ判定量以上の前記運転者の顔位置の移動を検出した場合に、前記運転者の姿勢が崩れていると判定するステップと、
画像比較部が、前記運転者の姿勢が崩れていると判定した場合に、前記取得された撮像画像内の第１領域の画像と、比較画像内の第１領域の画像との比較を行って前記運転者の姿勢が崩れているか否か再判定を行うステップと、
状態判定部が、前記再判定の結果に基づいて、前記運転者が運転不能状態であるか否か判定を行うステップとを備えた状態判定方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/021121 WO2018225176A1 (ja) | 2017-06-07 | 2017-06-07 | 状態判定装置および状態判定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018225176A1 true JPWO2018225176A1 (ja) | 2019-12-12 |
| JP6960995B2 JP6960995B2 (ja) | 2021-11-05 |
Family
ID=64566648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019523262A Active JP6960995B2 (ja) | 2017-06-07 | 2017-06-07 | 状態判定装置および状態判定方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6960995B2 (ja) |
| WO (1) | WO2018225176A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110103816A (zh) * | 2019-03-15 | 2019-08-09 | 河南理工大学 | 一种驾驶状态检测方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020144573A (ja) * | 2019-03-06 | 2020-09-10 | オムロン株式会社 | 運転者監視装置 |
| US11074769B2 (en) * | 2019-03-26 | 2021-07-27 | Cambridge Mobile Telematics Inc. | Safety for vehicle users |
| CN112149482A (zh) * | 2019-06-28 | 2020-12-29 | 深圳市商汤科技有限公司 | 驾驶员在岗状态检测方法、装置、设备和计算机存储介质 |
| WO2021001944A1 (ja) * | 2019-07-02 | 2021-01-07 | 三菱電機株式会社 | 車載用画像処理装置、および、車載用画像処理方法 |
| WO2021001943A1 (ja) * | 2019-07-02 | 2021-01-07 | 三菱電機株式会社 | 車載用画像処理装置、および、車載用画像処理方法 |
| JP7351253B2 (ja) * | 2020-03-31 | 2023-09-27 | いすゞ自動車株式会社 | 許否決定装置 |
| WO2024069785A1 (ja) * | 2022-09-28 | 2024-04-04 | 三菱電機株式会社 | 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法、プログラム及び車両制御システム |
| WO2024100814A1 (ja) * | 2022-11-10 | 2024-05-16 | 三菱電機株式会社 | 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008137639A (ja) * | 2006-11-06 | 2008-06-19 | Quality Kk | 車両制御装置および車両制御プログラム |
| JP2016009255A (ja) * | 2014-06-23 | 2016-01-18 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
-
2017
- 2017-06-07 JP JP2019523262A patent/JP6960995B2/ja active Active
- 2017-06-07 WO PCT/JP2017/021121 patent/WO2018225176A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008137639A (ja) * | 2006-11-06 | 2008-06-19 | Quality Kk | 車両制御装置および車両制御プログラム |
| JP2016009255A (ja) * | 2014-06-23 | 2016-01-18 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110103816A (zh) * | 2019-03-15 | 2019-08-09 | 河南理工大学 | 一种驾驶状态检测方法 |
| CN110103816B (zh) * | 2019-03-15 | 2022-04-19 | 河南理工大学 | 一种驾驶状态检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018225176A1 (ja) | 2018-12-13 |
| JP6960995B2 (ja) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018225176A1 (ja) | 状態判定装置および状態判定方法 | |
| CN104573623B (zh) | 人脸检测装置、方法 | |
| US10796171B2 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
| JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
| JP6573193B2 (ja) | 判定装置、判定方法、および判定プログラム | |
| CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
| JP6739672B2 (ja) | 体格推定装置および体格推定方法 | |
| JP6775197B2 (ja) | 表示装置及び表示方法 | |
| JP2020056717A (ja) | 位置検出装置 | |
| US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
| JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
| JP2005066023A (ja) | 運転者状態検出装置 | |
| JP6594595B2 (ja) | 運転不能状態判定装置および運転不能状態判定方法 | |
| JP6711128B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| JP2005018655A (ja) | 運転者行動推定装置 | |
| US11915495B2 (en) | Information processing apparatus, and recording medium | |
| JP7312971B2 (ja) | 車両表示装置 | |
| JP2009278185A (ja) | 画像認識装置 | |
| WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
| JP4281405B2 (ja) | 確認動作検出装置及び警報システム | |
| JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 | |
| JP2005014853A (ja) | 運転者三次元挙動検出装置 | |
| WO2024079779A1 (ja) | 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム | |
| WO2022176037A1 (ja) | 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200624 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6960995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |