JP7001038B2 - 運転状態判定方法 - Google Patents

Description

本発明は、カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態、例えば、正常状態か、あるいは、居眠り運転や脇見運転等の非正常状態か、を判定可能な運転状態判定方法に関する。

従来、自動車を操舵する運転者が正常状態か否かを判定する際の運転者状態監視システムとして、ステアリングホイールの中央のエアバッグ装置（ボス部）の上縁位置に、運転者の顔を撮影するカメラを配置する場合があった（例えば、特許文献１参照）。このカメラの配置位置では、インストルメントパネルやコラムカバーにカメラを搭載する場合に比べ、操舵時のステアリングホイールのスポーク部等にカメラが遮蔽されないことから、運転者の顔の撮影に好適となる。そして、このシステムでは、運転者の操舵時におけるステアリングホイールの操舵角に応じて、撮影画像データを直進操舵時の状態に補正して、その補正画像に基づき、目の開度値等を算出して、運転者が居眠り状態か否かを判定していた。

特開２０１０－１３０９０号公報

しかし、従来の運転者状態監視システムでは、操舵時に撮影した画像データを操舵角度に応じて補正し、そして、その補正画像データから、運転者の目の開度値等を算出し、その算出した値から、運転者の状態を判定しており、比較する基準データ等が有る訳ではなく、そのため、操舵時の運転状態自体を、迅速、かつ、安定して、判定する点に、改善の余地があった。

本発明は、上述の課題を解決するものであり、操舵時の運転者の運転状態を、迅速かつ安定して、判定可能な運転状態判定方法を提供することを目的とする。

本発明に係る第１番目の運転状態判定方法は、操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データを基準として、
操舵中に撮影する操舵時画像データを、操舵角の角度変化に対応させて、直進操舵状態に変換した補正画像データと、
前記基準画像データと、
を、比較して判定することを特徴とする。

本発明に係る第１番目の運転状態判定方法では、操舵中のカメラで撮影した操舵時画像データ（特に、顔の目、鼻、口がどこにあるかの位置関係の位置データ）を、直進操舵時の状態に変換して、補正画像データを作成し、その補正画像データと、直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データ（正面を向いた顔の目、鼻、口がどこにあるかの位置関係の位置データ）と、を比較できることとなり、基準画像データが判定基準画像データとなり、その判定基準画像データを基に、補正画像データが、どの程度、異なっているか、例えば、運転者の目、鼻、口の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者の運転状態を、迅速かつ安定して、判定できる。例えば、目を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラは、ステアリングホイールにおける運転者の顔と対向する部位の、例えば、リング部やボス部に搭載され、操舵時のステアリングホイールのスポーク部等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイールのスポーク部等にカメラが遮蔽されず、運転者の顔の撮影に好適となる。

したがって、本発明に係る第１番目の運転状態判定方法では、操舵時の運転者の運転状態を、迅速かつ安定して、判定可能となる。

また、本発明に係る第２番目の運転状態判定方法では、操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
操舵中に撮影する操舵時画像データと、
直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データを、操舵角の角度変化に対応させて、変換させた基準変換画像データと、
を、比較して判定することを特徴とする。

本発明に係る第２番目の運転状態判定方法では、直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データ（正面を向いた顔の目、鼻、口がどこにあるかの位置関係の位置データ）を、操舵角の角度変化に対応させて、変換させた基準変換画像データとし、その基準変換画像データと、操舵中のカメラで撮影した操舵時画像データ（顔の目、鼻、口がどこにあるかの位置関係の位置データ）と、を比較できることとなり、基準変換画像データが判定基準画像データとなり、その判定基準画像データを基に、操舵時画像データが、どの程度、異なっているか、例えば、運転者の目、鼻、口の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者の運転状態を、迅速かつ安定して、判定できる。例えば、目を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラは、ステアリングホイールにおける運転者の顔と対向する部位の、例えば、リング部やボス部に搭載され、操舵時のステアリングホイールのスポーク部等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイールのスポーク部等にカメラが遮蔽されず、運転者の顔の撮影に好適となる。

したがって、本発明に係る第２番目の運転状態判定方法でも、操舵時の運転者の運転状態を、迅速かつ安定して、判定可能となる。

本発明に係る第３番目の運転状態判定方法では、操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
操舵中に撮影する操舵時画像データと、
操舵角に応じて準備された複数のテンプレート画像データの内の、前記操舵時画像データの撮影時の操舵角に応じて選択した選択テンプレート画像データと、
を、比較して判定することを特徴とする。

本発明に係る第３番目の運転状態判定方法では、操舵角に応じて準備された複数のテンプレート画像データの内の、操舵時画像データの撮影時の操舵角に応じて選択した選択テンプレート画像データと、操舵中のカメラで撮影した操舵時画像データと、を比較できることとなり、選択テンプレート画像データが判定基準画像データとなり、その判定基準画像データを基に、操舵時画像データが、どの程度、異なっているか、例えば、運転者の目、鼻、口の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者の運転状態を、迅速かつ安定して、判定できる。例えば、目を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラは、ステアリングホイールにおける運転者の顔と対向する部位の、例えば、リング部やボス部に搭載され、操舵時のステアリングホイールのスポーク部等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイールのスポーク部等にカメラが遮蔽されず、運転者の顔の撮影に好適となる。

したがって、本発明に係る第３番目の運転状態判定方法でも、操舵時の運転者の運転状態を、迅速かつ安定して、判定可能となる。

ステアリングホイールの操舵時のカメラの位置変化を示す図である。 ステアリングホイールの操舵時におけるカメラの位置変化を説明する図である。 カメラと運転者の顔との相対位置を説明する図である。 直進操舵時の運転者の顔の状態を示す図である。 運転者の顔が上向きとなった状態を示す図である。 ステアリングホイールを左に操舵した状態での運転者の顔を撮影した画像を示す図である。 本発明の運転者状態判定方法に使用する機器を説明するブロック図である。 第１実施形態の運転者状態判定方法の動作を示す流れ図である。 第２実施形態の運転者状態判定方法の動作を示す流れ図である。 第３実施形態の運転者状態判定方法の動作を示す流れ図である。

以下、本発明の一実施形態を図面に基づいて説明すると、図１～３に示すように、第１実施形態に使用するステアリングホイール１は、運転者１０が把持するリング部２と、リング部２の中心に配置されるボス部３と、ボス部３とリング部２とを連結するスポーク部４と、を備えて構成されている。リング部２における１２時の位置に、すなわち、直進操舵時の前端位置に、運転者１０の顔１１を撮影可能なカメラ６が、運転者１０側に向いて配設されている。

操舵時のカメラ６は、図１に示すように、ステアリングホイール１を、例えば、反時計回り方向に角度Φ分、操舵すれば、リング部２の面上でのカメラ６の位置は、
ｘ´＝ｒsinΦ
ｙ´＝０
ｚ´＝ｒcosΦ
の座標位置となる。

またその際、ステアリングホイール１の操舵中心軸の傾斜角度θを考慮した状態での三次元の原点位置（０，０，０）を基準とすれば、
ｘ＝ｒsinΦ
ｙ＝Ｌsinθ－ｒcosΦ・cosθ
ｚ＝Ｌcosθ＋ｒcosΦ・sinθ
の座標位置となる。

また、直進操舵時のリング部２に配置されたカメラ６が運転者１０の顔１１を撮影する状態では、図３に示すように、角度ω分、上向きの状態での撮影となるものの、撮影画像は、図４に示すような画像となる。そして仮に、図４に示す運転姿勢の運転者より大柄であれば、上向き角度ωが大きくなり、図５に示すように、図４に比べて、顔１１が小さくなり、目１２，１３、鼻１４、口１５が上寄りとなる画像となる。なお、上向き角度ωは、カメラ６が下方に配置される場合でも、大きくなる。

そして、例えば、図４の画像を運転者の基準画像とすれば、ステアリングホイール１を反時計回り方向に操舵角Φ分、操舵すれば、図６に示すように、操舵角θ分、回転したリング部２のカメラ６からの撮影画像は、傾いた画像となる。

このように、カメラ６が、ステアリングホイール１における運転者１０の顔１１と対向する部位の、例えば、リング部２に搭載される場合には、操舵時のステアリングホイール１のスポーク部４等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイール１のスポーク部等にカメラ６が遮蔽されず、運転者１０の顔１１の撮影に好適となるものの、操舵時に、撮影画像が傾斜することが避けられず、運転者１０が、操舵時に、例えば、居眠りしていたり、脇見運転していれば、正常状態でないことから、注意喚起等が必要となる。

第１実施形態の判定方法に使用する構成機器としては、操舵時の運転者１０の運転状態を判定できるように、図７に示すように、リング部２に搭載されたカメラ６と、操作時のステアリングホイール１の操作角を検出可能に、ステアリングホイール１のボス部３内等に配設される舵角センサ７と、ボス部３内等に配設される制御部８と、制御部８が操舵時の運転者１０の顔１１の画像から非正常運転状態と判定した際に、車両のスピーカ等から注意喚起音を発生させるための出力部９と、を備えてなる。

そして、第１実施形態の判定方法では、直進操舵時の基準カメラ位置Ｐ０で運転者１０の顔１１を撮影した基準画像データを基準として、操舵中に撮影する操舵時画像データを、操舵角の角度変化に対応させて、直進操舵状態に変換した補正画像データと、基準画像データと、を、比較して判定する。

すなわち、図８に示すように、制御部８では、ステップ１１において、カメラ６からの画像データを入力し、また、ステップ１２において、操舵角のデータを入力する。そして、操舵角のデータから、直進操舵時とする操舵角を０°としていれば、ステップ１３において、その際に入力した画像データを基準画像データ（正面を向いた顔の目、鼻、口がどこにあるかの位置関係の位置データ）として取得しておく。その後、操舵中であれば、ステップ１４において、その操舵中の操舵時画像データ（顔の目、鼻、口がどこにあるかの位置関係の位置データ）を取得するとともに、その操舵角のデータを取得する。ついで、ステップ１５において、ステップ１４で取得した操舵時画像データを、同時に取得した操舵角における操舵角０°の直進操舵時からの角度変化に対応させて、直進操舵状態に変換した補正画像データを算出する。そして、ステップ１６において、ステップ１３で取得しておいた基準画像データと、ステップ１５で算出した補正画像データと、を比較して、運転者１０の顔１１における目１２，１３、鼻１４、口１５の開度値や向き等が、基準画像データから、どのように変化しているかを判定して、例えば、居眠り運転、あるいは、脇見運転と判定すれば、ステップ１７に移行して、その旨の注意喚起の音をスピーカ等から発音させるように、出力する。

以上のように、第１実施形態の判定方法では、操舵中のカメラ６で撮影した操舵時画像データを、直進操舵時の状態に変換して、補正画像データを作成し、その補正画像データと、直進操舵時の基準カメラ位置Ｐ０で運転者１０の顔１１を撮影した基準画像データと、を比較できることとなり、基準画像データが判定基準画像データとなり、その判定基準画像データを基に、補正画像データが、どの程度、異なっているか、例えば、運転者１０の目１２，１３、鼻１４、口１５の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者１０の運転状態を、迅速かつ安定して、判定できる。例えば、目１２，１３を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラ６は、ステアリングホイール１における運転者１０の顔１１と対向する部位のリング部２に搭載され、操舵時のステアリングホイール１のスポーク部４等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイール１のスポーク部４等にカメラ６が遮蔽されず、運転者１０の顔１１の撮影に好適となる。

したがって、第１実施形態の運転状態判定方法では、操舵時の運転者１０の運転状態を、迅速かつ安定して、判定可能となる。

なお、ステップ１３で取得する基準画像データは、予め、制御部８に記憶させておいてもよく、ステップ１６において、予め、記憶させておいた基準画像データと、角度補正した補正画像データとを比較すればよい。

また、第１実施形態では、カメラ６をリング部２に搭載した場合を示したが、図１の二点鎖線に示すように、ボス部３に搭載してもよい。

つぎに、第２実施形態の判定方法を説明すると、第２実施形態の判定方法に使用する構成機器は、第１実施形態と同様に、操舵時の運転者１０の運転状態を判定できるように、図７に示すように、リング部２に搭載されたカメラ６と、操作時のステアリングホイール１の操作角を検出可能に、ステアリングホイール１のボス部３内等に配設される舵角センサ７と、ボス部３内等に配設される制御部８と、制御部８が操舵時の運転者１０の顔１１の画像から非正常運転状態と判定した際に、車両のスピーカ等から注意喚起音を発生させるための出力部９と、を備えてなる。なお、制御部８での判定方法は、第２実施形態では、第１実施形態とは後述するように、異なっている。

第２実施形態の判定方法では、操舵中に撮影する操舵時画像データと、直進操舵時の基準カメラ位置Ｐ０で運転者１０の顔１１を撮影した基準画像データを、操舵角の角度変化に対応させて、変換させた基準変換画像データと、を、比較して判定する。

すなわち、図９に示すように、制御部８では、ステップ２１において、カメラ６からの画像データを入力し、また、ステップ２２において、操舵角のデータを入力する。そして、操舵角のデータから、直進操舵時とする操舵角を０°としていれば、ステップ２３において、その際に入力した画像データを基準画像データ（正面を向いた顔の目、鼻、口がどこにあるかの位置関係の位置データ）として取得しておく。その後、操舵中であれば、ステップ２４において、その操舵中の操舵時画像データ（顔の目、鼻、口がどこにあるかの位置関係の位置データ）を取得するとともに、その操舵角のデータを取得する。ついで、ステップ２５において、ステップ２３で取得した基準画像データを、ステップ２４で取得した操舵角における操舵角０°の直進操舵時からの角度変化に対応させて、変換させた基準変換画像データを算出する。そして、ステップ２６において、ステップ２４で取得しておいた操舵時画像データと、ステップ２５で算出した基準変換画像データと、を比較して、運転者１０の顔１１における目１２，１３、鼻１４、口１５の開度値や向き等が、基準変換画像データから、どのように変化しているかを判定して、例えば、居眠り運転、あるいは、脇見運転と判定すれば、ステップ２７に移行して、その旨の注意喚起の音をスピーカ等から発音させるように、出力する。

以上のように、第２実施形態の判定方法では、直進操舵時の基準カメラ位置Ｐ０で運転者１０の顔１１を撮影した基準画像データを、操舵角の角度変化に対応させて、変換させた基準変換画像データとし、その基準変換画像データと、操舵中のカメラ６で撮影した操舵時画像データと、を比較できることとなり、基準変換画像データが判定基準画像データとなり、その判定基準画像データを基に、操舵時画像データが、どの程度、異なっているか、例えば、運転者１０の目１２，１３、鼻１４、口１５の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者１０の運転状態を、迅速かつ安定して、判定できる。例えば、目１２，１３を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラ６は、ステアリングホイール１における運転者１０の顔１１と対向する部位のリング部２に搭載され、操舵時のステアリングホイール１のスポーク部４等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイール１のスポーク部４等にカメラ６が遮蔽されず、運転者１０の顔１１の撮影に好適となる。

したがって、第２実施形態の運転状態判定方法でも、操舵時の運転者１０の運転状態を、迅速かつ安定して、判定可能となる。

なお、第２実施形態でも、ステップ２３で取得する基準画像データは、予め、制御部８に記憶させておいてもよく、その場合でも、ステップ２５において、操舵角に応じて、変換して、ステップ２６において、比較すればよい。

つぎに、第３実施形態の判定方法を説明すると、第３実施形態の判定方法に使用する構成機器も、第１，２実施形態と同様に、操舵時の運転者１０の運転状態を判定できるように、図７に示すように、リング部２に搭載されたカメラ６と、操作時のステアリングホイール１の操作角を検出可能に、ステアリングホイール１のボス部３内等に配設される舵角センサ７と、ボス部３内等に配設される制御部８と、制御部８が操舵時の運転者１０の顔１１の画像から非正常運転状態と判定した際に、車両のスピーカ等から注意喚起音を発生させるための出力部９と、を備えてなる。なお、制御部８での判定方法は、第３実施形態では、第１，２実施形態とは後述するように、異なっている。

第３実施形態の判定方法では、操舵中に撮影する操舵時画像データと、操舵角に応じて準備された複数のテンプレート画像データの内の、操舵時画像データの撮影時の操舵角に応じて選択した選択テンプレート画像データと、を、比較して判定する。

すなわち、図１０に示すように、制御部８では、ステップ３１において、操舵中のカメラ６からの画像データを入力し、また、ステップ３２において、操舵角のデータを入力する。そして、ステップ３３において、その操舵時の操舵角から、予め、準備しておいた多数のテンプレート画像の内から、その操舵角に対応するテンプレート画像データを選択して、その選択テンプレート画像データを取得する。ついで、ステップ３４において、ステップ３３で取得した選択テンプレート画像データと、ステップ３１で取得した操舵時画像データと、を比較して、運転者１０の顔１１における目１２，１３、鼻１４、口１５の開度値や向き等が、選択テンプレート画像データから、どのように変化しているかを判定して、例えば、居眠り運転、あるいは、脇見運転と判定すれば、ステップ３５に移行して、その旨の注意喚起の音をスピーカ等から発音させるように、出力する。

以上のように、第３実施形態の判定方法では、操舵角に応じて準備された複数のテンプレート画像データの内の、操舵時画像データの撮影時の操舵角に応じて選択した選択テンプレート画像データと、操舵中のカメラ６で撮影した操舵時画像データと、を比較できることとなり、選択テンプレート画像データが判定基準画像データとなり、その判定基準画像データを基に、操舵時画像データが、どの程度、異なっているか、例えば、運転者１０の目１２，１３、鼻１４、口１５の位置、向き、開き等が、どの程度、異なっているかを、直ちに、比較できて、その差から、運転者１０の運転状態を、迅速かつ安定して、判定できる。例えば、目１２，１３を瞑っていれば、居眠り状態と判定でき、横を向いていれば、脇見運転と判定できる。また、カメラ６は、ステアリングホイール１における運転者１０の顔１１と対向する部位のリング部２に搭載され、操舵時のステアリングホイール１のスポーク部４等に隠れるインストルメントパネルやコラムカバーに搭載されていないことから、操舵時のステアリングホイール１のスポーク部４等にカメラ６が遮蔽されず、運転者１０の顔１１の撮影に好適となる。

したがって、第３実施形態の運転状態判定方法でも、操舵時の運転者１０の運転状態を、迅速かつ安定して、判定可能となる。

なお、第３実施形態では、予め準備しておくテンプレート画像のデータを、多数準備する必要があるものの、第１，２実施形態のように、操舵角に対応させて、補正画像データや基準変換画像データを算出する工程が無い分、迅速に判定を行うことができる。

１…ステアリングホイール、２…リング部、３…ボス部、６…カメラ、１０…運転者、Ｐ０…基準カメラ位置。

Claims (3)

1. 操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
   前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
   直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データを基準として、
   操舵中に撮影する操舵時画像データを、操舵角の角度変化に対応させて、直進操舵状態に変換した補正画像データと、
   前記基準画像データと、
   を、比較して判定することを特徴とする運転状態判定方法。
2. 操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
   前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
   操舵中に撮影する操舵時画像データと、
   直進操舵時の基準カメラ位置で運転者の顔を撮影した基準画像データを、操舵角の角度変化に対応させて、変換させた基準変換画像データと、
   を、比較して判定することを特徴とする運転状態判定方法。
3. 操舵時の運転者の顔を撮影するカメラが、ステアリングホイールにおける運転者の顔と対向する部位に、配設され、
   前記カメラによって撮影される画像データに基づき、操舵時の運転者の運転状態を判定する運転状態判定方法であって、
   操舵中に撮影する操舵時画像データと、
   操舵角に応じて準備された複数のテンプレート画像データの内の、前記操舵時画像データの撮影時の操舵角に応じて選択した選択テンプレート画像データと、
   を、比較して判定することを特徴とする運転状態判定方法。
   
   

Images