JP6984294B2 - 安全運転判定装置及び安全運転判定方法 - Google Patents

Description

本発明は、安全運転判定装置及び安全運転判定方法に関する。

従来、車両を運転する運転者の顔向き方向によって運転者の前方不注視（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報を発する装置が提案されている。この装置は、運転者の顔向き角度が正面（進行方向）に対して所定角度以上ずれた状態が所定時間以上継続すると、警報を発する。

特開２００８−９７４４５号公報

運転者の顔向き方向は、撮像装置が運転者を撮像した撮像画像に基づいて判定される。しかし、車両の構造上、撮像装置は運転者の正面には配置できず、例えば運転者の顔に対して斜め下方に配置される。このように撮像装置が配置されると、運転者の顔向き角度を適切に求めることができないため、判定精度が低下し、誤って警報が発せられる恐れがある。

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者の顔向き角度を適切に求めることを目的とする。

本発明の第１の態様においては、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視であるか否かを判定する安全運転判定装置であって、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値とを取得する角度値取得部と、前記角度値取得部が所定時間に亘って取得した前記角度値を用いて、前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値を取得するオフセット値取得部と、前記角度値取得部が取得した前記角度値を、前記オフセット値取得部が取得した前記オフセット値を用いて補正する角度値補正部と、を備える、安全運転判定装置を提供する。
上記構成の安全運転判定装置によれば、オフセット値を用いて補正された角度値は、撮像装置が運転者の顔に対して斜めに配置されていても、あたかも撮像装置が運転者を正面から撮像した場合の角度値を示すことになるので、車両の進行方向に対する運転者の顔向きを適切に取得できる。

また、前記オフセット値取得部は、前記角度値取得部が所定時間に亘って取得した前記角度値の平均値を、前記オフセット値として取得することとしてもよい。

また、前記オフセット値取得部は、前記所定時間に亘って前記車両の速度が所定速度以上である場合の前記角度値の平均値を、前記オフセット値として取得することとしてもよい。

また、前記オフセット値取得部は、第１時間に亘って取得した、前記ヨー方向の顔向き角度を示す第１角度値の平均値を、第１オフセット値として取得し、前記第１時間よりも短い第２時間に亘って取得した、前記ピッチ方向の顔向き角度を示す第２角度値の平均値を、第２オフセット値として取得し、前記角度値補正部は、前記第１角度値を前記第１オフセット値を用いて補正し、前記第２角度値を前記第２オフセット値を用いて補正することとしてもよい。

本発明の第２の態様においては、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視であるか否かを判定する安全運転判定方法であって、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値とを取得するステップと、所定時間に亘って取得した前記角度値を用いて、前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値を取得するステップと、取得した前記角度値を、前記オフセット値を用いて補正するステップと、を備える、安全運転判定方法を提供する。

本発明によれば、運転者の顔向き角度を適切に求めることができるという効果を奏する。

車両１の構成の一例を示すブロック図である。 撮像装置４と運転者の顔向き角度との関係を説明するための模式図である。 脇見判定処理の流れを説明するためのフローチャートである。

＜車両の構成＞
図１を参照しながら、本発明に係る安全運転判定装置が搭載された車両の構成について説明する。

図１は、車両１の構成の一例を示すブロック図である。車両１は、一例としてトラックである。車両１は、図１に示すように、撮像装置４と、警報装置８と、制御装置１０とを有する。

撮像装置４は、車両１の運転席（例えばトラックのキャブ）に設けられており、例えばＣＣＤカメラを含む。撮像装置４は、運転席に座っている運転者を前方から撮像して、撮像画像を生成する。例えば、撮像装置４は、車両１が走行中の運転者の顔を撮像して、車両１の進行方向に対する運転者の顔向き角度を特定できる撮像画像を生成する。撮像装置４は、生成した撮像画像を制御装置１０へ出力する。

警報装置８は、運転中の運転者が前方不注視（脇見）である場合に、運転者に対して警報を行う装置である。警報装置８は、例えば、アラーム等の音を鳴らすスピーカ、警告画面を表示する表示部、振動を発生する振動発生部を含む。なお、警報装置８は、音、表示及び振動の少なくとも２つを組み合わせて、警報を行ってもよい。

制御装置１０は、撮像装置４と警報装置８の動作を制御する。本実施形態において、制御装置１０は、車両１の進行方向を基準にしたときの運転者の顔向き角度を示す角度値を取得し、取得した角度値に基づいて運転者が前方不注視であるか否かを判定する安全運転判定装置の機能を有する。

ところで、運転者の角度値は、撮像装置４の設置位置や運転者の座高の影響を受けて、車両１の進行方向に対してずれやすいため、撮像装置４によって角度値を正確に求めることが困難である。

図２は、撮像装置４と運転者の顔向き角度との関係を説明するための模式図である。図２（ａ）には運転者Ｄの側面から見た図が示され、図２（ｂ）には運転者Ｄの上方から見た図が示されている。撮像装置４は、図２（ａ）及び図２（ｂ）に示すように、運転者Ｄの顔の正面ではなく、運転者Ｄの顔に対して斜め下方に設けられている。このように撮像装置４が配置されると、進行方向に対する運転者Ｄの顔向き角度（図２（ａ）に示すピッチ方向と図２（ｂ）に示すヨー方向）を正確に求めることができないため、運転者Ｄが前方不注視であるか否かの判定精度が低下し、警報装置８が誤って警報を行う恐れがある。

これに対して、本実施形態では、詳細は後述するが、運転者の顔向き角度を示す角度値（ヨー角度値やピッチ角度値）を補正して、運転者が前方不注視であるか否かを判定する。これにより、運転者が前方不注視であるか否かを高精度に判定できるので、誤って警報を行うことを防止できる。

＜制御装置の詳細構成＞
図１を参照しながら、制御装置１０の詳細構成について説明する。
制御装置１０は、図１に示すように、記憶部２０と、制御部３０とを有する。

記憶部２０は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。記憶部２０は、制御部３０が実行するためのプログラムや各種データを記憶する。また、記憶部２０には、運転者の顔向き角度値に関する情報が記憶されている。

制御部３０は、例えばＣＰＵ（Central Processing Unit）である。制御部３０は、記憶部２０に記憶されたプログラムを実行することにより、脇見判定処理を制御する。制御部３０は、図１に示すように、角度値取得部３２と、オフセット値取得部３３と、角度値補正部３４と、脇見判定部３５と、警報制御部３６とを含む。

角度値取得部３２は、車両１の進行方向に対する運転者の顔向き角度を示す角度値を取得する。具体的には、角度値取得部３２は、撮像装置４が撮像した撮像画像に基づいて、角度値を取得する。角度値取得部３２は、所定間隔で、角度値を継続して取得する。角度値取得部３２は、取得した角度値を、オフセット値取得部３３と角度値補正部３４へ出力する。

角度値取得部３２は、角度値として、進行方向に対する運転者のヨー方向（図２（ｂ））の顔向き角度を示すヨー角度値と、進行方向に対する運転者のピッチ方向（図２（ａ））の顔向き角度を示すピッチ角度値とを取得する。なお、角度値取得部３２は、ヨー角度値とピッチ角度値のいずれか一方を取得してもよい。

オフセット値取得部３３は、角度値取得部３２が所定時間（一例として１０（分））に亘って取得した角度値を用いて、運転者の顔に対する撮像装置４の撮像方向に対応した角度値のオフセット値を取得する。オフセット値は、撮像装置４が運転者の顔の正面に位置した際に取得される角度値に補正するための値である。オフセット値取得部３３は、取得したオフセット値を角度値補正部３４を出力する。

オフセット値取得部３３は、角度値取得部３２が所定時間に亘って取得した角度値の平均値を、オフセット値として取得する。例えば、オフセット値取得部３３は、所定時間に亘って車両の速度が所定速度（一例として６０（ｋｍ／ｈ））以上である場合の角度値の平均値を、オフセット値として取得する。

オフセット値取得部３３は、第１時間Ｔ１に亘って取得した、ヨー方向の顔向き角度を示すヨー角度値の平均値を、ヨーオフセット値として取得する。また、オフセット値取得部３３は、第１時間よりも短い第２時間Ｔ２に亘って取得した、ピッチ方向の顔向き角度を示すピッチ角度値の平均値を、ピッチオフセット値として取得する。ここで、第２時間Ｔ２が第１時間Ｔ１よりも短いのは、ピッチ方向の顔の動きが、ヨー方向の顔の動き（ミラー確認のための動き等）に比べて安定しやすい特徴があるため、角度値の平均値を取得する時間が短くなっている。

角度値補正部３４は、角度値取得部３２が取得した角度値を、オフセット値取得部３３が取得したオフセット値を用いて補正する。例えば、角度値補正部３４は、ヨー角度値をヨーオフセット値を用いて補正し、ピッチ角度値をピッチオフセット値を用いて補正する。このようにオフセット値を用いて補正された角度値は、あたかも撮像装置４が運転者を正面から撮像した場合の角度値を示すことになるので、車両１の進行方向に対する運転者の顔向きを適切に取得できる。角度値補正部３４は、補正後の角度値を脇見判定部３５へ出力する。

脇見判定部３５は、運転者が前方不注視（脇見）であるか否かを判定する。本実施形態では、脇見判定部３５は、角度値補正部３４によって補正された後の角度値（以下では、補正後角度値とも呼ぶ）を用いて、運転者が脇見中であるか否かを判定する。例えば、脇見判定部３５は、補正後角度値が所定角度よりも大きい状態が所定時間継続した場合に、脇見中であると判定する。脇見判定部３５は、判定結果を警報制御部３６へ出力する。

警報制御部３６は、運転者が脇見中である場合に、警報装置８に警報を行わせる。すなわち、警報制御部３６は、脇見判定部３５によって脇見中であると判定された場合に、警報装置８に警報を行わせる。

なお、上記では、ヨー角度値及びピッチ角度値の両方を補正することとしたが、これに限定されない。例えば、撮像装置４が、上下方向において運転者の頭と同じ位置で、かつ運転者の頭から見て左又は右に位置する場合には、ヨー角度値のみを補正してもよい。

＜脇見判定処理＞
図３を参照しながら、脇見判定処理の流れについて説明する。脇見判定処理は、制御装置１０の制御部３０が記憶部２０に記憶されたプログラムを実行することで実現される。

図３は、脇見判定処理の流れを説明するためのフローチャートである。図３のフローチャートは、例えば車両１が走行を開始したところから開始される。
まず、角度値取得部３２は、車両１の進行方向に対する運転者の顔向き角度を示す角度値を取得する（ステップＳ１０２）。例えば、角度値取得部３２は、ヨー角度値とピッチ角度値を取得する。

次に、オフセット値取得部３３は、角度値取得部３２が所定時間に亘って取得した角度値を用いて、運転者の顔に対する撮像装置４の撮像方向に対応した角度値のオフセット値を取得する（ステップＳ１０４）。例えば、オフセット値取得部３３は、所定時間に亘って車両の速度が所定速度以上である場合の角度値の平均値を、オフセット値（例えば、ヨーオフセット値やピッチオフセット値）として取得する。なお、オフセット値取得部３３は、車両１の走行が開始してから所定時間経過した後に、オフセット値を取得する。

次に、角度値補正部３４は、角度値取得部３２が取得した角度値を、オフセット値取得部３３が取得したオフセット値を用いて補正する（ステップＳ１０６）。例えば、角度値補正部３４は、ヨーオフセット値を用いてヨー角度値を補正し、ピッチオフセット値を用いてピッチ角度値を補正する。脇見判定部３５は、オフセット値が取得される前は、初期値（角度）を用いて、角度値を補正する。初期値は、撮像装置４の設置位置や運転者の標準体型等を考慮して設定された値である。

次に、脇見判定部３５は、補正後の角度値を用いて、運転者が脇見中であるか否かを判定する（ステップＳ１０８）。具体的には、脇見判定部３５は、補正後の角度値が、基準となる所定角度以上であり、かつその状態が所定時間以上継続した場合、脇見中であると判定する。

そして、ステップＳ１０８において脇見中であると判定された場合には（Ｙｅｓ）、警報制御部３６は、警報装置８に警報を行わせる（ステップＳ１１０）。一方で、ステップＳ１０８において脇見中ではないと判定された場合には（Ｎｏ）、上述したステップＳ１０２〜Ｓ１０６の処理が繰り返される。

＜本実施形態における効果＞
上述した実施形態においては、所定時間に亘って取得した角度値（ヨー角度値、ピッチ角度値）を用いて、運転者の顔に対する撮像装置４の撮像方向に対応した角度値のオフセット値（ヨーオフセット値、ピッチオフセット値）を取得する。そして、オフセット値の取得後に、角度値をオフセット値を用いて補正する。
これにより、オフセット値を用いて補正された角度値は、撮像装置４が運転者の顔に対して斜めに配置されていても、あたかも撮像装置４が運転者を正面から撮像した場合の角度値を示すことになるので、車両１の進行方向に対する運転者の顔向きを適切に取得できる。この結果、運転者が脇見中であるか否かを高精度に判定できるので、誤って警報が行われることを防止できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１ 車両
４ 撮像装置
８ 警報装置
１０ 制御装置
３２ 角度値取得部
３３ オフセット値取得部
３４ 角度値補正部
３５ 脇見判定部
３６ 警報制御部

Claims (3)

1. 車両の運転者を当該運転者の斜め下方に設けられた撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視であるか否かを判定する安全運転判定装置であって、
   前記進行方向に対する前記運転者のヨー方向の顔向き角度を示す第１角度値と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度を示す第２角度値とを取得する角度値取得部と、
   前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値として、前記角度値取得部が第１時間に亘って取得した前記第１角度値の平均値である第１オフセット値を取得し、前記第１時間よりも短い第２時間に亘って取得した前記第２角度値の平均値である第２オフセット値を取得するオフセット値取得部と、
   前記角度値取得部が取得した前記第１角度値を前記オフセット値取得部が取得した前記第１オフセット値を用いて補正し、前記第２角度値を前記第２オフセット値を用いて補正する角度値補正部と、
   を備える、安全運転判定装置。
2. 前記オフセット値取得部は、所定時間に亘って前記車両の速度が所定速度以上である場合の前記第１角度値及び前記第２角度値の各々の平均値を、前記第１オフセット値及び前記第２オフセット値として取得する、
   請求項１に記載の安全運転判定装置。
3. 車両の運転者を当該運転者の斜め下方に設けられた撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視であるか否かを判定する安全運転判定方法であって、
   前記進行方向に対する前記運転者のヨー方向の顔向き角度を示す第１角度値と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度を示す第２角度値とを取得するステップと、
   前記運転者の顔に対する前記撮像装置の撮像方向に対応した前記角度値のオフセット値として、第１時間に亘って取得した前記第１角度値の平均値である第１オフセット値を取得し、前記第１時間よりも短い第２時間に亘って取得した前記第２角度値の平均値である第２オフセット値を取得するステップと、
   前記第１角度値を前記第１オフセット値を用いて補正し、前記第２角度値を前記第２オフセット値を用いて補正するステップと、
   を備える、安全運転判定方法。

Images