JP6638291B2

JP6638291B2 - 状態判定装置

Info

Publication number: JP6638291B2
Application number: JP2015193228A
Authority: JP
Inventors: 眞由美岩男
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2015-09-30
Filing date: 2015-09-30
Publication date: 2020-01-29
Anticipated expiration: 2035-09-30
Also published as: JP2017068582A; WO2017057017A1

Description

本発明は、車両の内部を撮影して生成した画像に基づいて運転者の状態を判定する状態判定装置に関する。

従来、車両の運転者が正常な状態にあるか否かを検出する方法として、撮像部を用いて車両の内部を撮影して画像を生成し、画像に基づいて運転者の状態を判定する方法が知られている。例えば、特許文献１には、車両の内部を撮影して生成した画像に基づいて、運転者の頭部及び手の位置が所定の基準範囲にあるか否かを検出し、運転者の状態を判定する方法が開示されている。

特許第４９２２７１５号公報

特許文献１に記載された方法においては、車両の内部を撮影するカメラが、ダッシュボードのように、運転者の目に付きやすい位置に設定されている。しかし、運転中の運転者の目に付きやすい位置に撮像部が配置されていると、運転者は監視されているように感じてしまい、運転者に不快感を与える虞がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者に不快感を与えることを抑制できる状態判定装置を提供することを目的とする。

本発明の態様においては、車両の運転席の上端と、光を遮る遮光位置にあるサンバイザーの下端と、を通る仮想的な直線よりも上方に配置され、前記車両の内部を撮影して画像を生成する撮像部と、前記画像に基づいて、前記車両の運転者の状態を判定する状態判定部と、を有する、状態判定装置を提供する。

前記撮像部は、前記運転席の背もたれ部の前面に接し、かつ上下方向に延びる仮想的な直線よりも前方に配置されていてもよい。

前記撮像部は、前記車両の天井、バックパネル、ヘッドトレイ、ルームランプ又はＡピラーのいずれかに設けられていてもよい。

前記撮像部は、前記車両のハンドルを含む領域を撮影して前記画像を生成し、前記状態判定部は、前記ハンドルに対する所定の基準範囲に前記運転者の手があるか否かに基づいて、前記運転者の状態を判定してもよい。

本発明によれば、状態判定装置の撮像部が運転者に不快感を与えることを抑制するという効果を奏する。

本実施形態に係る車両の内部を側方から見た状態の模式図である。状態判定装置の構成を示すブロック図である。撮像部が生成した画像を示すブロック図である。状態判定装置の動作を示すフローチャートである。本実施形態に係る車両の内部を後方から見た状態の模式図である。

［車両の構成］
図１は、本実施形態に係る車両１のハンドル２及び運転席３を側方から見た状態の模式図である。運転席３は、運転者３０が着座するシート部３ａ、シート部３ａに連結され、運転者３０の腰部および背部を支持する背もたれ部３ｂ、及び、背もたれ部３ｂの上端に設けられ、運転者３０の頭部３３を支持するヘッドレストを含む。運転席３の前方には、サンバイザー４が設けられている。

サンバイザー４は、図１において実線で表された遮光位置と、点線で表された格納位置との間の任意の位置に調整可能である。サンバイザー４は、遮光位置において、運転者３０の目に入射する光の少なくとも一部を遮ることができる。

［撮像部２１の配置］
車両１の内部には、撮像部２１が設けられている。撮像部２１は、例えばＣＣＤカメラである。撮像部２１は、撮像部２１が撮像した画像に基づいて運転者の状態を判定する状態判定装置の一部の構成要素である。状態判定装置の詳細については、図２を参照して後述する。

以下、撮像部２１の配置について説明する。本実施の形態において、撮像部２１は、運転席３の上端（ヘッドレスト３ｃの上端）と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている。例えば、撮像部２１は、車両１の天井５に配置されている。このため、撮像部２１が運転中の運転者３０の視界に入ることを抑制できる。このことにより、撮像部２１の存在が運転者３０に不快感を与えることを抑制できる。

また、撮像部２１を直線Ｂ１よりも上方に配置することにより、撮像部２１は、ハンドル２をその表面２ａ側から撮影できる。運転者３０は通常、ハンドル２を、ハンドル２の裏面２ｂ側からではなく表面２ａ側から握る。従って、撮像部２１がハンドル２を表面２ａ側から撮影することにより、ハンドル２に対する運転者３０の右手３１の位置をより正確に特定できる。

なお、撮像部２１が直線Ｂ１よりも上方に位置する限りにおいて、撮像部２１の配置が天井５に限られることはない。図１および後述する図５においては、天井５以外の撮像部２１の配置の例が、符号２１が付された点線で示されている。撮像部２１の配置の例の詳細については後述する。

撮像部２１は、天井５に沿って移動可能であるよう、天井５に設けられていてもよい。例えば、車両１の幅方向に沿って延びる鉄板、レールなどの部材６を天井５に設け、撮像部２１を、部材６に沿って移動可能であるよう部材６に取り付けてもよい。この場合、運転者３０の座高、体型などに応じて撮像部２１を移動させることができるので、撮像部２１が撮影する画像において、ハンドル２を含む領域が運転者３０の上半身によって遮蔽されることを抑制できる。
状態判定装置２０は、撮像部２１の位置の調整を、運転者３０の座高、体型などに応じて自動で行ってもよい。

以下、撮像部２１の配置のより好ましい例について説明する。撮像部２１は、好ましくは、運転席３の背もたれ部３ｂの前面を通り、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されている。これによって、撮像部２１が撮影する画像において、ハンドル２を含む領域が運転者３０の上半身によって遮蔽されることをさらに抑制できる。

［状態判定装置２０の構成］
以下、状態判定装置２０の構成及び動作について詳細に説明する。図２は、本実施形態に係る状態判定装置２０を示すブロック図である。状態判定装置２０は、撮像部２１、状態判定部２２、警報部２３、及び送信部２４を有している。

撮像部２１は、例えばＣＣＤカメラである。撮像部２１は、所定のサンプリング周期ごとにハンドル２を含む領域を撮影して画像を生成する。撮像部２１は、生成した画像を、状態判定部２２に対して出力する。

撮像部２１は、魚眼レンズを含んでいてもよい。魚眼レンズを用いることにより、ハンドル２を含む領域を広角に撮影できるので、運転者３０の手がハンドル２から大きく離れている場合であっても、運転者３０の手を検出できる。

状態判定部２２は、例えばＣＰＵ、ＲＯＭ及びＲＡＭを含んでおり、ＲＯＭに記憶されたプログラムを実行することにより、特定部２２１及び判定部２２２として機能する。状態判定部２２は、撮像部２１から入力された画像に基づいて、車両１の運転者３０の状態を判定する。

図３は、撮像部２１が生成した画像２１１の一例を示す図である。図３に示すように、画像２１１には、ハンドル２、運転者の右手３１及び左手３２を示す画像が含まれている。特定部２２１は、撮像部２１から入力された画像２１１に映る右手３１及び左手３２を特定する。車両１の走行中、画像２１１に含まれるハンドル２などの車両１の構成要素の位置はほとんど変化しないので、特定部２２１は、位置が変化する画像領域を右手３１及び左手３２として特定することができる。特定部２２１は、例えば、予め撮像部２１によって撮像された、ハンドル２を含み、右手３１及び左手３２を含まないサンプル画像と、撮像部２１が撮像した画像２１１との差分に基づいて、画像２１１から右手３１及び左手３２を特定してもよい。

判定部２２２は、特定部２２１が特定した画像２１１中の右手３１が、ハンドル２に対する所定の基準範囲Ｒ１にあるか否かに基づいて、運転者３０の状態を判定する。例えば、判定部２２２は、所定の判定期間Ｔ１の間に右手３１が基準範囲Ｒ１から逸脱していた期間を積算した積算値Ｓ１を算出する。判定部２２２は、積算値Ｓ１が、所定の閾値Ｅ１以上である場合、運転者３０の状態を異常状態と判定する。判定期間Ｔ１は、現時点から過去のＴ１の長さの期間（例えば、６０秒）である。閾値Ｅ１は、例えば５５秒である。

基準範囲Ｒ１は、状態判定部２２のＲＯＭ又はＲＡＭに予め記憶されていてもよく、若しくは、所定の期間中における運転者３０の右手３１の位置に応じて定められてもよい。例えば、判定部２２２は、車両１が始動して走行を始めた後の所定の期間中に運転者３０の右手３１が動いた範囲を、基準範囲Ｒ１として設定する。

判定部２２２は、車両１が所定の制御状態にあることにより、右手３１が基準範囲Ｒ１から逸脱していることが重大な問題を引き起こさないと考えられる場合には、画像２１１に基づいて運転者３０の状態を判定する処理を中断してもよい。具体的には、判定部２２２は、車両１の速度に関する情報、及び車両１の操舵状況に関する情報を含む、車両１の制御情報を、車両１を制御する車両制御部から取得し、当該制御情報に基づいて、運転者３０の状態の判定を中断してもよい。例えば、判定部２２２は、制御情報に基づいて、車両１が停止している間、又は車両１が低速で走行している間は判定を中断する。また、運転者３０が操舵動作を行っている間は、右手３１がハンドル２の上部を握ることによって右手３１が基準範囲Ｒ１から逸脱することが生じうるので、判定部２２２は、判定を中断してもよい。この場合、判定部２２２は、判定を中断している間の期間を無視して、判定期間Ｔ１及び積算値Ｓ１を算出する。

判定部２２２は、運転者３０が異常状態にある場合、警報部２３に警報を出力させる。例えば、判定部２２２は、運転者３０が異常状態にあると判定した後、所定の警報停止条件が満たされるまで、警報部２３に警報を出力させる。また、判定部２２２は、警報停止条件が満たされた場合、運転者３０が正常状態であると判定し、警報部２３に警報を出力させることを停止する。

警報停止条件は、例えば、運転者３０が操舵動作、ブレーキ動作などの所定の動作を行うことである。判定部２２２は、運転者３０が所定の動作を行ったか否かを、車両１を制御する車両制御部から入力された制御情報に基づいて判定する。
また、警報停止条件は、警報を停止するためのスイッチが運転者３０によって入力されたことであってもよい。

また、警報部２３が警報を出力している間も判定部２２２が逸脱期間の積算値Ｓ１に基づく運転者３０の状態の判定を行うようにしてもよい。この場合、判定部２２２は、積算値Ｓ１に基づいて運転者３０を正常状態と判定した場合に、警報を停止してもよい。

判定部２２２は、警報部２３に連続的に警報を出力させている警報継続期間Ｓ２を算出する。そして、判定部２２２は、警報継続期間Ｓ２が、所定の閾値Ｅ２を超えた場合、送信部２４を介して、運転者３０が異常状態にあるという情報を車両１の外部に送信してもよい。

警報部２３は、判定部２２２からの入力に基づいて、運転者３０が異常状態であることを示す警報を出力する。例えば、警報部２３は、警報を音声で出力するスピーカーを含んでいる。警報部２３は、警報を文字又は画像で表示するディスプレイを含んでいてもよい。

送信部２４は、判定部２２２からの入力に基づいて、運転者３０の状態に関する情報を車両１の外部へ送信する。例えば、送信部２４は、テレマティクスサービスにおける無線通信方式を利用して、情報を送信する。車両１が、バス、トラックなどの商用車である場合、送信部２４は、例えば、車両１を管理する管理会社へ情報を送信する。

［状態判定装置２０の動作］
次に、状態判定装置２０の動作について、図４のフローチャートを参照して説明する。

はじめに、撮像部２１は、ハンドル２を含む領域を撮影して画像２１１を生成する（Ｓ１１）。次に、特定部２２１は、画像２１１に映る右手３１を特定する（Ｓ１２）。続いて、判定部２２２は、画像２１１中の右手３１が、ハンドル２に対する所定の基準範囲Ｒ１から逸脱しているか否かを判定する（Ｓ１３）。

右手３１が基準範囲Ｒ１から逸脱している場合（Ｓ１３においてＹＥＳ）、判定部２２２は、所定の判定期間Ｔ１の間に右手３１が基準範囲Ｒ１から逸脱していた期間の積算値Ｓ１を算出する（Ｓ１４）。続いて、判定部２２２は、積算値Ｓ１が所定の閾値Ｅ１以上になるか否かを判定する（Ｓ１５）。積算値Ｓ１が閾値Ｅ１以上になる場合（Ｓ１５においてＹＥＳ）、判定部２２２は、運転者３０を異常状態と判定し（Ｓ１６）、警報部２３に警報を出力させる（Ｓ１７）。

警報部２３に警報を出力させている間、判定部２２２は、所定のサンプリング周期ごとに、所定の警報停止条件が満たされたか否かを確認する（Ｓ１８）。警報停止条件が満たされていない場合（Ｓ１８においてＮＯ）、判定部２２２は、警報継続期間Ｓ２が所定の閾値Ｅ２以上になるか否かを判定する（Ｓ１９）。警報継続期間Ｓ２が閾値Ｅ２以上になる場合、（Ｓ１９においてＹＥＳ）、判定部２２２は、送信部２４に、車両１の管理会社へ、運転者３０が異常状態にあることを示す情報を送信させる（Ｓ２０）。
判定部２２２は、Ｓ１８において所定の警報停止条件が満たされた場合（Ｓ１８においてＹＥＳ）、警報部２３に警報を出力させることを停止する（Ｓ２１）。

［本実施形態による状態判定装置２０の効果］
本実施形態によれば、状態判定装置２０の撮像部２１は、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている。このため、撮像部２１が運転中の運転者３０の視界に入ることを抑制できる。従って、運転者３０に不快感を与えることを抑制しながら、運転者３０の状態を判定できる。

また、本実施形態によれば、撮像部２１は、ハンドル２をその表面２ａ側から撮影できる。このため、ハンドル２をその裏面２ｂ側から撮影する場合に比べて、ハンドル２に対する運転者３０の右手３１の位置をより正確に特定できる。

［撮像部２１の配置の変形例］
上述の説明においては、撮像部２１が天井５に設けられている例を示した。しかしながら、撮像部２１が、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている限りにおいて、撮像部２１を設ける対象が天井５に限られることはない。

例えば、図１に点線で示すように、撮像部２１は、運転席３の後方に設置されたバックパネル８に設けられていてもよい。バックパネル８は、上下方向において、運転席３の上端よりも上方まで延びている。この場合、撮像部２１は、運転席３の上端よりも上方の位置においてバックパネル８に設けられていてもよい。
また、撮像部２１は、天井５に設置されたヘッドトレイ９に設けられていてもよい。撮像部２１は、例えば、ヘッドトレイ９の底部に取り付けられている。
また、撮像部２１は、天井５に設置されたルームランプ１０に設けられていてもよい。この場合、撮像部２１は、例えば、ルームランプ１０の照明カバーの内側に配置される。
好ましくは、撮像部２１は、運転席３の背もたれ部３ｂの前面に接し、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されている。

図５は、車両の内部を後方から見た状態の模式図である。図５に点線で示すように、撮像部２１は、フロントガラス１２とサイドガラス１３の間に形成されたＡピラー１１に設けられていてもよい。例えば、撮像部２１は、Ａピラー１１の天井５側の端部に設けられている。

［判定対象の変形例］
上述の説明においては、状態判定装置２０が、運転者３０の右手３１がハンドル２に対する所定の基準範囲Ｒ１にあるか否かに基づいて、運転者３０の状態を判定する例を示した。しかしながら、これに限られることはなく、状態判定装置２０は、運転者３０の身体の任意の部分の位置に基づいて、運転者３０の状態を判定してもよい。

例えば、状態判定装置２０は、運転者３０の左手３２がハンドル２に対する所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。若しくは、状態判定装置２０は、運転者３０の右手３１がハンドル２に対する所定の基準範囲にあるか否かの情報、及び運転者３０の左手３２がハンドル２に対する所定の基準範囲にあるか否かの情報の両方を考慮して、運転者３０の状態を判定してもよい。なお、運転者３０は、ハンドル２の操作だけでなく、シフトレバー、オーディオ装置、空調装置などの操作も、左手３２を用いて行う。従って、左手３２がハンドル２から離れる頻度は、右手３１がハンドル２から離れる頻度に比べて高くなる。この点を考慮し、左手３２に基づいて運転者３０を異常状態と判定する際の閾値を、右手３１に基づいて運転者３０を異常状態と判定する際の閾値Ｅ１よりも高くしてもよい。

また、状態判定装置２０は、運転者３０の頭部３３が所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。また、状態判定装置２０は、運転者３０の上半身が所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。

［撮像部２１の変形例］
上述の説明においては、状態判定装置２０が１つの撮像部２１を有する例を示した。
しかしながら、これに限られることはなく、状態判定装置２０が複数の撮像部２１を有していてもよい。複数の撮像部２１は、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に、異なる角度からハンドル２などを撮影するように配置されている。ここで、複数の撮像部２１はいずれも、運転席３の背もたれ部３ｂの前面に接し、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されていることが好ましい。状態判定装置２０は、複数の撮像部２１が撮像した複数の画像２１１に基づいて、運転者３０の状態を判定する。このため、状態判定装置２０は、運転者３０の状態をより正確に判定できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１車両
２ハンドル
２ａ表面
２ｂ裏面
３運転席
３ａシート部
３ｂ背もたれ部
３ｃヘッドレスト
４サンバイザー
５天井
６部材
８バックパネル
９ヘッドトレイ
１０ルームランプ
１１Ａピラー
１２フロントガラス
１３サイドガラス
２０状態判定装置
２１撮像部
２２状態判定部
２２１特定部
２２２判定部
２３警報部
２４送信部
３０運転者
３１右手
３２左手
３３頭部
２１１画像

Claims

車両の運転者の状態を判定する状態判定装置であって、
前記車両の運転席の上端と、光を遮る遮光位置にあるサンバイザーの下端と、を通る仮想的な直線よりも上方に配置され、前記車両の内部を撮影して画像を生成する撮像部と、
前記画像に基づいて、前記運転者の状態を判定する状態判定部と、
を有し、
前記撮像部は、前記車両の天井に設けられた部材に沿って移動可能であるよう前記部材に取り付けられており、
前記状態判定装置は、前記撮像部の位置の調整を、前記運転者の体型に応じて自動で行う、状態判定装置。
前記撮像部は、前記運転席の背もたれ部の前面に接し、かつ上下方向に延びる仮想的な直線よりも前方に配置されている、請求項１に記載の状態判定装置。
前記撮像部は、前記車両の天井、バックパネル、ヘッドトレイ、ルームランプ又はＡピラーのいずれかに設けられている、請求項１又は２に記載の状態判定装置。
前記撮像部は、前記車両のハンドルを含む領域を撮影して前記画像を生成し、
前記状態判定部は、前記ハンドルに対する所定の基準範囲に前記運転者の手があるか否かに基づいて、前記運転者の状態を判定する、請求項１から３のいずれか１項に記載の状態判定装置。