JP4922715B2 - 乗員検出システム、警報システム、制動システム、車両 - Google Patents

Description

本発明は、車両に搭載される乗員検出技術に係り、詳しくは車両シート上の運転者に関する情報を検出する乗員検出システムの構築技術に関するものである。

従来、カメラ等の撮影手段を用いて、車両シート上の着座物に関する情報を検出する種々の技術が知られている。例えば、下記特許文献１においては、対象物の二次元的な撮影が可能なカメラを車両乗員の前方に設置し、当該カメラを介して車両シートに着座する乗員の位置を検出しようとする検出装置の構成が開示されている。
特開２００３−２９４８５５号公報

ところで、運転者が車両シート上の正規位置から外れたり、居眠りや脇見をしているような場合には、運転者の注意力が低下することによってその後のハンドル操作などの操作に遅れが生じることが想定される。そこで、運転者の注意力が低下しているか否を精度良く検出する技術を確立することによって、当該技術を各種の運転支援に用いる要請がある。ところが、上記特許文献１に記載の検出装置のように、カメラを介して車両乗員を二次元的に撮影する構成においては、運転者の注意力が低下しているか否を精度良く検出するのが下記の点において難しい。すなわち、背景と運転者との色の差や、肌と服との色の差が少ない場合に、運転者の頭部や手の検出を確実に行うのが難しいという問題が生じる。また、運転者を車両前方から撮影して、頭部や手の部位を検出する場合に、当該部位の前後位置の把握が難しいという問題が生じる。例えば運転者の頭部の位置を検出する場合に、前のめりに前傾した状態にある運転者の頭部の位置と、正規の着座状態にある運転者の頭部の位置との前後関係を把握するのが難しい。
そこで、本発明は、かかる点に鑑みてなされたものであり、車両に搭載される乗員検出システムにおいて、運転者の注意力が低下しているか否かを精度良く検出するのに有効な技術を提供することを課題とする。

前記課題を解決するために、本発明が構成される。本発明は、典型的には自動車において車両シート上の運転者に関する情報を検出する乗員検出システムに対し適用することができるが、自動車以外の車両においても同様に、本発明を適用することが可能である。

本発明にかかる乗員検出システムは、撮影部、情報抽出処理部、検出処理部、積算処理部及び判定処理部を少なくとも備える。

撮影部は、車両シート上の運転者の頭部及び手の所定の動作範囲を含む三次元画像を得る撮影手段として構成される。この撮影部としては、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラ、レーザースキャナーなどが用いられる。ここでいう「所定の動作範囲」として、典型的には、車両シートに着座した運転者の頭部や上半身が及ぶ領域、運転者の手が及ぶ領域（例えば、ハンドル、インストルメントパネル、シフトレバー、サイドブレーキレバー、アームレスト、車両シートなど）が挙げられる。この撮影部は、必要に応じて１または複数設置することが可能である。

情報抽出処理部は、撮影部によって撮影された三次元画像に基づいて、運転者の頭部の位置或いは頭部の動作に関する情報と、運転者の手の位置或いは手の動作に関する情報の両方の情報を抽出する機能を有する。このとき、本発明では、撮影部によって撮影された三次元画像を用いているため、運転者の頭部や手に関する情報が精度良く抽出される。また、運転者の頭部や手に関する情報は、運転者が車両シート上の正規位置から外れたり居眠りや脇見をして注意力が低下しているか否かを判断するのに有効とされる。

検出処理部は、情報抽出処理部によって抽出された情報に基づいて、運転者の頭部及び手のそれぞれの部位に関し、当該部位の位置或いは動作が予め規定された規定状態にあるか否かを検出する機能を有する。具体的には、運転者の頭部の位置或いは手の位置に関しては、当該位置が規定位置にあるか否かがこの検出処理部によって検出され、また運転者の頭部の動作或いは手の動作に関しては、当該動作が規定の動作であるか否かがこの検出処理部によって検出される。

積算処理部は、検出処理部における検出結果に基づいて、運転者の頭部及び手の部位が当該部位ごとに規定された規定状態を外れている場合には、当該部位が規定状態を外れている時間を積算する機能を有する。具体的には、運転者の頭部の位置或いは手の位置に関しては、当該位置が規定位置を外れている場合には、当該外れている時間がこの積算処理部によって積算され、また運転者の頭部の動作或いは手の動作に関しては、当該動作が規定の動作を外れている場合には、当該外れている時間がこの積算処理部によって積算される。

判定処理部は、運転者の頭部及び手のそれぞれの部位に関し、積算処理部によって積算された積算時間に基づいて、当該積算時間が予め設定された設定値を上回る場合に、運転者の注意力が低下していると判定する一方、当該積算時間が予め設定された設定値以下である場合に、運転者の注意力が低下していないと判定する機能を有する。すなわち、この判定は、運転者の頭部及び手のうちの少なくとも一方の部位が規定位置や動作から外れている時間が相対的に長い場合には、運転者の注意力が低下しており、その後のハンドル操作等の操作に関し反応時間の遅れが発生し易い状態にあるということに基づいている。

本発明にかかる乗員検出システムのこのような構成によれば、撮影部によって撮影された三次元画像に基づく各処理によって、運転者の注意力が低下しているか否かを精度良く検出することが可能とされる。なお、この乗員検出システムの判定処理部によって判定された、運転者の注意力が低下しているか否かに関する結果は、車両衝突の可能性を報知する警報装置、車両に制動作用を付与する制動装置、リトラクタによるシートベルトの巻取りを制御するシートベルト装置、事故の際にシートクッションを下方から押し上げることで乗員が座面に沿ってシートベルトを潜ろうとする動作を防止する装置、エアバッグにより運転者を拘束する装置、運転者の姿勢に合わせて調節される装置（例えば、シートのヘッドレストの高さを調節するもの）などにおいて運転支援を行う制御に用いられる。

本発明にかかる更なる形態の乗員検出システムは、更に作動信号出力部を備える。この作動信号出力部は、車両の衝突が予知されたときに、運転者に警報を行う１または複数の警報装置に対し作動信号を出力する構成とされる。また、この作動信号出力部は、判定処理部が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、１または複数の警報装置に対する作動信号の出力態様を異ならせる構成とされる。作動信号の出力態様を異ならせる具体的な形態の具体例に関しては、運転者の注意力が低下していると判定した場合に、所定の警報装置に対する作動信号の出力タイミングを早める形態、所定の警報装置に対する作動信号の出力強度を高める形態、複数の警報装置に関し各警報装置に対する作動信号の出力タイミングを変える形態などを適宜採用することができる。なお、作動信号出力部は、警報装置に対し制御信号を出力することが可能であればよく、警報装置との間にＥＣＵ等の制御部が介在する構成であってもよいし、或いは警報装置に対し直接的に制御信号を出力する構成であってもよい。

本発明にかかる乗員検出システムのこのような構成は、運転者の注意力の低下や反応遅れ、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能な乗員検出システムを構築するのに有効とされる。

本発明にかかる更なる形態の乗員検出システムは、更に制御信号出力部を備える。この制御信号出力部は、運転者の踏力によって車両に制動作用を付与する制動装置に対し制動開始タイミングを制御する制御信号を出力する構成とされる。また、この制御信号出力部は、判定処理部が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、制動装置に対する制御信号の出力態様を異ならせるように構成される。制御信号の出力態様を異ならせる具体的な形態の具体例に関しては、運転者の注意力が低下していると判定した場合に、制動開始タイミングを早めるべく、ブレーキパッドとブレーキディスク或いはブレーキドラムとの間のクリアランスを狭くする形態、ブレーキパッドの作動速度を高める形態などを適宜採用することができる。

本発明にかかる乗員検出システムのこのような構成は、運転者の注意力の低下や反応遅れが想定される場合に対応して、車両の制動操作が遅延するのを防止することが可能な乗員検出システムを構築するのに有効とされる。

本発明にかかる警報システムは、前述の乗員検出システムと、運転者に警報を行う１または複数の警報装置と、作動信号出力部を少なくとも備える。作動信号出力部は、車両の衝突が予知されたときに、１または複数の警報装置に対し作動信号を出力する構成とされる。また、この作動信号出力部は、判定処理部が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、１または複数の警報装置に対する作動信号の出力態様を異ならせる構成とされる。

本発明にかかる警報システムのこのような構成は、運転者の注意力の低下や反応遅れ、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能な警報システムを構築するのに有効とされる。

本発明にかかる制動システムは、前述の乗員検出システムと、運転者の踏力によって車両に制動作用を付与する制動装置と、制御信号出力部を少なくとも備える。
制御信号出力部は、制動装置に対し、制動開始タイミングを制御する制御信号を出力する構成とされる。また、制御信号出力部は、判定処理部が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、制動装置に対する制御信号の出力態様を異ならせる構成とされる。

本発明にかかる制動システムのこのような構成は、運転者の注意力の低下や反応遅れが想定される場合に対応して、車両の制動操作が遅延するのを防止することが可能な制動システムを構築するのに有効とされる。

本発明にかかる車両は、エンジン走行系統と、電装系統と、駆動制御装置と、乗員検出装置を少なくとも備える。
エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。駆動制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。乗員検出装置は、車両シート上の運転者に関する情報を検出する構成とされる。この乗員検出装置は、前述の乗員検出システムを用いて構成される。

本発明にかかる車両のこのような構成によれば、撮影部によって撮影された三次元画像に基づく各処理によって、運転者の注意力が低下しているか否かを精度良く検出することが可能な乗員検出システムを搭載する車両が提供されることとなる。

本発明にかかる車両は、エンジン走行系統と、電装系統と、駆動制御装置と、前述の警報システム及び制動システムの少なくとも一方の装置を少なくとも備える。
エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。駆動制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。

本発明にかかる車両のこのような構成によれば、運転者の注意力の低下や反応遅れ、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能な警報システムや、運転者の注意力の低下や反応遅れが想定される場合に対応して、車両の制動操作が遅延するのを防止することが可能な制動システムを搭載する車両が提供されることとなる。

以上のように、本発明によれば、車両に搭載される乗員検出システムにおいて、運転者の注意力が低下しているか否かを精度良く検出することが可能となった。

以下、本発明の実施の形態につき図面を参照しつつ詳細に説明する。まず、図１を参照しながら、本発明における「乗員検出システム」及び「乗員検出装置」の一実施の形態である乗員検出システム１００の構成につき説明する。

本実施の形態に係る車両搭載用の乗員検出システム１００のシステム構成が図１に示される。図１に示すように、本実施の形態の乗員検出システム１００は、本発明における「車両」としての自動車車両にて、運転者に関する情報を検出するために搭載されるものであり、撮影手段１１０及び制御手段１２０を主体に構成されている。更に、この乗員検出システム１００は、車両側の駆動制御装置であるＥＣＵ２００及び作動装置２１０とともに、所定の車両支援システム（本発明における「警報システム」及び「制動システム」に対応するシステム）を構成する。当該車両は、特に図示しないものの、エンジン及び車両の走行に関与する系統であるエンジン走行系統、車両に使われる電機部品に関与する系統である電装系統、エンジン走行系統及び電装系統の駆動制御を行う駆動制御装置（ＥＣＵ２００）を少なくとも備える。

本実施の形態の撮影手段１１０は、撮影デバイスとしての３Ｄカメラ１１２及びデータ転送回路を含む構成とされる。３Ｄカメラ１１２は、Ｃ−ＭＯＳ又はＣＣＤ（電荷結合素子）を用いたうえで、光センサをアレイ状（格子状）に配置した３Ｄ（三次元画像）式のカメラ（「モニター」といもいう）として構成される。このカメラによって、単一視点に関する三次元画像が得られることとなり、運転者までの距離が複数回計測されて立体表面形状が検出されることで、当該運転者の有無、大きさ、位置、姿勢などが認識される。この３Ｄカメラ１１２として、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラを用いることができる。この撮影手段１１０（３Ｄカメラ１１２）が、本発明における「三次元画像を得る撮影部」に相当する。この３Ｄカメラ１１２にかえて、三次元画像を得るレーザースキャナーを用いることもできる。

なお、本実施の形態のカメラ１１２は、自動車のインナーリヤビューミラー周辺部、サイドミラー周辺部、ダッシュボードの左右センター部分などにおいて、運転者の所定の動作範囲に向けて配置される。ここでう「運転者の所定の動作範囲」として、典型的には、車両シートに着座した運転者の頭部や上半身が及ぶ領域、運転者の手が及ぶ領域（例えば、ハンドル、インストルメントパネル、シフトレバー、サイドブレーキレバー、アームレスト、車両シートなど）が挙げられる。これにより、３Ｄカメラ１１２を用いて、車両シート上に着座している運転者の所定の動作範囲に関する情報が、周期的に複数回、計測されることとなる。また、特に図示しないものの、本実施の形態の乗員検出システム１００には、車両バッテリの電力をこの３Ｄカメラ１１２に供給する電源装置が搭載されている。この３Ｄカメラ１１２によるこの撮影は、例えばイグニッションキーがＯＮ状態になったとき、あるいは運転席内に装着された着座センサ（図示省略）が、当該運転席に着座した乗員を検知したときに開始されるように設定される。

本実施の形態の制御手段１２０は、更に画像処理部１３０、演算部（ＭＰＵ）１５０、記憶部１７０、入出力部１９０、また特に図示しないものの各種の周辺装置を少なくとも備える。この制御手段１２０は、３Ｄカメラ１１２により得られた画像に基づいて、車両乗員席上の運転者に関する情報を導出する処理を行う手段として構成される。

画像処理部１３０は、品質の良い画像を得るためのカメラ制御や、３Ｄカメラ１１２によって撮影した画像を加工分析するための画像処理制御を行う手段として構成される。具体的には、カメラ制御においては、フレームレート、シャッター時間、感度調整、精度補正が行われ、ダイナミックレンジや輝度、ホワイトバランスなどが調整される。また、画像処理制御においては、画像の回転補正やレンズ歪み補正、フィルター演算、差分演算などの画像前処理演算と、形状判定やトラッキングなどの画像認識処理演算が実行される。

本実施の形態の演算部１５０は、情報抽出処理部１５２、検出処理部１５４、積算処理部１５６及び判定処理部１５８を少なくとも備える。この演算部１５０は、情報抽出処理部１５２、検出処理部１５４、積算処理部１５６及び判定処理部１５８のうちの複数の処理部が適宜組み合わせられた構成であってもよい。

演算部１５０を構成する情報抽出処理部１５２は、画像処理部１３０からの情報に基づいて、運転者に関する情報を抽出する処理を行う。具体的には、運転者の頭部の位置或いは頭部の動作に関する情報と、運転者の手の位置或いは手の動作に関する情報のうちの少なくとも一方の情報が、この情報抽出処理部１５２によって抽出（導出）される。この情報抽出処理部１５２が、本発明における「情報抽出処理部」に相当する。

また、演算部１５０を構成する検出処理部１５４は、情報抽出処理部１５２からの情報に基づいて、運転者の頭部及び手のうちの少なくとも一方の部位に関し、当該部位の位置或いは動作が予め規定された規定状態にあるか否かを検出する機能を有する。具体的には、運転者の頭部の位置或いは手の位置に関しては、当該位置が規定位置にあるか否かがこの検出処理部１５４によって検出され、また運転者の頭部の動作或いは手の動作に関しては、当該動作が規定の動作であるか否かがこの検出処理部１５４によって検出される。この検出処理部１５４が、本発明における「検出処理部」に相当する。

また、演算部１５０を構成する積算処理部１５６は、検出処理部１５４における検出結果に基づいて、運転者の頭部及び手のうちの少なくとも一方の部位が規定状態を外れている場合には、当該部位が規定状態を外れている時間を積算する機能を有する。具体的には、運転者の頭部の位置或いは手の位置に関しては、当該位置が規定位置を外れている場合には、当該外れている時間がこの積算処理部１５６によって積算され、また運転者の頭部の動作或いは手の動作に関しては、当該動作が規定の動作を外れている場合には、当該外れている時間がこの積算処理部１５６によって積算される。この積算処理部１５６が、本発明における「積算処理部」に相当する。

演算部１５０を構成する判定処理部１５８は、積算処理部１５６によって積算された積算時間に基づいて、運転者の注意力が低下しているか否かを判定する機能を有する。具体的には、積算処理部１５６によって積算された積算時間が予め設定された設定値を上回る場合に、運転者の注意力が低下していると判定する一方、積算処理部１５６によって積算された積算時間が予め設定された設定値以下である場合に、運転者の注意力が低下していないと判定する。この判定処理部１５８が、本発明における「判定処理部」に相当する。

本実施の形態の記憶部１７０は、演算制御ソフトウエアに加えて、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターン、演算部１５０における各種の処理結果を記録（記憶）する手段として構成される。

本実施の形態の入出力部１９０は、車両全体に関する制御を行うＥＣＵ２００との間で、判定処理部１５８における判定結果をはじめ、車両に関する情報、周辺の交通状況に関する情報、天候や時間帯に関する情報などが入力され認識結果を出力する。車両に関する情報の具体例としては、レーダーやカメラによる車両の衝突予知情報、車両ドアの開閉、シートベルトの装脱着、ブレーキの作動、車速、ステアリング操舵角度などがある。本実施の形態では、この入出力部１９０から出力された情報に基づいて、ＥＣＵ２００が作動装置２１０に対し駆動制御信号を出力する構成とされる。

本実施の形態の作動装置２１０としては、レーダーやカメラによる情報に基づいて車両衝突の可能性を報知する警報装置、運転者の踏力によって車両に制動作用を付与する制動装置、リトラクタによるシートベルトの巻取りを制御するシートベルト装置、事故の際にシートクッションを下方から押し上げることで乗員が座面に沿ってシートベルトを潜ろうとする動作を防止する装置（以下、「サポート装置」ともいう）、エアバッグにより運転者を拘束する装置、運転者の姿勢に合わせて調節される装置（例えば、シートのヘッドレストの高さを調節するもの）などが挙げられる。なお、入出力部１９０は、作動装置２１０に対し制御信号を出力することが可能であればよく、図１に示すように、作動装置２１０との間にＥＣＵ２００が介在する構成であってもよいし、或いは作動装置２１０に対し直接的に制御信号を出力する構成であってもよい。

作動装置２１０として、レーダーやカメラによる情報に基づいて車両衝突の可能性を報知する警報装置を用いる場合、この警報装置が、本発明における「警報装置」に相当する。また、この場合に、警報装置に対し作動信号を出力する入出力部１９０が、本発明における「作動信号出力部」に相当する。また、作動装置２１０として、運転者の踏力によって車両に制動作用を付与する制動装置を用いる場合、この制動装置が、本発明における「制動装置」に相当する。また、この場合に、制動装置に対し制御信号を出力する入出力部１９０が、本発明における「制御信号出力部」に相当する。

次に、上記構成の乗員検出システム１００の動作を、図１に加え図２〜図８を参照しながら説明する。なお、図２〜図６には乗員検出システム１００の動作に関する制御が示されているが、これらの各制御は、いずれも図１中の乗員検出システム１００の検出結果に基づいてＥＣＵ２００によって実行される。

図２には、本実施の形態の作動装置２１０としての警報装置を制御するための「警報制御」のフローチャートが示される。図２に示すこの警報制御においては、まず、図２中のステップＳ１０によって、「頭部と手の位置検出処理」が遂行される。詳細については後述するが、この処理が遂行されることによって、運転者の頭部と手の位置に関する情報が導出される。次に、ステップＳ３０、ステップＳ５０、ステップＳ７０によって、運転者の頭部や手に関する状態を判別する処理が遂行される。ステップＳ３０では運転者の頭部に関する状態が、ステップＳ５０では運転者の手に関する状態が、またステップＳ７０では運転者のハンドルを握る手に関する状態がそれぞれ判別される。これらステップＳ３０、ステップＳ５０、ステップＳ７０の少なくとも１つのステップは、必要に応じて適宜省略することもできる。その後、ステップＳ９０では、ステップＳ１０〜Ｓ７０に至る一連の処理が適正に行われたか否かを判定し、当該一連の処理が適正に行われていない、すなわちエラーであると判定した場合（ステップＳ９０のＮＯの場合）にはステップＳ１０に戻り、当該一連の処理が適正に行われたと判定した場合（ステップＳ９０のＮＯの場合）にはそのまま警報制御を終了する。また、このようなエラーに関する判定は、ステップＳ９０に加えて或いはかえて、ステップＳ１０〜Ｓ７０の各ステップにおいて個別に行われる構成であってもよい。

図２中のステップＳ１０の詳細については図３が参照される。図３には、図２中の「頭部と手の位置検出処理」のフローチャートが示される。この検出処理においては、図３中のステップＳ１１〜Ｓ１３が順次遂行される。まず、ステップＳ１１では、図１中の３Ｄカメラ１１２によって撮影された三次元画像を画像処理部１３０にて画像処理する。次に、ステップＳ１２では、ステップＳ１１にて取得した三次元画像から、運転者の頭部及び手に関する特徴を図１中の情報抽出処理部１５２が抽出し、この抽出情報が、引き続きステップＳ１３において出力される。ステップＳ１３にて出力された情報は、図１中の記憶部１７０に一旦記憶される。

図２中のステップＳ３０の詳細については図４が参照される。図４には、図２中の「頭部に関する状態判別処理」のフローチャートが示される。この判別処理においては、図４中のステップＳ３１〜Ｓ４０が順次遂行される。

まず、ステップＳ３１では、運転者の頭部に関する特徴を記憶部１７０から読み出し、ステップＳ３２では、図１中の検出処理部１５４が、運転者の頭部が規定位置にあるか否かを検出する。具体的には、運転者の頭部が通常運転時にあるべき範囲を予め規定しておき、当該範囲に運転者の頭部が検出された場合に運転者の頭部が規定位置に有ることが検出され、当該範囲に運転者の頭部が検出されない場合に運転者の頭部が規定位置に無いことが検出される。この規定位置は、例えば図７に示すように、車両シート１０に正規姿勢で着座した運転者の頭部が存在する領域Ｓ１内の位置として定められる。運転者の頭部が規定位置に無い場合としては、運転者の頭部が左右或いは前後に傾斜している場合などが挙げられる。運転者の頭部が規定位置に無いことが検出された場合（ステップＳ３２のＹＥＳ）には、ステップＳ３３にすすみ、運転者の頭部が規定位置に有ることが検出された場合（ステップＳ３２のＮＯ）には、ステップＳ３４にすすむ。ステップＳ３３では、図１中の積算処理部１５６が、運転者の頭部が規定位置に無い時間（「頭部の位置時間」ともいう）Ｔａを積算する一方、ステップＳ３４では、頭部の位置時間をリセットする。

次に、ステップＳ３５では、ステップＳ３１にて読み出した運転者の頭部に関する特徴から、図１中の検出処理部１５４が、運転者の頭部が動いているか否か（頭部が規定の動作状態にあるか否か）を検出する。具体的には、運転者の頭部の経時的な時間変化を検出し、当該時間変化が相対的に多い場合に、運転者の頭部が動いていることが検出され、当該時間変化が相対的に少ない場合に、運転者の頭部が動いていない或いは頭部の動きが少ないことが検出される。運転者の頭部が動いていることが検出された場合（ステップＳ３５のＹＥＳ）には、ステップＳ３６にすすみ、運転者の頭部が動いていない或いは頭部の動きが少ないことが検出された場合（ステップＳ３５のＮＯ）には、ステップＳ３７にすすむ。ステップＳ３６では、図１中の積算処理部１５６が、運転者の頭部が動いていた時間（「頭部の動き時間」ともいう）Ｔｂを積算する一方、ステップＳ３７では、頭部の動き時間をリセットする。

次に、ステップＳ３８では、図１中の積算処理部１５６が、ステップＳ３３によって積算した頭部の位置時間Ｔａと、ステップＳ３６によって積算した頭部の動き時間Ｔｂを更に積算する。そして、ステップＳ３９では、図１中の判定処理部１５８が、当該積算時間と予め設定された規定時間とを比較する。当該積算時間が規定値を上回る場合（ステップＳ３９のＹＥＳ）には、ステップＳ４０にて早期警報出力を行い、そうでない場合（ステップＳ３９のＮＯ）、すなわち当該積算時間が規定値以下である場合には、そのまま判別処理を終了する。ステップＳ４０におけるこの早期警報出力では、車両の衝突が予知されたことを条件にして、作動装置２１０としての警報装置が警報を出力するとともに、この警報を出力する出力タイミングを、運転者の頭部が正規状態にある通常時よりも早める制御として遂行される。このとき、警報装置による警報の出力態様としては、ブザーや音声による出力、ハンドルやインストルメントパネルにおけるランプ表示や画面表示による出力、ハンドルやレバー類の振動による出力、またこれらのうちの複数の出力を複合した出力などが用いられる。なお、本明細書でいう「正規状態」とは、車両シート上における正規位置（標準的な着座位置）において、車両乗員の背中がシートバックに密着し、且つ車両乗員の頭部がヘッドレストの前面部分に近接した状態とされる。この正規位置を外れた領域は、車両乗員についての正規外位置、いわゆるＯＯＰ（アウト オブ ポジション）と称呼される。

本実施の形態において、運転者の頭部が規定位置に無い状態や、運転者の頭部が動いている状態は、運転者の注意力が低下した状態であり、その後のハンドル操作等の操作に関し反応時間の遅れが発生し易い状態とされるため、このような場合にステップＳ６０の早期警報出力を行うことによって、運転者の反応時間の遅れを補償することができ効果的である。また、警報装置における警報の出力タイミングを、運転者の頭部が正規状態にある通常時よりも早める制御にかえて、警報装置に対する作動信号の出力強度を運転者の頭部が正規状態にある通常時よりも高める制御を行うこともできる。このような制御を用いることによって、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能とされる。なお、運転者の頭部が動いている場合においては、頭部の動きの大きさ（変位量）に応じてステップＳ３６以降の処理に要する時間を短縮し、これによって運転者の注意力が低下した状態であるか否かを検出する処理を早めるのが好ましい。

図２中のステップＳ５０の詳細については図５が参照される。図５には、図２中の「手に関する状態判別処理」のフローチャートが示される。この判別処理においては、図５中のステップＳ５１〜Ｓ６０が順次遂行される。

まず、ステップＳ５１では、運転者の手に関する特徴を記憶部１７０から読み出し、ステップＳ５２では、図１中の検出処理部１５４が、運転者の手が規定位置にあるか否かを判定する。具体的には、運転者の手が通常運転時にあるべき範囲を予め設定しておき、当該範囲に運転者の手が検出された場合に運転者の手が規定位置に有ることが検出され、当該範囲に運転者の手が検出されない場合に運転者の手が規定位置に無いことが検出される。運転者の手が規定位置に無い場合としては、運転者の手がシフトレバー、サイドブレーキレバー、シート、アームレスト、インストルメントパネル、運転者自身の体に有る場合などが挙げられる。運転者の手が規定位置に無いことが検出された場合（ステップＳ５２のＹＥＳ）には、ステップＳ５３にすすみ、運転者の手が規定位置に有ることが検出された場合（ステップＳ５２のＮＯ）には、ステップＳ５４にすすむ。ステップＳ５３では、図１中の積算処理部１５６が、運転者の手が規定位置に無い時間（「手の位置時間」ともいう）Ｔｃを積算する一方、ステップＳ５４では、手の位置時間をリセットする。

次に、ステップＳ５５では、ステップＳ５１にて読み出した運転者の手に関する特徴から、図１中の検出処理部１５４が、運転者の手が動いているか否か（手が規定の動作状態にあるか否か）を判定する。具体的には、運転者の手の経時的な時間変化を検出し、当該時間変化が相対的に多い場合に、運転者の手が動いていることが検出され、当該時間変化が相対的に少ない場合に、運転者の手が動いていない或いは手の動きが少ないことが検出される。運転者の手が動いていることが検出された場合（ステップＳ５５のＹＥＳ）には、ステップＳ５６にすすみ、運転者の手が動いていない或いは手の動きが少ないことが検出された場合（ステップＳ５５のＮＯ）には、ステップＳ５７にすすむ。ステップＳ５６では、図１中の積算処理部１５６が、運転者の手が動いていた時間（「手の動き時間」ともいう）Ｔｄを積算する一方、ステップＳ５７では、手の動き時間をリセットする。

次に、ステップＳ５８では、図１中の積算処理部１５６が、ステップＳ５３によって積算した手の位置時間Ｔｃと、ステップＳ５６によって積算した手の動き時間Ｔｄを更に積算する。そして、ステップＳ５９では、図１中の判定処理部１５８が、当該積算時間と予め設定された規定値とを比較する。当該積算時間が規定値を上回る場合（ステップＳ５９のＹＥＳ）には、ステップＳ６０にて早期警報出力を行い、そうでない場合（ステップＳ５９のＮＯ）、すなわち当該積算時間が規定値以下である場合には、そのまま判別処理を終了する。ステップＳ６０におけるこの早期警報出力では、上述のステップＳ４０における早期警報出力と同様に、車両の衝突が予知されたことを条件にして、作動装置２１０としての警報装置が警報を出力するとともに、この警報を出力する出力タイミングを、運転者の頭部が正規状態にある通常時よりも早める制御として遂行される。

本実施の形態において、運転者の手が規定位置に無い状態や、運転者の手が動いている状態は、運転者の注意力が低下した状態であり、その後のハンドル操作等の操作に関し反応時間の遅れが発生し易い状態とされるため、このような場合にステップＳ６０の早期警報出力を行うことによって、運転者の反応時間の遅れを補償することができ効果的である。また、警報装置における警報の出力タイミングを、運転者の手が正規状態にある通常時よりも早める制御にかえて、警報装置に対する作動信号の出力強度を運転者の手が正規状態にある通常時よりも高める制御を行うこともできる。このような制御を用いることによって、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能とされる。なお、運転者の手が動いている場合においては、手の動きの大きさ（変位量）に応じてステップＳ５６以降の処理に要する時間を短縮し、これによって運転者の注意力が低下した状態であるか否かを検出する処理を早めるのが好ましい。

図２中のステップＳ７０の詳細については図６が参照される。図６には、図２中の「ハンドルを握る手に関する状態判別処理」のフローチャートが示される。この判別処理においては、図６中のステップＳ７１〜Ｓ７４が順次遂行される。

まず、ステップＳ７１では、運転者の手に関する特徴を記憶部１７０から読み出し、ステップＳ７２では、図１中の検出処理部１５４が、運転者の両手のうちの少なくとも一方がハンドルにあるか否かを検出する。具体的には、ハンドル近傍の所定の範囲を予め設定しておき、当該範囲に運転者の手が検出された場合に運転者の両手のうちの少なくとも一方がハンドルに有ることが検出され、当該範囲に運転者の手が検出されない場合に運転者の両手とも規定位置に無いことが検出される。運転者の手が規定位置に有ることが検出された場合（ステップＳ７２のＹＥＳ）には、ステップＳ７３にすすみ、運転者の手が規定位置に無いことが検出された場合（ステップＳ７２のＮＯ）には、ステップＳ７４にすすみ、早期警報出力を行う。

ステップＳ７３では、図１中の検出処理部１５４が、運転者の手がハンドルの下部領域を掴んでいるか否かを検出する。具体的には、ハンドルの下部領域を把持する手が存在する所定の範囲を予め設定しておき、当該範囲に運転者の手が検出された場合に運転者の手がハンドルの下部領域を掴んでいることが検出され、当該範囲に運転者の手が検出されない場合に運転者の手がハンドルの下部領域を掴んでいないことが検出される。この範囲は、例えば図８に示すように、運転者によって把持されるハンドル（ステアリングホイール）１２の下部領域Ｓ２として定められる。この下部領域Ｓ２は、３本スポークタイプのハンドルの場合には、ハンドル中央のパッド部分から下方へと延在するスポークとホイールとの境界部分を中心としたその周辺領域とされ、４本スポークタイプのハンドルの場合には、ハンドル中央のパッド部分から斜め下方へと延在する２本のスポークとホイールとによって区画される領域とされる。運転者の手がハンドルの下部領域を掴んでいることが検出された場合（ステップＳ７３のＹＥＳ）には、ステップＳ７４にすすみ、早期警報出力を行う。一方、運転者の手がハンドルの下部領域を掴んでいないことが検出された場合（ステップＳ７３のＮＯ）には、そのまま処理を終了する。ステップＳ７４におけるこの早期警報出力では、上述のステップＳ４０における早期警報出力と同様に、車両の衝突が予知されたことを条件にして、作動装置２１０としての警報装置が警報を出力するとともに、この警報を出力する出力タイミングを、運転者の頭部が正規状態にある通常時よりも早める制御として遂行される。

本実施の形態において、運転者の手がハンドルの下部領域を掴んでいる状態は、その後のハンドル操作等を行う場合に当該操作に遅れが生じる可能性が高い状態であるため、このような場合にステップＳ７４の早期警報出力を行うことによって、運転者の操作の遅れを補償することができ効果的である。また、警報装置における警報の出力タイミングを、運転者の手が正規状態にある通常時よりも早める制御にかえて、警報装置に対する作動信号の出力強度を、ハンドルを握る運転者の手が正規状態にある通常時よりも高める制御を行うこともできる。このような制御を用いることによって、警報に関する慣れが発生することが想定される場合に対応して、運転者が運転に集中するように喚起することが可能とされる。

以上のように、本実施の形態の乗員検出システム１００によれば、３Ｄカメラ１１２によって撮影された三次元画像に基づく各処理によって、運転者の注意力が低下しているか否かを精度良く検出することが可能とされる。すなわち、三次元画像を用いる場合には、背景と運転者との色の差や、肌と服との色の差が少ないような場合、前のめりに前傾した状態にある運転者の頭部の位置を検出する場合等であっても、二次元画像を検出する構成に比して、高い検出精度を確保することが可能となる。
また、本実施の形態によれば、乗員検出システム１００における精度の高い検出結果に応じた適正な態様で作動装置２１０を制御することで、作動装置２１０のきめ細かい制御が可能となる。
また、本実施の形態によれば、乗員検出システム１００における精度の高い検出結果に応じた適正な態様で作動装置２１０を制御することが可能な車両が提供される。

（他の実施の形態）
なお、本発明は上記の実施の形態のみに限定されるものではなく、種々の応用や変形が考えられる。例えば、上記実施の形態を応用した次の各形態を実施することもできる。

上記図２〜図６に示す実施の形態では、作動装置２１０として、レーダーやカメラによる情報に基づいて車両衝突の可能性を報知する警報装置を用いる場合について記載したが、本発明では、作動装置２１０として、運転者の踏力によって車両に制動作用を付与する制動装置や、事故の際にシートクッションを下方から押し上げることで乗員が座面に沿ってシートベルトを潜ろうとする動作を防止するサポート装置に搭載された振動装置を用いることもできる。

作動装置２１０として制動装置を用いる場合、入出力部１９０は、制動装置に対し、ブレーキパッドとブレーキディスク或いはブレーキドラムとの間のクリアランスを制御する制御信号を出力するとともに、判定処理部１５８が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、制動装置に対する制御信号の出力態様を異ならせる構成とされる。具体的には、制動開始タイミングを早めるべく、ブレーキパッドとブレーキディスク或いはブレーキドラムとの間のクリアランスを通常時よりも狭くする形態、ブレーキパッドの作動速度を通常時よりも高める形態などを適宜採用することができる。

また、作動装置２１０としてサポート装置に搭載された振動装置を用いる場合、入出力部１９０は、判定処理部１５８が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、振動装置の作動態様を異ならせる構成とされる。具体的には、運転者に対する注意喚起を図るべく、運転者が右側に傾いている場合には右側に重心があるため、振動装置における振動発生部位を通常時よりも右側にシフトさせる形態を採用することができる。

また、上記実施の形態では、作動装置２１０として単一の警報装置を用いる場合について記載したが、本発明では、作動装置２１０として複数の装置を組み合わせた構成を採用することもできる。

例えば、インストルメントパネルのランプ装置、サポート装置に搭載された第１の振動装置、ハンドルに搭載された第２の振動装置を組み合わせて、作動装置２１０を構成することができる。この場合、入出力部１９０は、判定処理部１５８が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、３つの装置（ランプ装置、第１の振動装置及び第２の振動装置）に対する制御信号の出力態様を異ならせる構成とされる。具体的には、通常では車両の衝突が予知されると、ランプ装置、第１の振動装置、第２の振動装置の順番で作動させるのに対し、運転者がハンドルから片手を離してインストルメントパネルのスイッチ類を操作しており、運転者の注意力が低下しているような場合には、ランプ装置及び第１の振動装置の作動を、第２の振動装置に優先して同時に行うことができる。このような構成によれば、各装置の作動順番を変更することによって警報に対する慣れを防止することができる。特に、ランプ装置及び第１の振動装置の作動は、運転者に対する注意喚起に有効性の高いことから、ランプ装置及び第１の振動装置を第２の振動装置に優先して作動させる本構成は、運転者に対する注意喚起作用を高めるのにとりわけ効果的である。また、高速で運転中は、第２の振動装置による振動が運転者に伝わり難いことを勘案して、車両の速度に応じて３つの装置の作動態様を設定することもできる。

また、インストルメントパネルのランプ装置、サポート装置に搭載された第１の振動装置を組み合わせて、作動装置２１０を構成することができる。この場合、入出力部１９０は、判定処理部１５８が運転者の注意力が低下していると判定した場合と、運転者の注意力が低下していないと判定した場合とで、２つの装置（ランプ装置及び第１の振動装置）に対する制御信号の出力態様を異ならせる構成とされる。具体的には、通常では車両の衝突が予知されると、ランプ装置、第１の振動装置を弱振動、第１の振動装置を強振動の順番で作動させるのに対し、運転者がハンドルから片手を離してインストルメントパネルのスイッチ類を操作しており、運転者の注意力が低下しているような場合には、ランプ装置及び第１の振動装置を強振動の作動を同時に行うことができる。このような構成によれば、各装置の作動順番を変更することによって警報に対する慣れを防止することができる。

また、上記実施の形態では、自動車に装着される乗員検出システム１００の構成について記載したが、自動車をはじめ、航空機、船舶、バス、電車等の各種の車両に装着される乗員検出システムの構成に対し本発明を適用することができる。

本実施の形態に係る車両搭載用の乗員検出システム１００のシステム構成を示す図である。 本実施の形態の作動装置２１０としての警報装置を制御するための「警報制御」のフローチャートである。 図２中の「頭部と手の位置検出処理」のフローチャートである。 図２中の「頭部に関する状態判別処理」のフローチャートである。 図２中の「手に関する状態判別処理」のフローチャートである。 図２中の「ハンドルを握る手に関する状態判別処理」のフローチャートである。 本実施の形態において、車両シート１０に正規姿勢で着座した運転者の頭部が存在する領域Ｓ１を示す図である。 本実施の形態において、ハンドル１２の下部領域Ｓ２を示す平面図である。

１０…車両シート
１２…ハンドル（ステアリングホイール）
１００…乗員検出システム
１１０…撮影手段
１１２…３Ｄカメラ
１２０…制御手段
１３０…画像処理部
１５０…演算部（ＭＰＵ）
１５２…情報抽出処理部
１５４…検出処理部
１５６…積算処理部
１５８…判定処理部
１７０…記憶部
１９０…入出力手段
２００…ＥＣＵ
２１０…作動装置

Claims (7)

1. 車両シート上の運転者の頭部及び手の所定の動作範囲を含む三次元画像を得る撮影部と、
   前記撮影部によって撮影された三次元画像に基づいて、前記運転者の頭部の位置或いは頭部の動作に関する情報と、前記運転者の手の位置或いは手の動作に関する情報の両方の情報を抽出する情報抽出処理部と、
   前記情報抽出処理部によって抽出された情報に基づいて、前記運転者の頭部及び手のそれぞれの部位に関し、当該部位の位置或いは動作が予め規定された規定状態にあるか否かを検出する検出処理部と、
   前記検出処理部における検出結果に基づいて、前記運転者の頭部及び手の部位が当該部位ごとに規定された前記規定状態を外れている場合には、当該部位が前記規定状態を外れている時間を積算する積算処理部と、
   前記運転者の頭部及び手のそれぞれの部位に関し、前記積算処理部によって積算された積算時間に基づいて、当該積算時間が予め設定された設定値を上回る場合に、前記運転者の注意力が低下していると判定する一方、当該積算時間が予め設定された設定値以下である場合に、前記運転者の注意力が低下していないと判定する判定処理部と、
   を備える構成であることを特徴とする乗員検出システム。
2. 請求項１に記載の乗員検出システムであって、
   更に作動信号出力部を備え、この作動信号出力部は、前記車両の衝突が予知されたときに、前記運転者に警報を行う１または複数の警報装置に対し作動信号を出力するとともに、前記判定処理部が前記運転者の注意力が低下していると判定した場合と、前記運転者の注意力が低下していないと判定した場合とで、前記１または複数の警報装置に対する作動信号の出力態様を異ならせるように構成されていることを特徴とする乗員検出システム。
3. 請求項１に記載の乗員検出システムであって、
   更に制御信号出力部を備え、この制御信号出力部は、前記運転者の踏力によって車両に制動作用を付与する制動装置に対し、制動開始タイミングを制御する制御信号を出力するとともに、前記判定処理部が前記運転者の注意力が低下していると判定した場合と、前記運転者の注意力が低下していないと判定した場合とで、前記制動装置に対する制御信号の出力態様を異ならせるように構成されていることを特徴とする乗員検出システム。
4. 請求項１に記載の乗員検出システムと、
   前記運転者に警報を行う１または複数の警報装置と、
   前記車両の衝突が予知されたときに、前記１または複数の警報装置に対し作動信号を出力するとともに、前記判定処理部が前記運転者の注意力が低下していると判定した場合と、前記運転者の注意力が低下していないと判定した場合とで、前記１または複数の警報装置に対する作動信号の出力態様を異ならせる作動信号出力部と、
   を備える構成であることを特徴とする警報システム。
5. 請求項１に記載の乗員検出システムと、
   前記運転者の踏力によって車両に制動作用を付与する制動装置と、
   前記制動装置に対し、制動開始タイミングを制御する制御信号を出力するとともに、前記判定処理部が前記運転者の注意力が低下していると判定した場合と、前記運転者の注意力が低下していないと判定した場合とで、前記制動装置に対する制御信号の出力態様を異ならせる制御信号出力部と、
   を備える構成であることを特徴とする制動システム。
6. エンジン走行系統と、
   電装系統と、
   前記エンジン走行系統及び電装系統の駆動制御を行う駆動制御装置と、
   車両シート上の運転者に関する情報を検出する乗員検出装置と、
   を有し、
   前記乗員検出装置は、請求項１または２に記載の乗員検出システムを用いて構成されることを特徴とする車両。
7. エンジン走行系統と、
   電装系統と、
   前記エンジン走行系統及び電装系統の駆動制御を行う駆動制御装置と、
   請求項４に記載の警報システム及び請求項５に記載の制動システムの少なくとも一方の装置と、
   を有することを特徴とする車両。

Images