JP5636102B2 - 乗員検知装置 - Google Patents

Description

この発明は、車両の座席に着座している乗員の挙動をビデオカメラ等の撮像手段により撮像し、前記乗員の特定部位の位置を検出する乗員検知装置に関する。

従来から、車両の室内に配置されたカメラを用いて乗員を撮影し、該撮影された乗員の頭部を検出することで乗員の有無を判定する乗員検知システムが特開２００４−１４４５１２号公報（ＪＰ２００４−１４４５１２Ａ）で提案されている。

このＪＰ２００４−１４４５１２Ａの乗員検知システムでは、その段落［００６７］に、可視光の一部をカットした赤外領域の画像を用いることにより、周囲の明るさの変化に影響されることなく常に明るさの安定した画像に基づいて乗員状態を検知することができるとされている。

また、特開２００５−２８４９７５号公報（ＪＰ２００５−２８４９７５Ａ）の段落［００１５］には、カメラにより運転者の視線を検知し、視線が対象物（ナビゲーション装置等）を注視している継続時間が閾時間を超えた場合に脇見状態であると判定する走行安全装置が開示されている。

しかしながら、太陽光は少なからず赤外領域も含んでおり、撮像画像に最も大きな影響を与え得る太陽光の影響を完全に排除することは不可能であることから、場合によっては撮像画像がサチュレーション（飽和）を起こす可能性があり、また、車両のトンネル進入時等においては補助光を点灯するタイミングが遅れる可能性があるため、結果として、上記ＪＰ２００４−１４４５１２Ａに係る乗員検知システムでは、乗員の頭部位置を適切に検出するための画像が得られない虞があるという問題がある。なお、車両のトンネル進入時等における上記の問題は、上記ＪＰ２００５−２８４９７５Ａに係る走行安全装置でも同様である。

この発明は、このような課題を考慮してなされたものであり、外来ノイズや外光の影響、及び補助光点灯が遅れた場合の検出データの欠損等の影響によらずに確実に乗員の挙動を検出することを可能とする乗員検知装置を提供することを目的とする。

この発明に係る乗員検知装置は、車両の室内に配置されて前記車両の室内の座席を含む所定領域の画像を連続的又は所定の時間間隔で間欠的に撮像して逐次出力する撮像手段と、前記撮像手段から出力された前記画像における前記座席に着座した乗員の身体の特定部位の位置を検出する位置検出手段と、前記位置検出手段により検出された前記特定部位の位置に基づいて前記乗員の状態を検出する乗員状態検出手段と、を備える乗員検知装置であって、所定期間の間に前記撮像手段から逐次出力される前記画像に応じたデータを逐次記憶する記憶手段と、前記位置検出手段による前記特定部位の位置の検出が可能か否かを判定する検出可否判定手段と、を備え、前記位置検出手段は、前記検出可否判定手段により前記撮像手段から逐次出力される画像のうち現在出力されている画像としての最新画像における前記特定部位の位置の検出が可能であると判定された場合には、当該最新画像に基づいて前記特定部位の位置を検出し、前記検出可否判定手段により前記最新画像における前記特定部位の位置の検出が不可能であると判定された場合には、当該最新画像よりも過去に前記撮像手段から出力された画像に応じたデータとして前記記憶手段に記憶されている過去データに基づいて前記特定部位の位置を検出することを特徴とする。

この発明によれば、最新画像による特定部位(頭部位置等)の位置検出が不可能である場合には過去の画像により特定部位の位置検出を行うため、外来ノイズ及び外光等の影響や、補助光点灯が遅れた場合の検出データ欠損等の影響によらず確実に乗員の状態を検出することができ、システムの信頼性が向上する。

前記過去データは、前記記憶手段に記憶されている前記過去データのうち前記最新画像に対して前記所定の時間間隔だけ前に前記撮像手段から出力された前記画像に応じたデータとしての第１過去データとすることで、間欠的に画像を撮像するため、記憶手段の記憶容量を低減することができるとともに、最新画像における特定部位の位置検出が不可能である場合にも時間的に最新画像に最も近い(最新画像より１つ前の)画像を用いて特定部位の位置検出を行うため、特定部位位置の検出精度の低下を抑制することができる。

この場合、前記過去データは、前記第１過去データ及び該第１過去データに対して前記所定の時間間隔だけ前に前記撮像手段から出力された前記画像に応じたデータとしての第２過去データであり、前記位置検出手段は、前記第１過去データと前記第２過去データとにおいて検出される前記特定部位の位置の変化に基づいて前記特定部位の位置を検出するようにすることで、最新画像における特定部位の位置検出が不可能である場合にも時間的に最新画像に最も近い(最新画像より１つ前の)画像に加えて最新画像に次に近い（最新画像より２つ前の）画像を用いて特定部位の位置検出を行うため特定部位位置の検出精度を向上させることができる。

さらに、前記車両の減速度を検出する減速度検出手段を備え、前記位置検出手段は、前記検出可否判定手段により前記最新画像における前記特定部位の位置の検出が不可能であると判定された場合には、前記記憶手段に記憶された前記過去データと前記減速度検出手段により検出された前記減速度とに基づいて前記特定部位の位置を検出することにより、過去画像を用いる場合の特定部位の位置検出精度をさらに向上させることができる。

前記記憶手段に記憶される前記過去データは、前記位置検出手段により検出される前記特定部位の位置の座標データ又は前記特定部位の位置と前記車両の室内の特定部位との間の距離データを表す数値データであり、前記乗員状態検出手段は、前記記憶手段に記憶された前記数値データに基づいて前記乗員の状態を検出することで、画像データそのものではなく特定部位位置の数値データのみを記憶するため、記憶手段の記憶容量を低減することができ、動作負荷も低減することができる。

この発明によれば、撮像画像による乗員の位置の検出が不可能である場合に過去の画像を用いて乗員の位置を検出するようにしたので、外来ノイズや外光の影響、及び補助光点灯が遅れた場合の検出データの欠損等の影響によらずに確実に乗員の挙動を検出することができるという効果が達成される。

この発明の第１実施例に係る乗員検知装置を備えるエアバッグシステムの構成図である。 図１例の乗員検知装置及びエアバッグシステムの動作説明に供されるフローチャートである。 車両のトンネル進入時の補助光点灯等を説明するタイムチャートである。 図４Ａ〜図４Ｄは、最新画像データ欠損時の頭部位置の予測に供される説明図である。 最新画像データ欠損時の頭部位置の線形予測に供される説明図である。 最新画像データ欠損時の頭部位置のさらに前後ＧセンサのＧ値を考慮した予測に供される説明図である。 最新画像データ欠損時の頭部位置の線形予測と前後Ｇセンサを考慮した予測の比較説明図である。 この発明の第２実施例に係る乗員検知装置を備える脇見警報装置の構成図である。

以下、この発明の実施形態について図面を参照して説明する。

［第１実施例］
図１は、この発明の第１実施例に係る乗員検知装置１０を備えるエアバッグシステム１２の構成を示している。

乗員検知装置１０は、基本的には、ビデオカメラ等のカメラ１４と、乗員検知ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６（乗員検知制御装置）と、から構成されている。

エアバッグシステム１２は、この乗員検知装置１０と、エアバッグＥＣＵ１８と、インフレータ・エアバッグアセンブリ２０と、Ｇセンサ３０（前後加速度センサ）と、から構成される。

インフレータ・エアバッグアセンブリ２０は、運転席乗員用に運転席のステアリング内及び助手席乗員用にインストルメントパネル内に、それぞれ装着されている。サイドカーテンエアバッグが配置される場合、インフレータ・エアバッグアセンブリ２０は、例えば両Ｃピラーの内側近傍に装着されている。

カメラ１４は、例えば、車両の室内のフロントウインドシールドの上方中央部近傍のルーフ部に配置されている。インストルメントパネル又はダッシュボード上にカメラ１４を配置してもよい。

この実施形態において、カメラ１４は、少なくとも車両の運転席に着座した運転者の顔を含む頭部（特定部位）を撮影対象として撮像領域に含み、例えば可視光領域又は赤外領域にて撮像可能であって、運転者の頭部を含む画像データＤを逐次出力する。

カメラ１４は、距離を直接測定して頭部の位置（インフレータ・エアバッグアセンブリ２０の装着位置から頭部までの距離等）を検出することができる２台からなるステレオカメラであることが好ましいが、単眼カメラであっても、車室内の固定物、例えば、ルームミラー等の既知位置（固定位置、基準位置）を基準として、頭部の位置（この場合、インフレータ・エアバッグアセンブリ２０の装着位置から頭部までの距離）を検出することができる。

カメラ１４から画像データＤが逐次、例えばミリ秒オーダの時間間隔で順次出力され、乗員検知ＥＣＵ１６を構成する記憶部２２に記憶される。なお、カメラ１４からの画像データＤの出力時間間隔は、図示しないカメラ制御用ＥＣＵにより用途に応じた適切な値に選択することができる。

記憶部２２には、最新画像データＤｎと、その前に出力された１つ前の画像データＤ１と、さらにその前に出力された２つ前の画像データＤ２と、が記憶されるようになっている。この場合、乗員検知ＥＣＵ１６は、カメラ１４から新しい画像データＤを受け取ると、記憶部２２から更新前の２つ前の画像データＤ２を削除し、更新前の１つ前の画像データＤ１を２つ前の画像データＤ２にする。また、更新前の最新画像データＤｎを１つ前の画像データＤ１にし、カメラ１４から受け取った新しい画像データＤを最新画像データＤｎとする。記憶部２２は、例えば、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ：先入れ先出し）メモリで構成することができる。

乗員検知ＥＣＵ１６及びエアバッグＥＣＵ１８は、マイクロコンピュータを含む計算機であり、ＣＰＵ（中央処理装置）、メモリであるＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置、計時部としてのタイマ等を有しており、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで各種機能実現部（機能実現手段）として機能する。なお、ＲＡＭには、必要に応じて、画像データＤをそのまま一時的に記憶するビデオＲＡＭが含まれる。ビデオＲＡＭは、記憶部２２にも配されている。

乗員検知ＥＣＵ１６は、記憶部２２の他に、特定部位検出可否判定部２４と、位置検出部２６と、乗員状態検出部２８と、を備える。

位置検出部２６及びエアバッグＥＣＵ１８には、前突用の加速度センサであるＧセンサ３０から前後加速度Ｇ値が入力されている。

特定部位検出可否判定部２４は、パターンマッチング等により最新画像データＤｎの中に特定部位としての頭部が含まれているか否かを判定する。頭部が含まれている場合には、判定結果「可能（特定部位検出可能）」を位置検出部２６に出力し、頭部が含まれていない場合には、判定結果「不可能（特定部位検出不可能）」を位置検出部２６に出力する。

位置検出部２６は、判定結果が「可能」である場合には、記憶部２２に記憶されている最新画像データＤｎから前記座席に着座した乗員の身体の特定部位の位置、例えば頭部の位置を検出する。また、位置検出部２６は、判定結果が「不可能」である場合には、記憶部２２に記憶されている１つ前の画像データＤ１と２つ前の画像データＤ２とに基づき、最新画像データＤｎの未取得時における前記座席に着座した乗員の頭部の位置を予測することで検出する。

さらに、位置検出部２６は、判定結果が「不可能」である場合には、記憶部２２に記憶されている１つ前の画像データＤ１と２つ前の画像データＤ２との他、さらにＧセンサ３０から出力される前後加速度Ｇ値（実際には、衝突の場合であるので、減速度）に基づき、最新画像データＤｎの未取得時における前記座席に着座した乗員の頭部の位置を予測することで検出することもできる。

乗員状態検出部２８は、位置検出部２６により検出された頭部の位置に基づいて、前記乗員の状態を検出する。ここで、乗員の状態とは、頭部の所定領域内での有無判断（乗員の有無状態）、頭部の大きさが大人であるか子供であるかの大きさ判断（乗員が大人であるか子供であるかの判断）、及び頭部の位置がインフレータ・エアバッグアセンブリ２０の位置から所定距離以上離れているか否か等の状態を検出する。このようにして検出された乗員状態は、乗員状態検出部２８からエアバッグＥＣＵ１８に、対応するコードとして供給される。なお、従来技術では、大人であるか子供であるかをシート下に配した重量センサの測定値により判定しているのに比較して、この実施形態では、カメラ１４により大人であるか子供であるかを検出しているので、従来技術に比較して精度よく且つ廉価に検出することができる。

エアバッグＥＣＵ１８は、供給されたコードの内容に基づき、インフレータ・エアバッグアセンブリ２０中のエアバッグを展開させるか否か（展開か非展開か）を決定する。

次に、基本的には以上のように構成される第１実施例に係る乗員検知装置１０を備えるエアバッグシステム１２の動作について、図２のフローチャートを参照して説明する。

ステップＳ１において、乗員検知ＥＣＵ１６は、カメラ１４から画像データＤを取得し、最新画像データＤｎとして記憶部２２に取り込む。

ステップＳ２において、特定部位検出可否判定部２４は、記憶部２２に取り込まれた最新画像データＤｎ中に、特定部位としての頭部が含まれているか否かをパターンマッチング等により検出する。

特定部位検出可否判定部２４は、特定部位としての頭部が含まれている場合には（ステップＳ２：ＹＥＳ）、位置検出が「可能」との情報を位置検出部２６に送出する一方、特定部位としての頭部が含まれていない場合には（ステップＳ２：ＮＯ）、位置検出が「不可能」との情報を位置検出部２６に送出する。

特定部位としての頭部が含まれていないとして位置検出が「不可能」と検出する例として、例えば、図３のタイムチャートに示すように、時点ｔａにおいて、当該乗員検知装置１０を搭載した車両がトンネル等に進入した場合において、その時点ｔａから一定時間ｔｄ経過後の時点ｔｂでは、補助光が自動的に点灯するので、その直後の時点ｔ−１における画像データＤには、頭部の画像が含まれるが（ステップＳ２：ＹＥＳ）、トンネルに進入した時点ｔａの直後の時点ｔ０の最新画像データＤｎは、露出不足で頭部を検出することができない（ステップＳ２：ＮＯ）ことが分かる。その一方、トンネルに進入する時点ｔａの前であって時点ｔ０の最新画像データＤｎの１つ前の画像データＤ１と、２つ前の画像データＤ２は、共に頭部を検出することができることが分かる。なお、時点ｔ２、ｔ１、ｔ０、ｔ−１（等時間間隔）は、ステップＳ１の処理の画像取得タイミングに対応する。

ステップＳ２において、特定部位検出可否判定部２４により最新画像データＤｎから特定部位として頭部が検出可能と判断された場合には（ステップＳ２：ＹＥＳ）、ステップＳ３において、位置検出部２６により、最新画像データＤｎに基づき、頭部の、例えばインフレータ・エアバッグアセンブリ２０の位置からの距離Ｄｉｓ（乗員状態）が計算されるとともに、乗員状態検出部２８により頭部の大きさにより乗員状態として大人か子供かが検出される。乗員状態検出部２８により検出された乗員状態は、最新画像データＤｎに対応付けられて記憶部２２に記憶される。

ステップＳ５において、乗員状態（距離Ｄｉｓの情報と、大人か子供かの識別情報）は、乗員状態検出部２８からエアバッグＥＣＵ１８に供給され、エアバッグＥＣＵ１８は、供給された乗員状態（距離Ｄｉｓの情報と、大人か子供かの識別情報）及びＧセンサ３０からの前後加速度Ｇ値に基づき、エアバッグの展開・非展開を決定する。

一方、ステップＳ２の判定において、図３の時点ｔ０等、特定部位検出可否判定部２４により最新画像データＤｎから特定部位としての頭部の検出が「不可能」と判断された場合には（ステップＳ２：ＮＯ）、ステップＳ４において、位置検出部２６は、現在（時点ｔ０近傍）の頭部位置を予測する。

現在の頭部位置を予測する際に、例えば、図４Ａに示すように、座席（前席）５０上に乗員５２（ここでは、理解の便宜のために助手席に着座している乗員を描いている。）が着座しており、フロントウインドシールド５４の中央上部にカメラ１４が配置されているとき、図４Ｂに示すように、時点ｔ２での２つ前の画像データＤ２から乗員５２が大人で、インフレータ・エアバッグアセンブリ２０（図４Ｂ、図４Ｃ、図４Ｄでは、理解の便宜のためにＡ／Ｂと記載している。）からの距離ＤｉｓがＤｉｓ＝９００［ｍｍ］であることが検出されており、時点ｔ１で図４Ｃに示すように、１つ前の画像データＤ１から乗員５２が大人で、インフレータ・エアバッグアセンブリ２０からの距離ＤｉｓがＤｉｓ＝６００［ｍｍ］であることが検出されているものとする。

このとき、図５に示すように、時点ｔ０で取得できなかった最新画像データＤｎとして、２つ前の画像データＤ２と１つ前の画像データＤ１とから、乗員５２は大人であり、時点ｔ２でのＤｉｓ＝９００［ｍｍ］と、時点ｔ１でのＤｉｓ＝６００［ｍｍ］を参照して線形予測し、頭部５６は、さらに、２点鎖線で示す方向（前方）に３００［ｍｍ］動き、インフレータ・エアバッグアセンブリ２０からの距離ＤｉｓがＤｉｓ＝３００［ｍｍ］であると予測することができる。

これらの乗員状態、ここでは大人であること及び頭部５６の位置がインフレータ・エアバッグアセンブリ２０の位置から３００［ｍｍ］の位置にあることがエアバッグＥＣＵ１８に通知されると、エアバッグＥＣＵ１８は、予め定められたプログラムを実行して、エアバッグを展開乃至非展開する。

エアバッグＥＣＵ１８によるエアバッグの展開乃至非展開のプログラムは、車種毎に決定されるが、Ｇセンサ３０による前後加速度Ｇ値等を勘案し、乗員が子供の場合には、展開対象とはされない。また、乗員が大人であって展開対象である場合であっても、インフレータ・エアバッグアセンブリ２０からの距離Ｄｉｓが閾値よりも近い位置に頭部５６がある場合は、距離Ｄｉｓが閾値よりも遠い位置に頭部５６がある場合に比較してインフレータによるガス吐出量が少なくされる。さらに、大人であっても、サイドウインドシールドに寄りかかっていると判断される場合には、サイドカーテンエアエアバッグは展開されない。

このようにして、エアバッグＥＣＵ１８によるエアバッグの展開乃至非展開にかかわらず、ステップＳ６において、記憶部２２には、カメラ１４により直接撮像された最新画像データＤｎ（距離Ｄｉｓの情報と大人と子供の識別情報を含む）又は予測された画像データＤが最新画像データＤｎとして更新記憶され、記憶部２２に記憶されていた直前の最新画像データＤｎが１つ前の画像データＤ１として更新記憶され、記憶部２２に記憶されていた直前の１つ前の画像データＤ１が２つ前の画像データＤ２として更新記憶される。

なお、最新画像データＤｎを撮像できなかった場合には（ステップＳ２：ＮＯ）、図５を参照した線形予測する他に、Ｇセンサ３０の出力である前後加速度Ｇ値をも用いて乗員状態、ここでは、インフレータ・エアバッグアセンブリ２０からの距離Ｄｉｓを補正することが好ましい。

Ｇセンサ３０の出力である前後加速度Ｇ値を用いて、インフレータ・エアバッグアセンブリ２０からの距離Ｄｉｓを補正する処理例について、図６を参照して説明する。

すなわち、最新の時点ｔ０でノイズ等により最新画像データＤｎの欠損が発生した際には、時点ｔ２において、２つ前の画像データＤ２により乗員が大人であり、インフレータ・エアバッグアセンブリ２０からの距離ＤｉｓがＤｉｓ＝９００［ｍｍ］と検出され、時点ｔ１において、１つ前の画像データＤ１により乗員が大人であり、インフレータ・エアバッグアセンブリ２０からの距離ＤｉｓがＤｉｓ＝７００［ｍｍ］であるということが検出されて記憶部２２に記憶されているものとする。

このとき、図７に示すように、Ｇセンサ３０による前後加速度Ｇ値を考慮しない場合（単純予測）には、最新画像データＤｎとして、乗員が大人であり、線形予測によりインフレータ・エアバッグアセンブリ２０からの距離ＤｉｓがＤｉｓ＝５００［ｍｍ］であることが予測される（図７中、「Ｇ補正無」）。しかし、時点ｔ０で減速加速度Ｇ値がＧ＝ａ×Ｇ（図６参照）となっていた場合には、前後加速度Ｇ値をも考慮した最新画像データＤｎとしては、乗員が大人であり、インフレータ・エアバッグアセンブリ２０からの距離Ｄｉｓを、Ｄｉｓ＝５００［ｍｍ］ではなくＤｉｓ＝３００［ｍｍ］と減速加速度Ｇ値により頭部５６の移動量をより多く補正することができる。

以上説明したように上述した第１実施例によれば、乗員検知装置１０は、基本的に、車両の室内に配置されて前記車両の室内の座席５０を含む所定領域の画像を連続的又は所定の時間間隔で間欠的に撮像して逐次出力する撮像手段としてのカメラ１４と、カメラ１４から出力された前記画像における座席５０に着座した乗員５２の身体の特定部位としての頭部５６の位置を検出する位置検出手段としての位置検出部２６と、位置検出部２６により検出された頭部５６の位置に基づいて乗員５２の状態を検出する乗員状態検出手段としての乗員状態検出部２８と、を備える。

乗員検知装置１０は、さらに、所定期間、例えば、時点ｔ２〜時点ｔ０までの間にカメラ１４から所定時間毎に当時間間隔で逐次出力される前記画像に応じたデータを逐次記憶する記憶手段としての記憶部２２と、位置検出部２６による頭部５６の位置の検出が可能か否かを判定する検出可否判定手段としての特定部位検出可否判定部２４と、を備え、位置検出部２６は、特定部位検出可否判定部２４によりカメラ１４から逐次出力される画像のうち現在出力されている画像としての最新画像（最新画像データＤｎ）における頭部５６の位置の検出が可能であると判定された場合には、当該最新画像（最新画像データＤｎ）に基づいて頭部５６の位置（この第１実施例では、インフレータ・エアバッグアセンブリ２０からの距離Ｄｉｓ）を検出する一方、特定部位検出可否判定部２４により最新画像（最新画像データＤｎ）における頭部５６の位置の検出が不可能であると判定された場合には、当該最新画像（最新画像データＤｎ）よりも過去にカメラ１４から出力された画像に応じたデータとして記憶部２２に記憶されている過去データ（この第１実施例では、１つ前の画像データＤ１と２つ前の画像データＤ２）に基づいて頭部５６の位置を予測して検出するようにしている。

このように、カメラ１４により周期的に撮像しながら、最新画像（最新画像データＤｎ）による頭部５６の位置の検出が不可能である場合には過去の画像（１つ及び２つ前の画像データＤ１、Ｄ２）により頭部５６の位置の検出を行うため、外来ノイズ及び外光等の影響や、補助光点灯が遅れた場合の検出データ欠損等の影響によらず確実に乗員５２の状態を検出することができ、システムの信頼性が向上する。

なお、最新画像データＤｎが欠損した場合に、特定部位である頭部５６の最新位置（現在位置）を予測するための過去データとしては、１つ前の画像データＤ１（第１過去データ）と２つ前の画像データＤ２（第２過去データ）を利用することが好ましいが、衝突検知時以外は、最新画像データＤｎとして、１つ前の画像データＤ１のみを利用すれば、間欠的に画像を撮像するため記憶部２２の記憶容量を低減することができる。すなわち、最新画像における頭部５６等の特定部位の位置検出が不可能である場合にも時間的に最新画像に最も近い画像(最新画像より１つ前の画像を表す１つ前の画像データＤ１)を用いて頭部５６等の特定部位の位置検出を行うため、データ欠損による、特定部位位置の検出精度の低下を抑制することができる。

さらに、前記車両の減速度を検出する減速度検出手段としてのＧセンサ３０を備えることで、図７を参照して説明したように、位置検出部２６は、特定部位検出可否判定部２４により最新画像（最新画像データＤｎ）における頭部５６の位置の検出が不可能であると判定された場合には、記憶部２２に記憶された前記過去データ（１つ前及び２つ前の画像データＤ１、Ｄ２）とＧセンサ３０により検出された減速度Ｇ値とに基づいて頭部５６の位置を検出することにより、過去画像を用いる場合の頭部５６の位置検出精度をさらに向上させることができる。

記憶部２２に記憶される前記過去データを、位置検出部２６により検出される頭部の位置の座標データ（例えば、固定位置であるルームミラーの位置を基準とするｘｙｚ３次元データ）又は頭部５６の位置と前記車両の室内の特定部位であるインフレータ・エアバッグアセンブリ２０との間の距離データを表す数値データとしての距離Ｄｉｓとし、乗員状態検出部２８は、記憶部２２に記憶された前記数値データに基づいて乗員５２の状態を検出することで、カメラ１４から出力された画像データそのものではなく特定部位位置の数値データのみを記憶するようにすることで、記憶部２２の記憶容量を低減することができ、演算処理に伴う動作負荷も低減することができる。

［第２実施例］
図８は、この発明の第２実施例に係る乗員検知装置１０Ａを備える脇見警報装置６０の構成を示している。

乗員検知装置１０Ａは、カメラ１４と、脇見判定ＥＣＵ７０とを備える。脇見警報装置６０は、この乗員検知装置１０Ａと、警報装置６６と、から構成される。

カメラ１４と記憶部２２と特定部位検出可否判定部２４は、図１に示した乗員検知装置１０のものを利用することができる。

カメラ１４は、所定時間毎に、画像データＤとして、逐次、顔画像を出力する。記憶部２２には、最新画像データＤｎと、１つ前の画像データＤ１と、２つ前の画像データＤ２とが逐次記憶され、且つ所定時間毎に更新される。記憶部２２に記憶される画像データは、カメラ１４の撮像データそのものでもよく、視線・顔向き検出部６２により検出されたデータでもよい。

特定部位検出可否判定部２４は、最新画像データＤｎの中にパターンマッチングにより顔画像が存在するか否かを判定する。

視線・顔向き検出手段としての視線・顔向き検出部６２は、カメラ１４から出力された顔画像に対して、運転者の眼球を検知対象物とした特徴量算出及び形状判別等の認識処理を行い、左右の眼の位置（例えば、虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置等）を検出する。そして、この検出結果に基づく処理によって、運転者の視線方向を検出し、さらに、運転席に着座した運転者の正面方向に対する視線方向のなす角度（注視角度）を算出する。

また、視線・顔向き検出部６２は、カメラ１４から出力された顔画像に基づき、顔中心位置と、左右の顔端位置とを検出し、これらの検出結果に基づき、たとえば人の顔をシリンダ形状に近似して顔向きを算出するシリンダ法等によって、運転者の顔向き方向を検知する。

脇見判定部６４は、タイマ７２（計時手段）を利用して、視線・顔向き検出部６２により検出された視線方向又は顔向き方向が、予め記憶部６８に記憶された所定脇見方向領域内に所定時間（各脇見判定時間）に亘って継続して含まれる場合に、運転者が脇見状態であると判定して、判定結果の信号を警報装置６６に出力する。

警報装置６６は、脇見状態であるとの判定結果の信号を受信したとき、図示しないスピーカからの音（音声）、ステアリングホイールに組み込んだ図示しないバイブレータによる振動、カメラ１４位置に取り付けた光源からの光照射等により運転者に対して警報を付与する。

この図８例の脇見警報装置６０によっても、特定部位検出可否判定部２４によって、最新画像データＤｎによる視線方向及び顔向き方向の検出が不可能であると判定された場合には、視線・顔向き検出部６２が、過去の画像、好ましくは、１つ前の画像データＤ１と２つ前の画像データＤ２により、最新（現在）の視線方向及び顔向き方向を予測により検出するようにすれば、外来ノイズ及び外光等の影響や、補助光点灯が遅れた場合の検出データ欠損等の影響によらず脇見判定部６４により脇見を判定することが可能となり、システムの信頼性が向上する。

なお、この発明は、上述の実施形態に限らず、例えば、乗員である運転者の居眠り検知・警報装置技術（運転者の眼を閉じている時間が閾値時間以上である場合には、乗員状態が居眠り状態にあるとして警報を発生する）に適用する等、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

Claims (5)

1. 車両の室内に配置されて前記車両の室内の座席を含む所定領域の画像を連続的又は所定の時間間隔で間欠的に撮像して逐次出力する撮像手段（１４）と、
   前記撮像手段（１４）から出力された前記画像における前記座席に着座した乗員（５２）の身体の特定部位（５６）の位置を検出する位置検出手段（２６）と、
   前記位置検出手段（２６）により検出された前記特定部位（５６）の位置に基づいて前記乗員（５２）の状態を検出する乗員状態検出手段（２８）と、を備える乗員検知装置（１０）であって、
   所定期間の間に前記撮像手段（１４）から逐次出力される前記画像に応じたデータを逐次記憶する記憶手段（２２）と、
   前記位置検出手段（２６）による前記特定部位（５６）の位置の検出が可能か否かを判定する検出可否判定手段（２４）と、を備え、
   前記位置検出手段（２６）は、前記検出可否判定手段（２４）により前記撮像手段（１４）から逐次出力される画像のうち現在出力されている画像としての最新画像における前記特定部位（５６）の位置の検出が可能であると判定された場合には、当該最新画像に基づいて前記特定部位（５６）の位置を検出し、前記検出可否判定手段（２４）により前記最新画像における前記特定部位（５６）の位置の検出が不可能であると判定された場合には、当該最新画像よりも過去に前記撮像手段（１４）から出力された画像に応じたデータとして前記記憶手段（２２）に記憶されている過去データに基づいて前記特定部位（５６）の位置を検出する
   ことを特徴とする乗員検知装置。
2. 請求項１記載の乗員検知装置において、
   前記過去データは、前記記憶手段（２２）に記憶されている前記過去データのうち前記最新画像に対して前記所定の時間間隔だけ前に前記撮像手段（１４）から出力された前記画像に応じたデータとしての第１過去データ（Ｄ１）である
   ことを特徴とする乗員検知装置。
3. 請求項２記載の乗員検知装置において、
   前記過去データは、前記第１過去データ（Ｄ１）及び該第１過去データ（Ｄ１）に対して前記所定の時間間隔だけ前に前記撮像手段（１４）から出力された前記画像に応じたデータとしての第２過去データ（Ｄ２）であり、
   前記位置検出手段（２６）は、前記第１過去データ（Ｄ１）と前記第２過去データ（Ｄ２）とにおいて検出される前記特定部位（５６）の位置の変化に基づいて前記特定部位（５６）の位置を検出する
   ことを特徴とする乗員検知装置。
4. 請求項１〜３のいずれか１項に記載の乗員検知装置において、
   さらに、前記車両の減速度を検出する減速度検出手段（３０）を備え、
   前記位置検出手段（２６）は、前記検出可否判定手段（２４）により前記最新画像における前記特定部位（５６）の位置の検出が不可能であると判定された場合には、前記記憶手段（２２）に記憶された前記過去データと前記減速度検出手段（３０）により検出された前記減速度とに基づいて前記特定部位（５６）の位置を検出する
   ことを特徴とする乗員検知装置。
5. 請求項１〜４のいずれか１項に記載の乗員検知装置において、
   前記記憶手段（２２）に記憶される前記過去データは、前記位置検出手段（２６）により検出される前記特定部位（５６）の位置の座標データ又は前記特定部位（５６）の位置と前記車両の室内の特定部位との間の距離データを表す数値データであり、
   前記乗員状態検出手段（２８）は、前記記憶手段（２２）に記憶された前記数値データに基づいて前記乗員（５２）の状態を検出する
   ことを特徴とする乗員検知装置。

Images