JP5638139B2 - 乗員検知装置 - Google Patents

Description

この発明は、車両の座席に着座している乗員の挙動を撮像手段により撮像し、前記乗員の特定部位の位置を検出する乗員検知装置に関する。

従来から、車両の室内に配置されたカメラを用いて乗員を撮像し、取得された画像の中から乗員の頭部等を検出することで、乗員の有無を判定する乗員検知システムが提案されている。

例えば、特開２００４−１４４５１２号公報の乗員検知システムでは、カメラの露光タイミングに同期させて、赤外ＬＥＤ（Light Emitting Diode）から赤外線を投光することで、間欠的に撮像を行う技術が提案されている（同文献の図５、段落［００３８］参照）。また、別の実施形態として、複数の赤外ＬＥＤの発光タイミングを順次切り替え、択一的に発光させることで、赤外ＬＥＤの消費電力を低減できるとともに、耐久性の低下を防止できる旨が記載されている（同文献の図９、段落［００６０］参照）。

ところで、車両に組み込まれるＳＲＳ（Supplemental Restraint System；補助拘束システム）に関し、当該システムによる拘束（保護）対象は、本来的には乗員としての人間に限られている。そして、車両の走行中、運転席には乗員（運転手）が必ず存在するものの、運転席以外の座席の乗員の存否はそれぞれの状況に応じて異なる。例えば、検知対象とする、助手席の乗員が不在である場合、当該助手席の周辺における画像を高精度に且つ即時に取得する意義はそもそも失われている。

しかしながら、特開２００４−１４４５１２号公報の乗員検知システムでは、比較的短い撮像間隔で撮像を継続するため、実質的に不要な処理を遂次実行することになる。すなわち、上述した技術が十分に功を奏しないという問題があり、改良の余地があった。

本発明は上記した問題を解決するためになされたもので、消費電力の更なる低減が可能であるとともに、撮像手段を構成する部品の劣化を更に低減可能な乗員検知装置を提供することを目的とする。

本発明に係る乗員検知装置は、車両の室内に配置され、前記車両の室内の座席を含む所定領域の画像を、所定の撮像間隔での撮像によって逐次出力する撮像手段と、前記所定領域における前記座席に対する乗員の有無を判定する判定手段と、前記撮像手段から出力される前記画像に基づいて前記乗員の状態を検出する乗員状態検出手段と、を備える装置であって、前記判定手段の判定結果に応じて前記撮像間隔を制御する制御手段を備え、前記制御手段は、前記判定手段により前記乗員が存在すると判定された場合には、前記撮像間隔が相対的に短い高速モードで前記撮像を行うように前記撮像手段を制御するとともに、前記判定手段により前記乗員が存在しないと判定された場合には、前記撮像間隔が相対的に長い低速モードで前記撮像を行うように前記撮像手段を制御することを特徴とする。

本発明によれば、乗員が存在しないと判定された場合には、存在すると判定された場合と比べて撮像間隔が相対的に長い低速モードで撮像を行うようにした。このように、撮像範囲内に乗員が存在しない場合、高精度に且つ即時に乗員の状態を検知する必要がないという制御上の性質を考慮することで、乗員検知装置の作動時間内における撮像の総数を極力減らすことが可能である。これにより、消費電力の更なる低減ができるとともに、撮像手段を構成する部品の劣化を更に低減できる。

また、前記判定手段は、前記撮像手段から出力される前記画像に対するパターンマッチングにより前記乗員の有無を判定するとともに、前記パターンマッチングにより空席、チャイルドシート及び所定形状の荷物のうちいずれかの形状が検出された場合に、前記乗員が存在しないと判定することが好ましい。これにより、判定を行うための検知デバイス（例えば、シートウェイトセンサ等）を別途設ける必要がなくなり、当該装置の製造コストの高騰を抑制しつつも、判定を高精度に行うことができる。また、空席、チャイルドシート、及び荷物のいずれかの形状の検出によって乗員が存在しないと判定するので、適切な制御が可能である。

さらに、前記判定手段は、前記撮像手段から逐次出力される複数の前記画像において複数回連続して前記乗員が検出されなかった場合に、前記乗員が存在しないと判定することが好ましい。これにより、画像を用いて乗員の不在を判定する際、検出精度の信頼性を向上することができる。

また、前記車両が障害物に衝突した際にエアバッグを展開するエアバッグ装置をさらに備え、前記所定領域は、１つの撮像手段により前記車両の室内にある全ての座席を撮像可能に設定されており、前記判定手段は、前記撮像手段により撮像される前記全ての座席のうち助手席に対する前記乗員の有無を判定し、前記乗員状態検出手段は、前記乗員の状態として前記乗員の頭部位置を検出し、前記制御手段は、前記判定手段により判定された前記助手席に対する前記乗員の有無に応じて前記撮像間隔を制御するとともに、前記乗員状態検出手段により検出された前記頭部位置に基づいて前記エアバッグの展開可否又は展開量を制御することが好ましい。エアバッグ装置の展開制御を行う際に、助手席の乗員の状態（特に、頭部位置）を最も高精度に検出する必要性が高い。すなわち、この助手席の乗員の有無に応じて撮像間隔を制御することにより、必要最小限の構成で乗員の検知を適切に行うことができる。

また、前記撮像手段は、前記座席毎に設けられており、前記判定手段は、前記撮像手段からそれぞれ出力される前記画像に基づいて前記座席毎に前記乗員の有無をそれぞれ判定し、前記制御手段は、前記判定手段により判定された前記座席毎の前記乗員の有無に応じて、前記撮像間隔を前記撮像手段毎に制御することが好ましい。このように、座席毎に撮像手段を設けることで、撮像手段の設置角度や視野角にかかわらず乗員の状態を高精度に検出できる。そして、座席毎の乗員の有無に応じて撮像間隔を適切に制御することで、消費電力及び部品の劣化を最小限にすることができる。

さらに、前記車両のドアの開閉を検出するドア開閉検出手段と、前記座席のシートベルトの着脱状態を検出するシートベルト着脱検出手段と、をさらに備え、前記制御手段は、前記低速モードにおいて、前記ドア開閉検出手段による前記ドアの開閉又は前記シートベルト着脱検出手段による前記シートベルトの着脱が検出されると、前記撮像手段による前記撮像を前記低速モードから前記高速モードに切り換えることが好ましい。このように、ドアの開閉操作、シートベルトの着脱操作を検出した場合には乗降動作が行われていると推定することで、乗員の状態を適時に検出することができる。

さらに、前記判定手段による前記乗員の有無の判定ができたか否かを判別する判定可否判別手段をさらに備え、前記制御手段は、前記判定可否判別手段により前記判定ができていないと判別された場合には、前記高速モードで前記撮像を行うように前記撮像手段を制御することが好ましい。このように、撮像の際の露光量不足や、電気ノイズの混入等により、画像を用いた判定ができない場合、高速モードを選択することで、その後の乗員状態の変化に素早く対処することができる。

さらに、前記所定領域に向けて光を投射する投光手段をさらに備え、前記投光手段は、前記制御手段により制御された前記撮像間隔に同期して発光することが好ましい。これにより、撮像手段のみならず投光手段に関しても、消費電力の更なる低減ができるとともに、部品の劣化を更に低減できる。また、より安定した撮像が可能になる。

さらに、前記撮像手段から出力される前記画像の輝度及び前記車両の室内での照度のうちのいずれか一方を算出する算出手段をさらに備え、前記制御手段は、前記撮像手段の露光時間、前記投光手段の発光可否及び発光時間のうちの少なくとも１つを制御可能であるとともに、前記算出手段により算出された前記輝度又は前記照度が所定値以上である場合には、前記撮像手段の露光時間若しくは前記投光手段の発光時間を短縮し、又は、前記投光手段の発光を禁止することが好ましい。輝度又は照度に応じて、撮像手段の露光時間、投光手段の発光可否及び発光時間を適切に制御することで、消費電力及び部品の劣化を最小限にすることができる。

本発明に係る乗員検知装置によれば、乗員が存在しないと判定された場合には、存在すると判定された場合と比べて撮像間隔が相対的に長い低速モードで撮像を行うようにした。このように、撮像範囲内に乗員が不在の場合、高精度に且つ即時に乗員の状態を検知する必要がないという制御上の性質を考慮することで、乗員検知装置の作動時間内における撮像の総数を極力減らすことが可能である。これにより、消費電力の更なる低減ができるとともに、撮像手段を構成する部品の劣化を更に低減できる。

第１実施形態に係る乗員検知装置を組み込んだエアバッグシステムの概略構成図である。 図１に示すカメラユニットの正面図である。 図１に示すカメラユニットの電気的なブロック図である。 図３に示すＣＰＵ及びその周辺部位の機能ブロック図である。 図１に示す乗員検知装置の動作説明に供されるフローチャートである。 図６Ａは、「空席」であることを判別するための概略説明図である。図６Ｂは、「大人」又は「子供」であることを判別するための概略説明図である。 図７Ａは、「ＣＲＳ」であることを判別するための概略説明図である。図７Ｂは、「荷物」であることを判別するための概略説明図である。 所定の座席に着座していた乗員が降車する過程における乗員検知装置の動作を説明するタイムチャートである。 第２実施形態に係る乗員検知装置を組み込んだエアバッグシステムの概略構成図である。 図９に示すカメラユニットの正面図である。 図９に示すカメラユニットの電気的なブロック図である。 図１１に示すＣＰＵ及びその周辺部位の機能ブロック図である。 図９に示す乗員検知装置での撮像に関する状態遷移図である。 各撮像モードに移行した場合における乗員検知装置の動作説明に供されるフローチャートである。 車両の走行時における乗員検知装置の動作を説明するタイムチャートである。

以下、本発明に係る乗員検知装置について、これを実施するエアバッグシステムとの関係において好適な実施形態を挙げ、添付の図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る乗員検知装置を組み込んだエアバッグシステム１０の概略構成図である。

エアバッグシステム１０は、車両の室内（所定領域内）における乗員１２の状態を検知する乗員検知装置１４と、車両が障害物に衝突した際、乗員１２の保護のために展開するエアバッグＡＢが組み込まれたエアバッグ／インフレータアセンブリ１６（エアバッグ装置）と、乗員検知装置１４からの制御信号に応じてエアバッグ／インフレータアセンブリ１６を駆動制御するエアバッグＥＣＵ（Electronic Control unit）１８とを基本的に備える。

この乗員検知装置１４は、カメラユニット２０で構成される。図２に示すように、カメラユニット２０は、概略矩形状の筐体２２を有する。筐体２２の一面２４には、一対のカメラ２６ａ、２６ｂ（撮像手段）と、４つの赤外ＬＥＤ２８ａ、２８ｂ、２８ｃ、２８ｄ（投光手段）とがそれぞれ配されている。

カメラ２６ａ、２６ｂは、可視光から波長領域７００〜１０００ｎｍの近赤外線までの波長領域において、撮像に十分な分光感度を有するＣＣＤ（Charge Coupled Device）素子を用いたカメラである。カメラ２６ａ、２６ｂの撮像素子は、その他の固体撮像素子、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成されてもよい。また、赤外ＬＥＤ２８ａ〜２８ｄに代替し、異なる分光分布を有する光源を用いてもよい。

図１例では、フロントウィンドシールド３０の中央上部に、カメラユニット２０が設置されている。カメラ２６ａ、２６ｂの撮像面３２ａ、３２ｂは、車両の室内に配置された座席３４（座面３６、バックレスト３７、及びヘッドレスト３８を含む。）側にそれぞれ指向する。すなわち、座席３４上に乗員１２が着座する状態において、乗員１２の一部（頭部４０を含む。）は、カメラ２６ａ、２６ｂの撮像範囲にそれぞれ収まっている。同様に、赤外ＬＥＤ２８ａ〜２８ｄは、座席３４側にそれぞれ指向する。これにより、赤外ＬＥＤ２８ａ〜２８ｄは、カメラ２６ａ、２６ｂによる撮像の際、補助光源として機能する。

なお、カメラユニット２０は、車両の室内に少なくとも１つ配置されている。カメラユニット２０が１つである場合、該カメラユニット２０は、室内全体を俯瞰するように、具体的には、該カメラユニット２０の撮像範囲は、車両の室内にある全ての座席３４を撮像可能に設定されている。あるいは、座席３４毎にカメラユニット２０（あるいは、撮像手段単体）を設置してもよい。

図３は、図１に示すカメラユニット２０の電気的なブロック図である。

カメラユニット２０は、上述したカメラ２６ａ、２６ｂ、及び赤外ＬＥＤ２８ａ〜２８ｄの他に、ＣＰＵ（Central Processing Unit）４２と、ＲＡＭ４４と、ＬＥＤ駆動部４６とをさらに備える。

ＣＰＵ４２は、ＲＡＭ４４等の記録媒体に格納されたプログラムを読み出し実行することで、カメラユニット２０の各部を制御可能である。なお、ＣＰＵ４２に代替して、ＤＳＰ（Digital Signal Processor）で構成されてもよい。

ＬＥＤ駆動部４６は、ＣＰＵ４２（後述する撮像制御部６４）からの制御信号に応じて、適切なタイミングで赤外ＬＥＤ２８ａ〜２８ｄをそれぞれ点灯／消灯させる。ＬＥＤ駆動部４６は、赤外ＬＥＤ２８ａ〜２８ｄを同期して（又は、非同期に）制御可能である。

図４は、図３に示すＣＰＵ４２の機能ブロック図である。

ＣＰＵ４２は、一対のカメラ２６ａ、２６ｂから逐次出力された画像データＤａ、Ｄｂ（画像）に基づいて乗員１２の状態を検出する乗員状態検出部５０（乗員状態検出手段）、乗員１２の有無を判定する判定部５２（判定手段）、及び車内の撮像に関する各部位を制御するとともに、他のＥＣＵ（例えば、エアバッグＥＣＵ１８）との間で制御信号を送受信する制御部５４（制御手段）として機能する。

乗員状態検出部５０は、画像データＤａ、Ｄｂが表す画像領域７０（図６Ａ等参照）から特定部位（例えば、図１に示す乗員１２の頭部４０）を検出する特定部位検出部５６を有する。

判定部５２は、パターンマッチング手法を用いて、画像データＤａ、Ｄｂに映り込むオブジェクトの種類（例えば、チャイルドシート）を認識するパターンマッチング部５８と、座席３４（図１参照）に配されたオブジェクトの属性を判別する属性判別部６０と、属性判別部６０により乗員１２の有無が判定可能か否かを判別する判定可否判別部６２（判定可否判別手段）とを有する。

制御部５４は、カメラ２６ａ、２６ｂ等の撮像動作に関する制御信号を適時送信する撮像制御部６４と、エアバッグＡＢの展開制御に供される各種情報（乗員１２の乗員情報）を適時送信する展開制御部６６とを有する。

次に、基本的には以上のように構成される第１実施形態に係る乗員検知装置１４の動作について、図５のフローチャートを参照しながら説明する。

ステップＳ１において、撮像制御部６４は、現時点で設定されている撮像モードを読み出す。ここで、撮像モードは、撮像間隔が相対的に短い「高速モード」と、撮像間隔が相対的に長い「低速モード」との２種類のモードに大別される。本明細書中において、撮像間隔とは、カメラ２６ａ、２６ｂによる撮像を実行する時間間隔を意味する。すなわち、撮像間隔が一定である時間帯では、この撮像間隔は撮像周期に相当する。

例えば、高速モードでは、撮像間隔が約３３ｍｓ（１秒間当り３０フレーム）に対応する閾値を設定する。低速モードでは、撮像間隔が１０ｓ（１秒間当り０．１フレーム）に対応する閾値を設定する。なお、これらの撮像間隔の数値は適宜変更してもよいし、撮像モードは３種類以上であってもよい。また、各撮像モード間において撮像間隔に幅をもたせてもよく、例えば、低速モードでは、撮像の都度、５〜１５ｓの範囲から撮像間隔を決定してもよい。

ステップＳ２において、撮像制御部６４は、カウンタ値を初期化する。

ステップＳ３において、撮像制御部６４は、現時点でのカウンタ値と、ステップＳ１で設定した閾値との大小関係を比較する。カウンタ値が閾値を超えていない場合、撮像制御部６４は、カウンタ値を１だけ加算する（ステップＳ４）。その後、ステップＳ３に戻って、以下ステップＳ３及びＳ４を繰り返す。一方、カウンタ値が閾値を越えている場合、次のステップ（Ｓ５）に進む。

ステップＳ５において、カメラユニット２０は、車内（特に、座席３４周辺）の画像データＤａ、Ｄｂを取得する。具体的には、撮像制御部６４は、一対のカメラ２６ａ、２６ｂ、及びＬＥＤ駆動部４６に対し、駆動信号をそれぞれ送信する。例えば、撮像制御部６４は、カメラ２６ａによる露光のタイミングに同期させてその直近の赤外ＬＥＤ２８ａ、２８ｂを発光させるとともに、カメラ２６ｂによる露光のタイミングに同期させてその直近の赤外ＬＥＤ２８ｃ、２８ｄを発光させる。これにより、赤外ＬＥＤ２８ａ〜２８ｄの消費電力の更なる低減ができるとともに、部品の劣化を更に低減できる。また、より安定した撮像が可能になる。

その後、カメラ２６ａを介して画像データＤａを、カメラ２６ｂを介して画像データＤｂをそれぞれ出力し、最新の画像データとしてＲＡＭ４４に一時的に取り込む。

ステップＳ６において、乗員状態検出部５０及び判定部５２は、乗員１２の状態を判定する。以下、判定の具体例について、図６Ａ〜図７Ｂを参照しながら詳細に説明する。

この第１実施形態（及び、後述する第２実施形態）において、属性判別部６０は、カメラ２６ａ（２６ｂ）と座席３４との間に存在する（あるいは存在しない）オブジェクトの分析結果に基づいて、前記オブジェクトを次の６つの属性に分類・判別する。

具体的には、所定のサイズを超えた人間（乗員１２）を「大人」として、所定サイズ以下の人間（乗員１２）を「子供」としてそれぞれ分類する。また、所定形状を有する物体（チャイルドシート）を「ＣＲＳ（Child Restraint System）」として、その他の所定形状（例えば、矩形、円形等）を有する物体を「荷物」としてそれぞれ分類する。さらに、カメラ２６ａ（２６ｂ）と座席３４との間にオブジェクトが存在しない場合、「空席」として分類する。さらにまた、上記した５つの属性のいずれにも該当しない場合、「その他」として分類する。なお、オブジェクトの属性の分類は、上記した規則に限定されることなく、例えば、犬・猫等の「動物」をも含めてもよいし、「荷物」を更に詳細に分類してもよい。

属性判別部６０による判別に先立ち、特定部位検出部５６及びパターンマッチング部５８は、ＲＡＭ４４から取得した画像データＤａ（Ｄｂ）を用いて、所定のパターンマッチング処理を行う。

図６Ａに示すように、カメラ２６ａ（２６ｂ）と座席３４との間にオブジェクトが存在しない場合、画像データＤａ（Ｄｂ）が表す画像領域７０内には、座面３６に応じた画像領域３６ｉ、バックレスト３７に応じた画像領域３７ｉ、及びヘッドレスト３８に応じた画像領域３８ｉがそれぞれ所定の位置関係下に配置される。パターンマッチング部５８は、画像領域７０内の一部の画像領域と、予め用意されたテンプレートとの相関度を算出することで、「空席」であるか否かを判別する。

図６Ｂに示すように、座席３４上に乗員１２が着座している場合、画像データＤａ（Ｄｂ）が表す画像領域７０内には、画像領域３６ｉ〜３８ｉ上に重ねて、乗員１２に応じた画像領域１２ｉが配置される。特定部位検出部５６は、画像領域７０内の一部の画像領域と、予め用意されたテンプレートとの相関度を算出することで、頭部４０に応じた画像領域４０ｉが存在するか否かを判別する。特定部位検出部５６は、例えば、ヘッドレスト３８（画像領域３８ｉ）を基準として検索範囲を設定してもよい。なお、乗員状態検出部５０により頭部４０（画像領域４０ｉ）の高さ位置を併せて検出することで、属性判別部６０は、乗員１２が「大人」であるか「子供」であるかを判別可能である。

図７Ａに示すように、座席３４（座面３６）上にチャイルドシート（正面視が楕円形状）が固定されている場合、画像データＤａ（Ｄｂ）が表す画像領域７０内には、画像領域３６ｉ、３７ｉ上に重ねて、前記チャイルドシートに応じた画像領域７２が配置される。パターンマッチング部５８は、画像領域７０内の一部の画像領域と、楕円形状のテンプレートとの相関度を算出することで、「ＣＲＳ」であるか否かを判別する。

図７Ｂに示すように、直方体状の第１荷物が座面３６上に載置され、角柱状の第２荷物が座席３４に立てかけられている場合、画像データＤａ（Ｄｂ）が表す画像領域７０内には、画像領域３６ｉ、３７ｉ上に重ねて、この第１荷物に応じた画像領域７４が配置される。さらに、画像領域７０内には、画像領域３６ｉ、３７ｉ、７４上に重ねて、この第２荷物に応じた画像領域７６が配置される。例えば、パターンマッチング部５８は、画像領域７０の中から、直線状であって且つ所定の長さ（例えば、図示しないシートベルトの長さ）を超える輪郭線を抽出できるか否かを判別してもよい。そして、図７Ｂ例のように、輪郭線（エッジＥ１〜Ｅ４）が少なくとも１つ抽出された場合、属性判別部６０は、第１荷物及び／又は第２荷物が「荷物」あるいは「ＣＲＳ」であると判別する。また、図示しないシートベルトの着脱状態を検出可能に構成することで、詳細な判別が可能になる。例えば、装着状態である場合に「ＣＲＳ」と判別し、取り外し状態である場合に「荷物」と判別してもよい。

なお、上記手法に限られず、種々の判別条件を用いることができる。例えば、属性判別部６０は、略均一な画素値で形成される画像領域の面積（画素数）に応じて、オブジェクトの属性を判別してもよい。また、属性の検出精度を向上させるため、種々の判定条件を適宜組み合わせてもよい。

さらに、判定可否判別部６２は、特定部位検出部５６又は属性判別部６０による検出・判別結果を参照して、乗員１２の有無についての判定ができるか否かを判別してもよい。例えば、画像データＤａ、Ｄｂを含む各種情報が適切に取得できなかった場合や、相互に矛盾する複数の判別結果が得られた場合に、判定可否判別部６２は、「判定不可」であるとして「その他」の属性に分類してもよい。

ステップＳ７において、撮像制御部６４は、乗員判定結果に応じて、高速モード及び低速モードのいずれか一方を選択する。ここで、第１実施形態では、属性判別部６０により分類・判別された６つの属性を、乗員判定結果として用いる。具体的には、乗員判定結果（属性）が「大人」、「子供」、「その他」のいずれかである場合、判定部５２は、座席３４に乗員１２が存在すると判定する。一方、乗員判定結果（属性）が「空席」、「荷物」、「ＣＲＳ」のいずれかである場合、判定部５２は、座席３４に乗員１２が存在しないと判定する。

乗員１２が存在すると判定された場合、乗員１２の状態を高精度に且つ即時に検知する必要があるので、撮像制御部６４は、撮像間隔が相対的に短い高速モードを選択する（ステップＳ８）。一方、乗員１２が存在しないと判定された場合、座席３４周辺の状態を高精度に且つ即時に検知する必要がないものとして、撮像制御部６４は、撮像間隔が相対的に長い低速モードを選択する（ステップＳ９）。

ステップＳ１０において、乗員検知装置１４は、検知した乗員情報を他のＥＣＵ（例えば、エアバッグＥＣＵ１８）に通知する。ここで、乗員情報には、判定部５２による乗員判定結果のみならず、乗員１２の状態（例えば、乗員状態検出部５０により検出された乗員１２の頭部４０の位置）が含まれてもよい。なお、一対のカメラ２６ａ、２６ｂを用いたステレオ撮像により、頭部４０の奥行き方向の位置をも正確に検出できる。

そして、エアバッグＥＣＵ１８は、供給された乗員情報に基づいて、エアバッグＡＢの展開可否やその展開量を決定する。あるいは、制御部５４（展開制御部６６）がエアバッグＡＢの展開可否や、その展開量を決定し、エアバッグＥＣＵ１８に制御信号を送信するようにしてもよい。

ところで、車両の室内に配置されたカメラユニット２０が１つの場合、複数の座席３４のうち、助手席に対する乗員１２の有無を判定することが好ましい。なぜならば、助手席では、エアバッグＡＢを乗員１２の前方から展開させる構成を採っており、エアバッグＡＢを側方から展開させる後部座席と比べて、助手席の乗員１２の状態（特に、頭部４０の位置）を高精度に検出する必要があるからである。そして、助手席の乗員１２の有無に応じて撮像間隔を制御することにより、必要最小限の構成で乗員１２の検知を適切に行うことができる。

一方、カメラ２６ａ、２６ｂ等の撮像手段（単眼、複眼、又はこれらの組合せでもよい。）を座席３４毎に配置してもよい。この場合、カメラ２６ａ、２６ｂの設置角度や視野角にかかわらず、各乗員１２の状態を高精度に検出できる。また、座席３４毎の乗員１２の有無に応じて撮像間隔をそれぞれ制御することで、消費電力及び部品の劣化を最小限にすることができる。

このようにして、乗員検知装置１４は、図５のフローチャートに沿った動作を繰り返し実行することで、車両の室内での乗員１２の状態を遂次検知できる。

以下、所定の座席３４に着座していた乗員１２が降車する過程における、乗員検知装置１４の動作について、図８のタイムチャートを参照しながら説明する。

先ず、時点ｔ１までの時間帯において、大人の乗員１２は、座席３４に着座していたとする。この場合、一対のカメラ２６ａ、２６ｂにより図６Ｂ例に示す画像データＤａ、Ｄｂが得られ（図５のステップＳ５参照）、属性判別部６０により乗員判定結果（属性）が「大人」である旨の判別がなされ（同ステップＳ６参照）、この結果「高速モード」が選択される（同ステップＳ８参照）。

次いで、時点ｔ１〜ｔ２の時間帯において、乗員１２は、座席３４から離れる動作（席外動作）を行ったとする。頭部４０の検出が不可であった場合、判定可否判別部６２により「判定不可（その他）」と判別され（同ステップＳ６参照）、この結果「高速モード」が選択される（同ステップＳ８参照）。

次いで、時点ｔ２以降の時間帯において、座席３４は、継続して空席の状態であったとする。この場合、一対のカメラ２６ａ、２６ｂにより図６Ａ例に示す画像データＤａ、Ｄｂが得られ（図５のステップＳ５参照）、属性判別部６０により乗員判定結果（属性）が「空席」である旨の判別がなされ（同ステップＳ６参照）、「低速モード」が選択される（同ステップＳ８参照）。

ところで、時点ｔ２の近傍において、カメラ２６ａ、２６ｂによる撮像の際の露光量不足や、電気ノイズの混入等の影響により、乗員１２が着座しているにもかかわらず、属性判別部６０によって乗員１２が存在しないと一時的に判別される可能性がある。そこで、遂次出力される複数の画像データＤａ（Ｄｂ）において複数回連続して乗員１２が検出されなかった場合、判定部５２は、図５のステップＳ７で、乗員１２が存在しないと判定するようにしてもよい。これにより、検出精度の信頼性を向上することができる。

以上のように、乗員１２が存在しないと判定された場合には、存在すると判定された場合と比べて撮像間隔が相対的に長い低速モードで撮像を行うようにした。カメラ２６ａ、２６ｂの撮像範囲内に乗員１２が不在の場合、高精度に且つ即時に乗員１２の状態を検知する必要がないという制御上の性質を考慮することで、乗員検知装置１４の作動時間内における撮像の総数を極力減らすことが可能である。これにより、消費電力の更なる低減ができるとともに、カメラ２６ａ、２６ｂを構成する部品の劣化を更に低減できる。図８に示す具体例では、乗員１２の降車後、撮像の総数を１／３００に設定することで、消費電力等が大幅に低減された。

［第２実施形態］
図９は、本発明の第２実施形態に係る乗員検知装置を組み込んだエアバッグシステム１００の概略構成図である。なお、第２実施形態において、第１実施形態と同一である構成要素には、同一の参照符号を付し、詳細な説明を省略する。

エアバッグシステム１００は、第１実施形態（図１参照）と同様に、乗員検知装置１０２と、エアバッグ／インフレータアセンブリ１６（エアバッグ装置）と、エアバッグＥＣＵ（Electronic Control unit）１８とを基本的に備える。

この乗員検知装置１０２は、カメラユニット１０４の他、図示しないドアの開閉を検出する手段としてのドアスイッチ（以下、ドアＳＷ１０６という。）と、図示しないシートベルトの着脱状態を検出する手段としてのバックルスイッチ（以下、バックルＳＷ１０８という。）とから構成される。

図１０に示すように、カメラユニット１０４は、概略矩形状の筐体２２を有する。筐体２２の一面２４には、１つのカメラ２６ａ（撮像手段）と、４つの赤外ＬＥＤ２８ａ、２８ｂ、２８ｃ、２８ｄ（投光手段）とがそれぞれ配されている。第１実施形態（図１参照）と同様に、座席３４上に乗員１２が着座する状態において、乗員１２の一部（頭部４０を含む。）は、カメラ２６ａの撮像範囲に収まっている。

図１１は、図１０に示すカメラユニット１０４の電気的なブロック図である。

カメラユニット１０４は、カメラ２６ａ、赤外ＬＥＤ２８ａ〜２８ｄの他に、ＣＰＵ４２と、ＲＡＭ４４と、ＬＥＤ駆動部４６とをさらに備える。

ＣＰＵ４２側には、カメラ２６ａからの画像データＤａのみならず、ドアＳＷ１０６からのドア開閉状態、バックルＳＷ１０８からのシートベルト着脱状態、及び、日照センサ１１０からのセンサ値（以下、総称して判定用情報という。）がそれぞれ入力される。なお、日照センサ１１０からのセンサ値と併せて、又はこれに代替して、車両の室内の明るさに直接的又は間接的に対応付けられる情報、例えば、フロントガラス上でのワイパの作動状態を入力してもよい。この場合、ワイパが作動中であれば、現時点での天候は雨であり、室内の照度が低いものと推定される。

図１２は、図１１に示すＣＰＵ４２及びその周辺部位の機能ブロック図である。

ＣＰＵ４２は、カメラ２６ａから取得した画像データＤａに基づいて乗員１２の状態を検出する乗員状態検出部１１２（乗員状態検出手段）、判定用情報に基づいて乗員１２の有無を判定する判定部１１４（判定手段）、車両の室内の撮像に関する各部位を制御するとともに、エアバッグＥＣＵ１８との間で制御信号を送受信する制御部１１６（制御手段）、判定部１１４により乗員１２の有無が判定可能な否かを判別する判定可否判別部１１８、及び、車両の室内の明るさ（例えば、照度、輝度）を算出する車内照度算出部１２０（算出手段）として機能する。

乗員状態検出部１１２は、特定部位検出部５６の他、上述したパターンマッチング部５８及び属性判別部６０（図４参照）をさらに備える。

制御部１１６は、撮像制御部６４及び展開制御部６６の他、カメラユニット１０４による撮像条件を決定する撮像条件決定部１２２をさらに備える。ここで、撮像条件とは、カメラユニット１０４での撮像に関する各種条件を意味する。具体的には、撮像条件には、撮像間隔のみならず、カメラ２６ａの露光時間、赤外ＬＥＤ２８ａ〜２８ｄの個数、点灯時間等が含まれる。

次に、基本的には以上のように構成される第２実施形態に係る乗員検知装置１０２の動作について、図１３の状態遷移図及び図１４のフローチャートを参照しながら説明する。

図１３は、図９に示す乗員検知装置１０２での撮像に関する状態遷移図である。「イグニッションＯＮ」のイベントの発生に伴って、乗員検知装置１０２による撮像動作が開始される。先ずは、「高速モード」状態に遷移し、以降、乗員判定結果に応じて、「高速モード」及び「低速モード」の２つの状態を遷移する。

図１４は、各撮像モードに移行した場合における乗員検知装置１０２の動作説明に供されるフローチャートである。

ステップＳ２１において、カメラユニット１０４は、乗員１２の有無を判定するための判定用情報を取得する。具体的には、判定部１１４は、乗員状態検出部１１２から、画像データＤａに基づいて判別されたオブジェクトの属性を取得する。また、判定部１１４は、ドアＳＷ１０６から、図示しないドアの開閉状態を取得する。さらに、判定部１１４は、バックルＳＷ１０８から、図示しないシートベルトの着脱状態を取得する。さらにまた、車内照度算出部１２０は、日照センサ１１０（あるいは、乗員状態検出部１１２）からセンサ値（あるいは、画像データＤａの輝度）を取得する。

ステップＳ２２において、判定部１１４は、ステップＳ２１で取得した判定用情報に基づいて乗員１２の有無を判定する。

第２実施形態では、乗員判定結果として、属性判別部６０により分類・判別された６つの属性のみならず、スイッチ（ＳＷ）の操作が含まれる。ここで、「ドアＳＷ１０６の操作」とは、スイッチがオンからオフに遷移された状態（ドアの開操作）、又は、スイッチがオフからオンに遷移された状態（ドアの閉操作）をいう。また、「バックルＳＷ１０８の操作」とは、スイッチがオンからオフに遷移された状態（シートベルトの取り外し操作）、又は、オフからオンの状態（シートベルトの装着操作）をいう。以下、「ＳＷ操作あり」とは、ドアＳＷ１０６及びバックルＳＷ１０８の操作のうち少なくとも一方が検出された場合をいう。一方、「ＳＷ操作なし」とは、ドアＳＷ１０６及びバックルＳＷ１０８の操作のうちいずれも検出されなかった場合をいう。

具体的には、乗員判定結果（属性）が「大人」、「子供」、「その他」のいずれかであるか、「ＳＷ操作あり」の場合、判定部１１４は、座席３４に乗員１２が存在すると判定する。一方、乗員判定結果（属性）が「空席」、「荷物」、「ＣＲＳ」のいずれかである場合、且つ、「ＳＷ操作なし」の場合、判定部１１４は、座席３４に乗員１２が存在しないと判定する。

そして、判定可否判別部１１８は、判定部１１４により乗員１２の有無が判定可能か否かを判別する。ここで、判定可否判別部１１８は、属性判別部６０による判別結果、ドアＳＷ１０６、バックルＳＷ１０８等による検出結果等を参照して、乗員１２の有無についての判定ができるか否かを判別してもよい。

ステップＳ２３において、乗員検知装置１０２は、検知した乗員情報を他のＥＣＵ（例えば、エアバッグＥＣＵ１８）に通知する。この動作は、第１実施形態に係る乗員検知装置１４と同様であるから、説明を省略する。

ステップＳ２４において、判定可否判別部１１８は、判定部１１４による乗員判定結果を撮像条件決定部１２２に通知する。この通知にあわせて、車内照度算出部１２０は、日照センサ１１０からのセンサ値（あるいは、乗員状態検出部１１２からの画像データＤａの輝度）に基づいて、車両の室内の明るさに関する算出結果（以下、照度算出結果という。）を取得し、その結果を撮像条件決定部１２２に供給する。そして、撮像条件決定部１２２は、乗員判定結果及び照度算出結果に基づいて、次の撮像動作における撮像条件を決定する。

ステップＳ２５において、撮像制御部６４は、撮像条件決定部１２２により決定された時間だけ待機する。具体的には、図１３において、撮像制御部６４は、「高速モード」状態に遷移された場合は約３３ｍｓ（高速モードでの撮像時間）だけ待機し、「低速モード」状態に遷移された場合は１０ｓ（低速モードでの撮像時間）だけ待機する。

このようにして、乗員検知装置１０２は、図１３の状態遷移図及び図１４のフローチャートに沿った動作を繰り返し実行することで、車両の室内での乗員１２の状態を遂次検知できる。なお、撮像制御部６４は、低速モードにおいて、ドアＳＷ１０６によるドアの開閉又はバックルＳＷ１０８によるシートベルトの着脱が検出されると、カメラ２６ａによる撮像を低速モードから高速モードに切り換えることが好ましい。このように、ドアの開閉操作、シートベルトの着脱操作を検出した場合には乗降動作が行われていると推定することで、乗員１２の状態を適時に検出することができる。

以下、車両の走行時における乗員検知装置１０２の動作について、図１５のタイムチャートを参照しながら説明する。なお、検知対象となる座席３４（助手席）には乗員１２が着座しており、高速モードが常時選択されるものとする。

先ず、時点ｔ３までの時間帯において、車両は地上（日陰）を走行していたとする。ここで、日照センサ１１０で読み出したセンサ値は、所定の第１閾値よりも小さい値を示したとする。このとき、撮像条件決定部１２２は、カメラ２６ａの露光時間、赤外ＬＥＤ２８ａ〜２８ｄの点灯時間を、ともに標準的な値であるＴ１に決定する。

次いで、時点ｔ３〜ｔ４の時間帯において、車両は地上（日向）を走行していたとする。ここで、日照センサ１１０で読み出したセンサ値は、前記第１閾値よりも大きい値を示したとする。このとき、撮像条件決定部１２２は、外光が十分に強いと判断し、カメラ２６ａ及び赤外ＬＥＤ２８ａ〜２８ｄの駆動時間を極力短縮するように撮像条件を決定する。例えば、撮像条件決定部１２２は、カメラ２６ａの露光時間をＴ１よりも小さい値であるＴ２に決定する。また、撮像条件決定部１２２は、赤外ＬＥＤ２８ａ〜２８ｄの点灯時間を０に決定する。

次いで、時点ｔ４以降の時間帯において、車両はトンネル内を走行していたとする。ここで、日照センサ１１０で読み出したセンサ値は、所定の第２閾値（第１閾値よりも小さい値である。）よりも小さい値を示したとする。このとき、撮像条件決定部１２２は、外光が十分に弱いと判断し、カメラ２６ａ及び赤外ＬＥＤ２８ａ〜２８ｄの露光量を十分確保できるように撮像条件を決定する。このとき、撮像条件決定部１２２は、カメラ２６ａの露光時間、赤外ＬＥＤ２８ａ〜２８ｄの点灯時間を、ともにＴ１よりも大きい値であるＴ３に決定する。

このように、車内照度算出部１２０により算出された輝度又は照度が所定値（第１閾値）以上である場合には、制御部１１６（撮像制御部６４）は、カメラ２６ａの露光時間若しくは赤外ＬＥＤ２８ａ〜２８ｄの発光時間を短縮し、又は、発光を禁止することが好ましい。輝度又は照度に応じてこれらを適切に制御することで、消費電力及び部品の劣化を最小限にすることができる。特に、高輝度・高出力の赤外ＬＥＤ２８ａ〜２８ｄを用いる場合は効果的である。そして、発光時間を短縮することで、発熱量も低減可能であり、カメラユニット１０４に内蔵された電気部品の動作が安定する。

なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

Claims (9)

1. 車両の室内に配置され、前記車両の室内の座席（３４）を含む所定領域の画像（Ｄａ、Ｄｂ）を、所定の撮像間隔での撮像によって逐次出力する撮像手段（２６ａ、２６ｂ）と、
   前記所定領域における前記座席（３４）に対する乗員（１２）の有無を判定する判定手段（５２、１１４）と、
   前記撮像手段（２６ａ、２６ｂ）から出力される前記画像（Ｄａ、Ｄｂ）に基づいて前記乗員（１２）の状態を検出する乗員状態検出手段（５０、１１２）と、
   を備える乗員検知装置（１４、１０２）であって、
   前記判定手段（５２、１１４）の判定結果に応じて前記撮像間隔を制御する制御手段（５４、１１６）を備え、
   前記制御手段（５４、１１６）は、前記判定手段（５２、１１４）により前記乗員（１２）が存在すると判定された場合には、前記撮像間隔が相対的に短い高速モードで前記撮像を行うように前記撮像手段（２６ａ、２６ｂ）を制御するとともに、前記判定手段（５２、１１４）により前記乗員（１２）が存在しないと判定された場合には、前記撮像間隔が相対的に長い低速モードで前記撮像を行うように前記撮像手段（２６ａ、２６ｂ）を制御する
   ことを特徴とする乗員検知装置（１４、１０２）。
2. 請求項１記載の乗員検知装置（１４、１０２）において、
   前記判定手段（５２、１１４）は、前記撮像手段（２６ａ、２６ｂ）から出力される前記画像（Ｄａ、Ｄｂ）に対するパターンマッチングにより前記乗員（１２）の有無を判定するとともに、前記パターンマッチングにより空席、チャイルドシート及び所定形状の荷物のうちいずれかの形状が検出された場合に、前記乗員（１２）が存在しないと判定することを特徴とする乗員検知装置（１４、１０２）。
3. 請求項１又は２に記載の乗員検知装置（１４、１０２）において、
   前記判定手段（５２、１１４）は、前記撮像手段（２６ａ、２６ｂ）から逐次出力される複数の前記画像（Ｄａ、Ｄｂ）において複数回連続して前記乗員（１２）が検出されなかった場合に、前記乗員（１２）が存在しないと判定することを特徴とする乗員検知装置（１４、１０２）。
4. 請求項１〜３のいずれか１項に記載の乗員検知装置（１４、１０２）において、
   前記車両が障害物に衝突した際にエアバッグ（ＡＢ）を展開するエアバッグ装置（１６）をさらに備え、
   前記所定領域は、１つの撮像手段（２６ａ、２６ｂ）により前記車両の室内にある全ての座席（３４）を撮像可能に設定されており、
   前記判定手段（５２、１１４）は、前記撮像手段（２６ａ、２６ｂ）により撮像される前記全ての座席（３４）のうち助手席に対する前記乗員（１２）の有無を判定し、
   前記乗員状態検出手段（５０、１１２）は、前記乗員（１２）の状態として前記乗員（１２）の頭部（４０）位置を検出し、
   前記制御手段（５４、１１６）は、前記判定手段（５２、１１４）により判定された前記助手席に対する前記乗員（１２）の有無に応じて前記撮像間隔を制御するとともに、前記乗員状態検出手段（５０、１１２）により検出された前記頭部（４０）位置に基づいて前記エアバッグ（ＡＢ）の展開可否又は展開量を制御する
   ことを特徴とする乗員検知装置（１４、１０２）。
5. 請求項１〜３のいずれか１項に記載の乗員検知装置（１４、１０２）において、
   前記撮像手段（２６ａ、２６ｂ）は、前記座席（３４）毎に設けられており、
   前記判定手段（５２、１１４）は、前記撮像手段（２６ａ、２６ｂ）からそれぞれ出力される前記画像（Ｄａ、Ｄｂ）に基づいて前記座席（３４）毎に前記乗員（１２）の有無をそれぞれ判定し、
   前記制御手段（５４、１１６）は、前記判定手段（５２、１１４）により判定された前記座席（３４）毎の前記乗員（１２）の有無に応じて、前記撮像間隔を前記撮像手段（２６ａ、２６ｂ）毎に制御する
   ことを特徴とする乗員検知装置（１４、１０２）。
6. 請求項１〜５のいずれか１項に記載の乗員検知装置（１０２）において、
   前記車両のドアの開閉を検出するドア開閉検出手段（１０６）と、
   前記座席（３４）のシートベルトの着脱状態を検出するシートベルト着脱検出手段（１０８）と、をさらに備え、
   前記制御手段（１１６）は、前記低速モードにおいて、前記ドア開閉検出手段（１０６）による前記ドアの開閉又は前記シートベルト着脱検出手段（１０８）による前記シートベルトの着脱が検出されると、前記撮像手段（２６ａ）による前記撮像を前記低速モードから前記高速モードに切り換える
   ことを特徴とする乗員検知装置（１０２）。
7. 請求項１〜６のいずれか１項に記載の乗員検知装置（１４、１０２）において、
   前記判定手段（５２、１１４）による前記乗員（１２）の有無の判定ができたか否かを判別する判定可否判別手段（６２、１１８）をさらに備え、
   前記制御手段（５４、１１６）は、前記判定可否判別手段（６２、１１８）により前記判定ができていないと判別された場合には、前記高速モードで前記撮像を行うように前記撮像手段（２６ａ、２６ｂ）を制御する
   ことを特徴とする乗員検知装置（１４、１０２）。
8. 請求項１〜７のいずれか１項に記載の乗員検知装置（１４、１０２）において、
   前記所定領域に向けて光を投射する投光手段（２８ａ、２８ｂ、２８ｃ、２８ｄ）をさらに備え、
   前記投光手段（２８ａ、２８ｂ、２８ｃ、２８ｄ）は、前記制御手段（５４、１１６）により制御された前記撮像間隔に同期して発光する
   ことを特徴とする乗員検知装置（１４、１０２）。
9. 請求項８記載の乗員検知装置（１０２）において、
   前記撮像手段（２６ａ）から出力される前記画像（Ｄａ）の輝度及び前記車両の室内での照度のうちのいずれか一方を算出する算出手段（１２０）をさらに備え、
   前記制御手段（１１６）は、前記撮像手段（２６ａ）の露光時間、前記投光手段（２８ａ、２８ｂ、２８ｃ、２８ｄ）の発光可否及び発光時間のうちの少なくとも１つを制御可能であるとともに、前記算出手段（１２０）により算出された前記輝度又は前記照度が所定値以上である場合には、前記撮像手段（２６ａ）の露光時間若しくは前記投光手段（２８ａ、２８ｂ、２８ｃ、２８ｄ）の発光時間を短縮し、又は、前記投光手段（２８ａ、２８ｂ、２８ｃ、２８ｄ）の発光を禁止する
   ことを特徴とする乗員検知装置（１０２）。

Images