JP4438753B2 - 車両内状態検知システム，車両内状態検知装置および方法 - Google Patents

Description

本発明は、車両内の状態を検知する装置または方法に関する。

従来における車両内の乗員または物体の状態を検知する技術としては、例えばエアバッグの展開の要否を判断するための計測装置として、乗員の有無や乗員の重量を検知する装置が知られている。これは、シート座面に一定以上の荷重が加わった場合に乗員が存在することを知らせるシートスイッチや、シートに加わっている重量を計測できる荷重センサを用いたものである。

また、乗員の着座状態を検知するものとして、一つの撮像デバイスと複数のスポット光源を用いて、座席の使用状況を判断する装置が知られている（例えば、特許文献１）。

特開２００４−６９６８７号公報

車両内の状態をより制度良く検知することは、例えば昨今のサイドエアバッグやカーテンエアバッグなど、エアバッグの多様化に対応するために有利である。しかし、多様化したエアバッグを効果的に作用させるためには、乗員の有無や体重のみならず、乗員の姿勢や体型を高精度に計測する技術や、チャイルドシートの装着の有無といった、座席の使用状態、引いては車両内の状態を精度良く検知する技術が必要である。

しかしながら上述の技術では、スポット光を精度良く安定的に検知する必要がある一方で、直射日光などの外乱が生じた場合、精度良く安定的に対象を検知することは困難である。例えば明るさが急激に変化する場合や、太陽光が直接入射する場合などの車室内環境において、安定的に乗員を検知することは困難である。

本発明の目的は、車両内の状態をより高い精度で検知する装置を提供することにある。

座席上の乗員や物体に対して、複数の照射領域を所定時間内に時間を異ならせて照射し、照射毎に座席上の乗員や物体を撮像し、撮像された複数の画像を分析することにより、乗員や物体の状態を示す情報を生成する。

本発明によれば、車両内の状態をより高い精度で検知することができる。

以下、本発明の実施形態を説明する。

本実施形態は、自動車等の車室内において、乗員の有無，乗員の姿勢，乗員の体格，チャイルドシートなど、座席の使用状態を認識するための車両内状態検知装置、及び、その検知方法に関する。例えば、エアバッグの展開の有無を制御するための計測装置として、乗員の有無や乗員の重量を検知する装置が考えられる。これは、シート座面に一定以上の荷重が加わった場合に乗員が存在することを知らせるシートスイッチや、シートに加わっている重量を計測できる荷重センサを用いたものである。例えば、重量を検知するセンサをシートに取り付けたシートセンサがある。乗員の有無や体重によってエアバッグの展開を制御するためのセンサとして用いられる。図２９は、シート重量センサを用いた乗員検知システムの例を示す。

しかしながら、このような乗員検知システムでは、乗員の有無や重量は判断できるが、乗員の姿勢や体型，チャイルドシートを判断することは困難である。すなわち、乗員がエアバッグ装置に近接しているような場合や、助手席にチャイルドシートが存在する場合におけるエアバッグの展開制御が適切に行われない。図３０は、車両座席の状態とエアバッグの展開方法を示す。

サイドエアバッグやカーテンエアバッグなど、エアバッグの多様化に対応するためには、より高精度なエアバッグの展開制御が必要となっている。そのためには、乗員の有無や体重だけでなく、乗員の姿勢や体型を高精度に計測する技術や、チャイルドシートの装着の有無といった、座席の使用状態を検知する技術が必要である。

また、座席に乗員が存在しない状況など、エアバッグの展開が不要な場合にはエアバッグを展開させないことで、ユーザに対する補修費用の軽減や、資源の節約にも貢献できる。

そこで本実施形態は、車両内の状態をより高い精度で検知し、車室内の明るさの変動等に影響されることなく、乗員の有無，姿勢，体格，チャイルドシート等の座席の使用状態を高精度に検知する車両内状態検知装置を提供する。

本実施形態では、例えば撮像手段として、車両座席を含む車室内所定領域へ所定の波長領域の光を照射する複数の照射デバイスで構成される照射手段と、前記所定の波長領域の光を透過し、前記車室内の所定領域を少なくとも一つの撮像素子で撮像する撮像手段と、これらの手段によって撮像した画像に対して画像処理を行い、前記車両座席の使用状態を検知する画像処理手段とを備えている。

また、照明については、好ましくは、複数の照射デバイスで構成され、各々の照射デバイスはそれぞれ所定の方向に指向性を持ち、撮像デバイスのシャッターと同期したタイミングで順次発光消灯を行う。

このことにより、各照射デバイスからの反射光の光量を画像処理で検知することで車両座席に存在する物体の有無および位置が特定できる。

さらに、乗員に対して左（もしくは右）方向または左右方向から所定の方向に照射することが好ましく、これにより、乗員の頭部などが左右方向にずれた状態で着座していても、乗員に対して確実に照射される。

さらに、照明によって得られた位置情報を基に、ステレオマッチングの探索範囲を限定することで、計算量を軽減することができ、処理速度の高速化が図れる。

さらに、照明によって得られた位置情報をステレオカメラによる距離計測結果の補正値として利用することができ、精度が向上する。

撮像デバイスと照射デバイスは、インストルメンタルパネルより上方に取り付けられることが好ましい。このことにより、車両座席の前方に大きな荷物が存在する場合や、インストルメンタルパネルに荷物が存在する場合でも車両座席を撮像することが可能である。さらに、乗員が新聞などを広げている場合でも上方から撮像することで、乗員を検知することが可能となるなどのメリットもある。

撮像デバイスは、好ましくは運転席の状態を検知する場合は運転席側のＡピラー、又はサンバイザー部から撮像し、助手席の状態を検知する場合は助手席側のＡピラー、又はサンバイザー部から撮像する様に取り付けられる。このことにより、撮像領域に車両窓入りにくくなるため、車室外の背景，太陽光といった外乱からの影響を低減することができる。さらに、Ａピラー又はサンバイザー部には前記撮像デバイスを設置するための領域の確保が容易であり、かつ意匠をみだしにくい。

撮像手段は、一つの撮像デバイスとレンズとを組み合わせた単眼カメラによる撮像手段、または、前記単眼カメラを少なくとも２台もちいたステレオカメラによる撮像手段とすることが好ましい。また、照射デバイスに所定の波長領域の近赤外光を用い、さらに撮像デバイスの手前に赤外光の波長領域を透過するフィルタを組み合わせることも可能である。このことにより、撮像デバイスによって受光される光は、前記照射デバイスによって照射された光の反射光のみとなるため、車室外から入射する太陽光や街灯，対向車のヘッドライトなどの光による影響を軽減することができる。

座席の使用状況を認識する手段は、撮像手段が単眼カメラの場合、複数の照射デバイスによって別々の位置へ照射された画像における濃淡分布や２次元形状等の特徴量を基に認識される。また、撮像手段がステレオカメラの場合、左右画像から距離画像を生成し、生成された距離画像から得られる３次元形状の特徴量を基に認識される。

乗員が存在しない場合と、乗員が存在する場合と、チャイルドシートが存在する場合とを判断し、乗員が存在する場合には、乗員の体格判断，乗員の姿勢判断を、予め登録した学習データとのパターン照合を行うことにより実現することが可能である。このことにより、乗員の有無，体格，姿勢，チャイルドシートの存在をそれぞれ精度良く検知することができる。さらに、距離画像から対象物体との距離を検知することができるため、シートが前後方向に移動した場合でも上記判断が可能となる。

乗員が所定の体格に満たない場合、チャイルドシートが存在する場合、エアバッグ展開部に乗員が極めて接近している場合、正しい姿勢で着座していない場合、乗員が存在しない場合、車両座席に乗員以外の荷物などが置かれている場合はエアバッグの展開せず、乗員が前記所定の体格以上かつ新たに設ける所定の体格（例えば１０歳程度）未満の場合はエアバッグの展開強度を緩め、それ以外の使用状況の場合には通常にエアバッグの展開を行うことが好ましい。このようなエアバッグの展開制御を行うことで、エアバッグの展開に対する乗員の安全性をより高く保つことができ、かつ座席に乗員が存在しない状況など、エアバッグの展開が不要な場合にはエアバッグを展開させないことで、ユーザに対する補修費用の軽減や、資源の節約にも貢献できる。

また、所定の車速以下の場合には、乗員検知の処理周期を遅くするといった、車速に応じて乗員検知を行う処理周期を変化させることが好ましい。また、乗員がエアバッグに接近している場合と十分に離れている場合とで乗員検知の処理周期を変化させても良い。このことにより、エアバッグの展開に対する乗員の安全性をより高く保つ必要がある場合には十分な検知能力を有し、安全なエアバッグの展開が可能であると同時に、通常の場合には、処理速度を遅くすることで、車両内状態検知装置の消費電力を低く抑えることが可能となり、バッテリや発電器への負荷を低減し、本装置の耐久性維持にも貢献する。

尚、上記の各構成は本発明に必須なものではなく、それぞれの効果が得られる範囲において、取捨選択が可能である。

以下、具体的な実施例を説明する。

図１は、本発明の一実施例をなす車両内状態検知システムの構成図を示す。

本システムは、車室内の乗員の頭部位置，姿勢，体型，チャイルドシート、その他の荷物などを検知するための装置であり、例えばエアバッグの展開制御に使用される。図２において、実線の矢印は電気信号の進路を示す。

本実施例における車両内状態検知システム１０７には、車室内の所定領域を撮像することができ、少なくとも赤外線波長領域に感度を持つ撮像デバイス１０３、撮像デバイス
１０３によって撮影される領域を照らす赤外線の照射装置１０５、それを制御する照射装置制御回路１１３、撮像デバイス１０３のシャッター等の制御を行う撮像素子制御回路
１１１、撮影デバイスからのデジタル信号をアナログ信号に変換するＡ／Ｄ変換器１０８、取得された画像を保存するメモリ１０９、取得された画像に対して信号処理を行い距離画像を生成する画像処理演算回路１１０、画像から乗員を検知し、車両からの情報を加味してエアバッグの展開制御指令を行う制御演算回路１１２から構成されている。

尚、図１で示したデバイスや装置は、どのように分離されて車内に配置されていてもよく、例えば照射装置１０５と撮像装置１０４を除く回路等を一つの筐体で構成した制御装置（車両内状態検知装置）に収め、照射装置１０５と撮像装置１０４との間を信号線等で接続しても良い。

図２及び図３は、図１の照射装置１０５の配置図を示す。

ここでは、照射装置１０５が１０５Ｌａ，１０５Ｌｂ，１０５Ｌｃ，１０５Ｒａ，
１０５Ｒｂ，１０５Ｒｃの６個の赤外線ＬＥＤで構成される例を示す。各々の照射デバイスはそれぞれ一定角度に取り付けられ異なる領域への照射を行う。そして、ヘッドレストからシートバッグ，エアバッグ近傍にかけての撮像デバイスが撮影する範囲を照らし、撮像デバイス１０３のシャッターと同期したタイミングで順次発光消灯を行う。赤外線LEDは、８００ｎｍ〜９００ｎｍの近赤外線を発光するデバイスを用い、図２に示すように運転席２０２ａ及び／または助手席２０２ｂの両側天井部に車両進行方向に並べて配置され、乗員２０１ａ，２０１ｂと運転席２０２ａ及び助手席２０２ｂが照らされるように照射角度が調整される。ここでは運転席と助手席に照射装置１０５を配置した例を示したが、車両によっては運転席のみ、助手席のみに当該照射装置１０５があっても良い。

図４は、図１の各照射装置１０５の発光タイミングと撮像デバイス１０３の露光タイミングを示したタイミングチャートを示す。各ＬＥＤは高出力化と耐久性を考慮してパルス発光を行う。まず、照射装置１０５Ｌ(Ｒ)ａがパルス発光を開始したと同時に撮像デバイス１０３のシャッターを開き、露光を開始し、所定の時間だけ露光した後、照射装置
１０５Ｌ(Ｒ)ａの発光を停止して撮像デバイスのシャッターを閉じる。つづいて、同様の操作を照射装置１０５Ｌ(Ｒ)ｂと照射装置１０５Ｌ(Ｒ)ｃについても順次行う。

撮像装置１０４は、図２に示すように、撮影領域からの反射光を集光するレンズ１０１と、所定の赤外線波長の光を透過するバンドパスフィルタ１０２と、撮影領域からの反射光を電気信号に変換する撮像デバイス１０３で構成される。

撮像デバイス１０３には、前記赤外線ＬＥＤの波長領域に対する感度をもつＣＣＤ素子を用い、ＣＣＤ素子とレンズとの間には、前記赤外線ＬＥＤの波長領域のみを透過するバンドパスフィルタ１０２が用いられる。

図５は、図１の撮像装置１０４の配置図を示す。

撮像装置１０４は、運転席２０２ａおよび助手席２０２ｂの前方上部の車両天井に配置され、運転席２０２ａおよび助手席２０２ｂの少なくともヘッドレスト，シートバック、またはエアバッグ装置近傍のいずれか一つを撮影することができるよう設置される。

図１と図５において、撮像装置１０４と照射装置１０５は、インストルメンタルパネル２０４より上方に取り付けられている。また、車両のフロントガラス，サイドガラス，リヤサイドガラス，リヤガラス等のガラス部材は、赤外線光をほとんど透過させない特性の部材が用いられることが好ましい。

図１の制御演算回路１１２は、撮像装置１０４と照射装置１０５への制御信号を送信する送信部、撮像装置１０４により撮像された複数の画像を比較する画像比較部、画像処理演算回路１１０による画像処理結果から車両座席の状態を判断する判断部、画像比較機能の比較結果に基づいて乗員及び／または物体の状態を示す情報を生成する情報生成部、車両の速度やシートベルトの装着状態などの車両情報１１５を受信する受信部、情報生成部が生成した情報に基づいてエアバッグ制御装置１１４へエアバッグの展開方法を送信するエアバッグ送信部うち、少なくともいずれか一つを具備している。

エアバッグの展開方法は、画像処理演算回路１１０による画像処理結果から得られる車両座席の状態と、車両からの速度情報，シートベルトのバックルスイッチを総合的に判断される。この判断結果をもとに制御演算回路１１２では、エアバッグの展開の有無と強度を決定し、エアバッグ制御装置１１４へ信号を送信する。

エアバッグ制御装置１１４は、制御演算回路１１２から送信された信号をもとにエアバッグの展開の有無と、エアバッグの展開量の制御を行う。具体的には、エアバッグの非展開，緩い展開，強い展開のいずれかの制御を行う。

次に本実施例における、車両内状態検知装置の各部の動作を説明する。

照射装置１０５によって撮像領域へ赤外線光が照射される。照射装置による赤外線光の照射は、周囲の明るさによらず、常に行われる。

図５に示すようにＬＥＤの発光タイミングと撮像装置１０４の露光タイミングは同期して行われる（後述する図１７におけるステップＳ２０１からステップ２０５）。

図６は、図１の実施例で取得された画像を示す。

照射装置１０５Ｌ(Ｒ)ａが照射されている場合の画像３０１と、照射装置１０５Ｌ(Ｒ)ｂが照射されている場合の画像３０２と、照射装置１０５Ｌ(Ｒ)ｃが照射されている場合の画像３０３がそれぞれ取得されることになる。この制御は順次繰り返して行われる。

照射装置１０５Ｌ(Ｒ)ａ〜照射装置１０５Ｌ(Ｒ)ｃのそれぞれの照射領域における反射光が図６に示す３つの画像３０１〜３０３として取得され、メモリ１０９へ保存される。保存された画像に対して画像処理演算回路１１０において、テンプレートマッチングが行われ、制御演算回路１１２によって３つの画像の内、乗員が存在する画像が選択される
（テンプレートマッチングに関する詳細は後述する）。よって、選択された画像におけるＬＥＤ照射範囲に乗員が存在すると認識され、前後方向の着座位置が特定される。

照射装置１０５Ｌ(Ｒ)ａ〜照射装置１０５Ｌ(Ｒ)ｃは、乗員に対して左右方向から照射されるため、乗員の頭部などが左右方向にずれた状態で着座していても、乗員に対して確実に照射される。

また、車両のフロントガラス，サイドガラス，リヤサイドガラス，リヤガラス等のガラス部材は、赤外線光をほとんど透過させない特性の部材が用いられることが好ましい。このことにより、車室外から入射する太陽光や自動車のヘッドライトに含まれる赤外線光の大部分を遮断することが可能となる。

つまり、車室外からの光による外乱のほとんどは車室内に入射せず、照射装置１０５から照射される赤外線光の反射光のみが撮像装置１０４に具備されたバンドパスフィルタ
１０２を透過し、撮像装置１０４によって撮像される。よって、周囲の明るさによらず一定した照明条件における撮影が可能となる。

以上のことから、各照射装置１０５からの反射光の光量を画像処理で検知することで車両座席に存在する物体の位置が特定できる。

さらに、乗員に対して左右方向から所定の方向に照射することにより、乗員の頭部などが左右方向にずれた状態で着座していても、乗員に対して確実に照射されるため、乗員の姿勢に依存せず、安定した撮影が可能となる。

また、撮像装置１０４と照射装置１０５は、インストルメンタルパネル２０４より上方に取り付けられる。このため、車両座席の前方に大きな荷物が存在する場合や、インストルメンタルパネルに荷物が存在する場合でも車両座席を撮像することが可能である。さらに、乗員が新聞などを広げている場合でも上方から撮像することで、乗員を検知することが可能となる。

また、レンズの焦点距離ｆを小さくし、撮像範囲を広くすることで、撮像装置１０４と計測対象となる乗員２０１との距離が近い場合でも、乗員の頭部から上半身までを確実に撮像することが可能となる。

次に、乗員検知に関する認識方法について説明する。

図７から図１１は、図１の実施例における車両内状態検知のフローチャートを示す。

まず、図７のステップＳ１０１にて車両内状態検知装置が正常に動作するかの自己診断が行われる。異常と判断された場合、車両へフェール信号を送信し、正常と判断された場合は、次のステップへ進む。

ステップＳ１０２では、車両の速度が所定の速度以上であるかが判断される。所定の車速未満である場合、以下のステップは実行されずにリターンとなる。所定の速度以上の場合、ステップＳ１０３に進み、画像取り込みのサブルーチンが実行される。ステップ
Ｓ１０３からステップＳ１０４が照射装置１０５の個数分だけ繰り返し行われる。

図８を用いてステップ１０４の画像取り込みについて説明する。

ステップＳ２０１でシャッターを開くとともに、Ｓ２０２で照射装置のＬＥＤのパルス発光を開始する。Ｓ２０３で所定露光時間のループを行い、その後Ｓ２０４でシャッターを閉じるとともに、Ｓ２０５でＬＥＤのパルス発光を終了する。この一連の動作の結果が、先に説明した図４のタイミングチャートで示されている。その後ステップＳ２０６で撮像画像をメモリに保存し、ステップ２０７で画像のＩＤであるＴをインクリメントする。

次に、ステップＳ１０５で照射装置１０５による反射光量及び／または濃淡分布によって、乗員の位置が算出され、ステップＳ１１０でメモリに距離データが保存される。例えば、照射装置１０５Ｌ(Ｒ)ｂによる反射光量が他の照射装置１０５に比べて大きい場合には、１０５Ｌ(Ｒ)ｂによって照射される領域に物体が存在すると判断される。

次にステップＳ１０６において、存在する物体が乗員であるかの判断と、乗員である場合の特徴抽出を行う。詳細を図９で説明する。ステップＳ３０１でメモリから画像を読み出す。Ｓ３０２でＬＥＤ発光による距離データを読み込み（Ｓ３０８）、頭部テンプレートサイズの正規化を行う。Ｓ３０３では、存在する物体が人間である場合、頭部が存在することを利用し、人間の頭部の形状特徴としたテンプレートマッチングを行う。頭部の形状はほぼ球形状としてとらえることができるため、姿勢による形状の変化は少ない。

テンプレートマッチングにおいて、所定のしきい値以上の相関値が得られた場合、乗員が存在すると判断される（ステップＳ３０４）。一般的に、形状を用いたテンプレートマッチングはテンプレートとモデルとの大きさが異なる場合、マッチング精度が落ちる。よって、マッチングの精度を向上させるために、照射装置１０５によって撮像装置１０４から乗員までの距離が既知であるため、その距離を用いて予めテンプレートの大きさの正規化が行われる（ステップＳ３０２）。

図１２は、図９のテンプレートマッチングにおける重心座標算出方法を示す。

テンプレートマッチングによって頭部が検出された場合、乗員２０１が存在すると判断されるとともに（ステップＳ３０５）、頭部の重心座標Ｇｈ（ｘｈ，ｙｈ）が算出される（ステップＳ３０６）。この重心座標Ｇｈを基に、乗員２０１の姿勢及び／または身長が決定される。また、体格の指標として肩幅Ｄを算出する（ステップＳ３０７）。肩幅Ｄは、左肩と右肩の端部エッジを抽出し、それらの距離を肩幅Ｄとする。肩幅Ｄの抽出は、既に頭部位置が既知である場合には、肩領域をより容易に推定することができ、高速な処理が可能となる。

その後、図７のステップＳ１０７で、図１０に示す座席状態の分類処理ルーチンが実行される。まず、乗員存在フラグが判断される（ステップＳ４０１）。フラグの値が１の場合、ステップＳ４０２へ進み、フラグの値が１以外の場合は、乗員が存在しないと判断される（ステップＳ４０９）。続いて、図７のステップＳ１１０で得た距離データを基に、乗員が前後方向の所定の範囲内に存在するか判断される（ステップＳ４０２）。所定の範囲内に存在しない場合は着座姿勢が不正と判断される（ステップＳ４０８）。続いて、図７のステップＳ１０６の結果を用いて、水平方向の頭部重心座標ｘｈが所定のしきい値の範囲であれば、適正な着座姿勢と判断され（ステップＳ４０３）、所定のしきい値の範囲を逸脱した場合には、不適切な着座姿勢と判断される（ステップＳ４０８）。また、垂直方向の頭部重心座標ｙｈと肩幅Ｄが所定のしきい値以上であれば、大人と判断され（ステップＳ４０４およびステップＳ４０５，ステップＳ４０６）、所定のしきい値未満であれば、子供と判断される（ステップＳ４０７）。

次に、図７のステップＳ１０７の結果を基に、ステップＳ１０８にて図１１に示されるようなエアバッグの適切な展開強度が選択される。

エアバッグ制御装置１１４は、制御演算回路１１２によって出力される検知結果に基づいてエアバッグの展開方法を決定し、エアバッグの展開制御を行う。まず、ステップ
Ｓ５０１とステップＳ５０２では、乗員が不在の場合、乗員がエアバッグに近接している場合、乗員が不適切な姿勢で着座している場合、チャイルドシートが存在する場合など、エアバッグの展開が不必要な場合はエアバッグを非展開とする（ステップＳ５０６）。また、乗員が所定の体格以下（子供や小柄な女性など）の場合の判断が行われ（ステップ
Ｓ５０３）、エアバッグを弱展開とされる（ステップＳ５０５）。その他、乗員が所定の体格以上の場合はエアバッグを通常展開とする（ステップＳ５０４）。

なお、チャイルドシートが存在する場合、テンプレートマッチングによる頭部の検出が行われないため、乗員が存在しないと判断され、エアバッグは非展開となる。

以上のことから、本実施例によれば、異なる方向に指向性をもった複数の照射装置105によって車室内所定領域に照射し、かつ撮像デバイス１０３のシャッターと同期したタイミングで順次発光消灯を行い、各照射装置１０５からの反射光の光量を画像処理で検知することにより、車両座席に存在する物体の位置が特定できる。これにより、乗員の状態を的確に検知し、エアバッグ制御装置１１４によって、適切なエアバッグの展開が可能となる。

また、照射装置１０５は、乗員に対して左右方向から所定の方向に配置され、乗員の頭部などが左右方向にずれた状態で着座していても、乗員に対して確実に照射されるため、安定した乗員検知が行える。

また好ましくは、照射装置１０５に所定領域の赤外線光を用い、撮像装置１０４には、少なくとも近赤外線光の一部に受光感度を有する撮像デバイス１０３と、撮像デバイスへの光路上には、少なくとも近赤外線光の一部を透過させるバンドパスフィルタ１０２とから構成される。このことから、車室外から入射する太陽光や対向車などのヘッドライトや、街灯等の可視光による影響を低減することができる。一方、照射装置１０５によって照射される赤外線光は、バンドパスフィルタを透過するため、照射装置１０５による反射光は撮像デバイス１０３により撮影することができる。

また好ましくは、車両のフロントガラス，サイドガラス，リヤサイドガラス，リヤガラス等のガラス部材は、赤外線光をほとんど透過させない特性の部材が用いられる。このことにより、車室外から入射する太陽光や自動車のヘッドライトに含まれる赤外線光の大部分を遮断することが可能となる。

また好ましくは、撮像装置１０４と照射装置１０５は、インストルメンタルパネル204より上方に取り付けられるため、車両座席の前方に大きな荷物が存在する場合や、インストルメンタルパネル２０４に荷物が存在する場合でも車両座席を撮像することが可能である。さらに、乗員が新聞などを広げている場合でも上方から撮像することで、乗員を検知することが可能となる。

また好ましくは、照射装置１０５の反射光量や濃淡分布による乗員の位置検出と、乗員の位置に応じて正規化を行った頭部形状のテンプレートマッチングを行い、乗員の位置，姿勢，体格を精度良く、高速に検知することが可能となる。

また好ましくは、エアバッグの展開制御方法は、乗員が所定の体格に満たない場合、チャイルドシートが存在する場合、エアバッグ展開部に乗員が極めて接近している場合、正しい姿勢で着座していない場合、乗員が存在しない場合、車両座席に乗員以外の荷物などが置かれている場合はエアバッグの展開せず、乗員が前記所定の体格以上かつ新たに設ける所定の体格未満の場合はエアバッグの展開強度を緩め、それ以外の使用状況の場合には通常にエアバッグの展開を行う。このことにより、エアバッグの展開に対する乗員の安全性をより高く保つことができる。さらに、座席に乗員が存在しない状況など、エアバッグの展開が不要な場合にはエアバッグを非展開とすることで、ユーザに対する補修費用の軽減や、資源の節約にも貢献できる。

図１３は、本発明の他の実施例をなす車両内状態検知システムの構成図を示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

実施例１では、撮像装置に単眼カメラを用いたが、本実施例では、撮像装置に２つのカメラを用いたステレオカメラを用いる。実施例１と同様の構成である撮像装置を２つ用いている。つまり、本実施例の車両内状態検知システム１１６における撮像装置１０６は、撮影領域からの反射光を集光するレンズ１０１Ｌ，１０１Ｒと、所定の赤外線波長の光を透過するバンドパスフィルタ１０２Ｌ，１０２Ｒと、撮影領域からの反射光を電気信号に変換する撮像デバイス１０３Ｌ，１０３Ｒで構成される。また、２つの撮像デバイス103L，１０３Ｒから出力されるアナログ信号をデジタル信号へ変換するＡ／Ｄ変換器は、撮像デバイス１０３Ｌに接続される１０８Ｌと１０３Ｒに接続される１０８Ｒとを用いる。

尚、図１３で示したデバイスや装置は、どのように分離されて車内に配置されていてもよく、例えば照射装置１０５と撮像装置１０６を除く回路等を一つの筐体で構成した制御装置（車両内状態検知装置）に収め、照射装置１０５と撮像装置１０６との間を信号線等で接続しても良い。

図１４は、図１３のステレオカメラの構成図を示す。

二つの撮像デバイス１０３Ｌ，１０３Ｒは視差に相当する間隔ｄだけ離れて平行に配置される。視差ｄと２つのレンズ１０１Ｌ，１０１Ｒの焦点距離ｆは、乗員が存在しうる範囲において乗員の形状が認識可能となる精度になるように定められる。レンズ103L(R) の焦点距離を小さくし、撮像範囲を広くすることで、本装置と計測対象となる乗員との距離が近い場合でも、乗員を撮像することが可能となる。

次に、画像処理演算回路１１０における距離画像生成方法について説明する。メモリ
１０９から１対の左右画像を読み出す。左右画像における左画像と右画像は、広角のレンズ１０３Ｌ(Ｒ)によって歪みを伴っている。そのため、レンズの固有値によって定まる補正式によって、この歪みを補正する。今、広角レンズ１０３Ｌ(Ｒ)によって歪んだ画像の座標を（ｕ，ｖ）とすると、歪みを補正した後の画像の座標（ｘ，ｙ）は以下の（式１）で与えられる。ここで、ｋは放射歪みの大きさをモデル化したパラメータである。

補正された画像の左（右でもよい）画像を基準画像、補正された右（左でもよい）画像をマッチング画像とする。Ｎ×Ｍのウィンドウを用意し、基準画像をテンプレートとして、マッチング画像中を走査させ、マッチング演算を行う。本実施例におけるマッチング手法には、残差逐次検定法を用いる。注目している画素の周りの面で比較し、その面中の点それぞれについて左右の画像中で差をとり、その合計がもっとも小さいものを対応点とする。Ｎ×Ｍの濃淡テンプレート画像Ｔ（ｉ，ｊ）を、処理対象の画面Ｉ（ｉ，ｊ）の中から探索する。残差ｒを表す式を（式２）に示す。

つまり、基準画像とテンプレート画像における画素の周りの面（ウィンドウ）で比較し、その面中の点それぞれについて左右の画像中で濃淡値の差分を求め、それが小さい場合、その点を対応点とする。ここで、エピポーラ線がほぼ一致していることから、対応点を探すときは、ウィンドウの縦方向はほぼ同じ高さに固定し、横方向のみをずらしながら探索すればよい。ここで、左右２つの対物鏡の輻輳角が０であるので、左画像からみた右画像の対応点は、すべて左画像のものより左側にあることに注意することで計算量をさらに減らすことができる。

上記演算処理によって、残差ｒが所定のしきい値以下を満たした座標が左右画像の対応点となる。

図１４に示すように、３次元座標の原点Ｏに中心を置くように設置された左レンズ101Lおよび左撮像デバイス１０３Ｌと、その左レンズ１０１Ｌの中心から距離ｄだけ離れて設置された右レンズ１０１Ｒおよび右撮像デバイス１０３Ｒがある。図１４では、右方向
（左カメラの中心から右カメラの中心へと延ばした直線方向）をＸ軸方向、上方向をＺ軸方向、Ｘ軸およびＺ軸に垂直であり紙面の手前方向をＹ軸方向としている。

座標Ｔ（Ｘ，Ｙ，Ｚ）にある対象物体４０１からの光が、左レンズ１０１Ｌおよび右レンズ１０１Ｒで集光し、左右の撮像デバイス１０３Ｌおよび１０３Ｒの撮像面（ＸＹ座標面）上の点ｔ１（ｘ１，ｙ１），ｔ２（ｘ２，ｙ２）で観測されたとすると、ｔ１とｔ２は対応点となる。この場合の物体の３次元座標Ｘ，Ｙ，Ｚはそれぞれ、３角測量の原理から、以下の（式３），（式４），（式５）で表される。

尚、（式５）において、ｆはそれぞれのレンズ１０１Ｌ(Ｒ)の焦点距離を表す。

以上の演算は、画像処理演算回路１１０で行われ、距離画像としてメモリ１０９に保存される。

さらに、照射装置１０５によって得られた位置情報をステレオカメラによる距離計測結果の補正値としても利用することもでき、乗員検知の精度が向上する。

図１５から図１７は、図１３の実施例における車両内状態検知のフローチャートを示す。

ステップＳ１０１からステップＳ１０５、およびステップＳ１０９，ステップＳ１１０は実施例１と同様である。ステップＳ６０１では、距離画像生成ルーチンが実行される。詳細を図１６に示す。メモリから左右の画像が読み出され（ステップＳ７０１）、それぞれの画像の歪みを補正する（ステップＳ７０２）。つづいて、ステップＳ１１０に基づく距離データからテンプレートマッチングの探索領域を決定し（ステップＳ７０３）、Ｎ×Ｍがそのテンプレートで左右画像の残差演算が行われる（ステップＳ７０４）。テンプレートマッチングの結果から、三角測量の原理を用いて距離計測が行われ（ステップＳ705)、距離画像を生成し（ステップＳ７０６）、メモリへ保存される（ステップＳ７０７）。

次に、図１５のステップＳ６０２で座席状態の分類処理が行われる。これは、乗員の有無や乗員の体格，姿勢，チャイルドシートの認識は、距離画像をもちいたクラスタリングによって実現される。クラスタリングを行うための学習データはあらかじめメモリ１０９に保存される。学習データは、乗員の有無や乗員の体格，姿勢，チャイルドシートといったパターンを、定量的に定義し、距離画像から算出されるパラメータによる特徴空間で表現される。

生成された距離画像から、例えば５つの距離画像に分割する（以後、この分割された距離画像を分割距離画像とよぶ）。

図１８に、図１３の実施例における図分割方法を示す。

距離画像の分割は、撮像素子からの距離がＬ１の時の分割距離画像５０１、撮像素子からの距離がＬ２の時の分割距離画像５０２、という具合に以後Ｌ３からＬ５までの分割距離画像はそれぞれ５０３，５０４，５０５である。各距離での分割距離画像は、所定の距離のしきい値で二値化される。

図１９に、図１８の実施例における分割距離画像の例を示す。

６０１〜６０５は、乗員が存在しない場合の分割距離画像５０１〜５０５に対応する。また、６０６〜６１０は、大人の乗員が存在する場合の分割距離画像５０１〜５０５に対応する。６１１〜６１５は、子供の乗員が存在する場合の分割距離画像５０１〜５０５に対応する。また、６１６〜６２０は、チャイルドシートが正面を向いて取り付けられている場合の分割距離画像５０１〜５０５に対応し、６２１〜６２５は、チャイルドシートが背面を向いて取り付けられている場合の分割距離画像５０１〜５０５に対応する。

二値化された各距離における分割距離画像から、面積Ｓｎと重心座標Ｇｎ（ｘｇｎ，
ｙｇｎ）を特徴空間とするクラスタリングが行われる。ここで、ｎは分割数を表す。例えば、分割距離画像５０１の面積はＳ１、重心座標はＧ１（ｘｇ１，ｘｇ２）となる。

クラスには、座席に乗員が存在しない場合と、乗員が存在する場合と、チャイルドシートがある場合とに分類される。さらに、乗員が存在する場合には乗員が大人の場合と乗員が子供の場合に分類され、また、乗員の姿勢が正常な場合と乗員が危険な姿勢をとっている場合に分類される。ここで、乗員の体格に関しては、各分割距離画像における面積Ｓｎの和として定義され、乗員の姿勢は各分割距離画像における重心座標Ｇｎの分布によって定義される。分類するための学習データは、認識を行う前にあらかじめパラメータとしてメモリに保存される。

次に、図１５のステップＳ６０２の結果を基に、ステップＳ６０３にてエアバッグの適切な展開強度が選択される。ステップＳ６０３の詳細を図１７に示す。

エアバッグ制御装置１１４は、制御演算回路１１２によって出力される検知結果に基づいてエアバッグの展開方法を決定し、エアバッグの展開制御を行う。図１７のステップ
Ｓ８０１では、乗員存在が判定され、乗員が不在の場合には、エアバッグを非展開とする（ステップＳ８０７）。また、ステップＳ８０２では、チャイルドシートの存在が判定され、チャイルドシートが存在する場合にはエアバッグを非展開とする(ステップＳ８０７)。次に、ステップＳ８０３で着座姿勢の判定が行われ、不正な着座状態の場合にはエアバッグを非展開とする（ステップＳ８０７）。続いて、ステップＳ８０４では、乗員の体格の判定が行われ、乗員の体格が所定の値以下である場合、エアバッグを弱展開とする（ステップＳ８０６）。その他、乗員が所定の体格以上の場合はエアバッグを通常展開とする（ステップＳ８０５）。

以上のことから、本実施例によれば、照射装置１０５の反射光によって得られる位置情報をステレオカメラによる距離計測結果の補正値として利用し、計算量の低減と距離精度が向上する。

また、ステレオカメラを用いることで詳細な３次元形状が得られるため、より精度良く乗員の体格や姿勢の判断が可能となる。

また、好ましくは、座席の状態を検知する手段は、撮像装置１０６によって得られた画像から距離画像を生成し、生成された距離画像から得られる３次元形状の特徴量を基に行う。乗員が存在しない場合と、乗員が存在する場合と、チャイルドシートが存在する場合とを判断し、乗員が存在する場合には、乗員の体格判断，乗員の姿勢判断を、予め登録した学習データとのパターン照合を行うことにより実現する。このことにより、乗員の有無，体格，姿勢，チャイルドシートの存在をそれぞれ精度良く検知することができる。

また、距離画像から対象物体との距離を検知することができるため、シートが前後方向に移動した場合やシートバックの角度が変化した場合でも確実に座席の状態を検知することが可能である。

図２０は、本発明の他の実施例をなす車両内状態検知装置における、撮像装置の配置図を示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

実施例１及び実施例２において、撮像装置１０４および１０６は、運転席２０２ａおよび助手席２０２ｂの前方上部の車両天井に配置され、運転席２０２ａおよび助手席202bのヘッドレストとシートバックおよびエアバッグ装置近傍を撮影することができるよう設置されていた。一方、図２０に示すように、運転席の状態を検知する場合は運転席側のＡピラー２０３ａの上部に、助手席の状態を検知する場合は助手席側のＡピラー２０３ｂの上部に取り付け、実施例１及び実施例２と同様の撮影領域となるように設置されてもよい。

Ａピラー上部に撮像装置を取り付けることで、撮像領域に車両窓が写りづらくなり、車室外の背景，太陽光といった外乱からの影響を低減することができる。さらに、Ａピラー内部には電源供給のための配線や、撮像装置を取り付けるためのスペースを確保しやすく、意匠を乱すことがないといった利点もある。上記の場所に撮像装置を取り付けた場合でも、実施例１及び実施例２と同等の乗員検知結果が得られる。

図２１は、本発明の他の実施例をなす車両内状態検知装置における、撮像装置の配置図を示す。以下で置き換えた構成以外は、実施例１と同様である。

図２１に示すように、実施例１及び実施例２における撮影領域と同様となるように、撮像装置を運転席と助手席の中心付近（ルームミラー付近）にそれぞれ設置してもよい。

ルームミラー付近に設置することで、運転席と助手席それぞれの車両内状態検知装置が、一箇所の取り付け場所に集約し、さらに、ルームミラー周辺には、電源供給のための配線が存在するため、取り付け性が良い。

図２２は、本発明の他の実施例をなす車両内状態検知装置におけるタイミングチャートを示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

実施例１及び実施例２において、撮像デバイス１０３の露光方法は、図４に示すように照射装置１０５と同期している。撮像デバイスは照射装置１０５Ｌ(Ｒ)ａのパルス発光区間に全画素を露光し、照射装置１０５Ｌ(Ｒ)ａのパルス発光の終了と同時に露光を終了し、メモリへ転送している。つづいて同様に、照射装置１０５Ｌ(Ｒ)ｂ，照射装置105L(R)cと同様の動作が行われている。

一方本実施例では、図１２に示すように、照射装置１０５Ｌ(Ｒ)ａ〜ｃの発光に対して撮像デバイス１０３の露光画素を所定の水平または垂直ラインに対応させて露光することを特徴としている。

具体的には、照射装置１０５Ｌ(Ｒ)ａのパルス発光時には撮像デバイス１０３における水平または垂直の３ｎ＋１ラインが露光し、続いて照射装置１０５Ｌ(Ｒ)ｂのパルス発光時には撮像デバイス１０３における水平または垂直の３ｎ＋２ラインが露光し、照射装置１０５Ｌ(Ｒ)ｃのパルス発光時には撮像デバイス１０３における水平または垂直の３ｎ＋３ラインが露光する。ここで、ｎは０から始まる整数値であり、（３ｎ＋３）≦（撮像デバイス１０３の水平または垂直画素数）が成り立つ値をとる。

本実施例は、画像が間引かれて情報量が減少する分、画像の取り込み周期を早くすることができ、乗員検知の処理周期の高速化が可能となる。

本実施例では、照射装置１０５が６個（左右で３組）の場合について述べたが、任意の照射装置１０５の個数で、それに応じた間引き露光を実現することもできる。

図２３，図２４は、本発明の他の実施例をなす車両内状態検知装置における撮像装置の配置図を示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

実施例１において、撮像装置には単眼撮像装置１０４が用いられていたが、本実施例では、代わりに広角のレンズを図２３のように配置した撮像装置１２１を用いる。レンズを広角にすることで映像が歪みを生じるため、歪みを補整した画像に対して、乗員検知処理を行う。

広角撮像装置１２１を用いることで、前方の座席（運転席と助手席）における乗員検知を一つの撮像装置で実現することができる。また、後方の座席においても同様に一つの撮像装置で撮像することが可能となる。

また、図２４に示すように、広角撮像装置１２１の代わりに全方位を撮像範囲とするレンズを具備した全方位撮像装置１２０を用いてもよい。全方位撮像装置で得られる映像においても、歪みを含んでおり、歪みを補整した画像に対して、乗員検知処理を行う。全方位撮像装置１２０を用いることで、前方の座席と後方の座席を一つの撮像装置で撮像することが可能となる。

図２５，図２６，図２７は、本発明の他の実施例をなす車両内状態検知装置における照射装置の配置図を示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

実施例１及び実施例２において、照射装置１０５は前方座席周辺を照射範囲としていた。

本実施例では、図２５に示すように、照射装置１０５Ｌ，１０５Ｒを車両の前方座席部から後方座席部にかけて左右天井に配置する。このことで、後方座席の乗員に対しても照明が照射されることとなり、後方座席の乗員検知に関して、実施例１及び実施例２における前方座席の乗員検知と同等の効果が得られる。

また、図２６に示すように、照射装置１０５を車両天井部中心から車両前後方向に並べても良い。

さらに、図２７に示すように、車室内に具備されたマップランプに前記照射装置105Mを内蔵してもよい。既存のマップランプに内蔵することで、電源の確保や取り付け性，保守性が向上する。

図２８は、本発明の他の実施例をなす車両内状態検知装置のフローチャートを示す。以下で置き換えた構成以外は、本願の他の実施例と組み合わせても良い。

まず、車両が停車している状態において、乗員検知センサはスリープ状態となっている。乗員がキーレスエントリーシステム等で、車両のドアロックを解除した場合(Ｓ９０１)、その信号を乗員検知センサが検知し、乗員検知センサが起動する（Ｓ９０２）。

次に、マップランプ等の室内灯もしくは、照射装置１０５を点灯させる（Ｓ９０３）。さらに、その時点における車室内を撮像し、メモリに画像を保存する（Ｓ９０４）。

所定時間内（Ｓ９０５）にドアが開かなかった場合は、消費電力を抑えるために再びスリープ状態（Ｓ９０１）となる（Ｓ９０６）。一方、ドアが開いた場合、ステップＳ908でどのドアが開いたかを判断する。前方のドアが開いた場合には、前方の乗員検知(S909)を行う。後方のドアが開いた場合は後方の乗員検知（Ｓ９１０）を行う。また、前後方のドアが開いた場合には、前後方両方の乗員検知を行う。

これらの処理結果から、乗員数の特定（Ｓ９１１）と、乗員の乗車座席位置の特定（図示しない）を行う。さらに、所定時間内（Ｓ９１２）に車速を検知しなかった場合、消費電力を抑えるために再びスリープ状態（Ｓ９１５）となる。車速を検知した場合には、所定の周期で乗員検知を行う乗員検知ルーチンへ遷移する（Ｓ９１４）。

本実施例によれば、夜間において既存のマップランプ等の室内灯のみで乗員検知を行うことができる。また、乗員が乗車する前に車室内を撮像し、メモリに画像を保存し、乗車した後の画像と比較することにより、乗員の有無や体格を精度良く検知することが可能となる。

なお、本発明は上述した各実施形態に限定されるものではなく、本発明の主旨の範囲内で種々の変更を施すことが可能である。

例えば、前述の実施形態における照射装置１０５の数は左右に３個ずつ並べて配置して計６個であるが、任意の個数で実現することもできる。また、照射装置の光量が大きい場合には、車両の進行方向に向かって乗員に対して左または右のみからの照射でもよい。

また、前述の実施形態における撮像デバイス１０３にはＣＣＤ素子を用いているが、
ＣＣＤ素子の代わりにＣＭＯＳ素子を用いてもよい。つまり、照射装置１０５が発光する赤外線領域に感度を有する撮像デバイスであればよい。

また、前述の実施形態における車両情報には、車両速度を用いているが、その他にシートベルトの装着を検知するセンサの情報や、車両座席の前後位置の情報，シートバックのリクライニング角度の情報，車両座席に取り付けられた圧力センサや重量センサの情報など車両に取り付けられた各種センサからの情報を用いてもよい。

また、前述の実施形態における制御対象は、エアバッグとしたが、シートベルトの張力を制御にも利用可能である。例えば、乗員の体格が所定以下であった場合（子供など）、張力を弱くしたり、チャイルドシートの場合は張力を強くするといった制御が可能となる。さらに、トラクション制御装置に対しても利用可能である。乗員が不適切な姿勢を取っている場合には、急激な加速は危険となる。よって、乗員の姿勢に応じて安全なトラクション制御するこが可能となる。

本発明の実施例をなす車両内状態検知システムの構成図を示す。 図１の照射装置１０５の配置図を示す。 図１の照射装置１０５の配置図を示す。 図１の各照射装置１０５の発光タイミングと撮像デバイス１０３の露光タイミングを示したタイミングチャートを示す。 図１の撮像装置１０４の配置図を示す。 図１の実施例で取得された画像を示す。 図１の実施例における車両内状態検知のフローチャートを示す。 図１の実施例における車両内状態検知のフローチャートを示す。 図１の実施例における車両内状態検知のフローチャートを示す。 図１の実施例における車両内状態検知のフローチャートを示す。 図１の実施例における車両内状態検知のフローチャートを示す。 図９のテンプレートマッチングにおける重心座標算出方法を示す。 本発明の他の実施例をなす車両内状態検知システムの構成図を示す。 図１３のステレオカメラの構成図を示す。 図１３の実施例における車両内状態検知のフローチャートを示す。 図１３の実施例における車両内状態検知のフローチャートを示す。 図１３の実施例における車両内状態検知のフローチャートを示す。 図１３の実施例における図分割方法を示す。 図１８の実施例における分割距離画像の例を示す。 本発明の他の実施例をなす車両内状態検知装置における、撮像装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置における、撮像装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置におけるタイミングチャートを示す。 本発明の他の実施例をなす車両内状態検知装置における撮像装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置における撮像装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置における照射装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置における照射装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置における照射装置の配置図を示す。 本発明の他の実施例をなす車両内状態検知装置のフローチャートを示す。 シート重量センサを用いた乗員検知システムの例を示す。 車両座席の状態とエアバッグの展開方法を示す。

符号の説明

１０３…撮像デバイス、１０４…撮像装置、１０５…照射装置、１０７…車両内状態検知システム、１０８…Ａ／Ｄ変換器、１０９…メモリ、１１０…画像処理演算回路、１１１…撮像素子制御回路、１１２…制御演算回路、１１３…照射装置制御回路。

Claims (19)

1. 各々が異なる照射領域に照射する複数の照射デバイスを有し、車両の少なくとも一つの座席上及びその周囲の互いに異なる複数の照射領域を、所定時間内に時間を異ならせて照射する照射装置と、
   前記照射装置の照射毎に前記座席上の乗員及び／または物体を撮像する撮像装置と、
   前記撮像装置により撮像された複数の画像を比較する画像比較部、前記画像比較部の比較結果に基づいて前記乗員及び／または物体の状態を示す情報を生成する情報生成部を有する制御装置と、を有する車両内状態検知システム。
2. 請求項１記載の車両内状態検知システムであって、
   前記照射装置は、車両の座席に対して上方から照射するように配置された車両内状態検知システム。
3. 請求項１記載の車両内状態検知システムであって、
   前記照射装置は、車両の運転席及び／または助手席の両側天井部に車両進行方向に並べて配置され、運転席及び／または助手席が照射されるように照射角度が調整されたものである車両内状態検知システム。
4. 請求項１記載の車両内状態検知システムであって、
   前記照射装置は、車両進行方向に対して平行に配置された車両内状態検知システム。
5. 請求項１記載の車両内状態検知システムであって、
   前記撮像装置は、運転席及び／または助手席の前方上部の車両天井に配置されるとともに、運転席及び／または助手席の少なくともヘッドレスト，シートバック、またはエアバッグ装置近傍のいずれか一つを撮影することができるよう設置された車両内状態検知システム。
6. 請求項１記載の車両内状態検知システムであって、
   前記制御装置は、前記情報生成部が生成した情報に基づく信号を、少なくともエアバッグ制御装置，シートベルト張力制御装置、またはトラクション制御装置のいずれか一方に対し出力する出力部を有する車両内情報検知システム。
7. 請求項１記載の車両内状態検知システムであって、
   前記画像比較部は、前記画像における前記照射装置の反射光量及び／または濃淡分布を複数の前記画像間で比較する車両内情報検知システム。
8. 請求項１記載の車両内状態検知システムであって、
   前記情報生成部は、前記画像に対してテンプレートマッチングを行うことにより、前記乗員及び／または物体の状態を示す情報を生成する車両内情報検知システム。
9. 請求項８記載の車両内状態検知システムであって、
   前記情報生成部は、前記乗員及び／または物体の距離情報に基づいて前記テンプレートマッチングのテンプレートの大きさの正規化を行う車両内情報検知システム。
10. 請求項８記載の車両内状態検知システムであって、
    前記情報生成部は、テンプレートマッチングにより前記乗員の頭部の重心座標を算出し、当該重心座標に基づいて前記乗員の姿勢及び／または身長を決定し、当該姿勢及び／または身長に基づいて前記乗員の状態を示す情報を生成する車両内情報検知システム。
11. 請求項８記載の車両内状態検知システムであって、
    前記情報生成部は、テンプレートマッチングにより前記乗員の左肩と右肩の端部エッジを抽出し、当該端部エッジに基づき前記乗員の肩幅を算出し、当該肩幅に基づいて前記乗員の状態を示す情報を生成する車両内情報検知システム。
12. 請求項１記載の車両内状態検知システムであって、
    前記撮像装置は、ステレオカメラである車両内情報検知システム。
13. 請求項１２記載の車両内状態検知システムであって、
    前記制御装置は、前記ステレオカメラで検出した撮像対象との距離ごとに前記画像を分割する画像処理部を有し、分割された画像に基づいて前記乗員及び／または物体の状態を示す情報を生成する車両内情報検知システム。
14. 請求項１記載の車両内状態検知システムであって、
    前記撮像装置は、前部座席と後部座席の乗員及び／または物体を撮像する車両内状態検知システム。
15. 請求項１記載の車両内状態検知システムであって、
    前記照射装置は、車室内に具備されたマップランプに内蔵されている車両内状態検知システム。
16. 請求項１記載の車両内状態検知システムであって、
    前記車両のドアの施錠または解錠信号に基づいて、状態検知動作の停止または開始が制御される車両内状態検知システム。
17. 請求項１記載の車両内状態検知システムであって、
    乗員が乗車する前に車室内を撮像し、記憶装置に前記画像を保存し、乗員が乗車した後の画像と比較することにより、乗員の有無や体格を検知する車両内状態検知システム。
18. 請求項１記載の車両内状態検知システムであって、
    所定の時間内に車速信号を検知しない場合、作動を停止させ、その後車速信号を検知した場合に作動を開始する車両内状態検知システム。
19. 各々が異なる照射領域に照射する複数の照射デバイスにて、車両の少なくとも一つの座席上及びその周囲の互いに異なる複数の照射領域を、所定時間内に時間を異ならせて照射し、
    前記照射毎に前記座席上の乗員及び／または物体を撮像し、
    前記撮像された複数の前記画像を比較し、当該比較結果に基づいて前記乗員及び／または物体の状態を示す情報を生成する車両内状態検知方法。

Images