JP4589600B2 - 自動車の安全及び便宜に対する人間顔面特徴認識の適用 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は一般に人間の存在を検出するための車両における作像装置に関し、特に、人間の顔面を特定し、この情報を車両安全及び便宜目的に対して使用するために車両に使用する作像装置に関する。
【０００２】
【従来の技術】
国家主要道路交通安全政策(National Highway Traffic Safety Administration)は１９９８年以降に製造されたすべての乗用車に対して乗員側（即ち同乗者側）エアバッグを要求している。エアバッグは数千もの人命を救ったが、一層安全なエアバッグ展開装置は更に一層の人命を救うことができる。一層安全で一層有効な発展したエアバッグが必要であることを国家主要道路交通安全政策は提案している。従って、当分野において、車両の乗員座席（即ち同乗者の座席）における人間の検出、特定及び追跡に応じてエアバッグの展開を決定する発展したエアバッグ展開装置の要求がある。
【０００３】
将来のエアバッグ展開装置は車両の乗員座席における人間を特定し、追跡できるものとなろう。この情報に基づき、装置は、人間が乗員座席に着席しているか否かに応じて及び人間の寸法やエアバッグ展開装置に関する人間の位置に応じて、クラッシュ事故中にエアバッグを始動するか、低速でエアバッグを始動するか又は通常の高速でエアバッグを始動するかの信号を提供する。１つの例においては、人間が乗員座席で検出され、エアバッグドアからある小距離（例えば、３インチ（約７６．２ｍｍ）以内）離れている場合は、エアバッグはクラッシュ事故中に始動しない。人間が乗員座席で検出され、エアバッグドアに対して近い（例えば、３インチないし８インチ（約２０３．２ｍｍ）の間）場合は、エアバッグはクラッシュ事故中に低速で始動する。人間が乗員座席で検出され、エアバッグドアから一層十分に離れている（例えば、８インチ以上）場合は、エアバッグはクラッシュ事故中に通常の高速で始動する。
【０００４】
現在の乗員感知装置は典型的にはエアバッグの展開のために乗員を検出するための超音波、重量、赤外及び（又は）電磁センサを含む。超音波感知装置は乗員座席領域内の対象物の動きを感知し、対象物がセンサの位置に対して近づいているか離れて行くかを決定する。しかし、超音波センサは対象物の性質を特定せず、従って、人間であるか又は食品雑貨のバッグの如きある他の対象物であるかを見分けることができない。超音波センサと同様、能動ドップラーレーダー装置に使用されるマイクロ波センサは対象物を追跡できるが、人間の存在を特定できない。重量センサは加えられた圧力に基づき乗員座席内の対象物を特定するが、エアバッグに関する乗員の位置を考慮しない。受動ＩＲセンサは乗員座席の熱画像を取得するが、これらの装置は極めて高価である。現在の能動ＩＲセンサはエアバッグに関する乗員の相対位置を感知するが、人間の存在を特定できない。電磁装置はＬＣ共振回路を含み、存在を検出し対象物を特定するために人体のキャパシタンスを使用するが、これらの装置は対象物を追跡できない。
【０００５】
次に示す米国特許明細書は車両の乗員コンパートメント内の人間を特定し、位置決めし、監視することを要求する車両内部監視装置を開示している。
【０００６】
【特許文献１】
米国特許第５，８３５，６１３号明細書（１９９８年１１月１０日発行）
【０００７】
この監視装置は車両の内部を照明する赤外エミッタと、放射線を検出する電荷結合素子（ＣＣＤ）アレイとを使用する。ＣＣＤアレイからの出力は乗員座席内の内容即ち対象物を分類し、特定し又は位置決めするためにパターン認識アルゴリズムを使用するコンピュータ装置により分析される。
【０００８】
【発明が解決しようとする課題】
上記米国特許第５，８３５，６１３号明細書に開示された車両の乗員を決定するためのパターン認識装置は種々の条件の下にすべての種類の証明位置における個人の形状を学習しなければならない複雑なソフトウエアを使用する。更に、この方法でのパターン認識の使用は乗員座席のまわりで移動するときに個人を追跡するその能力を制限する。更に、一般的なパターン認識により人間を特定し、追跡する能力は信頼性に疑問がある。パターン認識はどれが人間であるかを特定できず、対象物の形状を検出するだけである。
【０００９】
要求されるものは、車両の乗員座席内の人間を有効に特定し、追跡できる改善されたエアバッグ展開センサ及び装置である。それ故、本発明の目的は車両乗員エアバッグ展開のためのそのような感知装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明の教示によれば、車両の安全及び便宜特徴を提供するための作像装置が開示され、この装置は人間を特定し、追跡するために顔面認識ソフトウエア及びアルゴリズムを使用する。この装置は所定の視野に沿って赤外信号を放出する赤外エミッタと、視野内の対象物から反射された赤外照射を受け取る、ビデオ信号アレイとして使用されるＣＭＯＳセンサの如き赤外センサとを含む。顔面認識ソフトウエアを含むプロセッサを使用して人間の顔面を検出する。顔面が検出されると、これをデータベースと比較し、人間を特定できる。
【００１１】
運転手便宜及び安全を提供する作像装置の種々の応用は、運転手が車両に近づくときに、ドアを自動的に係止解除し、車両を始動させるために、運転手の特定を決定すること；顔面認識により可能性のある泥棒が車両内にいるか否かを決定すること；及び運転手座席調整、後及び側ミラー調整並びにハンドル調整を提供することを含む。
【００１２】
本発明の更なる目的、利点及び特徴は添付図面を参照しての以下の説明及び特許請求の範囲から明らかとなろう。
【００１３】
【発明の実施の形態】
人間の顔面特徴認識を使用するエアバッグ展開装置に関する好ましい実施の形態の次の説明は本質的に単なる例示であり、本発明又はその応用又は使用を制限する意図のものではない。
【００１４】
本発明の１つの実施の形態によれば、車両の乗員座席内の人間を検出し、特定し、追跡する技術が開示される。上述のように、人間が車両の乗員座席を占めているか否かに応じて及びエアバッグドアへの人間の接近及び人間の寸法に応じて、クラッシュ事故中に、車両の乗員側（同乗者側）エアバッグを低速で展開させるか又はエアバッグを展開させないことが時々望ましい。本発明によれば、人間の特定及び追跡は顔面認識ソフトウエア、特に人間の目及び他の顔面特徴を認識し、追跡するソフトウエアにより決定される。追跡は多くの頭の角度及び姿勢で行うことができる。ソフトウエアアルゴリズムは範囲（レンジ）を見積もるために較正された顔面及び特徴分離を使用する。人間の顔面上の局部領域の追跡は１秒当りの一層多くの画像駒の取得を可能にし、人間の一層頻繁な追跡を許容する。顔面特徴の一層頻繁な追跡は、画像が一層頻繁に更新されるため、不鮮明な画像の取得を阻止する。
【００１５】
分析中の対象物から受け取ったビデオデータパターンからのデータを処理し、対象物が顔面であるか否かを決定する種々のソフトウエアは当業界で既知である。例えば、このようなソフトウエアは当業者にとって周知のビジオニクス・フェースイット(Visionics Face-It) ソフトウエアを含む。本発明は任意の特定の顔面特徴作図機能に限定されないが、二次元であるか又は三次元であるかに拘わらず、範囲分け(ranging) 機能のためにも同様に使用される顔面特徴を認識するための、ここで述べる目的にとって適した任意の既知のアルゴリズムを含むことができることを強調しておく。更に、本発明によれば、範囲分けアルゴリズムは既知の顔面認識ソフトウエアと組み合わせて使用される。
【００１６】
後に詳細に説明するが、本発明は車両の乗員コンパートメントの乗員側における対象物から反射される赤外放射線を使用し、この放射線は電子ビデオカメラにより受け取られる。ビデオカメラは人間の存在の特定及び追跡を決定するために顔面認識ソフトウエアにより使用される電気信号及び画像を発生させる。
【００１７】
図１は車両１２の乗員側コンパートメント１０の破断側立面図である。この図示においては、人間１６が乗員座席１８内に示され、人間１６はクラッシュ事故中に前方へ動いている。エアバッグ枕２０はクラッシュ事故中に計器パネル２２内に収容されたエアバッグドア２４を通して展開されている状態で示される。
【００１８】
ビデオカメラ及びＩＲＬＥＤ照明ユニット２６はここで述べる目的にとって適した位置で計器パネル２２上に装着される。図２は車両１２から取り外したユニット２６の斜視図である。ユニット２６は一群２８のＩＲＬＥＤ３０を含む。複数のＬＥＤ３０が設けられ、昼間作動のために必要な強度を発生させる。群団２８は人間１６の方へＩＲ放射線のビームを放出し、ビームは人間から反射してユニット２６の方へ戻る。ビデオカメラ３４がユニット２６内に設けられ、人間１６から反射された放射線を受け取る。ビデオカメラ３４は、ここで述べる目的にとって適した赤外放射線を検出する任意の検出器を使用できるような非限定的な例として使用される。
【００１９】
フィルタ３６がカメラ３４上に設けられ、所望の赤外範囲内にない放射線を濾波する。フィルタ３６は、ＴｉＯ２ フィルタ又は偏光フィルタの如き、ここで述べる目的にとって適した任意のフィルタとすることができる。フィルタ層及び厚さは、ＩＲ画像を検出器へ伝達するが、検出器から可視画像を反射させるように選択することができる。ＩＲ波長を通過させるが、非ＩＲ波長を強力に減衰する電気光学偏光を使用して、検出器への可視光を減少させるために偏光フィルタを使用することができる。図３は日光のための輝度曲線を示し、ここでは、フィルタ３６は４０ｎｍバンドパス窓において赤外放射線を通過させる。フィルタ３６はエアバッグ展開装置の作動及び人間１６の顔面の認識に対して影響を及ぼすことのある日光に対してある保護を提供する。
【００２０】
本発明のこの実施の形態においては、単一のカメラを使用して、人間１６の範囲（レンジ）を取得し、監視する。この機能を遂行するために使用されるソフトウエアは範囲分けを提供するために乗員の顔面上の２つの別個の位置を利用する。好ましい実施の形態においては、範囲分けの目的のための三角法を提供するために検出されるのは人間の目である。しかし、当業者なら認識できるように、人間の耳等の如き、人間１６の他の顔面特徴も使用することができる。また、ソフトウエアアルゴリズムは、人間が認識された後に人間を追跡するためには両方の目が認識されている必要がないように、人間の頭の寸法を決定即ち認識することを可能にする。更に、ソフトウエアは、顔面特徴又は頭寸法検出と組み合わせて、人間の胴の如き人体の他の部分を見るために使用できる。
【００２１】
人間の顔面特徴がユニークであるため、ソフトウエアがその人間を特に特定できるように、人間についての目間距離の如き特定の情報を記憶するためにデータベースを使用することができる。１つの例においては、装置が子供や第５パーセント女性を特定でき、政府の指定する条例により要求されるようなそのような人間に対するエアバッグの始動を禁止できる点で、これは重要である。また、人間を特に特定できることは、装置の範囲分け精度を改善する。その理由は、装置がそのような人間の目の離間距離又は他の特殊な顔面特徴を知っているからである。
【００２２】
取得（認識）及び追跡ソフトウエアは特定の座席位置、エアバッグ位置、車両構造等のために較正する必要がある。図４はエアバッグドア２４の中心及び法線に関するカメラ方位及び位置パラメータを表す。カメラ及びビジオニクス・フェースイットソフトウエアが較正された後に本発明に係る範囲分けのために車両内で見積もらねばならない３つのパラメータは２つの位置オフセット即ち位置片寄り及び１つの角度オフセット即ち角度片寄りを含む。２つの位置片寄りはエアバッグドア２４の中心からの法線ベクトルに対して横方向で垂直に測定したエアバッグの中心に関するカメラ３４の横方向片寄り（ΔＹ）及びエアバッグドア２４の中心からの法線に平行な軸線に沿って測定したエアバッグ２４の中心に関するカメラ３４の前方又は後方片寄り（ΔＸ）である。角度パラメータはカメラ３４の光学軸線とエアバッグ２０の中心から来る法線ベクトルとの間の方位角片寄り（Δθ）である。これらのパラメータのうちの２つのみΔＸ、ΔΦは修正された単眼距離等式に使用される。
【００２３】
後述する較正手順はΔＹ、ΔＸ、ΔΦを決定するために使用することができる。多数の較正地点の測定とそれらの間の線形補間との間、又は、少数の較正地点の測定とそれらの間の非線形補間との間には、トレードオフ即ち交換がある。理論的には、多数の地点での較正はここで説明する見積もりのためのモデルを必要としない。粗い較正に必要な多数の測定を行うためのコスト、及び、粗い較正と気づかないでカメラ３４又はソフトウエアの範囲外作動が生じる可能性を、この試みを使用する前に考慮しなければならない。ここで使用される試みは補間のためのモデルを形成するために少数の較正試験を使用する。
【００２４】
図４から、エアバッグドア基準駒（ｘｙｚ）内でなされる測定をカメラレンズ基準駒（ｘｙｚ）内でなされる測定に関連づけるために次の等式を書くことができる。エアバッグドアの前方の顔面位置（ｘ＞０）のみが次の等式において考慮される。カメラの球面座標系において定義されるρ、θ（縦揺れ即ち仰角）及びφ（偏揺れ即ち方位角）に対して、エアバッグ座標系における変位ｘ、ｙについての等式は
【００２５】
【数１】

【００２６】
【数２】

【００２７】
である。これは、θ＋Δθが較正中一定であると仮定する。等式（１）、（２）を整理すると、
【００２８】
【数３】

【００２９】
となる。固定のｘ＋ΔＸでの目座標読み取り測定を行い、次いで、ｙにおける変化に関する正接の勾配をとると、
【００３０】
【数４】

【００３１】
となる。ｘ及び等式（４）の右辺の結果を知ることにより、ΔＸを決定することができる。ΔＸを知ることにより、等式（３）及び測定データをΔＹを決定するために使用することができる。次いで、ΔＸ、ΔＹ、等式（３）及びデータを使用して、Δφを決定することができる。等式（３）及び
【００３２】
【数５】

【００３３】
という事実を使用して、修正された単眼等式は目標地点パラメータｘ即ちエアバッグへの目の距離を画定するために等式（６）から続く。
【００３４】
【数６】

【００３５】
較正テーブルは、カメラ座標系で見られるような、関連する光線勾配にリンクされた画素値としてＳＤＫで決定された目座標の検索テーブルからなる。等式（６）は光線勾配（単数角度の正接）の点から単純化でき、もって、単眼作動からエアバッグへの目の距離を決定するために較正テーブルを直接使用することができる。以下の等式（７）における正接三角法特定を使用し、この特定を等式（６）に適用することにより、較正検索テーブルからの正接／勾配の直接の検索により使用することのできる形として修正された単眼等式を残す。
【００３６】
【数７】

【００３７】
この等式は以下の等式（８）により与えられる。
【００３８】
【数８】

【００３９】
図５はデジタル信号プロセッサ（ＤＳＰ）５２を含む本発明の作像装置５０のブロック線図である。ＤＳＰ５２はカメラ３４により発生された画像について分析を行う顔面認識ソフトウエア及び範囲分け機能を有する。クロック発生器６０は装置５０内の種々のデジタル装置のためのタイミングを提供し、パワー管理装置６２はパワーを提供する。ＤＳＰ５２はカメラ３４の如きＩＲ検出器を表す画素アレイ７２を含むＣＭＯＳチップ７０に接続される。この例においては、画素アレイ７２は所望のレベルの解像度を提供するために２５６×２５６の画素を含む。ＣＭＯＳチップ７０はまたタイミング及び制御の目的のための種々の素子を有し、これらの素子は状態整合ロジック７４、クロック／タイミング回路７６、アナログコンディショニング回路７８、レジスタ／バッファ８０、オンチッププログラム可能ロジック回路８２等を含む。更に、アナログ／デジタル変換器８４も設けられ、画素アレイ７２からのアナログ信号を代表的なデジタル信号に変換する。オンチップＳＲＡＭメモリー８６は記憶の目的で示されているが、同様にオフチップとすることができる。ここに開示した装置におけるこれらの装置の作動は当業者にとって明らかであろう。
【００４０】
１つの実施の形態においては、赤外ＬＥＤ３０はカメラ３４により受け取られる反射放射線を提供するように連続的にオンされる。しかし、典型的には、フィルタ３６を通されるカメラ３４上の直射日光により生じる問題を補正するためにある種の濾波又は信号処理を行わねばならない。特に、装置５０は日光及び乗員１６上の特徴の実際の縁部により生じる影間の区別を行うことができる必要がある。本発明によれば、所定の時間期間だけビデオデータの所定数の駒についてＬＥＤ３０を同期的にパルス作動させ、次いで、ビデオデータの同じ数の駒にわたって所定の時間期間だけパルス停止させる駒差分(frame differencing)技術を使用する。次いで、ＩＲ照明のない駒をＩＲ照明のある駒から差し引くことができ、背景を排除することができるように、データの駒が互いから差し引かれる。検出器は露光制御を提供するようにパルスと同期して電子的に遮断される。ここで述べる駒差分技術は所望の結果を達成するために赤外パルス作動に関連して使用される。換言すれば、駒差分は赤外パルスと同期化される。
【００４１】
駒差分の概念は自然照明のみ及び自然照明に赤外照明を付加したものを使用する画像の時間開口（アパーチュア）画素レベル記憶である。駒差分は強い可視照明の効果を軽減するためにこれらの画像が差し引かれるのを許容する。装備(set-up)はアナログ／デジタル変換器の入力を最大にするようにＩＲ照明プラス最悪の場合の背景を設定する天然濃度フィルタを含む。顔面認識は、差分画像のための最悪の場合のアナログ／デジタル範囲が５ないし６ビットとなることを必要とする。可視光はアナログ／デジタル変換器により許される残りの範囲内に適合する。画像差分は、２つの画素レベルコンデンサが各照明レベルで充電されるようなアナログ領域において、又は、デジタル化された画素出力のＲＡＭメモリーが各照明において取られるようなデジタル領域において遂行される。駒差分は可視の照明の照明効果を減じ、画像のコントラストを改善するように作用する。駒差分機能は取得／高帯域幅発生モード又はパルス作動ＬＥＤ照明を使用する狭帯域幅トラックモードで遂行することができる。パルス作動ＩＲ光源からの電子の数は周囲照明の光子ノイズの１０倍大きくなければならない。ここで、周囲照明のノイズは日光強度内での電子の数の２倍の平方根である。その理由は、受け取られるそれぞれ１つのＩＲ画像に対して２つの画像駒が取得されるからである。
【００４２】
図６は、本発明の１つの実施の形態に従って、駒差分がカメラ３４内でどのように遂行されるかを示す。図７は本発明の駒差分技術の作動を示す信号タイミングラインである。カメラ３４内の画素アレイ９０はＬＥＤ３０からのＩＲパルスの間に所定の時間期間（１０μｓ（ミクロン秒））だけ景色から放射線を受け取る。この時点で、画素アレイ９０は周囲光及び赤外光を受け取る。次いで、アレイ９０内の各画素即ちフォトダイオード９２により貯蔵されたチャージは複数のコンデンサ（各画素９２に対して１つのコンデンサ９６）からなるチャージ貯蔵箇所９４へ移送される。約１０μｓ後、群団２８からのパルスの終わりに、画素アレイ９０は同じ時間期間だけ周囲光を丁度検出する。この時間期間で画素アレイ９０により受け取られたチャージはコンデンサ１００を有するコンデンサ貯蔵箇所９８に貯蔵される。検出器内に電子シャッタを使用し、ここで述べる作動のためのＩＲ放射線のパルスと同期した適当な時間に開閉を行う。
【００４３】
２つの貯蔵箇所９４、９８は総合増幅器１０２で総合される。次いで、２つの貯蔵箇所９４、９８間の差がアナログ／デジタル変換器１０４によりデジタル化され、周囲光を除去したデータの駒を表す。データの読み取りは約１０ｍｓ（ミリ秒）行われ、次いで、次の時間期間で、群団２８からの次のパルスが生じる。完全な駒差分工程は、画素アレイ９０及び貯蔵箇所９４、９８が一緒になったＣＭＯＳ内の単一のチップ上で遂行される。別の実施の形態においては、駒差分は、貯蔵箇所９４、９８がＲＡＭであるようなオフチップ箇所において異なる時間期間で遂行される。
【００４４】
本発明の駒差分技術は次の方法で述べることができる。変数は周囲照明Ｉ（ｘ、ｙ）、直接周囲照明Ｔ（ｘ、ｙ）、景色反射率Ｒ（ｘ、ｙ）、及びオン時はＬでオフ時は０である変調源として定義される。カメラ３４の応答は反射率及び照明の積に比例する。
【００４５】
【数９】

【００４６】
この差景色は簡単な画像Ｓ（ｘ，ｙ、オフ）よりも一層小さな動的範囲を有する。同じ利益は、ＬＥＤで駒を読み取り、次いでＬＥＤ無しで駒を読み取り、カメラ３４に対する外部の駒を差し引くことにより、導き出すことができる。不利益は飽和を回避するのに必要な動的範囲が増大することである。
【００４７】
Ｌは直積周囲照明応答Ｉよりも大きくなければならない。従って、Ｉは周波数でＬに整合する狭バンドパスフィルタを使用して出来る限り小さくされる。生のサンプリング比率は対象物追跡により設定される要求の２倍とすべきである。その理由は、２つの駒が顔面認識ソフトウエアを供給するための１つの駒を得るように差分化されるからである。ＬＥＤ３０は一層迅速でなければならない。ＩＲ放射線源は、すべての検出器が作動している期間中にすべての放出が行われるように、変調すべきである。検出器内のすべての画素の積分時間が整合しない場合は、源をオンにするための利用できる時間は最悪の場合の不整合により減少されてしまう。
【００４８】
車両の乗員座席内の人間を特定し、追跡するための上述の顔面認識装置は他の目的のための他の型式の車両装置に拡張することができる。図８は他の目的のために種々の位置に位置するセンサ又はカメラを示す車両１１０の頂平面図である。例えば、前方注視赤外センサ１１２は計器パネル２２上の中心位置に位置し、車両の前方の対象物を検出するように前方に向いている。更に、後方注視赤外センサ１１４は計器パネル２２上の中心位置に位置し、車両のその部分における活動を監視するために車両１１０の後部乗員コンパートメントの方に向いている。更に、赤外センサ１１６は運転手座席１１８の前方で計器パネル２２上に位置し、後に説明する種々の目的のために運転手の顔面特徴を検出する。赤外センサ１２０は上述したようなエアバッグ展開のために乗員座席１２２の前方で計器パネル２２上に位置する。種々のセンサ１１２、１１４、１１６、１２０は異なる装置において異なる方法で使用することができる。他のセンサ位置もここでの説明と矛盾しないで他の目的のために使用することができる。いくつかの応用を以下に説明する。
【００４９】
１つの実施の形態においては、本発明に従い、センサ又はカメラは乗員及び運転手の座席の方に指向し、運転手及び乗員の顔面特徴の画像を撮影する。顔面特徴ソフトウエアを使用して、運転手及び乗員の顔面及び目の座標の輪郭がコンピュータデータベース又は検索テーブル内に記憶された画像と比較される。ソフトウエアがデータベースに記憶されたものとの人間の顔面の合致を行った場合、運転手及び（又は）乗員のエアバッグは、エアバッグ展開を個人専用化するために人間の特徴を使用するように、調整される。これは、低重量、若者、背の低い運転手等に対してエアバッグを自動的に調整する補助をなす。
【００５０】
本発明によれば、眠くなった運転手に対する応用は、運転手がハンドルを握った状態で眠りに落ちた場合を特定し、運転手を目覚めさせることを含む。最初は、規則正しい時間間隔で、顔面認識ソフトウエアは目の如き顔面特徴又は運転手の二次元又は三次元顔面／頭／胴特徴座標の任意の組み合わせを取得する。運転手の顔面特徴の新たな座標に応じて、ソフトウエアは眠りに落ちている運転手に警報を送る。この警報は、運転手の目が閉じている等に拘わらず、運転手の頭のうなずき即ち前後への頭の運動の頻度に基づく。特に、一定の時間期間中に目を閉じている時間の百分率を使用して、運転手が眠っているか否かを決定する。予備研究では、運転手の目が２秒以上の時間の７０％以上閉じている場合に、運転手が眠くなって眠りに落ちることがあることが判明した。更に、運転手の頭の前後運動又は携帯電話を見ている運転手の目を利用して、運転手が前方の路面に注意を払っているか否かを決定する。顔面認識ソフトウエアは運転手の目の座標における差異を感知でき、この情報は運転手へ戻るように中継できる。この情報は、運転手を目覚めさせるために機械的な運動、又は電気的刺激又は音声信号の生成の形として運転手へ戻る。
【００５１】
上述の眠くなった運転手に対する応用と同様、薬の使用が運転手を眠りに陥らせることがある。現在、多くの運転手はカフェイン又は覚醒剤を使用し、長い旅にわたって目覚めた状態を維持する。しかし、薬が切れた場合、運転手の応答時間は路面又は運転状態における重大な変化に対して弱まる。従って、運転手の瞳を監視することは、薬の効能が停止した場合の薬を使用する運転手を検出する補助をなす。基本的には、顔面特徴認識ソフトウエアは、運転手が眠りに落ちたか否かを決定するために、目の虹彩が運転手の瞼により如何に頻繁に遮断されるかを決定する。
【００５２】
ここに述べる顔面特徴認識装置はまた運転手の特定に使用することができる。運転手が車両に入るとき、運転手のドアの近傍に位置する外方に指向するカメラは運転手の顔面特徴の画像を撮影する。顔面特徴認識ソフトウエアを使用して、目の如き顔面特徴の輪郭、又は遠近法での運転手の二次元又は三次元顔面／頭／胴特徴座標の任意の組み合わせがソフトウエアデータベース内に記憶された画像と比較される。ソフトウエアがデータベースに記憶されたものとの顔面の合致を行った場合、ドアが開き、車両は自動的に始動することができる。それ以外は、車両はオフ位置に留まったままである。別の実施の形態においては、運転手が車両に近づき、運転手座席に入った後、車両を始動させる目的で運転手を特定するためにカメラを使用できる。更に、親制御状況において、運転手は若者として特定でき、この場合、アルゴリズムは車両の制御をその運転手の使用のための最大速度に設定する。
【００５３】
運転手ＩＤ概念は顔面認識ソフトウエアを同様に使用する運転手便宜特徴に拡張することができる。特に、運転手の人間顔面特徴は運転手の最新の座席位置、後及び側ミラー調整、ハンドル設定、ラジオ設定等を思い出すために使用できる。この例においては、車両のコンピュータは運転手の最新の座席位置及び運転手の人間顔面特徴での後及び側ミラー調整を記憶することができる。続いて、カメラが運転手の顔面特徴を取得し、この画像が記憶された運転手の人的優先に合致した場合は、座席及びミラーを所望の位置へ自動できに再位置決めできる。
【００５４】
本発明の特定の作像及び処理技術の使用は、極めて高い信頼性で、意識があるか又は眠っているかに拘わらず、車両の内部におけるすべての年齢及び寸法の人間の存在検出を可能にする。この検出は、車両の活動に対する外部刺激により混乱することなく、エンジンが運転中であると否とに拘わらず、静止している車両又は動いている車両に対して常に有効であり、そのため、危険な人間内部状況の決定が警告警報を局部的に発生させるために又は伝達されるように可能にされる。これは、捨て子、医療緊急事態、監禁された乗員、眠っている乗員等の状況を含む。
【００５５】
図９は車両１３０の前方にセンサ視野を提供する前方で装着されたセンサ１３２を含む車両１３０の側面図である。横断歩道内の歩行者、ゆっくり動く車両等の如き前方注視方向における対象物からの投影が処理装置により登録され、車両の経路における対象物の運転手に警報を提供する。横断歩道内の歩行者等を認識することにより、本発明の顔面認識装置を使用して、クラッシュ前回避を提供できる。
【００５６】
図１０は車両が後方へ動いているときの車両の経路内の対象物の表示を提供するための、車両１４０の背後の中央装着カメラ１４２を含む車両１４０の頂面図である。更に、運転手の側ミラー１４６内に位置するカメラ１４４は運転手の盲スポット内に位置し、運転手が見えないかもしれない対象物を検出し、警報を提供することができる。この例においては、カメラ１４４は運転手が前方の路面上に焦点を維持することを許容するが、右折又は左折又は車線変更をなお安全に行える。カメラ１４４は顔面認識装置により車両の盲スポット内の歩行者又は自転車乗員を検出するために設けることができる。
【００５７】
激しい自動車衝突においては、何で事故が生じたかを決定するのが時々困難である。１つの例においては、クラシュ事故前に、外部前方注視カメラがクラッシュ前画像を撮影することができる。これらの画像は電気的又は機械的な警報の形で運転手へ戻し中継され、そのため、運転手は衝突を回避するように調整を行うことができる。車両衝突の場合、取得された画像は後のデータとして記憶され、クラッシュ前感知状態はクラッシュ後負傷調査を行うために利用される。クラッシュの後、クラッシュ地域の警察及び消防に警報するラジオ波信号の形として、クラッシュ通知信号を自動的に伝達することができる。
【００５８】
路面上に運転手の注意を維持させ、ハンドル上に手を維持させるため、顔面特徴の運動の如き運転手の顔面しぐさを使用して、手動で先に遂行された仕事を遂行させることができる。例えば、運転手の顔面特徴コマンドを既存の記憶された顔面特徴と比較し、運転手が自分の目を路面から逸らせることなく、運転手に自動車制御を自動的に変更させることができる。いくつかの例は、ラジオのオン／オフ、車両のライトのオン／オフ、フロントガラスワイパーのオン／オフ又は警笛の作動の如き、自動車付属品の制御を含む。図１１は運転手１５６の前方に位置し、運転手１５６の顔面特徴を特定し、追跡するためのここに記載された型式のセンサ１５４を含む車両１５２の側面図である。本発明の顔面認識装置はここに記載したような方法でこの情報を使用することができる。
【００５９】
更に、侵入を監視するためにカメラを車両内で位置決めすることができる。この例においては、カメラは車両の乗員コンパートメントの内部のどこでも画像を撮影する。人間が車両の後部座席で検出された場合、カメラは人間の顔面特徴の画像を撮影する。顔面特徴がコンピュータに記憶されたものと合致した場合、警報は発せられない。それ以外は、後部座席に誰かがいることを運転手に警告するために警報を鳴らすことができる。カメラは後の特定のために侵入者の記録を提供でき、車両がロックされた後に人間の存在の検出を提供する。図１２はこの例を示す車両１６０の側面図であり、センサ１６２は中央のドームライト内の如き車両の乗員コンパートメント内の中央位置に装着される。
【００６０】
上述の説明は本発明の単なる例示的な実施の形態を開示し、記載している。当業者なら、このような説明から及び添付図面並びに特許請求の範囲から、特許請求の範囲に規定されたような本発明の精神及び範囲を逸脱することなく、種々の変更、修正及び変形を行うことができることを容易に認識できよう。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る、エアバッグ展開のための画像感知装置に関連する車両の乗員座席における人間を示す破断側平面図である。
【図２】 本発明のエアバッグ展開装置に使用するビデオカメラ及びＬＥＤ照明ユニットの斜視図である。
【図３】 日光のための輝度曲線を示すグラフで、横軸は波長、縦軸は照明エネルギを示す図である。
【図４】 エアバッグドアの中心及び法線に関するカメラの方位及び位置パラメータを示す図である。
【図５】 本発明のエアバッグ展開装置のブロック線図である。
【図６】 本発明のエアバッグ展開装置に使用する駒差分技術を示す概略線図である。
【図７】 本発明の駒差分技術のためのタイミング線図である。
【図８】 本発明の実施の形態に係る、種々の安全及び便宜目的のために車両の異なる領域を感知するための種々のセンサ位置を示す車両の頂平面図である。
【図９】 本発明の別の実施の形態に係る、車両の前方で対象物を検出するための視野を有するカメラを示す車両の側面図である。
【図１０】 本発明の実施の形態に係る、車両の側部及び後部で対象物を検出するための側カメラ及び後中央カメラを含む車両の頂面図である。
【図１１】 本発明の別の実施の形態に係る、車両の運転手の前方に位置するカメラを含む車両の側面図である。
【図１２】 本発明の別の実施の形態に係る、侵入目的のための車両のドームライト内に装着されたカメラを含む車両の側面図である。

Claims (16)

1. 車両のための作像装置において、
   車両の外側の領域でありかつ該車両へ入るための経路に隣接した所定の領域を照射する照射装置と；
   上記所定の領域に存在する人間から反射された放射線を検知し、それに応答して画像信号を発生させる検出器と；
   上記検出器からの画像信号に応答するものであり、上記所定の領域内の人間の顔面特徴を取得するため上記画像信号を分析する顔面認識ソフトウエアを含むプロセッサと；
   を有し、上記プロセッサは、上記人間の顔面特徴と乗車が許された者の既に知られている顔面特徴とを比較し、上記人間が乗車を許された者であるか否かを決定し、該人間が乗車を許された者である場合には上記車両に入るための経路が自動的に係止解除となるようになっており、
   また、上記照射装置は、車両の所定の内部領域も照射するようになっており、上記検出器は該内部領域に存在する車中の人間から反射された放射線も検知し該人間の画像信号を発生させるようになっており、上記プロセッサは、該車中の人間の画像信号の顔面特徴と乗車が許された者の既に知られている顔面特徴とを比較し、これらが合致したときに車両の作動を遂行させる、
   ことを特徴とする作像装置。
2. 上記照射装置は赤外線源であり、上記検出器は反射された赤外線を受け取る赤外線検出器であることを特徴とする請求項１に記載の作像装置。
3. 上記検出器と上記所定の領域との間に配置された赤外線フィルタを更に有することを特徴とする請求項２に記載の作像装置。
4. 上記赤外線源が赤外線発光ダイオードの群を含むことを特徴とする請求項２に記載の作像装置。
5. 上記乗車を許された者の既に知られている顔面特徴は、上記プロセッサに組み合わされたメモリに記憶されたものであることを特徴とする請求項１に記載の作像装置。
6. 上記照射装置は、パルス作動及びパルス停止されるよう作動し、上記検出器はパルス作動の間に第１の画像を取得しパルス停止の間に第２の画像を取得し、上記プロセッサは上記第１及び第２の画像の差を決定しそれにより周囲光の影響を弱めることを特徴とする請求項１に記載の作像装置。
7. 作像装置は、上記車中の人間のしぐさを監視し、検知されたしぐさに応答して車両機能を遂行するようになっていることを特徴とする請求項１に記載の作像装置。
8. 上記車中の人間の画像信号と既に知られている顔面特徴との間の顔面特徴合致が得られた場合に、車両を始動させることを特徴とする請求項１に記載の作像装置。
9. 上記プロセッサは顔面特徴の合致に応答して上記車中の人間を特定し、該車中の人間に対応した最大運転速度に車両の作動を制限するようになっていることを特徴とする請求項１に記載の作像装置。
10. 侵入警報装置をさらに有し、上記プロセッサは、乗車を許された者の既に知られている顔面特徴と上記車中の人間の画像信号の顔面特徴とが合致しない場合に上記侵入警報装置を作動させるようになっていることを特徴とする請求項１に記載の作像装置。
11. 上記プロセッサは、乗車を許された者の既に知られている顔面特徴と上記車中の人間の画像信号の顔面特徴とが合致しない場合に、該車中の人間の画像をメモリに記録するようになっていることを特徴とする請求項１に記載の作像装置。
12. 車両に使用する侵入者検出装置において、
    車両内の領域を照射する照射装置と；
    上記車両内の領域に存在する人間から反射されてきた放射線を検知しそれに応答して該人間の画像を示す画像信号を提供する検出器と；
    上記検出器からの画像信号に応答するものであり、上記人間の顔面特徴を取得するため上記画像信号を分析する顔面認識ソフトウエアを含むプロセッサと；
    を有し、上記プロセッサは、後部座席の人間の顔面特徴と乗車が許された者の既に知られている顔面特徴とを比較し、上記後部座席の人間が乗車を許された者であるか否かを決定し、該後部座席の人間が乗車を許された者でない場合には、後部座席に侵入者がいることを運転者に警告するために警報を鳴らし該人間の画像をメモリに記録するようになっていることを特徴とする侵入者検出装置。
13. 上記照射装置は赤外線源であり、上記検出器は反射された赤外線を受け取る赤外線検出器であることを特徴とする請求項１２に記載の侵入者検出装置。
14. 上記検出器と上記領域との間に配置された赤外線フィルタを更に有することを特徴とする請求項１３に記載の侵入者検出装置。
15. 上記赤外線源が赤外線発光ダイオードの群を含むことを特徴とする請求項１３に記載の侵入者検出装置。
16. 上記照射装置は、パルス作動及びパルス停止されるよう作動し、上記検出器はパルス作動の間に第１の画像を取得しパルス停止の間に第２の画像を取得し、上記プロセッサは上記第１及び第２の画像の差を決定しそれにより周囲光の影響を弱めることを特徴とする請求項１２に記載の侵入者検出装置。

Images