JP4756044B2 - 自動車シート上の対象物を検出するための装置 - Google Patents

Description

本発明は、対象物の２次元表現を生成するための１つのカメラ及び処理ユニットを有する、自動車シート上の対象物を検出するための装置に関する。

電動自動車の乗員の検出、識別又は分類を実現するための様々な技術や装置がある。さらに、自動車乗員の頭の位置を認識するための様々な技術がある。このような技術からの情報は、乗員制限装置を乗員のタイプ、大きさ又はシート位置に適用するためのデータとして働く。

米国の全国高速道路安全局（ＮＨＳＴＡ）により発表された連邦自動車安全基準（ＦＭＶＳＳ）２０８によれば、米国で販売された全ての自動車のほぼ１００パーセントが、衝突強度、乗員、サイズ及びシートベルトの着用に基づいてエアバッグの展開力を自動的に制御する能力を有しなければならない。これは２００６モデル年度から始まる。製造業者が様々な乗員検出システムを開発し始めるにつれ、映像技術は、他のメカトロニクス方法に比べて様々な自動車運転席へのより優れた適応性のためにより多くの注目を集めている。

近年、エアバッグ抑圧判断問題を解決するために多数の光学的アプローチが研究されてきた。これらの研究は、システムにおいて使用されるカメラの数に依存して２つのカテゴリーに分類できる。初期のバージョンの乗員検出システムでは、イメージングセンサが高コストのために単純なカメラの解決法が必要だった。しかしながら、このような一眼システムは、乗客の位置／姿勢に従うリスクの低い展開を保証する補助タスクであるアウトオブポジションの検出などの機能に必要な十分な３Ｄ情報を提供しなかった。結局、乗員検出システムは２つのカメラを使用する立体視技術に益々依存した。様々な映像ベースの車内アプリケーションの増加する需要に直面して、使用されるカメラの数は厳しい試験の下で増大してきている。

以下では、乗員検出に対する既存の光学的アプローチの最も重要な欠点を列挙する。
−立体カメラシステムは１つ又は複数のカメラを使用する。複数のカメラはハードウェアコストを著しく増加させる。
−多数のアプローチが自動車内部を照明するための補助光源を使用する。これもハードウェアコストを増加させる。
−立体視の理論上の制限により、２つのカメラは互いに隣接しなければならない。これは、コンパクトなシステムモジュールの設計を困難にする。
−立体視システム（ステレオビジョンシステム）は、含まれるカメラの配置を歪める全ての物理的衝撃に極めて敏感である。
−たいていの立体視技術の３Ｄ再構成は基本的に組織対応適合に基づくので、たいていの立体視アプローチは、対象物がその表面に組織を有しない場合ターゲット対象物の形状を再構成することができない。
−満足のいく深さ解像度を得るために、たいていの立体視技術は、より幅広いデータ帯域幅とより速い計算力を要することで全体のシステムコストを増加させるサブピクセル空間解決法を使用する。
−立体視に不可欠な、徹底的な探索・三角測量プロセスがシステムコストに影響する。
−たいていの立体視技術は複雑なカメラ補正を要する。

ＷＯ２００４／０４０５１５Ａ１ C. Koch, S. Park, T. J. Ellis, and A. Georgiadis: "Illumination technique for optical dynamic range compression and offset reduction." In British Machine Vision Conference (BMVC01), pages 293-302, Manchester, England, September 2001, BMVA Press R. Klette, K. Schluens, and A. Koschan: "Computer Vision, Three-Dimensional Data from Images." Springer, 1998 R.T. Frankot and R. Chellappa: "A method for enforcing integrability in shape from shading problem." IEEE Trans, on PAMI, 10(4): 439-451, July 1988 M.I. Jordan: "Attractor dynamics and parallelism in a connectionist sequential machine", Proc. of the 8th annual conference of cognitive science society, pages 531- 546, Amherst, MA

本発明の目的は、自動車シート乗員の３Ｄ情報を生成することのできるシングルカメラシステムを提供することである。好ましくはこの目的は最小の補助アクティブ照明を使用することで達成される。

本発明の目的は、対象物の２次元表現の生成のための１つのカメラ及び処理ユニットを有する、自動車シート上の対象物を検出する装置により達成される。装置がさらに少なくとも２つの照明源を有し、照明源は対象物が異なる方向から照明されるように位置決めされ、処理ユニットが、それぞれ異なる照明条件下で生成される２つの２次元表現から対象物の３次元表現を生成するのに適しており、対象物の表面垂線ベクトルの評価とこれらの表面垂線ベクトルからの対象物表面の積分とに基づいて、３次元表現は２つの２次元表現から生成され、立体照明が使用されないことを特徴とする。

一般に、本発明に従う装置は、動画像（イメージシーケンス）を捕らえる単一のカメラを有する。照明源の調光、切換又は移動（ずらすこと及び／又は回転）により、異なる照明条件が作られる。単純化のために、本発明の好ましい実施形態によれば、照明源をオン・オフに切り換えることで異なる照明条件が作られる、すなわち、アクティブな照明源の異なる組み合わせ、特に異なる数のアクティブな照明源によって異なる照明条件が作られる。

本発明の好ましい実施形態は、それぞれ異なる照明条件下で生成される、２つの２次元表現から対象物の３次元表現を生成するのに適し、異なる数のアクティブな照明源によって異なる照明条件が作られることを特徴とする。２つの２次元表現から対象物の３次元表現の当該生成は、２つの２次元表現以上からの生成のケースを有する。

本発明に従う乗員検出システムは、エアバッグ制御モジュールを促進するために自動車内の対象物を分類するように設計される。分類は、オリジナル画像及び／又は３次元の対象物表現及び／又は中間結果から抽出される対象物特徴に基づいて実行される。分類の一般的な目的は対象物をターゲット乗員クラスに割り当てることである。

本発明の好ましい実施形態によれば、このような分類におけるターゲット乗員クラスの数は制限される。ターゲット乗員クラスは、前向きチャイルドシート、後向きチャイルドシート及び大人である、３つのクラスに減じられる。

ゆえに、本発明の好ましい実施形態は、処理ユニットが検出された対象物に少なくとも２つの対象物クラスから１を割り当てるのに適し、
ここで、少なくとも２つの対象物クラスは３つの以下の対象物クラス、
−前方の運転方向に配置されたチャイルドシート、
−後方の運転方向に配置されたチャイルドシート、
−大人
を有する複数の対象物クラスから選択される。

対象物分類の結果は一般に、他のタスクを支持（例えば、単純化）するために使用される。この目的のために、結果が別なタスクに伝えられる。

本発明の好ましい実施形態によれば、処理ユニットは、自動車シート上の装置が割り当てられた対象物クラスの信号を、処理ユニット自体又は別な装置により実行されるタスクに送る。ここで、このタスクの実行の事実及び／又は様式は自動車シート上の装置が割り当てられた対象物クラスに依存する。特に、本発明の好ましい実施形態によれば、対象物が大人と分類される場合、アウトオブポジション検出だけが作動する。

本発明に従う方法では、１つの画像シーケンス内で様々な照明条件が少なくとも２つの光源を用いて生成される。周囲の照明揺らぎ及び／又は影は取り除かれる。

本発明の好ましい実施形態によれば、画像シーケンスにおける周囲照明揺らぎは、いわゆるダブルフラッシュ技術により取り除かれる。

影のない画像は、無限の範囲を有するバーチャルな光源をシミュレートすることにより画像シーケンスから構成されると好ましい。これは、いわゆるシャドーフラッシュ技術により実現されると適切である。

好ましくは、結果として得られた影のない画像における対象物の境界情報が抽出され、対象物の３Ｄ表面が再構成される。

最後に、本発明の好ましい実施形態によれば、多次元特徴ベクトルが画定され、分類のために利用される。好ましくは特徴ベクトルは２Ｄ及び／又は３Ｄ情報を使用する。

本発明により、自動車乗員検出システムのための新規な構成が発案される。本発明に従う装置の性能は立体視システムに匹敵する。したがって、本発明による装置は別な解決法として働き、幾つかの重要な利点を提供する両眼視システムになる。

−１つのカメラしか必要としないので、本発明に係る装置は立体視技術に比べて経済的である。必要とされる切換可能な照明源の市場価格は通常カメラのそれより安い。

−立体視アプローチに比べて、本発明による装置及び／又は方法では小さいコンピューティングパワーがあればよい。発案システムで使用されるアルゴリズムの複雑性は通常、どんな立体視アルゴリズムの複雑性よりも小さい。

−発案システムは組織対応マッチングに基づいていないので、３Ｄ再構成の性能はターゲット対象物の組織特性から完全に独立している。

−カメラ及び光源を位置づけるための自由度が、たいていの立体視技術によるそれよりもかなり大きい。

−本発明による方法では、深さ解像度がカメラの空間解像度の関数のみである。ゆえに、サブピクセルイメージングは必要ない。

−本発明のシステムの複雑性、特にハードウェア複雑性は通常、立体視に基づくシステムの複雑性より低い。

本発明のさらなる情報、詳細及び好ましい実施形態を図及び以下の説明により開示する。

図１ａは、本発明に従うシステムの基本的構成、すなわちアウトオブポジション検出システムに結合した発案システムの構造を示す。２つのシステム間の状態遷移を示す状態遷移図である図１ｂに示されるように、分類結果はアウトオブポジション（ＯＯＰ）検出システムにより共有される。ＯＯＰ検出は、対象物が大人と分類される場合のみ作動する。クラス「大人」は分類後に連続的に観察される唯一のクラスである。図１ｂにおける遷移「イベント」は、クラスの急な変化などの劇的な変化が視野で起きたときに生じる。

先ず、適用される画像獲得・前処理技術を説明する。

１５Ｈｚで２５６×２５６の解像度を有する１２ビットのハイダイナミックレンジ単色画像センサが画像捕獲のために使用される。順番に閃く、２ビットグレーコード信号で始動される３つの赤外光源が使用される。それぞれのフレームが予め割り当てられた照明条件下で捕らえられるように、グレーコード信号は画像センサのトリガークロックと同期される。したがって、異なる照明を有する４つのタイプの画像（それぞれの光源（プラス周囲の照明）による３つの画像と周囲の照明のみによる１つの画像）が獲得の間に連続的に得られる。

照明安定化はいわゆるダブルフラッシュ技術により実現される。主流のＣＣＤベースの画像センサ及びたいていの最近のＣＭＯＳベースの画像センサは、人が空間的又は時間的に極めて様々な照明を受ける自動車の内部をモニターするための十分な光学的ダイナミックレンジを提供しない。このような環境で画像の詳細を失うことなく画像を捉えるために、ハイダイナミックレンジに適する画像装置及び／又は照明オフセットを変えずにダイナミックレンジを減少させるための新規なアプローチを適用することが必要である。異なる放射強度で２つの入力画像を照明することでオフセット減少とダイナミックレンジ圧縮の利点を組み合わせる、ダブルフラッシュ技術が発案システムで適用された。ダブルフラッシュ技術は非特許文献１で初めて発表された。

レンズ歪みを取り除いた後、画像シーケンスは、異なる照明パワーに晒された２つの画像を引くことで周囲照明の揺らぎを取り除くダブルフラッシュモジュールに送られる。３段階ディレーバッファで促進されると、ダブルフラッシュ法は完全に周囲照明を除去し、クロックサイクル当たり３つの画像を生成する。

シャドー除去はいわゆるシャドーフラッシュ技術により達成される。

ほぼ全ての自動車内部のモニタリングアプリケーションは、適切な照明オフセットを得るために補助光源（通常、近赤外領域）を導入する。ゆえに、視野において強く映る影は避けられない。シャドーは、システムの全体の機能を妨げる、仮想の対象物を誤って検出させる間違った分割をしばしばもたらす。特許文献１において初めて開示されたシャドーフラッシュ技術は、莫大な大きさの虚像の光源のシミュレーションによってシャドーを取り除くための適切な方法である。アルゴリズムは、それぞれの画像が異なる方向からフラッシュされるところで多数の画像を使用する。１つのシャドーのない画像を創出するための必要な入力画像Ｎ_ｉｎの数は、周囲ライトの抑制を計算するためのさらなる画像を加えた、使用される光源の数ｎ_{ｌｉｇｈｔ}に等しい。

Ｎ_ｉｎ＝ｎ_{ｌｉｇｈｔ}＋１ （１）

本発明に従う好ましい実施形態によれば、３つの光源が使用される（周囲ライトを含めて入力画像の数は４になる）。周囲照明画像Ｉ_{ｏｆｆｓｅｔ}が無視できる場合、入力画像の数はダブルフラッシュを無視することでｎ_{ｌｉｇｈｔ}に減少する。しかし、その場合照明変化を処理するための頑強性が失われる。

テンポラルドメイン処理がスライドｎ倍長方式で行われる。

シャドーフラッシュアイデアは、照明源を画像装置のトリガー信号に同期させることでテンポラルドメインに拡張でき、画像装置はビデオシーケンス（・・・、Ｉ_ｂ、Ｉ_{ｏｆｆｓｅｔ}、Ｉ_ａ、Ｉ_ｂ、Ｉ_{ｏｆｆｓｅｔ}、Ｉ_ａ、・・・）を作りだす。ここで、Ｉ_ｘは光源ｘで照明された画像を示し、Ｉ_{ｏｆｆｓｅｔ}は周囲照明のみ有する画像を示す。

しかしながら、シャドーフラッシュ法をテンポラルドメインに直接適用すると２つの問題が生じる。先ず、式（１）で説明される１つのシャドーのない画像を得るためにＮ_ｉｎの画像が必要となるので、獲得の始まりにおけるｎ_{ｌｉｇｈｔ}−フレームの遅延に伴って、出力シーケンスのフレーム率が１／Ｎ_ｉｎに減少する。第２に、シーンにおける対象物がＮ_ｉｎ−倍長の捕捉の間に移動する場合、幾つかのアーチファクトが対象物の境界周りで生じる。

フレーム率減少を避けるために、スライドＮ倍長方式が発案される。Ｎ_ｉｎフレームの幅を有するメモリーウィンドウが作られる。ウィンドウは時間軸に沿って移動する。このウィンドウ内で、Ｎ_ｉｎの異なって照明された連続画像は絶えずリフレッシュされる。これらの画像は、影のない出力画像を創出するための一組の入力を連続的に形成する。図２ａは、従来のＮ倍長方式を使用することで結果シーケンスのフレーム率が４で割られるのに対し、スライドＮ倍長方式を使用することで（図２ｂ）、出力フレームが連続的に計算される。

速く移動する対象物はスライドＮ倍長方式の結果を歪める。歪みの量は画像装置のフレーム率に依存する。画像装置が十分な速度を有するフレームを作るとき、移動対象物により生じるアーチファクトは無視できる。シーン内の移動対象物の速度に比べて遅いフレーム率の場合、フレームとフレームの差を検出し補正するために補助アルゴリズムが実行されなければならない。

発案した拡張シャドーフラッシュ法からの例の結果は図３ｅに示されている。図３ａ、図３ｂ、図３ｃ及び図３ｄは、影のない画像の図３ｅが基づく一連の画像を示す（それぞれ、Ｉ_{ｏｆｆｓｅｔ}、Ｉ_ａ、Ｉ_ｂ及びＩ_ｃ）。

利用可能な２Ｄイメージから有益な主な情報を抽出するために、境界抽出が行われる。分割プロセスが開始すると、局所的な相違を比較して、基準背景に対するそれぞれのフレームの組織構造の類似性が分析される。局所的及び全体的な照明変化がダブルフラッシュ技術によって安定化され、全ての影がシャドーフラッシュ技術により除去されるので、簡単な適応閾値処理に先行する相違比較により、観察される対象物の適切な境界が十分にもたらされる。

この近似境界を改良するためにアクティブ輪郭モデルが使用される。以下のスネーク評価のために初期輪郭を提供するため、凸型外殻（コンベックスハル）が近似境界の周りに生成される。この場合、近似境界点のシーケンスが通常２つの連続する凸型包皮の節点の間に存在するのに対し、節点の各組は線セグメントを形成する。それぞれのシーケンスのために、シーケンスと対応する線セグメントの間の最大垂直距離として深さを定めることができる。例えば、対応する線セグメントに隣接／重なるシーケンスの深さはゼロである。最終的に、深さは、ウエイトを与えるそれぞれのスネークセルのエネルギー関数にウエイトをかけるために使用され、それでセルは他のセルより大きい近似境界までの距離を有するとき、高い移動性を有する。影のないシャドーフラッシュ画像の図３ｅに提供される分割結果は図３ｆに示される（曲線１：バウンディングボックス、曲線２：コンベックスハル、曲線３：近似境界、曲線４：スネーク結果）。

３次元情報を提供するために、測光ステレオ法が使用される。

目標は双眼画像装置を使用せずに３次元情報を提供することだったので、表面回復法と考えられるおおよそ３つの可能性があった。立体照明（structured lighting）は、ターゲット表面に投影された光パターンの変形に基づいた対象物の３次元形状を計算する、いわゆるアクティブ立体視法である。計算は単純で速いので、投影されたパターンの特徴点が正確に検出されると、シーンの形状が容易に抽出される。しかしながら、実際は、自動車環境内の絶え間ない振動のために赤外光源を用いた正確なパターンの実現は困難である。さらには、このようなパターンは対象物分類のために十分な解像度を呈さない。

最近、補助光源の放出光の実行時間又はフェーズを測定する一点距離測定ユニットのアレーからなる飛行時間（ＴＯＦ）画像装置が業界において非常に関心が高い。ＴＯＦ画像装置は、絶対的な深さを直接測定し、遅延なくシーンの完全な距離マップを算出する点で非常に有利である。それにもかかわらず、測定範囲は最大放射力の量によって制限されるので、目の安全性を犯す可能性が依然として解決すべき問題としてある。

測光ステレオ法（ＰＳＭ）は、反射特性を用いて対象物の相対的深さを構成する、複数の光源を使用するシェーディングに基づく形状法（ＳＦＳ）の拡張バージョンである。対象物表面を明白に再構成するために任意放射照度の十分な情報が欠乏するＳＦＳとは異なり、特に３つ以上の光源があるとき、ＰＳＭはより容易に表面回復を実行する。多数の照明源及び条件が既にシャドーフラッシュ法のために使用されているので、このような実行のために補助ハードウェアを提供する必要がないため、ＰＳＭを適用することは簡単である。

２つの連続するフレームの間の対象物の急な移動は、あるアプリケーションのためにＰＳＭ法を使用するという問題がある。しかしながら、このアプリケーションでは、移動により引き起こされる一般的な量の歪みは受け入れられる。加えて、低い再構成性能の場合、決定の時間率のバリエーション及び／又はシーンの空間解像度及び／又は画像装置のフレーム率が役立つ。

ＰＳＭのタスク全体には２つの主要な手順、つまり表面垂線の評価と垂線ベクトルからの対象物表面の積分が含まれる。表面垂線ベクトルの評価が、照明源の方向及びパワーに関する前情報で支持された放射照度方程式を解くことでアルベド独立的に実行される。適切な方法は、例えば、非特許文献２から知られている。

時間消費の不都合に関係のない運動により生じる小さいアーチファクトのために頑強性を改良するための小さい変更の後、周波数領域の積分可能条件の最小化に基づいた、Frankot-Chellappaアルゴリズム（非特許文献３から知られている）が適用される。

幾つかの一般的な表面回復の例及びそれらの表面垂線のニードルマップが図４に示される。図４は、対応する表面垂線のニードルマップとｚ軸に沿って投影されたそれらの回復された３Ｄ表面を示す。図４ａ、図４ｂ及び図４ｃはそれらのオリジナル画像に重ね合わされたニードルマップを示すのに対し、図４ｄ、図４ｅ及び図４ｆは広がり軸を有する表面再構成結果を示す。

以下の段落では、適用される分類法と対応する分類結果を示す。

先ず、分類のための基礎として、特徴が画定及び／又は選択されなければならない。

安全上の理由のために空席を検出する必要はないので、分類すべき乗員タイプの数は３に制限される（大人、前向きチャイルドシート（ＦＦＣＳ）及び後向きチャイルドシート（ＲＦＣＳ））。入力の関係のない変換に不変の特有の特徴を画定することは、分類装置のジョブを自明にするための基本的なタスクである。

本発明のこの好ましい実施形態によれば、それぞれの特徴は、少なくとも１つのクラスか他の２つのクラスかを特定するように設計される（例えば、大人とチャイルドシートクラスを識別するために乗員サイズを用いる）。発案される特徴は以下のように定められる。

拡張ガウス形画像（ＥＧＩ）：４次元
ＥＧＩは離散したガウス球面にわたって計算された表面垂線のヒストグラムである。表面垂線はＰＳＭの計算の間に難なく得られるのに対し（図４参照）、後向きチャイルドシートは他の２つのクラスからの１つのクラスから表面方向の異なる点を有すると考えられる。ヒストグラムはそれぞれ９０°の場所（ビン）に分かれており、それぞれの場所に属する法線ベクトルの数が計算される。

表面深さ：４次元
対象物のトップから突出した相対的な深さのプロフィールも特徴として使用される。カメラ座標系は絶対座標系とは異なるので、絶対座標系のｚ軸に沿って突出した深さプロフィールを提供するために、３つの部分（パン角、チルト角及びロール角）を表す所与の回転行列により回転変換が実行される。視点を変化させる簡単な図が図５ａに示されている。カメラ補正は絶対座標原点に対する回転行列Ｒをもたらす。原則として、全ての３次元特徴は回転変換され、トップから正しく見られる。

広がり軸情報：９次元
対象物表面をうまく回復することで、表面上の３つの極値（図５ｂで定められたＥ_１，Ｅ_２及びＥ_３）が幾つかの役立つ特徴を画定するために使用される。図５ｂでは、極値Ｅ_１，Ｅ_２及びＥ_３はそれぞれ最上点、最前点（左）及び最後点（右）として画定される。広がり軸は重心と極値の間の直線である。したがって、広がり角（α_ｚ１、α_ｘ２及びα_ｘ３）が広がり軸と座標系の間の角度として画定される一方、相対的な広がり角（β_１２、β_１３及びβ_２３）は広がり軸それら自体の間の角度である。これらの２つの角度特徴と広がり軸の長さは分類装置のための重要な特徴として使用される。図４ｄ、図４ｅ及び図４ｆに幾つかの例を示す。

極大値の相対位置：１次元
ｘ軸に沿った極大値Ｅ_１の相対位置は、他の２つのクラスの代わりに後向きチャイルドシートクラスを特定するための良い手がかりである。図５ｂに示されるように、相対位置Ｐ_Ｅ１はＰ_Ｅ１＝Ｗ_Ｅ１／Ｗとして簡単に定められる。ここで、Ｗ及びＷ_Ｅ１はそれぞれ、対象物の幅と、Ｅ_１とＥ_３の間のｘ軸に沿う距離を示す。

体積比及びコンパクト性：２次元
対象物の後ろで何が起こるかを確認することはできないので、対象物の体積を確定することは困難である。対象物が平坦な背中面を有すると推測される場合でも、ターゲットの体積はいまだ分割結果に極めて敏感である。したがって、３次元表面領域の２次元境界領域に対する比は、対象物の体積が大きくなるに連れて増大する体積比として画定される。平坦な背中面、対象物を取り囲む六面体に対する対象物体積の割合又はコンパクト性の推定はその体積の頑強な見積もりをも与える。

他の２Ｄ幾何学的情報：９次元
標準化中心モーメントとＨｕモーメントの３つの低次の成分が、幅、高さ及び対象物境界に沿う特徴として選択される。

使用される分類装置は以下のように設計される。

乗員タイプの変化は運転中は起こりそうもないので、視野で何か劇的な変化が生じない限り（図１ｂ参照）、分類はたいていの場合操作の初めに一度実行されれば十分である。したがって、発案システムは、３秒以内に決定に到達しなければならないと考えられる。これは、最終決定をする前に３０Ｈｚのフレーム率で９０フレームの処理を意味する。

発案される特徴は乗客の動的特性を反映しないことを考慮すると、テンポラルシリーズを処理し分類できる分類装置モデルを構成する必要がある。監督されて鍛えられることで、ジョーダンにより発案された部分的再帰ネットワーク（例えば、非特許文献４）は、２つのタップ遅延回路の助けにより使用される。これらは、任意の中間遅延長さ値のコンテンツにアクセスできる遅延記憶装置である。それぞれのタップ遅延回路は、特徴ベクトル（入力）又は分類結果（出力）のストリームにおいて雑音成分をフィルタリングすることで分類性能全体の精度を改良する。発案システムの最大遅延長さは、システムが３秒間の乗客の歴史をモニターすることができる９０フレームに制限される。ラーニングプロセス後の発案されるジョーダンネットワークは図６ａに示されるのに対し、図６ｂは分類装置の構造全体、すなわち２つのタップ遅延回路を備えた発案される分類装置の構成を示す。

システム及び本発明に従う方法の性能、効率及び頑強性を明確にするために、以下の段落では、発案システム及び方法による幾つかの実験の結果を開示する。

発案システム及び方法は、３０Ｈｚで１２ビットグレースケールを有する、２９の様々なチャイルドシートと２５の人から収集された５７８のイメージシーケンスを有する実験において試験された。レンズ歪みは補正されたカメラパラメータを用いて削除された。毛布などの別な対象物と様々な周囲照明条件は多様性を得るために使用された。最後に、シーケンスはトレーニング・試験セットを作り出す２つのグループに均等に分けられ、乗員の挙動に依存する１００〜５００のシーケンスの長さと、ターゲット出力値がマニュアルで調査された。発案されるネットワークは、トレーニングセットにより弾性的逆伝搬（Ｒｐｒｏｐ）アルゴリズムにより鍛えられる一方、レギュラーロジスチック活性化関数が全てのニューロンに設定され、そのシナプスの初期値がランダムに選択される。１２０の反復後ネットワークが０．０７９３の平均二乗誤差に達すると、ラーニングは停止される。

ニューラルネットワークが単一のフレーム決定をするので、分類性能が２つのタップ遅延回路の長さに従うテストセットにより評価された。図６ｃは遅延回路の長さに対する分類エラー空間を示す。図６ｃは、順次挙動に対する再帰ネットワークの適応性のためにシステムが出力ディレーバッファの長さに明らかにより敏感であることを示す。しかしながら、両方の遅延回路の大きさが増大すると、感度の差はごく僅かになった。表１は、タップ遅延回路の保持なしでクラスタイプに従う中間エラー分析を示す。

表１：タップ遅延回路のないエラー統計（全体のエラー率：６．６６％）
前向きチャイルドシート（ＦＦＣＳ）：エラー率１４．２％、好ましいエラー：ＲＦＣＳ（９９．５％）
後向きチャイルドシート（ＲＦＣＳ）：エラー率１５．４％、好ましいエラー：ＲＲＣＳ（９０．０％）
大人： エラー率０．７２５％、好ましいエラー：ＲＦＣＳ（６８．３％）

表１の中間分析によれば、特にシーンが別な対象物（例えば、毛布で覆われたＲＦＣＳでテディベアを抱いた赤ちゃん）により変更されるとき、ほとんどのエラーが２次元ジオメトリーの似た特徴のためにＦＦＣＳとＲＦＣＳの間で生じる。多数の動きを含むテストシーケンスでも大人クラスにおいては低いエラー率が実現された。大人とチャイルドシートの誤分類は２つのチャイルドシートとチャイルドシートの誤分類のそれより大きい危険性を一般に有するので、これらは励みになる結果である。タップ遅延回路を適用した後、全てのクラスのエラー率は表２に示されるように劇的に減少した。

表２：タップ遅延回路を用いたエラー統計（全体のエラー率：１．１４％）
前向きチャイルドシート（ＦＦＣＳ）：エラー率１０．１％、好ましいエラー：ＲＦＣＳ（１００．０％）
後向きチャイルドシート（ＲＦＣＳ）：エラー率１３．７％、好ましいエラー：ＲＲＣＳ（９１．７％）
大人： エラー率０．０％

通常のジョーダンネットワークのオリジナルエラー率は６．６６％に達するが（表１）、入力遅延回路及び出力遅延回路の長さをそれぞれ３１、５９に設定後、９８．９％の分類率が実現された。

前記の結果は、本発明に従うシステム及び方法の性能、効率及び頑強性を実証している。

本発明の好ましい実施形態によれば、自動車シート上の対象物は少なくとも２つのクラスから１を割り当てられる。発案される方法のこの特徴は発案される方法の他の特徴と必ずしも組み合わされる必要はなく、及び／又はこの特徴により特徴付けられる方法は本発明に従う装置と無関係に使用できる。

したがって、本発明はさらに自動車シート上で検出された対象物を分類する方法に関し、対象物は少なくとも２つのクラスの１を割り当てられる。本発明の好ましい実施形態によれば、対象物は少なくとも２つの対象物クラスから１を割り当てられ、少なくとも２つの対象物クラスは３つの以下の対象物クラスを有する複数の対象物クラスから選択される：前方の運転方向に配置されたチャイルドシート、後方の運転方向に配置されたチャイルドシート、大人である。しかしながら、分類それ自体は必ずしも明細書に従う方法及び／又は装置により遂行されなくてもよい。

システムの全体像であり、本発明に従うシステムの基本的構成である。 システムの全体像であり、システム全体の状態遷移図である。 スライドＮ倍長方式のない、本発明に従い適用されるリアルタイム・シャドーフラッシュ技術の例である。 スライドＮ倍長方式を用いた、本発明に従い適用されるリアルタイム・シャドーフラッシュ技術の例である。 シャドーフラッシュ及び分割結果であり、このテストに使用される一連の画像である。 シャドーフラッシュ及び分割結果であり、このテストに使用される一連の画像である。 シャドーフラッシュ及び分割結果であり、このテストに使用される一連の画像である。 シャドーフラッシュ及び分割結果であり、このテストに使用される一連の画像である。 シャドーフラッシュ及び分割結果であり、得られるシャドーフラッシュ画像である。 シャドーフラッシュ及び分割結果であり、シャドーフラッシュ画像に適用された分割結果である。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、それらのオリジナル画像に重ね合わされたニードルマップである。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、それらのオリジナル画像に重ね合わされたニードルマップである。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、それらのオリジナル画像に重ね合わされたニードルマップである。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、広がり軸を有する表面再構成結果である。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、広がり軸を有する表面再構成結果である。 表面垂線のニードルマップとｚ軸に沿って投影されたそれらのリカバー３Ｄ面であり、広がり軸を有する表面再構成結果である。 本発明に従う特徴抽出のための座標、軸及びパラメータである。 本発明に従う特徴抽出のための座標、軸及びパラメータである。 本発明に従う分類装置のデザインであり、ラーニングプロセス後のジョーダンネットワークである。 本発明に従う分類装置のデザインであり、２つの多段遅延回路を有する発案される分類装置構成である。 本発明に従う分類装置のデザインであり、遅延回路の長さに対する分類エラー空間である。

符号の説明

α 広がり角
β 広がり角
Ｅ 極値
Ｗ 距離

Claims (4)

1. 対象物の２次元表現を生成するための処理ユニットと１つのカメラを有する、自動車シート上の対象物を検出する装置であって、
   装置が少なくとも２つの照明源をさらに有し、当該照明源は、対象物が様々な方向から照明されるように位置決めされ、
   処理ユニットが、それぞれが様々な照明条件下で生成された２つの２次元表現から対象物の３次元表現を生成するのに適しており、
   対象物の表面垂線ベクトルの評価とこれらの表面垂線ベクトルからの対象物表面の積分とに基づいて、３次元表現は２つの２次元表現から生成され、立体照明が使用されないことを特徴とする装置。
2. 処理ユニットが、それぞれが様々な照明条件下で生成された２つの２次元表現から対象物の３次元表現を生成するのに適しており、様々な照明条件は異なる数のアクティブ照明源により作られることを特徴とする請求項１に記載の装置。
3. 処理ユニットが、検出される対象物に少なくとも２つの対象物クラスから１を割り当てるのに適し、
   少なくとも２つの対象物クラスは、以下の３つの対象物クラス、
   −前方運転方向に配置されたチャイルドシート、
   −後方運転方向に配置されたチャイルドシート、
   −大人、
   を有する複数の対象物クラスから選択されることを特徴とする請求項１又は２に記載の装置。
4. 処理ユニットは、自動車シート上の装置が割り当てられた対象物クラスの信号を処理ユニット自体又は別な装置により実行されるタスクに送り、
   このタスクの実行の事実及び／又は様式は自動車シート上の装置が割り当てられた対象物クラスに依存することを特徴とする請求項３に記載の装置。

Images