JP6305171B2 - シーン内の物体を検出する方法 - Google Patents

Description

本発明は、包括的にはコンピュータービジョンに関し、より詳細には、シーン内の人を検出することに関する。

シーン内の人を検出することは、多くのコンピュータービジョンアプリケーションにおいて有益である。人の検出は、内部要因及び外部要因に起因して困難である。内部要因には、照明変動、不十分な照明、ヘッドライト及び投光照明等の明るい光に起因した飽和、シャドウ、反射、気象条件、シーンクラッター、他の物体、画像化雑音、及び取得データの忠実度が含まれる。外部要因は、動き、回転し、変形するとともに、様々な形状及びシルエットをとる可能性がある、関節接合された身体部分に関する。人は、立ち上がる、横になる、歩く、走る、屈む、及び他の仕草をする可能性がある。見掛け、例えば、身長、体重、服装等は、人によって大幅に異なる。加えて、人体は異なる視点において様々な姿勢を有する。これらの要因の全てが、剛性物体と比較して人検出を難しくしている。

人検出方法は、入力データの様式に基づいて２つのグループに分類することができる。

人検出
人検出のために２つのタイプのセンサー、すなわち、単眼カメラ等の視覚センサーと、１層又は多層の光検出及び測距（ＬＩＤＡＲ：ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）検出器及び動き検出器等の、３Ｄの幾何学的手がかりを提供するセンサーとを用いることができる。検出器は入力画像を取得し、画像の部分（ウィンドウ）の記述子を求める。記述子は、分類器によって、任意のウィンドウ内に人が存在するか否かを判断するのに用いられる。

１つの方法は、ハールウェーブレットを用いて記述子を構築し、複数の線形サポートベクトルマシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ：サポートベクターマシン）をトレーニングする。別の方法は有向勾配ヒストグラム（ＨＯＧ：ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔ）を用いる。リジェクトカスケード型（ｒｅｊｅｃｔｉｏｎ ｃａｓｃａｄｅｄ）でＡｄａＢｏｏｓｔ型の分類器をＨＯＧとともに用いてリアルタイムの性能を達成することができる。共分散特徴（ＣＯＶ：ｃｏｖａｒｉａｎｃｅ ｆｅａｔｕｒｅ）も知られており、分類器は基礎を成すリーマン多様体に基づくことができる。これらの全体論的方法によって、遮蔽の場合を除いて著しい成果が達成される。

代替的に、検出は、人体部分及びそれらの一般的な形状を識別することによって行うことができる。これらの方法では、身体部分の局所的な特徴が求められ、組み合わされ、人モデルが形成される。人のシルエット情報も考慮に入れて遮蔽を扱うことができる。しかしながら、性能は、人体部分の画像解像度に大きく依拠する。

検出器は、幾何学的手がかりを用いて、３Ｄデータ又はレンジスキャンデータから特徴を抽出する。例えば、有向フィルターを空間奥行きヒストグラムに適用することができる。分類器の代わりに、単純なしきい値演算を実行して人を検出することができる。別の方法は奥行き画像を３Ｄ点群に変換する。別の方法では、測地的な局所関心点から辞書が構築される。その方法は、人が遮蔽されておらず、他の物体と接触していない限り、高い検出率を有する。

別の方法は、局所奥行き情報のヒストグラムの大きな特徴ベクトルを用いて人を表す。その方法は遮蔽を処理するが、計算が複雑であり、リアルタイム用途には適していない。

別の方法は、ＬＩＤＡＲスキャンを用いて脚記述子を形成する。その方法は、折れ線部分（ｓｅｇｍｅｎｔｅｄ ｌｉｎｅ ｐａｒｔ）からいくつかの所定の特徴を抽出し、分類器をトレーニングする。その方法は、遮蔽がなく、脚が見えており、かつＬＩＤＡＲが脚の方を向いているときに人を検出することができる。その方法は、人を検出するにはＬＩＤＡＲスキャンが脚の高さに合致することを厳密にかつ明白に必要とする。

本発明の実施形態は、人をリアルタイムで正確に検出する方法を提供する。本方法は、レンジスキャンからの１Ｄ奥行きと、画像からの２Ｄテクスチャとを、幾何学的記述子と、及び放射基底関数カーネルサポートベクトルマシン（ＳＶＭ）学習の枠組み内でのシルエットベースの視覚的表現とを介して結合する。複数の様式を組み合わせることによって、検出精度が増大し、計算時間が低減する。従来技術と対照的に、本方法は、レンジスキャン位置に対する制限的推定を一切行わず、これによって本方法は広範にわたる実際の検出タスクに適用可能である。

本方法は、双方のデータ様式から得られた測光特徴及びレンジスキャン特徴を単一のジョイント分類器（ｊｏｉｎｔ ｃｌａｓｓｉｆｉｅｒ）において統合する。本方法は、困難で変動する環境条件下で正確である。従来技術とは異なり、本方法はレンジスキャンが人体の上部胴体及び頭部に交差する場合であっても、脚の可視性に関する推定を一切行うことなく人を検出することができる。これは現実世界の用途において重要である。

本発明の実施形態による、シーン内の人を検出する方法の流れ図である。 図１の方法の擬似コードである。 請求項１に記載の検出方法の単一のジョイント分類器のトレーニングの流れ図である。

本発明の実施形態は、物体、例えばシーン１０８内の人１０９をリアルタイムで正確に検出する方法を提供する。幾何学的（奥行き）データ及び視覚的（テクスチャ）データを利用するために、本発明による多モード人検出器は、１次元（１Ｄ）レンジスキャンデータと２次元（２Ｄ）画像データとを組み合わせて単一のジョイント特徴（ｊｏｉｎｔ ｆｅａｔｕｒｅ）にする。このため、検出器はより高次元のジョイント特徴空間に対し動作する。本明細書では人を例示的な物体として用いているが、本発明は、動物、移動ロボット、関節接合された機械、車両等の他の複雑な物体でも機能することができることを理解すべきである。

図示されるように、本方法への入力は、シーンから取得された１Ｄ奥行きデータ１０１及び２次元の２Ｄテクスチャデータ１０２を含む。１Ｄ奥行きデータは奥行きセンサー又はスキャナー１０６によって取得することができ、テクスチャデータはカメラ１０７を用いて取得することができる。

奥行きは回転され、平行移動され（１１０）、次に投影され、テクスチャと位置合わせされ（１２０）、位置合わせされたデータ１２５が生成される。勾配ヒストグラム（ＨＯＧ）が抽出され（１３０）、カスケード及びマージされ（１４０）、ジョイント特徴ベクトル１０３が生成される。このジョイント特徴ベクトルは、トレーニングデータ１０５から構築されたサポートベクトルマシン（ＳＶＭ）１６０に従って分類され（１５０）、シーンが人１０４を含むか否かが判断される。

図２は、本方法の擬似コードを示している。全ての変数について以下に詳細に説明する。本方法のステップ及び本明細書において説明される任意の他の手順は、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

トレーニング
図３は、分類器によって用いられるＳＶＭのトレーニングを示している。テクスチャ画像データ２０２内のウィンドウＷ_ｉについて、光検出及び測距（ＬＩＤＡＲ）を用いて、又は奥行きカメラから、対応する１ＤレンジスキャンデータＬ_ｉ＝（ｄ_１、．．．、ｄ_ｍｉ）２０１を取得することができる。ＬＩＤＡＲセンサーの場合、ウィンドウ内に、同期して取得された単一の水平レンジスキャンセグメントが存在する。他方で、奥行きカメラは、複数の水平レンジスキャンセグメントを提供することができ、これらはトレーニングに特に役立つ。奥行きｄは、センサーからカメラ法線方向におけるシーン内の点への距離である。

幾何学的記述子
本発明による幾何学的記述子ｆ^１Ｄ２１１は、人体の全ての部分に適用される。この幾何学的記述子は以下の手順によって取得される。
１）対象となる人（ｈｕｍａｎ ｏｂｊｅｃｔｓ）のサイズ及び奥行きに依拠して、正のサンプルのレンジスキャンＬ_ｉにより、任意の長さベクトルを形成する。

式中、‖ｗ_Ｗ‖はウィンドウの幅である。任意の長さ特徴ベクトルを、均一の固定次元の特徴空間Ｒ^ｍ上にマッピングするために、ｆ_ｉ ^１Ｄに対しｍ点双線型補間Ｂ_ｍが実行される（２２０）。補間後、ｆ_ｉ ^１Ｄの次元ｍ_ｉはｍになる。

２）センサー配列と人との間の距離はシーンにおいて大きく異なる。したがって、奥行きを正規化する（２３０）。この距離を補償するために、ｆ_ｉ ^１Ｄにおけるセンサーに最も近い点の奥行きｄ_Ｃが求められる。次に、ｄ_Ｃがｆ_ｉ ^１Ｄから減算される。

３）背景クラッター及びシーン内の他の物体は、人から様々な距離にある可能性がある。これによって、人体のシルエットの回りにかなりの幾何学的特徴変動が生じる。トレーニングデータ内のこの全ての変動を取得することが１つの手法であろう。しかし、これには大量のトレーニングデータが必要となり、これは実際的でない。これはまた、記述子の識別力が弱まることに起因した分類器の失敗も引き起こす可能性がある。したがって、本発明者らは背景を除去する（２４０）。

したがって、人体形状しきい値を超える特徴ベクトル要素の奥行き値が除去される。しきい値ｄ_Ｈが、対象となる人の可能な限り最大の半径に設定される。特徴ベクトルｆ^１Ｄ内の点がしきい値よりも大きな奥行き値を有する場合、点は最大半径に設定される。結果として、他の物体及び背景クラッターに起因する変動は以下に従って取り除かれる。

視覚的記述子
その形状表現能力、計算単純性、及び照明変化に起因して、有向勾配ヒストグラム（ＨＯＧ）がテクスチャ画像データから抽出され（２１０）、記述子の視覚部分２１２ ｆ^２Ｄ＝［ｖ_１，．．．，ｖ_ｎ］^Ｔが形成される。ＨＯＧは画像領域内のセルにおけるエッジ勾配の分布によって局所的外観を効率的に表すことができる。これらのセルは、重なり合っていても、規則的なグリッド上にあっても、ウィンドウのより小さな構成要素である。セル内でヒストグラムが得られ、これらの局所的セルヒストグラムは連結されてウィンドウのより大きな記述子にされる。ウィンドウ記述子の全てのセルヒストグラムは、変化する照明に対し更なる精度を得るように、ウィンドウ内の累積エネルギーを用いて正規化される。従来から、エネルギーは画像内の「情報」量又は複雑度の尺度である。

同様に、本方法の実施形態において、領域共分散記述子（ＣＯＶ）、共起行列係数、局所的な二値パターン及び三値パターンのヒストグラム並びにｎタプル等の他の弁別的識別子が用いられる。

記述子及び分類器の組み合わされたトレーニング
幾何学的特徴ｆ^１Ｄ及び視覚的特徴ｆ^２Ｄが同じジョイント特徴ベクトルにおいて連結され、多モードの人記述子ｆが形成される。未加工の幾何学的特徴ベクトル及び視覚的特徴ベクトルは異なる寸法を有し、このため、多モード記述子におけるそれらの個々の寄与は平衡が取られていない。この問題を克服するために、個々のベクトルが単位ノルムに正規化される。

Ｒ^ｍ＋ｎにおける組み合わされた記述子は、ｆ＝「ｆ^１Ｄｆ^２Ｄ］^Ｔである。

トレーニング中、負のサンプルは物体のないウィンドウから選択される。なぜなら、ウィンドウサイズはウィンドウ中心の奥行き値に従って変化し、負のサンプルの大きさも当然変動するためである。

本発明による分類器にサポートベクトルマシン（ＳＶＭ）を用いる。ＳＶＭは、特徴空間内の正のトレーニングサンプルと負のトレーニングサンプルとの間の超平面に適合する。決定境界は、正のサンプルと負のサンプルとを最大マージンで分離する１組のサポートベクトルによって定義される。ＳＶＭの決定関数は以下となる。

式中、α_ｉは対応するｍ個のサポートベクトルｆ_ｉ ^＊の重みであり、φは空間Ｈへのマッピング関数である。決定関数におけるドット積はカーネル関数に置き換えることができる。

カーネル関数を用いることによって、分類器はＨにおいて超平面になる。この超平面は入力空間において非線形とすることができる。ラベル付けされたサンプルの組（ｘ_ｉ，ｙ_ｉ）を所与とすると、ここでラベルｙ_ｉ＝｛−１，１｝であり、ＳＶＭの学習問題は以下の式の最小化として定式化することができる。

ただし、以下を条件とする。

式中、ε_ｉは誤分類されたサンプルのペナルティである。上記の最適化は、可能な限り多くのサンプルを正確に分類しようとする。また、‖ｗ‖の最小化によってマージンが可能な限り大きくなり、Ｃは相対的な影響を設定する変数項である。

ＳＶＭのカーネル関数として以下の放射基底関数（ＲＢＦ：ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）を用いる。

式中、γはガウスカーネル幅の幅である。ＲＢＦを用いることによって、より高次元、場合によっては無限次元の空間で形状を完璧に表す決定関数を得ることが常に可能である。ＲＢＦを組み込むことによって、ＳＶＭ決定関数は以下の形態をとる。

分類結果はｈ（ｆ）の正負符号である。決定関数はサポートベクトルとデータとの間の距離に依拠し、このため式６及び式７に定式化されるように、幾何学的特徴ベクトルｆ^１Ｄ及び視覚的特徴ベクトルｆ^２Ｄを単位ノルムに正規化することが必要である。そうでない場合、ＳＶＭ決定関数はより高次元の特徴を選好する。

上記の１Ｄ検出器及び２Ｄ検出器に加えて、１Ｄ＋検出器と呼ばれる単一モード分類器も、幾何学的記述子の識別力を評価するのに１Ｄレンジスキャンのみを用いてＳＶＭによってトレーニングされる。

上記で説明した放射基底関数を用いるＳＶＭ分類器の代わりに、本方法の他の実施形態は、線形ＳＶＭ、ブースト型分類器（ＡｄａＢｏｏｓｔ、ＧｅｎｔｌｅＢｏｏｓｔ、ＬｏｇｉｔＢｏｏｓｔ）、及びｋ−ＮＮ分類器を用いる。

オフライントレーニング及びオンライン検出中にジョイント特徴が得られる方式が同一であることに留意すべきである。このため、得られた特徴に関する記述は双方に等しく当てはまる。

検出
トレーニングプロセスは奥行きから利益を得る。インテリジェント車両及びロボットナビゲーションを含むほとんどの用途の場合、画像とともに奥行きデータのみが入手可能である。物体検出の速度は別の重要な要素であるので、１Ｄ＋２Ｄ検出器は、奥行きを利用して不要なウィンドウ評価を取り除くジョイント形式で用いられる。

試験ウィンドウが人物を示すか否かを判断するために、位置合わせされたデータにおいて対応する１Ｄ特徴及び２Ｄ特徴が求められる。レンジスキャンラインＬは、透視変換Ｌ_ｉ：Ｔ（Ｌ）によって２Ｄ画像Ｉとアラインされ、画像内の画像ピクセル座標の組Ｌ_ｉ＝（ｐ_１，．．．，ｐ_ｎ）が得られる。

スライディング検索ウィンドウＷ（ｘ，ｙ，δｘ，δｙ）は、Ｌ_ｉの座標における各ｐ_ｋを中心とする。Ｗのサイズ（幅δｘ及び高さδｙ）は、より小さな奥行き、すなわちセンサーにより近い物体の場合に、ウィンドウサイズがより大きくなるように、点ｐ_ｋの奥行きｄ_ｋに従って設定される。ウィンドウサイズはまた、対応する奥行きにおける平均サイズの人物に比例する。

検出プロセスを更に加速するために、「候補」ウィンドウ位置のアクティブセットが用いられる。これらのウィンドウは、奥行きデータ上、すなわちレンジスキャンラインＬ_ｉ＝（ｐ_１，．．．，ｐ_ｎ）上に集中している。ウィンドウ位置のこのアクティブセットは、奥行きデータに基づいて、近いものから遠いものへと順序付けされ、センサーにより近い重要な物体の検出を優先付けるとともに、遮蔽の対処にも成功する。現在のウィンドウが選択され、ウィンドウ位置のアクティブセットから分類器に適用される。試験されるウィンドウ位置が物体として分類されると、ウィドウのアクティブセット内の、現在のウィンドウ幅δｘ内にある対応するウィンドウ位置が除去され、近傍のピクセルロケーションにある複数の物体検出が取り除かれる。

ＬＩＤＡＲビームが常に人体の特定の高さと交差する保証はないので、現在のウィンドウＷの垂直位置ｙは固定されず、様々な垂直位置ｙ±Δｙ_ｊにある複数の垂直ウィンドウがｐ_ｋごとに試験される。ウィンドウサイズの選択でのように、垂直ウィンドウの数及びそれらの分離が中心点の奥行きによって求められる。この場合、ｄ_ｋが大きな値を有する場合、複数のウィンドウ間のより小さな垂直インクリメントΔｙ_ｊが望ましい。これらの垂直ウィンドウは画像内で重なり合っている。垂直ウィンドウサイズは現在のウィンドウサイズに等しい。現在のウィンドウ位置におけるレンジスキャンラインから幾何学的特徴が得られ、画像内の垂直ウィンドウ領域内で視覚的特徴が得られるように、垂直ウィンドウごとのジョイント特徴が計算される。

上記の方法は、現在のウィンドウ位置における複数の垂直ウィンドウの試験を必要とする。代わりに、視覚的特徴を入力として取り、垂直ウィンドウ位置を出力として推定する回帰関数を用いることができる。

式中、回帰関数Ωは行ベクトルである。この線形回帰は、視覚的記述子から垂直位置Δｙを計算する。この視覚的記述子は、現在のウィンドウ位置において得られ、回帰関数に適用され、物体を含む可能性がより高い垂直ウィンドウ位置が求められる。例えば、現在のウィンドウが人の下部胴体を含む可能性がある場合、回帰関数に視覚的記述子を適用して、身体全体を含むより高い垂直ウィンドウを推定することが好ましい。

分類器は、回帰関数によって推定される垂直ウィンドウのみを試験する。これによって計算コストが更に大幅に低減される。回帰関数は、特定の視覚記述子について、人の画像のトレーニングデータから学習することができる。

各ウィンドウ内で、幾何学的記述子ｆ^１Ｄ及び視覚的記述子ｆ^２Ｄが求められ、正規化され、連結されてｆにされる。ＳＶＭ分類器におけるｈ（ｆ）の正負符号が正である場合、多モード分類器によって人物が検出される。

様々なスケールで画像全体を検索する従来の視覚のみの人検出器と対照的に、本発明による１Ｄ＋２Ｄ分類器は検索空間を劇的に低減する。この分類器は、画像スケーリングステップを完全に取り除く。Ｌ_ｉを用いることによって、画像エリアのほとんどを取り除くのに役立ち、これによって計算負荷が大幅に低減する。

実際には、ウィンドウ評価は、ＬＩＤＡＲセンサーの奥行き値に基づいて近いものから遠いものへと順序付けして、最も重要な物体を最初に求めることができる。

トレーニングデータ
教師あり学習では、トレーニングデータの品質及び量は分類器の性能にとって非常に重要である。より多くのトレーニングデータによって、過剰適合を防ぎ、一般性を改善し、トレーニングされたモデルがターゲットクラスサンプルの起こり得る変動を検出することを可能にする。本発明者らの目的は、人体におけるレンジスキャン位置に関する推定を一切行うことなく正確に機能する、包括的で制約を受けない分類器を構築することであるので、トレーニング用にトレーニングサンプルの大きな組が取得される。

しかしながら、レンジスキャンが人体の様々な部分と交差する、そのような多数の位置合わせされたＬＩＤＡＲデータ及びカメラデータを収集することは厄介である。異なる姿勢、外観変動及びスキャン位置を取得するために、ＬＩＤＡＲの高さ及び位置は過度に変更される。これは間違いなく、十分な量及び品質のデータを取得する保証のない冗長で不十分な作業である。

本発明者らに有利には、シーンの３Ｄ構造を提供する奥行きカメラを用いることによって、正のサンプル及び負のサンプルの多数の多様なレンジスキャンを生成することが可能である。幾何学的情報をＬＩＤＡＲのような読み値に合成的に変換することによって、奥行き画像から任意の数のスキャンを得ることができる。本発明者らは、様々な姿勢、外観変動、照明条件及びシャドウアーティファクトにおける４５０人の異なる人の４００００個の画像からの多モードの人トレーニングデータを用いる。

Claims (14)

1. シーン内の物体を検出する方法であって、
   奥行きデータからウィンドウ位置のアクティブセットを求めるステップを含み、前記奥行きデータはセンサーによって取得され、該方法は、前記ウィンドウ位置のアクティブセット内の前記ウィンドウ位置ごとに、
   前記奥行きデータからウィンドウサイズを割り当てるステップと、
   前記ウィンドウ位置のアクティブセットから現在のウィンドウを選択するステップと、
   前記現在のウィンドウの前記奥行きデータ及び前記現在のウィンドウのテクスチャデータからジョイント特徴を抽出するステップであって、前記テクスチャデータはカメラによって取得される、ステップと、
   前記ジョイント特徴を分類するステップであって、それにより前記物体を検出し、分類器は、前記センサーによって取得されたトレーニング奥行きデータ及び前記カメラによって取得されたトレーニングテクスチャデータを含むトレーニングデータから抽出されたジョイントトレーニング特徴を用いてトレーニングされる、ステップと、
   次の現在のウィンドウを処理する前に、前記ウィンドウ位置のアクティブセットを更新するステップと、
   を更に含み、前記ステップはプロセッサにおいて実行され、
   前記ジョイント特徴は、前記テクスチャデータから抽出された視覚的特徴と連結された奥行き特徴を含み、
   前記奥行きデータに線形双線型補間を適用するステップと、
   前記奥行きデータから最も近い奥行き値を減算するステップと、
   人体形状しきい値を超える前記奥行きデータを最大半径に設定するステップであって、それにより前記奥行き特徴を得る、ステップと、
   を更に含む、方法。
2. シーン内の物体を検出する方法であって、
   奥行きデータからウィンドウ位置のアクティブセットを求めるステップを含み、前記奥行きデータはセンサーによって取得され、該方法は、前記ウィンドウ位置のアクティブセット内の前記ウィンドウ位置ごとに、
   前記奥行きデータからウィンドウサイズを割り当てるステップと、
   前記ウィンドウ位置のアクティブセットから現在のウィンドウを選択するステップと、
   前記現在のウィンドウの前記奥行きデータ及び前記現在のウィンドウのテクスチャデータからジョイント特徴を抽出するステップであって、前記テクスチャデータはカメラによって取得される、ステップと、
   前記ジョイント特徴を分類するステップであって、それにより前記物体を検出し、分類器は、前記センサーによって取得されたトレーニング奥行きデータ及び前記カメラによって取得されたトレーニングテクスチャデータを含むトレーニングデータから抽出されたジョイントトレーニング特徴を用いてトレーニングされる、ステップと、
   次の現在のウィンドウを処理する前に、前記ウィンドウ位置のアクティブセットを更新するステップと、
   を更に含み、前記ステップはプロセッサにおいて実行され、
   前記奥行きデータに配置される前記現在のウィンドウごとに複数の重なり合う垂直ウィンドウを割り当てるステップであって、前記垂直ウィンドウのサイズは前記現在のウィンドウのサイズに等しい、ステップと、
   前記テクスチャデータに配置される前記垂直ウィンドウごとにジョイント特徴を抽出するステップであって、奥行き特徴は前記現在のウィンドウにおける前記奥行きデータから求められ、前記テクスチャデータから抽出された視覚的特徴は前記垂直ウィンドウから求められる、ステップと、
   を更に含む、方法。
3. シーン内の物体を検出する方法であって、
   奥行きデータからウィンドウ位置のアクティブセットを求めるステップを含み、前記奥行きデータはセンサーによって取得され、該方法は、前記ウィンドウ位置のアクティブセット内の前記ウィンドウ位置ごとに、
   前記奥行きデータからウィンドウサイズを割り当てるステップと、
   前記ウィンドウ位置のアクティブセットから現在のウィンドウを選択するステップと、
   前記現在のウィンドウの前記奥行きデータ及び前記現在のウィンドウのテクスチャデータからジョイント特徴を抽出するステップであって、前記テクスチャデータはカメラによって取得される、ステップと、
   前記ジョイント特徴を分類するステップであって、それにより前記物体を検出し、分類器は、前記センサーによって取得されたトレーニング奥行きデータ及び前記カメラによって取得されたトレーニングテクスチャデータを含むトレーニングデータから抽出されたジョイントトレーニング特徴を用いてトレーニングされる、ステップと、
   次の現在のウィンドウを処理する前に、前記ウィンドウ位置のアクティブセットを更新するステップと、
   を更に含み、前記ステップはプロセッサにおいて実行され、
   前記テクスチャデータから抽出された視覚的特徴を入力としてとり、前記テクスチャデータに配置される垂直ウィンドウの位置を出力として推定する回帰関数を適用するステップであって、前記回帰関数は前記トレーニングテクスチャデータから学習される、ステップ、
   を更に含む、方法。
4. 前記アクティブセットの前記ウィンドウ位置は、前記奥行きデータに基づいて近いものから遠いものへと順序付けされる、請求項１から３のいずれか１項に記載の方法。
5. 前記現在のウィンドウは最も近い奥行き値を有する、請求項１から３のいずれか１項に記載の方法。
6. 前記ウィンドウのサイズは対応する奥行きにおける平均サイズの人物に対応する、請求項１から３のいずれか１項に記載の方法。
7. 前記奥行きデータは前記テクスチャデータと位置合わせされる、請求項１から３のいずれか１項に記載の方法。
8. 前記テクスチャデータから勾配ヒストグラムを前記視覚的特徴として抽出するステップを更に含む、請求項１から３のいずれか１項に記載の方法。
9. 前記視覚的特徴は、領域共分散記述子と、共起行列係数と、局所的な二値パターン及び三値パターンのヒストグラムと、ｎタプルとを含む、請求項１から３のいずれか１項に記載の方法。
10. 前記奥行き特徴及び前記視覚的特徴は異なる次元を有し、該方法は、
    前記奥行き特徴及び前記視覚的特徴を単位ノルムに正規化するステップを更に含む、請求項１から３のいずれか１項に記載の方法。
11. 前記分類器は放射基底関数カーネルサポートベクトルマシンを用いる、請求項１から３のいずれか１項に記載の方法。
12. 前記分類器はブースト型分類器、または線形サポートベクトルマシン分類器、またはｋ−ＮＮ分類器を用いる、請求項１から３のいずれか１項に記載の方法。
13. 前記現在のウィンドウが前記分類器によって前記物体として分類されるとき、該現在のウィンドウの前記ウィンドウサイズ内の前記ウィンドウ位置のアクティブセットを除去するステップを更に含む、請求項１から３のいずれか１項に記載の方法。
14. 前記奥行きデータはしきい値処理されてクラッターが除去される、請求項１から３のいずれか１項に記載の方法。

Images