JP5023186B2 - ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム - Google Patents

Description

本発明は、概して、たとえば運転者支援システム（ＤＡＳ;driver assistance system）（たとえば、車、オートバイ、飛行機、船舶、鉄道等の）もしくは自律型ロボットについて用いられることのできる、人工（自動化）視覚に基づくシステムに関する。

本発明は、視覚情報に基づく動的な（すなわち、動いている）対象物を検出する手法と、奥行き（深度）情報とを組み合わせることに依拠し、これは、運転者支援システムに設けられることができる。本発明は、さらに、特許文献ＥＰ０９１５０７１０．３（後述する参考文献（１１））のものを発展させたものであり、その教示は、ここに参照により明示的に含められる。

運転者支援システムは、車両のための制御システムであり、交通参加者の快適さおよび安全性を向上させることを目的としたインテリジェントな車両技術である。このようなシステムの潜在的なアプリケーション（適用業務）には、車線からの逸脱を警告すること、車線を維持すること、衝突の警告ないし回避、適応走行制御（adaptive cruise control）、および渋滞した交通環境における低速走行の自動化(low speed automation)が含まれる。

本発明における運転者支援システムは、こうして、状況解析の情報を運転者に出力し、運転者により起動されるすなわち実行されるアクションをアシスト（支援）することができると共に、車両の制御アクションを自律的に開始して実行することもできる。

該運転者支援システムには、車両の環境、該車両および運転者の状態に関する情報を提供することができる。

本発明のアプリケーションは、車の分野であり、これは、本願明細書に例示の目的で用いられる。しかしながら、本発明はこれに制限されるものではなく、たとえば、離陸ないし着陸段階における飛行機や、可動の、とりわけ自律型のロボットのような、他の分野にも適用されることができる。また、これらの分野において、動的な対象物の検出は、安全な操作のために非常に重要なものである。

本発明の好ましい実施形態を記述するが、該明細書中において「一実施形態」ないし「実施形態」なる用語の意味は、実施形態と共に記述される特定の特徴、構成、ないし特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。当該明細書において様々な箇所で「一実施形態」なる用語が現れるが、これは、必ずしも、すべてが同じ実施形態を参照するものではない。

以降に続く詳細な説明の一部は、コンピュータメモリ内のデータビットに対する操作のアルゴリズムおよびシンボル（記号）的表現で提示される。これらのアルゴリズム的な記述および表現は、当該データ処理分野の当業者によって使用される手段であり、該分野の他の当業者に対して、その作業の本質を最も効果的に伝えるものである。アルゴリズムは、ここでは、一般的に、所望の結果へと導くステップ（命令）の首尾一貫したシーケンスと考えることができる。これらのステップは、物理量の物理的な操作を必要とするものである。通常、必ずしも必要ないけれども、これらの量は、記憶されることのできる電気的、磁気的、もしくは光学的な信号の形態を取り、転送され、組み合わされ、比較され、もしくは操作(manipulate)される。主として共通に利用するために、便宜上、ビット、値、要素（エレメント）、シンボル（記号）、文字、用語、数等として、これらの信号が適宜参照される。さらに、便宜上、普遍性を損なうことなく、モジュールやコードとして、物理量の物理的な操作を必要とするステップの所定の配列が参照される。

しかしながら、これらおよび類似の用語のすべては、適切な物理量に関連づけられるべきであり、これらの量に適用される便利なラベルにすぎない。以下の議論から明らかなように、別途具体的に述べられない限り、記述全体を通して、「処理（processing）」、「計算（computing）」、「計算、算出（calculating）」、「算出、判断（determining）」、「表示（displaying）」等の用語を利用した説明は、コンピュータシステムのメモリ、レジスタ、または他の情報記憶装置、転送、表示装置内において物理的（電子的）な量として表現されるデータを操作および変換する、コンピュータシステムまたは同様の電子計算デバイス（コンピューティングデバイス）のアクションおよびプロセスを参照する点を理解されたい。

本発明の或る側面は、ここではアルゴリズムの形態で記述される処理ステップおよび命令を含む。本発明の処理ステップおよび命令は、ソフトウェア、ファームウェアないしハードウェアで具現化されることができ、ソフトウェアで具現化されるときには、様々なオペレーティングシステムによって使用される様々なプラットフォーム上に常駐して操作されるようダウンロードされることができる。

本発明はまた、ここで述べる操作を実行するための装置に関する。この装置は、必要とされる目的のために特定的に構成されてもよいし、あるいは、コンピュータに記憶されるコンピュータプログラムによって選択的に起動され、もしくは再構成される汎用コンピュータであってもよい。このようなコンピュータプログラムを、コンピュータ可読記憶媒体に記憶することができるが、該記憶媒体として、たとえば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、磁気光ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カードを含む任意の種類のディスク、特定用途向けＩＣ（ＡＳＩＣ）、あるいは、電子的な命令を記憶するのに適した任意の種類の媒体があり、それぞれは、コンピュータシステムのバスに接続されるが、これらの媒体に限定されるものではない。さらに、当該明細書で参照されるコンピュータは、単一のプロセッサを含むことができ、あるいは、計算能力増大のために複数プロセッサの設計を採用するアーキテクチャのものでもよい。

ここで提示されるアルゴリズムおよび表示は、本来的に、特別のコンピュータや装置に関連するものではない。様々な汎用システムを、ここで記述する教示に従って、プログラムと共に用いることができ、あるいは、必要な方法ステップを実行するのに、より特化した装置を構成する方が、便利かもしれない。これらのシステムの多様性に必要な構成は、以下の記述から明らかとなろう。さらに、本発明は、特定のプログラミング言語を参照して記述されるものではない。様々なプログラミング言語を用いて、ここで記述される本発明の教示を実現することができ、また、特定の言語に対する何らかの参照は、本発明の実施可能要件およびベストモードの開示のために提供される。

さらに、当該明細書で使用される言語は、主に、読みやすさおよび教示的な目的で選択されており、進歩的な主題を概説したり制限したりするのに選択されたものではない。このように、本発明の開示は、本発明の範囲について、例示的なものを意図しており、制限されるものではなく、本発明の範囲は、特許請求の範囲において述べられる。

運転者支援システムは、決定を下して自律的に行動(behavior)を生成することができる場合に（たとえば、車線上の障害物の検知後の自律的な制動操作）、人間の周辺に対して操作するものとして知られており、これは、高い安全要件を実現するものである。車両の分野は、さらに、動的な対象物（たとえば、車、自転車）および静的な対象物（それぞれが静的なシーン(scene、情景)・エレメントであり、たとえば、駐車している車、道路、建物）に細分されることができる。

すべての静的なエレメントについて、該システムは、計測の不正確性（すなわち、センサの変動）に対処しなければならず、その補償のため、いくつかの効率的で既知のアプローチが存在する（たとえば、モデルに基づく車線のマーキングの検出システム（後述の参考文献２（下記の非特許文献１））のように、ノイズの多い入力に依拠するアプローチをよりロバストにするためのカルマンフィルタ（後述の参考文献１（下記の非特許文献２）））。

センサの変動を取り扱うことに加え、動的なシーン・エレメントについては、対象物により誘起される動きを考慮しなければならない。以下では、ＡＤＡＳ（後述の用語解説を参照）およびセンサデバイスを搭載する車の「車両の自己運動(vehicle ego-motion)」に対し、このような動的な対象物の動きを、「対象物運動(object motion、対象物動き)」と呼ぶ。上記の動的な対象物は、運転者支援システムに非常に関連しており、これは、動的な対象物の予期しない動きが、人間を傷つけるかもしれない危険な状況となりうるからである。よって、動的なシーン・エレメントに関する情報をロバストに収集するアプローチは、運転者支援システムに非常に関連するものである。

すべての動的な対象物について、シーンが静的シーン・エレメントおよび動的シーン・エレメントに一旦細分されると、対象物運動を、運転者支援システムの行動の生成および計画に組み入れるためにモデル化することができる（たとえば、動的な対象物の軌跡を推定し、それを、衝突軽減モジュールに含めるための、専用の運動モデルの使用）。以下において、対象物運動を検出するための既存のアプローチが３つのクラスに分類されるが、これらのクラスは、以下の通りである。
１．シンプルで基本的なアプローチ
２．オプティカルフローに基づくアプローチ
３．３Ｄワーピング（warping）のアプローチ

シンプルで基本的なアプローチ
監視の分野における視覚に基づくアプローチは、典型的には、動的な対象物を検出するために差分画像(differential images)を用いる。ここで、時間ｔ−１における画像は、時間ｔにおける画像を１つ分遡ったものである。しかし、カメラ（典型的には、車の領域に存在している）の強い自己運動がある場合、差分画像は、図４に示すように、動的な対象物を信頼性高く検出することはできない。車両の自己運動は、ほとんすべての画像ピクセル位置に変化を引き起こし、車の自己運動と対象物運動の間を信頼性あるよう分離することを不可能にする。

排他的な情報源として視差を用いる方法が、後述する参考文献８（下記の非特許文献３）に記載されている。そのアルゴリズムは、２つの連続した視差フレームを、ピクセル毎のカルマンフィルタリング(pixel-wise Kalman filtering)手法に基づいて統合する。さらに、視差の変化（すなわち、深度（奥行き）方向の位置変化）が、カルマンフィルタのプロセスモデルに付加される。しかしながら、横方向および垂直方向の動きは、何らモデル化されない。このアプローチは、深度情報を改良することを目的としており、視差に基づくアプローチが、動いている対象物についての不正確な深度の推定を生成するという問題を解決しようとするものである。要約すると、このアプローチは、時間的な統合を適用することによってエラーを低減し、高密度深度マップ(dense depth map)を収集することを目的としている。副産物として、横方向(lateral)における対象物動きが画像平面上で生じない場合においてのみ、動的な対象物を検出することができる。

オプティカルフロー（固有対象物運動の検出(Proper Object Motion (POM) detection)）
他のアプローチ（たとえば、後述する参考文献６（下記の非特許文献４）を参照）は、オプティカルフロー（２つの連続した画像のピクセル毎の相関であり、画像平面上の動きの大きさおよび方向が導かれる）を、カルマンフィルタに基づいて、ステレオカメラシステムの視差マップと組み合わせ、これは、画像における離散点の３Ｄ（３次元）位置および３Ｄ速度を提供する。これらの離散点は、複数のフレームにわたるカメラ車両の自己運動を計算するのに用いられる。しかしながら、他の対象物の動きは、予測された２Ｄ（２次元）ワーピングされた(warped)ピクセル画像と現在の画像との間のオプティカルフローの計算に基づいて計算される。

Shimizuによる文献（後述の参考文献１３（下記の非特許文献５））においては、屋内（インドア）環境において動いている人間を検出するためのシステムが記述されている。このシステムは、監視タスクを実行する可動ロボットによって実行される。該システムは、３６０度の監視を可能にする３６個のステレオカメラからなるカメラ設定に基づいている。

動的な対象物の検出のための典型的なシステムは、予測された画像（前回の画像をワーピングしたものであり、ロボットの自己運動を相殺するもの）と現在の撮像画像との間のオプティカルフローを計算する。動的な対象物を含む画像領域については、該オプティカルフローがゼロとは異なるものとなる。

それに対し、後述する参考文献１３（下記の非特許文献５）に記載されているシステムは、シーンの深度マップの計算のために、ステレオデータに依拠する（深度マップは、画像座標で編成され、文献１３の図１の右下のＺマップを参照）。前回のフレームの深度マップと推測航法(dead reckoning)を用いて自己運動を相殺し、予測された深度マップを導出する。予測された深度マップと計測された深度マップとの間の差を計算することにより、動的な対象物を含む領域において予期しないピークが現れる差分深度マップ（画像座標において表される）となる。動いている対象物それぞれが、変化した深度の２つの領域を生じさせるので（新しい位置と古い位置）、結果としての深度マップがどう事後処理されるかについては、不明なままである。

文献１３は、動的な対象物の検出についてステレオ情報の役割が認識される限りにおいては、本発明に関連する。しかしながら、このアプローチは、典型的なオプティカルフローに基づく画像ワーピングのアプローチから既知のように、深度マップ（文献１３の図１の右下のＺマップを参照）、よって画像座標毎に作用する。すべての動いている対象物は、差分深度マップに二重に影響するので（すなわち、古い対象物位置および新しい対象物位置でピークがあり、差分深度マップには、どちらの位置がどちらに相当するのかを導出することについての情報が存在しない）、対応関係の問題が発生する。さらに、アプリケーションの分野は、屋内における、人間の監視についての主要なアプリケーションを備える可動ロボットのプラットフォームである。このような特定のタスクおよび幾分構造化された環境の場合、検出タスクは、非常に容易化され、該検出システムが、その環境に調整されることを可能にする（人間の高さにおける対象物の探索、典型的な対象物のサイズに関連する制約の利用、近くの対象物を排他的に検出するよう設計されるカメラシステム、等）。

動的な対象物を検出するための関連システムは、後述する参考文献１４（下記の非特許文献６）に提示されており、これは、再び、可動ロボットに搭載されたシステムを記述する。このアプローチは、計算された高密度オプティカルフローのフィールド、および、一対の較正されたステレオカメラの画像から計算された高密度ステレオ視差に基づいている。文献１３に記述されたシステムとは異なり、期待される視差マップが、車両の自己運動を考慮して計算され（深度情報を計算するための生データ）、該期待される視差マップを、「視差フロー(disparity flow)」の類を計算することによって、計測された視差マップと比較する。モジュロ(modulo)のノイズ、すなわち残留する「視差フロー」を含む領域は、動的な対象物を表す。要約すると、このアプローチは、いわゆる３Ｄの自己フロー(egoflow)を計算する（著者によって明記されているように、これは、ＸＹＺの意味での３Ｄ座標と混同されるべきではなく、後述する参考文献１４のセクション２を参照のこと）。より具体的には、該３Ｄの自己フローは、ｕおよびｖの画像座標の変化および視差の変化の３Ｄフィールドである。

文献１３と類似するいくつかの側面において、後述する参考文献１５（下記の非特許文献７）には、人間のジェスチャ認識のための、オプティカルフローに基づくシステムが記載されており、これは、単眼のカメラを用いた屋内環境における静的なプラットフォームで稼動する（すなわち、ステレオデータを収集することは行われない）。該提示されるリアルタイム（実時間）のシステムは、相関に基づくアルゴリズムを用いてオプティカルフローを計算する（この側面において、文献７（下記の非特許文献８）に類似する）。しかしながら、ＲＧＢカラー画像に対して作用することに代えて、文献１５に記述のシステムは、特定のカラー空間（ＹＵＶカラー空間）上でオプティカルフローを計算し、これによって、照明のロバスト性の程度を向上させることを目的としている。収集されたオプティカルフローは、オプティカルフローのフィールド上で成長する一種の領域を使用して、粗くクラスタリングされる。結果としてのフロークラスタは、限られた数の、検出可能な動きに関連するジェスチャを表す予め定義されたフローモデルと比較される。この認識手法の問題は、システムのプラットフォームが静的であり、幾分良好に構成された屋内環境に配置される、という事実によって単純化される。

他の人間ジェスチャの分類器が、後述する参考文献１６（下記の非特許文献９）に記述される。該システム自体は、情報源としてオプティカルフローに依拠しないけれども、参考の文献として、なお貢献している。著者の議論によると、（生であるが、事後処理されていない）オプティカルフローは、信頼性がなく、ノイズによって大きく影響される。よって、著者によると、屋内環境において動いている人間のロバストな検出に、これは適用可能ではない。

他のアプローチは、動的な対象物を推定するのにオプティカルフローを用い、これは、後述する参考文献７に記述される、いわゆる固有対象物運動（Proper Object Motion (POM)）である（また、後述する参考文献１２（下記の特許文献１）であるＷＯ特許２００９／０２４３４９Ａを参照）。ここで、時間ｔにおける現在の画像は、ピクセル毎に、時間ｔ−１における画像に投影される。ここで、自己運動を考慮に入れると共に、すべてのシーンが静的であると仮定する。その後、オプティカルフローが、ｔ−１における撮像画像と、投影された画像ｔ−１の間で計算される。オプティカルフローは、シーンに存在する動的な対象物の位置を表す。この方法およびそれに匹敵する方法は、対象物運動を検出するためにオプティカルフローに依拠し、よって、画像平面上のピクセル毎の変化を探索する。オプティカルフローが、特に画像の境界において、エラーになりやすいと同時に、資源を多く必要とする点に注意するのが重要である。しかしながら、オプティカルフローを備えたワーピング手法の中心的な問題および欠点は、カメラ車両自体の動きに対して横方向(lateral)の対象物動きのみを検出することができるということである（たとえば、前方の道路を交差する自転車）。しかしながら、車両の進路に対して縦方向(longitudinal)に向けられた動きを検出することはできない。なぜなら、縦方向の動きの場合には、画像平面上に計測可能な横方向の動きが存在せず、よって、オプティカルフローが存在しないからである（たとえば、前方の道路上を走行している車両が強くブレーキをかけて、より近づいた場合）。後述されるように、上記の欠点は、ここで記述する組み合わせアプローチを使用することで解決されることとなる。

文献７、１２〜１５に記述されたすべての上記述べたオプティカルフローに基づくシステムアプローチは、共通して、屋内に適用される。文献７，１６によると、オプティカルフローは、少なくとも事後処理の形態を必要とする点で制限された品質を持ち、文献１６によれば、幾分不適切でもある。

オプティカルフローフィールドの品質が、アプリケーション領域の特性に強く依存する点に注意するのが重要である。典型的な屋外（アウトドア）の交通状況に対して、屋内環境（とりわけ、プロトタイプのシステムが実験されるような典型的なオフィス環境）は、以下のものを与える。

１．高度に安定した照明状況（人工のライト、安定した天候状態）。
２．前景と後景の分離が、典型的には容易（単色の壁、典型的な壁間の角度、単純な面の３次元上の相対方位が９０度）。
３．低い複雑性（存在する対象物の数および種類が制限されている）。
４．典型的に、存在する動的な対象物は人間のみであり、付加的に、それらの運動（動き）パラメータ（速度、動かされた対象物部位、動き方向）は、非常に安定的である。動かされた対象物が発見されると、それは、人間として即時に分類される（対象物検出の後、さらなる分類ステップは必要とされない）。
５．カメラを搭載するロボット（または、静的システムであっても）の制限された自己運動。

これらのすべては、検出および分類タスクを非常に簡単なものにする。なぜなら、これらは、シンプルなヒューリスティック（発見的学習）の適用および環境に関連する予備知識の取り込みを可能にするからである。さらに、後述する参考文献１６によると、オプティカルフローは、動きのジェスチャの認識にはほとんど適用可能ではない。

さらに、オプティカルフローの適用は、いささか面倒なものである。

文献１５によると、環境関連の相当な量の前提が、ロボットシステムを設計して試験する際に立てられた。すなわち、“背景は、相対的に静的である”、“照明は、低速に変化する”、“支配的な動きのみが、関心対象となる”、“フローは、動き検出基準を満たすピクセルについて計算される”（ローパスフィルタリングされた一対の画像に対して計算される差分画像）。また。“計算コストが高いアルゴリズム”が実現された。なお、静的システムである（すなわち、自己推進型のシステムではない）。さらに、フローフィールドの“大きさは、非常に変化しうる”。また、６個の検出可能な動きパターンのみがサポートされる。

文献７によると、高度な事後処理ステップｃが、外れ値(outlier)の影響を軽減するのに必要とされる。マハラノビス(Mahalanobis)のノルムは、相関に基づくオプティカルフロー計算からの信頼度（confidence measure）で、検出された動きの大きさを重み付けする。

明らかに、屋内環境におけるアプリケーションのための上記５つの要件は、屋外環境（たとえば、交通環境）においては満たされない。結果として、ロバストなシステムおよびアルゴリズムの設計は、より困難なものとなる。オプティカルフローの屋内アプリケーションが既に困難なものであるので、屋外の交通状況におけるその直接的な適用は、実現可能なものではなく、よって、交通の分野のための、弾力性に富む純粋なオプティカルフローに基づくアプリケーションを記述した出版物は存在しない。ＡＤＡＳコミュニティにおける一般的な態度によると、スタンドアローンの解決法としてのオプティカルフローは、信頼できるものではなく、ノイズの多い情報源であるので、交通の分野では軽視されている。これとは異なり、動的な対象物の検出に使用されることができる、３Ｄデータの計算のための高度にロバストなアプローチが、多く存在している。

３Ｄワーピング(Warping)
動的な対象物を検出するための他の補足しあう方法は、３Ｄ（三次元）ワーピングのアプローチであり、これは、詳細には、特許出願（後述する参考文献１１（下記の特許文献２））に記載されている。本発明の技術的な背景を提供するため、主な特徴を、以下に要約する（３Ｄワーピングシステムの概要については、図３を参照されたい）。以下の説明において、アルゴリズムは、センサに基づいて対象物運動の大きさを計算し、３Ｄ世界座標(world coordinate)を送出する（たとえば、ステレオカメラからの視差情報（後述する参考文献３（下記の非特許文献１０）を参照）（結果としての３Ｄ世界マップについては、図１を参照）、ＰＭＤ（Photonic Mixer Device、後述する参考文献４（下記の非特許文献１１）を参照）、または高密度レーザスキャナ（dense laser scanner, たとえば、Velodyneの高精細なライダー（Lidar）センサ（後述する参考文献５（下記の非特許文献１２）を参照））。

動的な対象物の検出は、シーンの予測された３Ｄデータ（すなわち、３Ｄワーピングされたもの）と、計測されたデータとの比較に基づく。より具体的には、３Ｄワーピング手順において、或る時間ステップにおけるシーン（静的および動的な対象物を含む）の３Ｄ世界座標が、３Ｄ座標の単位で、自己車両の動き（運動）を含むようなやり型で変換される。自己車両の３Ｄ運動を、単一の進路モデル(track model)を使用して（図２を参照）、車両の縦方向の速度およびヨーレート（これらは、ＣＡＮバス上でアクセス可能である）から推定することができる。以下において、前進３Ｄワーピングの手順（用語解説を参照）が記述される（ここで、後退３Ｄワーピングについては、括弧書｛｝で示される）。これら両方のアプローチは、異なる利点および欠点を持つ。

より正確には、或る時間ステップにおける３Ｄ世界座標が、シーンにおけるすべての対象物が静的であるという前提のもとで、将来に向けて予測される｛時間上遡って予測される｝。３Ｄ世界座標は、単一の進路モデルから、計測された自己車両の動きに起因する縦方向と横方向の動きおよびヨーレートに基づいて、予測される（図２を参照）。こうして予測された、事前の（priori）３Ｄ世界位置は、次の時間ステップ｛前回の時間ステップ｝において計測された事後の（posteriori）３Ｄ世界位置と比較される。３Ｄワーピングされた位置と実３Ｄ世界位置の間の比較の３Ｄ残余(余り、residuum)は、シーンのすべての動的なエレメントを表す。該残余は、計量的な(metric)世界座標（すなわち、３Ｄ対象物運動に起因する位置の変化）で与えられる。検出された動的な対象物の対応するピクセル位置（ｕ，ｖ）を取得するため（所与の３Ｄ世界位置Ｘ，Ｙ，Ｚについて）、ピンホールカメラ(pinhole camera)のモデルを使用することができる。

以下において、３Ｄワーピングのアプローチが詳細に記述され、これは、図３に視覚化されている４つの処理ステップに区別される。

ａ）計測されたキュー（cue,合図）の算出
ここで記述されるアプローチは、高密度３Ｄデータ(dense 3D data)を入力として使用する。ここでの高密度(dense)は、シーン全体について３Ｄデータが存在することを意味する。このため、任意の高密度深度（奥行き）センサを使用することができ、たとえば、ステレオカメラシステム、ＰＭＤ（Photonic Mixer Device、後述する参考文献４）、または高密度レーザスキャナ（後述する参考文献５）を使用することができる。これらのセンサに基づいて、Ｘ、Ｙ、およびＺマップ（すなわち、深度（奥行き）マップ）を計算することができる。以下において、Ｘ、Ｙ、およびＺマップの情報は、３Ｄシーン表現（用語解析を参照）に変換される。

ｂ）予測されたキューの算出
この計算は、処理されたデータ量に関して、様々なやり方および組み合わせで行うことができる。３つの異なる計算方法が、後述する参考文献１２に提案されており、これらは、アイコニックに基づく(iconic-based)計算、ボクセルに基づく(voxel-based)計算、およびエンベロープに基づく(envelope-based)計算である。

第１の計算方法は、完全に、アイコニックに作用する（すなわち、すべての３Ｄボクセルが、独立に取り扱われる）。より具体的には、これは、環境におけるすべての既知の点の既知の３Ｄ位置が、３Ｄ車両の自己運動を考慮に入れて適応される、ことを意味する。適応された３Ｄ位置を使用して、３Ｄ表現（用語解析を参照）の各点を、独立的に、３Ｄワーピングする。その後、予測された（３Ｄワーピングされた）表現と、計測されたシーンの表現（用語解説を参照）が比較されて、動的な対象物を判断する（これは、３Ｄ空間において任意の距離メトリック(distance metric)によって行うことのできる）。

第２の計算方法は、シーンの３Ｄボクセルの集合(3D voxel cloud)（すなわち、３Ｄセグメントの集合）を構築する。第１のアイコニック手法と異なり、ボクセルの集合内において、事後処理およびモデリングに基づく領域が、シーンのモデル（用語解説を参照）の使用によって生じうる。これによって、近傍ボクセルからの情報が伝搬され、幾何学的な３Ｄ対象物モデルが導入され、これにより、主要部から外れた(outlying)ボクセルが訂正される。これらの計測は、該アプローチの全体の精度を向上させる。

第３の計算方法は、環境における１つ（または、いくつかの）面(surface)に対する処理を制約することによって、複雑性の問題を軽減する。車の分野においては、これは、路面でありうる。この面上のシーン・エレメントのみが、考慮される。この情報に基づいて、エンベロープ（包絡線）が構築され、これは、環境エンベロープと呼ばれる（用語解説を参照）。これは、複雑性の問題を軽減すると共に、事後処理のための効率的なヒューリスティック（発見的学習）を可能にする。

さらに、これら計算方法の組み合わせが可能であり、たとえば、いくつかの３Ｄボクセル集合を、３Ｄワーピングのためのシーンモデルと共に使用し、残りのボクセルは、アイコニック３Ｄワーピングされる。また、処理されるデータ量は、そのやり方で影響を受けることがある。

ｃ）残余の計算(Computing residuum)
計測されたキューと予測されたキューの間の相違（残余）を計算することにより、動的な対象物が存在する位置において値を含む残余の領域が３Ｄにおいて生じる。さらに、該残余の領域から、３Ｄ座標での動的な対象物の相対的な動きを導出することができる。該残余の計算を、３Ｄ空間の任意の距離メトリックによって行うことができる。

第１および第２の方法について、残余の領域は、ＸＹＺ方向における対象物運動の大きさと共に該動的な対象物を保持する画像領域を定義する（３Ｄから２Ｄへのマッピングを用いて、ピンホールカメラのモデルで投影しなおすことによって）。上記の第３の方法について、残余の環境エンベロープは、ＸおよびＺ方向においてのみ、動的な対象物の動きを定義する（高さＹは、環境エンベロープ全体にわたって一定であるよう定義される）。対応する画像位置を求めるために、すべての発見された動的な対象物は、３Ｄ（Ｘ，Ｙ＝一定，Ｚ）から、２Ｄ画像面にマッピングされる。

ｄ）事後処理(Post-processing)
アーティファクトを取り扱うため、該記述される手順では、残余に対してモルフォロジー演算(morphological operation)を実行することができる（そのようなモルフォロジー演算についての詳細は、後述する参考文献１０（下記の非特許文献１３）を参照）。これは、比較的大きい残余領域のみが動的であると解釈されるのを、確実なものにする。さらに、車両の分野に固有のコンテキスト（トップダウンの知識、用語解説を参照）を含めることによって、静的であると知られているすべての対象物（たとえば、見つかった路面セグメント）を区別（ソート）することができ、３Ｄワーピング手順を簡単にすることができる。さらに、衛星に基づくナビゲーションシステムからのデータを取り入れて、シーンのさらなる知識を提供することができる（たとえば、静的なシーンコンテンツについての３ＤのＧＰＳ位置）

後述する参考文献１１に記載されているように、上記の計算方法（ｂの予測されたキューの算出）は、様々な分野およびアプリケーションに該方法を適用可能なようにする様々な利点および欠点を持ち、これが、以下の表１に要約されている。表２は、既存のピクセルに基づく２Ｄワーピング手順と３Ｄ座標に対する３Ｄワーピングアプローチの間の相違を要約したものである。

[2] M. Nieto, L. Salgado, F. Jaureguizar, and J. Cabrera, "Stabilization of inverse perspective mapping images based on robust vanishing point estimation," in IEEE Intelligent Vehicles Symposium, 6 2007. [1] R. E. Kalman, "A new approach to linear filtering and prediction problems," Transactions of the ASME-Journal of Basic Engineering, vol. 82, no. Series D, pp. 35-45, 1960. [8] T. Vaudrey, H. Badino and S. Gehrig "Integrating Disparity Images by Incorporating Disparity Rate". In 2nd Workshop "Robot Vision", Auckland, New Zealand, February 18 - 20, 2008. [6] H. Badino, U. Franke, C. Rabe and S. Gehrig. "Stereo Vision-Based Detection of Moving Objects under Strong Camera Motion". In 1st International Conference on Computer Vision Theory and Applications (VISAPP), Setubal, Portugal. 25 - 28 February, 2006. [13] S. Shimizu: "Moving object detection by mobile stereo omni-directional system (SOS) using spherical depth image", Pattern Analysis and Applications, vol. 9, no. 2-3, pages 113-126, 2005. [14] A. Taluder et. al.: "Real-time detection of moving objects from moving vehicles using dense stereo and optical flow", International Conference on Intelligent Robots and Systems (IROS), Japan, 2004. [15] R. Cutler, M. Turk: "View-based interpretation of real-time optical flow for gesture recognition", Automatic Face and Gesture Recognition, 1998, Proceedings, 3rd IEEE International Conference on NARA, Japan, 1998. [7] J. Schmudderich, V. Willert, J. Eggert, S. Rebhan, C. Goerick, G. Sagerer and E. Korner. "Estimating object proper motion using optical flow, kinematics, and depth information" in IEEE Transactions on Systems, Man and Cybernetics, Part B, Volume 38, Issue 4, Pages 1139 - 1151, 2008. [16] W.Schaarschmidt, J. Savage: "Key gesture Spotting for a mobil robot", International Symposium on Robotics and Automation (ISRA), 2004, pp. 1-6. [3] K. Konolige, "Small vision system: Hardware and implementation," in Eighth International Symposium on Robotics Research, 1997. [4] Xuming Luan, "Experimental Investigation of Photonic Mixer Device and Development of TOF 3D Ranging Systems Based on PMD Technology", PHD Thesis, 2001. [5] www.velodyne.com/lidar [10] B. Jaehne, "Digital image processing", Springer, Berlin, 2005.

[12] J. Eggert, V. Willert, J. Schmuedderich and S. Rebhan, Estimating objects proper motion using optical flow, kinematics and depth information, WO 2009/024349 A (2009-02-26). [11] R. Kastner, J. Fritsch and T. Michalke, Object motion detection based on multiple 3D Warping algorithms, 2009, EPO Application Number 09 150 710.3.

本発明は、３Ｄデータおよび視覚情報を用いて、対象物の動きを検出するための改良された方法を提案する。

上記の目的は、独立請求項の特徴によって達成される。従属請求項は、さらに、本発明の主要なアイデアを発展させるものである。

本発明の第１の側面によると、自己運動を伴う車両の運転者支援システムの（視覚的に）検知されたシーンにおける動的な対象物を検出するための方法は、
−自己運動を伴う視覚センサの環境の視覚信号を提供するステップと、
−検出されたオプティカルフローに基づいて、該視覚センサの入力視野上の対象物の固有運動（proper motion, 用語解説を参照）を検出するステップと、
−予測された３Ｄデータおよび検知された３Ｄデータに基づく３Ｄワーピングを用い、環境の３Ｄ表現モデル（用語解説を参照）に基づいて、対象物の運動（動き）を検出するステップであって、該予測された３Ｄデータは、計測された３Ｄデータおよび自己運動を表すデータに基づいて生成される、ステップと、
−３Ｄワーピングに基づく対象物運動の検出およびオプティカルフローに基づく対象物運動の検出を組み合わせるステップと、
−検出された動的な対象物に関する情報およびその計測された運動（動き）パラメータを記憶するステップと、を含む。

該検出された動的対象物に関する情報を、衝突回避または経路計画に使用することができる。

該３Ｄワーピングに基づく対象物運動の検出および該オプティカルフローに基づく対象物運動の検出を、互いに、他方の検出の探索空間が制限されると共に、検出パラメータが、該他方の検出に供給されるように、組み合わせることができる。また、これら２つの結果を直接的に比較および重み付けする際に、両方のアプローチの組み合わせが可能である（システム概要についての図５を参照）。

該３Ｄワーピングに基づく対象物運動の検出は、たとえば対象物の運動の方向および大きさに依存して、オプティカルフローに基づく対象物運動の認識をパラメータ化(parameterize)することができる。

より具体的には、３Ｄワーピングに基づく対象物運動の検出において、自己運動に対する横方向の動きを示す領域のみが、オプティカルフローに基づく対象物運動の認識によって選択的に処理されることができる。

また、該オプティカルフローに基づく対象物運動の検出は、起こりうる横方向運動を伴う領域を提供することができ、ここに、３Ｄワーピングが適用される。対象物のサイズの変化に起因して、横方向の運動は、動いている対象物周辺の雰囲気(オーラ、aura)によって示される（図６の最後の列を参照）。

該３Ｄワーピングに基づく対象物運動の検出および該オプティカルフローに基づく対象物運動の検出を、並列に実行させることができ、一方のアプローチの検出結果が、他方の検出方法によって改善(refine)され検証(verify)されるように組み合わせることができる。

たとえば回転レーザスキャナ(rotating laser scanner)のような、３Ｄ（三次元）深度センサからの情報を使用して、センサ信号を生成することができる。

たとえばＰＭＤ（Photonix Mixer Device（フォトニック・ミキサ・デバイス））のような、２Ｄ（二次元）深度センサからの情報を使用して、センサ信号を生成することができる。

１Ｄ（一次元）深度センサ（たとえば、レーザスキャナ）からの情報を、２Ｄ視覚信号と共に使用して、３Ｄデータを生成することができる。

高密度深度センサ(dense depth sensor)は、３Ｄデータおよび単一の進路モデルに基づいて計算された自己運動の情報を提供することができる。

単一進路モデルのための入力データは、車両の速度および（または）ヨーレートのさらなるセンサから到来することができる。

両方の方法は、並列に実行することができる。

本発明のさらなる側面は、上記説明した方法を実行するよう設計された、運転者支援コンピューティングユニットに関連する。

本発明はまた、そのような運転者支援コンピューティングユニットを備えている車両を提案する。

他の側面は、そのようなコンピューティングユニットを備えている自律型ロボットに関連する。

運転経路および（または）周辺(surrounding)のモデル生成装置を備える運転者支援システムが提案され、該モデル生成装置は、以下のものを備えることができる：
−自己運動を伴う視覚センサの環境の視覚信号を提供するための手段と、
−検出されたオプティカルフローに基づいて、該視覚センサの入力視野の対象物の固有運動を検出する計算手段と、
−予測された３Ｄデータおよび検知された３Ｄデータに基づく３Ｄワーピングを用い、環境の３Ｄ表現モデルに基づいて、対象物の固有運動を検出する計算手段であって、該予測された３Ｄデータは、計測された３Ｄデータおよび自己運動を表すデータに基づいて生成される、手段と、
−３Ｄワーピングに基づく対象物運動の検出およびオプティカルフローに基づく対象物運動の検出を組み合わせる計算手段と、
−検出された動的な対象物に関する情報およびそれらの計測された運動パラメータを記憶する手段と、を備える。

該視覚センサは、３Ｄデータおよび自己運動に関する情報を提供する高密度深度センサであることができる。

該視覚センサは、ＣＡＮバス上でアクセス可能であり、および（または）、付加的なセンサであることもできる。

本発明によるさらなる特徴、目的および有利な点は、添付の図面と共に、以下の本発明の実施形態の詳細な説明を読むことにより当業者には自明となろう。

シーンの高密度３Ｄデータを示す図。 単一の進路モデルを説明するための図。 ３Ｄワーピングのためのシステム概要を示す図。 動的な対象物を検出するための差分画像の潜在的な困難性を示す、重なり合った２つの連続画像を示す図。 本発明の中心的な考えである、ＰＯＭおよび３Ｄワーピングの組み合わせについて一つの構造的な概要を示す図。 車両の分野における典型的な対象物運動の具体的なパターンを示す図。各行において、左から右に向かって、１番目と２番目は２つの連続カメラ画像であり、３番目は、動きについての３Ｄワーピングの残余パターン（画像平面上で視覚化される）を示す。残余パターンについてのコーディングは、次の通りである。すなわち、ハッチング(hatched lines)部分は負の符号を示し、陰付き(shaded)部分は、正の符号を示し、陰付きの強度は、その大きさに対応する。第１の行は、純粋な横方向の動きを示し、第２の行は、純粋な縦方向の動きを示し、第３の行は、両方の動きの混合形態を示す。

本発明は、２つのアプローチ（３Ｄワーピングおよび固有対象物運動（ＰＯＭ:Proper Object Motion）を組合わせ、既存の欠点を解決しつつ、それらのそれぞれの利点を生かすようにする。該２つのアプローチの組み合わせは、車両においてＡＤＡＳのリアルタイム（実時間）の実現を目的とする際に重要なものとなる。一般に、５つの可能な組み合わせがある。第１は、両方のアプローチが並列に作用し、これらのアプローチの一方が、他方によって検証され改善される（２つの組み合わせがある）。第２は、３Ｄワーピングが、ＰＯＭが適用される領域を定義すると共に、さらに、ＰＯＭを、計算要件を低減する最適なやり方でパラメータ化することができる（やはり、２つの組み合わせがある）。最後に、ＰＯＭが、３Ｄワーピングが適用される領域を定義する。この組み合わせについては、ここでは、詳細に辿ることはしないものの、網羅するため述べられる。

こうして、本発明は、ＰＯＭの良好にパラメータ化された形態を使用して、３Ｄワーピングによって収集された、広範で包括的な結果を改良する。これに基づいて、３Ｄワーピング検出結果の改善(refinement)および検証(verification)を達成することができる（本発明の記述的な概要について図５を参照、および、３Ｄワーピング（３ＤＷ）とオプティカルフローに基づく２Ｄワーピング（ＰＯＭ）の間の組み合わせについての表３を参照）。以下において、提案される組み合わせアプローチを、より詳細に説明する。

３Ｄワーピング結果による、ＰＯＭ計算のための領域の定義
動的な対象物を検出するため、３Ｄワーピングのアプローチは、予測された３Ｄ座標および計測された３Ｄ座標（詳細については、ＥＰ特許出願第０９１５０７１０．３号（参考文献１１）を参照）の間の残余(residuum)を計算する。該残余は、動的な対象物を含むシーン上の点で高い値を示す。これらの高い値は、対象物運動の種類に依存して、特定のパターンで並べられる（横方向、縦方向、およびそれらの混合の画像平面上の視覚化については、図６を参照）。

縦方向の対象物運動の軌跡を、その特定の縦方向の残余パターンから直接的に推論(infer)することができ、また、横方向運動のコンポーネント（構成要素）を、その特定の横方向パターンから間接的に推論する必要がある。ここで、３ＤワーピングとＰＯＭとの提案される組み合わせは、特定の利点を有する。より具体的には、横方向運動を示すパターンを、ＰＯＭによって事後処理することができる。この目的のため、計算集約的なＰＯＭを、３Ｄワーピングの結果に基づく画像領域に制限することができる。さらに、ＰＯＭを、これらのパターンに基づいて最適にパラメータ化することができる（オプティカルフローの方向および期待される大きさが、強く制限される）。ＰＯＭに基づいて、横方向運動についての３Ｄワーピングの残余の対応関係問題が解決され、３Ｄ対象物の軌跡を計算することができる。

さらに、ＰＯＭを、ノイズの多い３Ｄワーピング結果の検証に使用することができる。ノイズは、典型的には多くのアーティファクトを含む、エラーになりやすい深度計測に起因しており、これは、偽陽性(false-positive)の対象物運動計測となってしまう。さらに、残余の解像度は、典型的には比較的小さく、これは、或るパターンの検出には十分であるが、特定の対象物運動の軌跡を推論するには不十分である。このため、ＰＯＭを、該運動の軌跡の改善のために使用することができる。

要約すると、ここで記述される組み合わせアプローチは、以下の点において、既存のアプローチを改善する利点を有する。

−オプティカルフローに基づくＰＯＭアプローチは、一般に、資源を多く必要とする。３Ｄワーピングは、シーン内の部分(parts)を事前選択するのに使用され、これに対して、ＰＯＭが計算される。これは、計算時間を軽減し、品質を向上させる。

−さらに、ＰＯＭは、３Ｄワーピングの結果に基づいて最適にパラメータ化され、これは、ＰＯＭに基づく検証プロセスの計算需要を低下させる。具体的には、そのようなパラメータおよび最適化は、オプティカルフローの探索方向における局所的な制約、ピクセル単位での制約された探索範囲（レンジ）、使用されるスケールにおける制約、フローベクトルの時間積分に関する制約、フローベクトルの空間積分に関する制約、フロー値をサポートする使用される信用度のしきい値に関する制約ないし緩和であることができる（最新の相関に基づくオプティカルフローの計算方法の既存のパラメータについては、参考文献１７を参照のこと）。

−画像平面上の対象物運動を検出する純粋なオプティカルフローに基づくアプローチとは異なり（すなわち、透視画像におけるピクセル単位での）、３Ｄワーピングのアプローチは、３Ｄ世界座標における対象物運動の情報を出力する（すなわち、メートル単位での方向および大きさ）。しかしながら、画像でのピクセル単位で検出された対象物運動もまた、典型的な画像処理アルゴリズムのための貴重な情報を伝える。ここで提案されるアルゴリズムは、画像ピクセルのピクセル単位での運動の予測（画像ワーピングと呼ばれる）と、３Ｄ世界座標の予測とを直接組み合わせる。

−オプティカルフローに基づくアプローチは、自己車両の動きに直交する対象物運動の方向（横方向の動き）に制約される。それに対し、３Ｄワーピングは、縦方向の対象物運動の方向を狙いとしている。これとは異なり、提案されるアプローチは、両方を組み合わせ、横方向および縦方向の対象物運動を最適な方法で正確に検出することを可能にする。

３Ｄワーピングおよび固有対象物検出（ＰＯＭ）の並列な稼動
２つの可能な組み合わせがあり、第１は、３Ｄワーピングの結果が、ＰＯＭによって検証および改善され、第２は、その逆である。

はじめとして、ＰＯＭ結果が、３Ｄワーピング結果によって検証され改善される（ＰＯＭおよび３Ｄワーピングは並列に稼動し、後続のステージで統合され、これは、結果の簡潔性を向上させる）。高密度の（すなわち、すべての画像ピクセルについて計算される）オプティカルフローは、構成物(structure)の量が低い画像領域ではノイズが多くエラーになりやすいという問題を持つ（対応関係の探索が不安定になる）。収集された信頼度（オプティカルフロー計算の副産物として）は高いかもしれないが、フローベクトルはなお、間違っているかもしれない。この場合、（独立的に稼動する）３Ｄワーピングの結果の最新の組み合わせを用いて、ＰＯＭ結果を検証することができる。さらに、オプティカルフローは、資源多く必要とし、よって、低い解像度で計算されるので、収集された３Ｄワーピング結果（通常は、より高解像度で利用可能）を、フローベクトルを改善する（フローベクトルの解像度を向上させる）のに使用することができる。

第２の組み合わせについて、３Ｄワーピング結果が、ＰＯＭ結果によって検証され改善される（ＰＯＭおよび３Ｄワーピングは並列に稼動し、後続のステージで統合され、これは、それらの結果の簡潔性を向上させる）。ＥＰ０９１５０７１０およびＥＰ０９１６１５２０の導入部によると（表２を参照）、３Ｄワーピングは、とりわけ、縦方向運動の検出に安定的である（交通の分野における好まし動きのタイプのように）。横方向の運動または横方向と縦方向の運動の組み合わせの場合、対応関係の問題が生じうる（３Ｄ残余が共に属する３Ｄクラスタがどれか）。ここで、ＰＯＭ結果が役立つものとなりうる。なぜなら、これらは、横方向の対象物運動について最も適切なものであるからである。

上記は、本発明の実施形態にのみ関しており、様々な変更および修正を、本発明の精神および範囲から逸脱することなく、なされることができ、本発明の範囲は、特許請求の範囲によって記述される点に注意されたい。

用語解説
トップダウン知識(top-down knowledge)
より高レベルの情報統合を備えるシステムにおける他のモジュールから来る情報。たとえば、すべての検出された対象物を表す環境モデル。

運転者支援システム（ＤＡＳ：driver assistance system）
危険な状況および典型的な運転タスクにおいて運転者をサポートするシステム。交通の法律に従い（たとえば、ドイツの、Strabenverkehrsordung StVO）、ＤＡＳの反応は、制御可能なようにとどまるべきであり、また、運転者による制御（支配）の実効（影響）を可能にしなければならない。これに基づき、市場においては、ＤＡＳが完全に自律的な行動を生成することは可能となっていない。

進歩的運転者支援システム(ADAS: Advanced Driver Assistance System)
多くのモジュールおよびモジュール間のリンクを取り入れる運転者支援システム。これらの構成要素のすべては、互いに絡み合って(interwined)相互作用しあうセンサ、計算ハードウェア、およびアクター(actor)のコンプレックス・フレームワークに統合される。これに対して、従来の運転者支援システムは、制限された複雑性および車両において他のモジュールと情報を共用するインターフェースの欠落によって特徴づけられる。さらに、従来の運転者支援システムは、単一のタスクおよびアプリケーション領域に目的が定められている（たとえば、高速道路）。

環境エンベロープ（Environmental envelope）
Ｘ−Ｚ面（水平位置座標および深さ（奥行き））は、３Ｄボクセル集合(voxel cloud)の結合した部分である。なお、環境エンベロープは、３Ｄ領域（高さＹは一定である）において表現され、動的な対象物を検出するために画像には投影されない。したがって、エンベロープは、Ｘ−Ｚ面の第１の対象物に対する境界線のイラスト(illustration)である。様々な高さを持つＸ−Ｚ面の数は、変化することができ、また、１つまたは複数のＸ−Ｚ面における高さの間隔を概算する(approximate)のに用いられることができる。

外部センサ(external sensors)
３Ｄ深度センサ（たとえば、回転レーザスキャナ）、２Ｄ深度センサ（たとえば、Photonic Mixer Device）、１Ｄ深度センサ（たとえば、レーザスキャナ）、ステレオカメラ等の、任意の種類の深度センサであることができる。また、ナビゲーションシステムを、外部センサとして考えることができ、これは、環境についての詳細な情報を提供することができる。したがって、ナビゲーションシステムは、仮想的な外部センサであることができ、現在のＧＰＳ位置およびその地図データを用いて、現在の周辺の深度情報を与えることができる。一般に、外部センサについての意味は、周辺環境の情報を収集／提供するセンサである。

内部センサ(internal sensors)
一般に、内部センサの意味は、環境からの情報とは独立して、自身の動きの情報を収集／提供するセンサである。これは、単一の速度インジケータ（車輪の回転を計測する）から、回転角のためのリングレーザジャイロスコープまで、多岐にわたる。

将来／過去の時間での予測
自己運動の対象物を検出するため、一般に、２つの予測方法が存在する。一方は、直線的なアプローチであり、時間ｔ−１におけるシーンモデルから、将来における次の時間ステップｔに向けて予測する（前進ワーピング）。その後、該予測は、計測および抽出された自己運動対象物と比較される。他方は、現在の時間ステップｔの計測を、過去の時間ステップｔ−１に投影させ、これは、過去時間を参照することとなる（後退ワーピング）。そして、過去の計測が、該投影され抽出された自己運動対象物と比較される。

固有対象物運動(Proper Object Motion)(固有運動（Proper motion）ともいう)
用語ＰＯＭ(Proper Object Motion)は、参考文献１２に記載された、オプティカルフローに基づく２Ｄワーピングのアプローチに関連する。したがって、ＰＯＭによって検出された対象物の動きは、固有運動(proper motion)として参照される。

シーンモデル(scene model)
他の処理モジュールに基づいて、現在のシーンのコンテキスト（たとえば、高速道路、田舎道、都心部(inner city)）および現在の周辺環境からの計測のように、所定のモデルを学習ないし抽出することができる。このため、高速道路を運転しているとき、ガードレールを、計測および知識取り込みの組み合わせによって抽出することができる。さらに、データ駆動型のアプローチを使用して、典型的な幾何学形状を、該計測データに適合させることができる。

シーン表現 (scene representation) （３Ｄ表現ともいう）
３Ｄ表現は、センサレイヤ（センサ層）を要約したものであり、単一センサには結合されない。このため、３Ｄ表現は、３Ｄグリッド、ボクセル・グラフ等であることができる。したがって、３Ｄ表現は、周辺環境の所定の部分を、その内部メモリにマッピングするが、該センサレイヤの分離したもの(decoupled)といえる。

参考文献
[1] R. E. Kalman, “A new approach to linear filtering and prediction problems,” Transactions of the ASME-Journal of Basic Engineering, vol. 82, no. Series D, pp. 35-45, 1960.

[2] M. Nieto, L. Salgado, F. Jaureguizar, and J. Cabrera, “Stabilization of inverse perspective mapping images based on robust vanishing point estimation,” in IEEE Intelligent Vehicles Symposium, 6 2007.

[3] K. Konolige, “Small vision system: Hardware and implementation,” in Eighth International Symposium on Robotics Research, 1997.

[4] Xuming Luan, “Experimental Investigation of Photonic Mixer Device and Development of TOF 3D Ranging Systems Based on PMD Technology”, PHD Thesis, 2001.

[5] www.velodyne.com/lidar

[6] H. Badino, U. Franke, C. Rabe and S. Gehrig. "Stereo Vision-Based Detection of Moving Objects under Strong Camera Motion". In 1st International Conference on Computer Vision Theory and Applications (VISAPP), Setubal, Portugal. 25 - 28 February, 2006.

[7] J. Schmudderich, V. Willert, J. Eggert, S. Rebhan, C. Goerick, G. Sagerer and E. Korner. "Estimating object proper motion using optical flow, kinematics, and depth information" in IEEE Transactions on Systems, Man and Cybernetics, Part B, Volume 38, Issue 4, Pages 1139-1151, 2008.

[8] T. Vaudrey, H. Badino and S. Gehrig "Integrating Disparity Images by Incorporating Disparity Rate". In 2nd Workshop "Robot Vision", Auckland, New Zealand, February 18 - 20, 2008.

[9] I.N. Bronstein, K.A. Semendjajew, G. Musiol and H. Muhlig, “Taschenbuch der Mathematik”, Verlag Harri Deutsch, Frankfurt am Main, 1999.

[10] B. Jaehne, “Digital image processing“, Springer, Berlin, 2005.

[11] R. Kastner, J. Fritsch and T. Michalke, Object motion detection based on multiple 3D Warping algorithms, 2009, EPO Application Number 09 150 710.3.

[12] J. Eggert, V. Willert, J. Schmuedderich and S. Rebhan, Estimating objects proper motion using optical flow, kinematics and depth information, WO 2009/024349 A (2009-02-26).

[13] S. Shimizu: “Moving object detection by mobile stereo omni-directional system (SOS) using spherical depth image”, Pattern Analysis and Applications, vol. 9, no. 2-3, pages 113-126, 2005.

[14] A. Taluder et. al.: “Real-time detection of moving objects from moving vehicles using dense stereo and optical flow”, International Conference on Intelligent Robots and Systems (IROS), Japan, 2004.

[15] R. Cutler, M. Turk: “View-based interpretation of real-time optical flow for gesture recognition”, Automatic Face and Gesture Recognition, 1998, Proceedings, 3^rd IEEE International Conference on NARA, Japan, 1998.

[16] W.Schaarschmidt, J. Savage: “Key gesture Spotting for a mobil robot”, International Symposium on Robotics and Automation (ISRA), 2004, pp. 1-6.

[17] Willert, V., Eggert, J., Adamy, J., and Koerner, E.: "Non-gaussian velocity distributions integrated over space, time and scales", IEEE Transactions on Systems, Man and Cybernetics B, 36(3):482-493, 2006.

Claims (19)

1. 自己運動を伴う車両の運転者支援システムまたはロボットの視覚的に検知されたシーンにおける動的な対象物を検出するための方法であって、
   自己運動を伴う車両またはロボットに取り付けられた視覚センサの環境の視覚信号を提供するステップであって、前記視覚センサは３Ｄデータを提供する高密度深度センサであり、もう一つのセンサが自己運動の情報を提供する、ステップと、
   検出されたオプティカルフローに基づいて、前記視覚センサの入力視野上の対象物の固有運動を検出するステップと、
   予測された３Ｄデータおよび計測された３Ｄデータに基づく３Ｄワーピングを用い、前記環境の３Ｄ表現モデルに基づいて、前記対象物の運動を検出するステップであって、該予測された３Ｄデータは、計測された３Ｄデータおよび前記自己運動を表すデータに基づいて生成される、ステップと、
   前記３Ｄワーピングに基づく対象物の運動の検出およびオプティカルフローに基づく対象物の固有運動の検出の両方を並列に使用し、一方による検出結果を他方による検出結果の検証および改善に使用することにより両方を組み合わせるステップであって、前記３Ｄワーピングが前記オプティカルフローに基づく対象物の固有運動の検出を適用する領域を規定し、前記オプティカルフローに基づく対象物の固有運動の検出が前記３Ｄワーピングを適用する領域を規定する、ステップと、
   前記検出された動的な対象物に関する情報およびそれらの計測された運動パラメータを記憶するステップと、
   を含む方法。
2. 前記検出された動的な対象物に関する情報は、衝突回避または経路計画に用いられる、
   請求項１に記載の方法。
3. 前記３Ｄワーピングに基づく対象物運動の検出および前記オプティカルフローに基づく対象物の運動の検出は、互いに、他方の検出手法の探索空間が制限され、制御パラメータが決定されて該他方の検出モジュールに供給されるように、組み合わせられる、
   請求項１に記載の方法。
4. 前記３Ｄワーピングに基づく対象物の運動の検出は、前記オプティカルフローに基づく対象物の運動の認識を、対象物の横方向の運動を示す領域に関して、たとえば方向および大きさについてパラメータ化する、
   請求項１に記載の方法。
5. 前記３Ｄワーピングに基づく対象物の運動の検出において、前記自己運動に対する横方向運動を示す領域のみが、前記オプティカルフローに基づく対象物の運動の認識によって処理される、
   請求項１に記載の方法。
6. 前記３Ｄワーピングに基づく対象物の運動の検出および前記オプティカルフローに基づく対象物の運動の検出は、一方の検出モジュールの検出結果が改善され検証されるように、組み合わせられる、
   請求項１に記載の方法。
7. たとえば回転レーザスキャナのような、３Ｄ深度センサからの情報が３Ｄデータを生成するのに使用される、請求項１に記載の方法。
8. たとえばＰＭＤ（Photonic Mixer Device）のような２Ｄ深度センサからの情報が３Ｄデータを生成するのに使用される、請求項１に記載の方法。
9. たとえばレーザスキャナのような１Ｄ深度センサからの情報が３Ｄデータを生成するのに使用される、請求項１に記載の方法。
10. 前記もう一つのセンサが一つの軌跡モデルに基づいて計算される自己運動についての情報を提供する、請求項１に記載の方法。
11. 高密度深度センサは、３Ｄデータおよび単一の進路モデルに基づいて計算された前記自己運動の情報を提供する、
    請求項１に記載の方法。
12. 前記単一の進路モデルの入力データは、車両の速度および（または）ヨーレートの付加的なセンサから到来する、
    請求項１に記載の方法。
13. 両方の手法は、並列に実行される、請求項１に記載の方法。
14. 請求項１に記載の方法を実行するよう設計された、運転者支援コンピューティングユニット。
15. 請求項１４に記載の運転者支援コンピューティングユニットを備えた車両。
16. 請求項１に記載の方法を実行するコンピューティングユニットを備えた自律型ロボット。
17. コンピューティングユニット上で稼動する、請求項１に記載の方法を実現するコンピュータプログラム。
18. 運転経路および（または）周辺のモデル生成装置を備えた運転者支援システムであって、該モデル生成装置は、
    自己運動を伴う車両またはロボットに取り付けられた視覚センサの環境の視覚信号を提供する手段であって、前記視覚センサは３Ｄデータを提供する高密度深度センサであり、もう一つのセンサが自己運動の情報を提供する、手段と、
    検出されたオプティカルフローに基づいて、前記視覚センサの入力視野上の対象物の固有運動を検出するための計算手段と、
    予測された３Ｄデータおよび計測された３Ｄデータに基づく３Ｄワーピングを用い、前記環境の３Ｄ表現モデルに基づいて、前記対象物の運動を検出するための計算手段であって、該予測された３Ｄデータは、計測された３Ｄデータおよび前記自己運動を表すデータに基づいて生成される、手段と、
    前記３Ｄワーピングに基づく対象物の運動の検出および前記オプティカルフローに基づく対象物の固有運動の検出の両方を並列に使用し、一方による検出結果を他方による検出結果の検証および改善に使用することにより両方を組み合わせる計算手段であって、前記３Ｄワーピングが前記オプティカルフローに基づく対象物の固有運動の検出を適用する領域を規定し、前記オプティカルフローに基づく対象物の固有運動の検出が前記３Ｄワーピングを適用する領域を規定する、計算手段と、
    前記検出された動的な対象物に関する情報およびそれらの計測された運動パラメータを記憶するための手段と、
    を備えるシステム。
19. 前記視覚センサは、ＣＡＮバス上でアクセス可能であり、および/または、付加的なセンサからアクセス可能である、請求項１８に記載のシステム。