JP6896044B2 - 道路の垂直輪郭検出 - Google Patents

Description

本発明は、形状を正確に検出するシステムに関し、詳細にはカメラを使用して道路の垂直輪郭を正確に検出するシステムに関する。

従来技術の説明
過去数年間に、車線逸脱警告（ＬＤＷ）、自動ハイビーム制御（ＡＨＣ）、交通標識認識（ＴＳＲ）、前方衝突警告（ＦＣＷ）および歩行者の検出を含む、運転者支援システム（ＤＡＳ）に基づいたカメラが、市場に参入してきた。

ホスト車両内に搭載可能な様々な運転者支援システムおよびコンピュータ化された方法が、本明細書に提供される。運転者支援システムは、プロセッサに作動可能に連結可能なカメラを含む。運転者支援システムは、道路の垂直輪郭における偏差を検出するために、ホスト車両が動いている間に作動可能である。第１の画像フレームおよび第２の画像フレームは、カメラの視野内に捕捉される。画像の動きは、第１のフレームと第２のフレームから抽出された道路の画像および第２のフレームから抽出された道路のそれぞれの画像間で処理される。道路の垂直輪郭は、道路の路面モデルを使用して見積られ、垂直輪郭における偏差は、路面モデルから計算される。オプティカルフローは、第１の画像フレームから抽出された道路の複数の第１の画像表示と、第２の画像フレームから抽出された道路の対応する第２の画像表示との間で見積られてもよい。垂直輪郭における偏差は、オプティカルフローを、路面モデルによって予測されるようなオプティカルフローと比較することによって決定される。残余のオプティカルフローは、道路の垂直輪郭における偏差を示す。

第３の画像フレームは、カメラの視野内に捕捉されてもよく、道路のそれぞれの画像間の画像の動きは、第３の画像フレームならびに１つまたは複数の第１および第２の画像フレームから抽出されてもよい。マルチフレームの路面モデルは、該第１の画像フレームおよび該第２の該第２の画像フレームに基づく、該路面モデルから抽出された道路の道路プロファイルを、該第２の処理することと組み合わせることによって計算されてもよい。

マルチフレームの路面モデルは、第１および／または第２の画像フレームから、第３の画像フレームに、該少なくとも１つの前の画像フレームと第３の画像フレームとの間のホモグラフィを使用することによって、マッピングされてもよい。

道路の輪郭に対する平面モデルを仮定して、道路の画像の、画像の動きは、歪められた第２の画像フレームによって生成されるために、第２の画像フレームを第１の画像フレームに向かって最初に歪めることによって処理されてもよい。最初の歪みは、道路、ヨー、ピッチおよび／またはロールに対する、車両の動きに起因する画像シフトを調節することにより、第２の画像フレームを第１の画像フレームに、位置合わせすることを含んでもよい。最初の歪みは、第２の画像フレームと第１の画像フレームとの間の相対スケール変化に対する調節を含んでもよい。相対スケール変化は、カメラまでの距離の差に起因する。

複数の像点は、第１の画像フレーム内で選択されてもよい。像点は、路面の画像上に配置されてもよく、固定格子の点に配置されてもよい。像点に対して、複数の画像表示は、像点を中心にそれぞれが配置される。像点は、複数のトラッキングされた点を生成するために、第１の画像フレーム内の画像表示を、歪められた第２の画像フレーム内の対応する画像表示と相関させることによって、トラッキングされてもよい。トラッキングされた点は、ホモグラフィに適合される。第１の画像フレームに向かって歪められた第２の画像フレームの精密な歪みは、ホモグラフィを使用することにより最初の歪みを修正するために、また精密に歪められた第２の画像フレームを生成するために実行されてもよい。オプティカルフローは、精密に歪められた第２の画像フレームと第１の画像フレームとの間で計算されてもよい。オプティカルフローは、路面モデルの基づく路面と比較される。道路の垂直輪郭における偏差は、路面モデルによって見出されたように、路面のオプティカルフローと異なる残余のオプティカルフローを生成する。

前述および／または他の態様は、添付図面と関連して考慮すると、以下の詳細な説明から明らかになろう。

本発明を、単に例示を目的として、添付図面を参照しながら本明細書に説明する。

本発明の態様による、車両内に搭載されたカメラまたは画像センサを含むシステムを示す図である。 本発明の態様による、車両内に搭載されたカメラまたは画像センサを含むシステムを示す図である。 本発明の特徴による、車両が道路に沿って移動中に道路の垂直輪郭のリアルタイム測定のための簡略化した方法の流れ図である。 本発明の特徴による、車両内に搭載された前向きカメラから捕捉された２つの連続画像フレームである。 本発明の特徴による、図３に示された処理ステップの詳細を示す流れ図である。 本発明の特徴による、図５に示された最初に歪めるステップのさらに詳細を示す流れ図である。 本発明の特徴による、歪められた画像として示された結果、すなわち図５の最初の歪みステップの結果を示す図である。 本発明の特徴による、図７ａの歪められた画像と一画像との差の結果として異なる画像を示す図である。 本発明の特徴による、台形領域の歪められた画像である。 本発明の特徴による、図８ａの歪められた画像内の台形領域の詳細を示す図である。 本発明の特徴による、画像に向かって歪められた画像の精密な歪みの結果を示す図である。 本発明の特徴による、一画像に向かって歪められた画像の精密な歪みとその画像との差を示す図である。 本発明の特徴による、点の高密度格子のトラッキングの結果を示す図である。 本発明の特徴による、図１０ａに示された領域の詳細を示す図である。 本発明の特徴による、図１０ａに示された領域の詳細を示す図である。 本発明の特徴による、図１０ａに示された領域の詳細を示す図である。 本発明の特徴による、Ｍａｔｌａｂ（商標）で実行されたオプティカルフロールーチンに送り込まれる、２つのフィルタを掛けられ、切断された画像である。 本発明の特徴による、グレースケール画像として残余のオプティカルフローのｙ成分を示す図である。 本発明の特徴による、元の画像上にかぶせた図１２に示されたものと同じデータを示す図である。 本発明の特徴による、ｙ方向の平面の動き流れに対する、画像のｙ座標のグラフである。 本発明の特徴による、カメラからのメートル単位の距離に対する、道路プロファイルのメートル単位のグラフである。

ここで、本発明の例が添付図面に図示された、本発明の特徴を詳細に参照する。添付図面において同様の参照番号は、すべてを通して同様の要素を指す。特徴は、図を参照することにより、本発明を説明するために以下に説明される。

本発明の特徴を詳細に説明する前に、本発明は、その適用が以下の記載に説明された、または図面に示された構成部品の詳細な設計および配置に限定されないことを理解されたい。本発明は、他の特徴が可能である、または様々な方法で実施もしくは実行することが可能である。また、本明細書に利用された表現および用語は、説明のためであり、限定としてみなされるべきではないことを理解されたい。

ここで、本発明の一態様による、車両１８に搭載されたカメラまたは画像センサ１２を含む、システム１６を示す図１および２を参照する。順方向の視野を撮像する画像センサ１２は、画像フレーム１５をリアルタイムで提供し、画像フレーム１５は、画像プロセッサ３０によって捕捉される。プロセッサ３０を使用して、多数の運転者支援システム／アプリケーションの働きを同時におよび／または並行してするために、画像フレーム１５を処理してもよい。プロセッサ３０を使用して、カメラ１２の前方視野における画像または画像の一部を検出し認識するために、画像フレーム１５を処理してもよい。運転者支援システムは、取り付けられたソフトウェアおよび／または記憶装置１３内のソフトウェア制御アルゴリズムと共に、特定のハードウェア回路（図示せず）を使用して実施されてもよい。画像センサ１２は、単色もしくは白黒、すなわち、色分解がなくてもよく、または画像センサ１２は、色を感知できてもよい。図２の例として、画像フレーム１５を使用して、歩行者検知２０、交通標識認識（ＴＳＲ）２１、前方衝突警告（ＦＣＷ）２２および本発明の特徴による、道路の垂直輪郭または道路平面からの偏差のリアルタイム検出２３として働く。

場合によっては、画像フレーム１５は、異なる運転者支援アプリケーションとの間で分割され、場合によっては、画像フレーム１５は、異なる運転者支援アプリケーションとの間で共有されてもよい。

紹介として、本発明の様々な実施形態は、道路の形状、すなわち垂直輪郭をホスト車両１８内に搭載されたカメラ１２を使用して、道路から正確に検出するために有益である。本明細書に提供されたシステムおよび方法を使用すると、減速バンプ、縁石およびマンホールの蓋などの隆起および／または穴は、わずか２センチメートルの垂直輪郭で道路平面から検知されてもよい。本明細書に開示されたシステムおよび方法は、前方視、側方視および背面視カメラ１２に同様に適用されてもよい。

本明細書に記載された様々な方法は、路面の平面（または四次方程式）モデルを見積り、次いで隆起および穴を検出するために、小さい偏差を平面（または四次方程式）モデルから計算する。

次に、本発明の一態様による、車両１８が道路に沿って移動中に、道路の垂直輪郭のリアルタイム測定のために、簡略化した方法２３の流れ図を示す、図３を参照する。ステップ３０３では、第１の画像フレーム１５および第２の画像フレーム１５は、車両１８内に搭載されたカメラ１２の視野内の道路を捕捉する。第１の画像フレーム１５から第２の画像フレーム１５への画像の移動は、道路の垂直輪郭を検出するために処理される（ステップ３０５）。さらに、ステップ３０５の詳細が、以下の説明に示される。

次に、本発明の特徴による、車両１８内に搭載された前向きカメラ１２から捕捉された（ステップ３０３）、２つの連続した画像フレーム１５ａおよび１５ｂを示す図４も参照する。画像フレーム１５ｂは、画像フレーム１５ａが捕捉された後で捕捉される。同じように、画像フレーム１５ｂは、画像フレーム１５ａを捕捉する前に捕捉されてもよい。以下に説明されるカメラ１２は、Ｍｏｂｉｌｅｙｅ（商標）のａｄｖａｎｃｅ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ（事前警報システム）（ＡＷＳ）（商標）に使用されるような、ＷＶＧＡカメラ（Ａｐｔｉｎａ Ｍ９Ｖ０２４およびＳｕｎｎｙ ４０２８Ａ ５．７ｍｍレンズ）であってもよい。

次に、本発明の特徴による、処理ステップ３０５の詳細を示す流れ図を含む図５も参照する。用語「歪める」は、本明細書に使用される場合、画像の空間から画像の空間への変形を表す。

画像フレーム１５ｂは、画像フレーム１５ａに最初に歪められる（ステップ５０１）。（同様の工程で、画像フレーム１５ａは、画像フレーム１５ｂに最初に歪められてもよい）。道路はほとんど平面としてモデル化することができると考えられる。したがって、道路の像点は、ホモグラフィに従って画像空間を移動する。用語「ホモグラフィ」は、本明細書に使用される場合、射影空間からそれ自体に直線から直線にマッピングする可逆変換を表す。コンピュータ視覚の分野では、空間における同じ平面の２つの画像は、ピンホールカメラのモデルとみなされるホモグラフィによって関連付けられる。

特に、例として、所与のカメラ１２の高さ（１．２５ｍ）、焦点距離（９５０画素）およびフレーム間（１．５８ｍ）の車両の動きに対して、２つの画像フレーム１５ａと１５ｂとのそれぞれの間の道路平面上の点の動きを予測することが可能であってもよい。道路の点の動きに対してほとんど平面のモデルを使用すると、第２の画像１５ｂを第１の画像１５ａに向かって歪めることが可能である。以下のＭａｔｌａｂ（商標）コードは、最初の歪みステップ５０１を実行するはずである。

式中、ｄＺは車両１８の前進運動、Ｈはカメラ１２の高さ、およびｆはカメラ１２の焦点距離である。ｐ_０＝（ｘ_０；ｙ_０）は、道路構造の消滅点である。別法として、車両１８におけるシステム１の取付け中に最初の校正値を使用することが可能であってもよい。式中、ｘ_０は車両１８の前方向であり、ｙ_０は車両１８が水平面上にある際は、水平線である。変数Ｓは、カメラ１２から異なる車両距離Ｚで捕捉された２つの画像フレーム１５ａと１５ｂとの間の画像座標に関する、全体のスケール係数である。用語「相対スケール変化」は、本明細書に使用される場合、カメラ１２までの距離Ｚに依存する画像座標における全体のスケール変化を表す。

次に、本発明の特徴による、最初に歪めるステップ５０１のさらに詳細を示す、流れ図を含む図６を参照する。道路モデルによると、画像１５ｂは、利用可能なヨー、ピッチおよびロールの見積りに従って、画像１５ａに向かった回転（ステップ６０１）によって変形される。見積りは、車両１８内またはカメラ１２内の前方のヨーレートセンサなどの慣性センサからもたらされてもよい。また、見積りは、前の画像フレーム１５から計算された値からもたらされることもある。最初の歪みは、ステップ６０３に示された平面道路の平面モデルに基づいた。

実際には、回転（ステップ６０１）および道路モデルの歪み（ステップ６０３）は、単一の歪みに組み合わせることができるので、共一次内挿法の１つのステップのみが必要とされる。ピッチおよびヨーのみが関与する場合は、これらを画像シフトによって概算することができる。たとえば、ヨーは、方程式１および２から水平画像シフトδθ_{Ｐｉｘｅｌｓ}を概算することができる。

次に、本発明の特徴による、歪められた画像１５ｗとして示された結果、すなわち画像１５ａに向かう画像１５ｂの最初の歪みステップ５０１の結果を示す、図７ａを参照する。歪みは、車両１８の動き（速度計、慣性センサなどから）に基づいてもよい。

次に、本発明の特徴による、画像１５ｄとして示された、歪められた画像１５ｗと画像１５ａとの差を示す、図７ｂを参照する。図７ｂでは、道路上の一部の特徴は依然として完全には位置合わせされないことがわかる。

点のトラッキング
最初の歪み（ステップ５０１）後、道路上の特徴の残余の動きは、画像１５ａから画像１５ｗへの画像表示の均一な移動として、局部的に概算できる。これは、元の画像１５ａと歪められていない画像１５ｂとの間の真の動きではなく、表示の動きも非均一のスケール変化である。

次に、本発明の特徴による、台形領域８０の、歪められた画像フレーム１５ｗを示す図８ａも参照する。車線マークおよび陰影などの強力な特徴に付勢を常に与えるはずである特徴点を見出そうとするのではなく、点の固定格子８４を使用してトラッキングする（ステップ５０７）。点の格子８４は、１５メートル前方に１車線幅で概ねマッピングする、台形領域８０から選択される（ステップ５０３）。点８４は、水平方向に２０画素毎に、垂直方向に１０画素毎に離間される。別法として、特定の分布に従って、点を無作為に選択する。

画像１５ａの各点を中心に、表示が配置される（ステップ５０５）。この場合、表示は、１７ｘ１７の画素四方をもたらす点を中心にした各方向に８画素ある。次いで、標準化された相関関係を、歪められた画像１５ｗに対して計算する（たとえば、Ｍａｔｌａｂ（商標）関数ｎｏｒｍｘｃｏｏｒ２）。ただし、表示の中心は、検索領域内でシフトされる。実際の使用では、ヨーセンサはあるがピッチセンサはなくてもよいので、より厳密な検索領域がｙ方向よりむしろｘ方向に使用される。ｘ方向に（２ｘ４＋１）画素の検索領域が使用されてもよく、ｙ方向に（２ｘ１０＋１）画素の検索領域が使用されてもよい。

最高相関スコアを与えるシフトが発見され、サブ画素解像度０．１画素の最良のスコア位置を中心に絞込み検索が続いた。この絞込みステップは、最高スコアを中心とする整数スコアを放物面または薄板に適合させようとし、サブ画素の一致を計算するために最高スコアを中心とするこれらの整数スコアを使用する、優れた結果を与えた。また、サブ画素解像度０．１画素の絞込み検索は、差の二乗和を最小にするルーカスカナデ法より良好な結果も与えた。

無効なトラッキングは、トラッキングステップ５０７の結果としてトラッキングされた点５０９を残す閾値（たとえば、Ｔ＝０．７）を超えるスコアの点を選択することにより、検索段階で除去されてもよく、歪められた画像１５ｗから画像１５ａへの逆トラッキングは、反対方向に同様の値を与える。逆トラッキングは、左右の検証とステレオ方式に同様である。

次に、本発明の特徴による、歪められた画像フレーム１５ｗにおける台形領域８０の詳細８２を示す、図８ｂも参照する。三角形および円形の点８４は、開始場所にある。菱形の点は、対応するトラッキング場所にある。内座層は円形で示され、外座層は三角形で示される。

堅固な適合
トラッキングステップ５０７の結果としてのトラッキングされた点５０９は、無作為標本抽出（ＲＡＮＳＡＣ）を使用してホモグラフィに適合される（ステップ５１１）。点の数（たとえば、４）は、無作為に選択され、ホモグラフィを計算するために使用される。次いで、点５０９は、ホモグラフィを使用して変形され、閾値により接近した点の数が数えられる。無作為に４点を選択すること、および閾値により接近した点の数を数えることは、多くの回数繰り返され、最高数を与えた４点が保持される。

工程の最後に、最良の４点を使用して点を再度変形し（ステップ５１３）、（恐らく異なる）閾値より接近したすべての点（内座層）は、最小二乗を使用してホモグラフィを計算するために使用される。（恐らく異なる）閾値より接近していない残りの点は、外座層とみなされる。

工程のこの点において、内座層の数および歪められた画像１５ｗにおけるそれらの拡散は、道路平面モデルの発見に成功したことを示す。通例、１００を超える内座層および良好な適合を得る。図８ｂは、円形としての内座層および三角形としての外座層を示す。次いで、ホモグラフィを使用して、最初の位置合わせ歪み（ステップ５０１）を修正できる。最初の位置合わせ歪みの修正は、修正を最初の歪みに統合することによってなされる(ステップ５０１)、または２つの歪みを連続してなすことができる。前者は、１つの挿入ステップのみを必要とするので有利であり、２つのホモグラフィ行列の行列乗算により、恣意的に実行できる。

次に、本発明の特徴による、画像１５ａに向かって歪められた画像１５ｗの精密な歪みの結果を示す、図９ａを参照する。図９ａにおいて、道路上の特徴は、ほとんど完全に位置合わせされる。しかし、依然として構成されない一部の明度差が存在する。

次に、本発明の特徴による、画像１５ａに向かって歪められた画像１５ｗと画像１５ａとの差を示す、図９ｂを参照する。

高密度のトラックおよび残差流
歪められた画像１５ｗを与えるために、画像１５ａに向かって画像１５ｂを歪めた後、精密な歪みを使用して（ステップ５１３）、点のトラッキング（ステップ５０７）は、より精密な格子（たとえば、５番目の行毎に５番目の画素）を使用し、道路のより広い領域を跨いで繰り返されてもよい。道路平面は非常に良好に位置合わせされるので、より小さい領域は、各方向に２画素などを超えて、再度サブ画素検索で検索されてもよい。

次に、本発明の特徴による、点の高密度格子のトラッキング結果を示す、図１０ａを参照する。図１０ａは、車両を伴う領域１２４および車両上の陰影１０４を含む。また、領域１２０および１２２は、それぞれマンホールの蓋１００および歩道１０２を含む。図１０ｂ、１０ｃおよび１０ｄは、それぞれ領域１２４、１２０および１２２のより詳細を示す。

結果は、Ｍａｔｌａｂ（商標）の振動描画として図１０ａ〜１０ｄに示されている。Ｍａｔｌａｂ（商標）の振動描画は、点（ｘ，ｙ）における成分（ｕ，ｖ）の矢印として、速度ベクトルを表す。たとえば、第１のベクトルは、成分ｕ（１），ｖ（１）によって定義され、点ｘ（１），ｙ（１）で表される。振動（ｘ，ｙ，ｕ，ｖ）は、ｘおよびｙのそれぞれの対応する対の要素に指定された、座標における矢印としてベクトルを描画する。道路上の点は、ゼロに近い流れを示すべきである。道路平面の上の特徴の点は、ゼロより大きい流れを有することになり、道路平面より下の点は、ゼロより下の残差流を有することになる。正の流れは、拡大焦点（ＦＯＥ）から離れる（概して言えば下に外方に）流れとして定義される。図１０ｄに示されたような高くなった歩道１０２、および図１０ｃに示されたような沈んだマンホールの蓋１００は、はっきりと表れることに留意されたい。また、道路に固定されていない物体も、車両または車両上の陰影１０４として著しい残差流を示す。０．５画素を超える流れの点は、高くなった歩道１０２内に示され、−０．５画素より下の流れの点は、沈んだマンホールの蓋１００の上、車両上および車両上の陰影１０４に示される。

したがって、歩道は、細長い線により低い残差流の領域から分離される比較的同質の正の残差流の領域を検出することによって検出されることが可能である。これらの線は、ＦＯＥの方向、または道路の方向（すなわち、車線マークの消失点の方向）に概ね進む。

ノイズに対する著しい堅牢性は、近隣点からの情報を組み合わせることによって（すなわち、ある種の平滑な制約に適応して）、変化する手法でグローバルコスト関数を使用することによって、または動的プログラミングを使用することによって、達成されることが可能である。

変化する手法
まず初めに、ホーン・アンド・シュンクのオプティカルフロー計算法は、画像１５ａと歪められた画像１５ｂとの間に適用されてもよい。（Ｈｏｒｎ， Ｂ．Ｋ．ＰおよびＢ．Ｇ． Ｓｈｕｎｃｋ、「Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ」、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１７、Ｎｏ．１〜３、１９８１年８月、ｐｐ．１８５〜２０３）画像は良好に位置合わせされるので、アルゴリズムは非常に良好に収束することができる。ＨｏｒｎおよびＳｈｕｎｃｋは、データおよび誤差項の両方に対して二次誤差関数を使用する。より良好な結果は、Ｌ１誤差項を使用して得ることができる。Ｃｅ Ｌｉｕのオプティカルフロー・コード（Ｃ． Ｌｉｕ。Ｂｅｙｏｎｄ ｐｉｘｅｌｓ： ｅｘｐｌｏｒｉｎｇ ｎｅｗ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ａｎｄ ａｐｐｌｉｃａｔｏｎｓ ｆｏｒ ｍｏｔｉｏｎ ａｎａｌｙｓｉｓ。Ｄｏｃｔｏｒａｌ Ｔｈｅｓｉｓ。Ｍａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ。２００９年５月。Ａｐｐｅｎｄｉｘ Ａ１４３〜１４８ページ）は、非常に良好に作用する。コードは、Ｂｒｏｘらの研究に基づいてＣｅ Ｌｉｕによるものである。（Ｔ． Ｂｒｏｘ、Ａ． Ｂｒｕｈｎ、Ｎ． Ｐａｐｅｎｂｅｒｇ、およびＪ． Ｗｅｉｃｋｅｒｔ。Ｈｉｇｈ ａｃｃｕｒａｃｙ ｏｐｔｉｃａｌ ｆｌｏｗ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ａ ｔｈｅｏｒｙ ｆｏｒ ｗａｒｐｉｎｇ。Ｉｎ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）、２５〜３６ページ、２００４年。）

しかし、Ｃｅ Ｌｉｕのコードに一部の変更がなされた。変化する手法を使用する際、計算が、以下の２つの理由のために、ピラミッドの１レベル（ネストまたは元のレベル）のみが制限される。
１．道路上の組織は非常に細かいことが多く、組織は最も高い解像度の画像のみで見られ、ピラミッドの上のレベルにはない。通常、道路上に粗い組織は存在しないので、粗い組織から細かい組織に作用しない。
２．解は、著しく粗い尺度の明度特性に向かって引かれるべきではない。そうでない場合は、解は、良好に位置合わせされた開始点から引き離され、決して回復しない。

さらなる項が、平面モデルから遠く外れるために不利になる（すなわち、１画素を超える、または他のいくらかの閾値の流れに対して）、コスト関数に加えられてもよい。以下の関数

は、良好に働く。式中、ｕおよびｖは、ｘおよびｙにおけるそれぞれの値であり、ａはコスト項の形状を決定する。ａ＝４は良好に働く。λはデータ項および平滑項と比較して、このコスト項に重きをおく。

画像間の明度変化の効果を低減するために、帯域または高域のフィルタリングを実施してもよい。たとえば、以下の通りである。
ｆ＝ｏｎｅｓ（５）；
ｆ＝ｆ／ｓｕｍ（ｆ（：））；
ｆ＝ｃｏｎｖ２（ｆ，ｆ）；
ｆ＝ｃｏｎｖ２（ｆ，ｆ）；
ｆ＝ｃｏｎｖ２（ｆ，ｆ）；
ｉｍ１ｆ＝ｃｏｎｖ２（ｉｍ１，ｆ’，ｓａｍｅ’）；
ｉｍ２ｆ＝ｃｏｎｖ２（ｉｍ２，ｆ’，ｓａｍｅ’）；
ｉｍ１＝ｉｍ１−ｉｍ１ｆ；
ｉｍ２＝ｉｍ２−ｉｍ２ｆ；

オプティカルフローの計算は、通常道路によって占められる画像の部分のみに適用されてよい。たとえば、水平線から下のみに開始することにより、１００列が左右に除去され、画像１５ａの底部も歪められた画像１５ｗ内に現れない（また、歪められた画像内にゼロである。図９ａを参照されたい）。

Ｍａｔｌａｂ（商標）においてコードは以下の通りである。
ｉｍ１＝ｉｍ１（２００：４００，１００：５４０）
ｉｍ２＝ｉｍ２（２００：４００，１００：５４０）

次に、本発明の特徴による、Ｍａｔｌａｂ（商標）のコードを超えるオプティカルフロールーチンに流れ込む、２つのフィルタリングされ、切断された画像を示す、図１１を参照する。オプティカルフロールーチンへの入力として使用される、フィルタリングされ、切り取られた２つの画像は、高域のフィルタリングによって高められた道路の組織を有する。

次に、本発明の特徴による、グレースケール画像として、残差のオプティカルフローのｙ成分を示す、図１２を参照する。暗部表示は、水平軸および垂直軸のそれぞれの上の（３００，４００）に集中したことに留意されたい。暗部表示は、道路内に沈む、マンホールの蓋１００上の負の残差流に起因する。実線は、ホスト車両車輪の正面に０．５ｍ幅のトラックを示す。点線は、実線の各対の間のデータの行平均である。データは、データの形状を可視にするために３０により計測される。マンホールの蓋１００に起因する右の点線の赤い線において著しい窪みに留意されたい。

次に、本発明の特徴による、元の画像１５ａの上にある図１２に示されたものと同じデータを示す、図１３を参照する。実線は、ホスト車両の車輪の正面に０．５ｍ幅のトラックを示す。点線は、実線の各対の間のデータの行平均である。

次に、本発明の特徴による、ｙ方向の平面の動き流れに対する、画像のｙ座標のグラフを示す、図１４を参照する。図１２および１３に示された同じ情報は、メートル値に変換できる。まず、回転歪み、最初の歪みおよび精密な歪みは、単一の歪みに組み合わせられたとみなされる。次に、単一の歪みで、道路上の点を画像１５ａから画像１５ｂに正確にマッピングする有効な機能が存在する。図１４は、平面モデルによるｙ方向に予期される流れを示す。流れは、ｙ軸が歪められた画像１５ｗのｙ軸に位置合わせするように、ｘ軸上に描画された。

最小流れのｙ座標は、画像１５ａの画像空間のｙ_０、換言すると画像１５ａ内の道路の水平または消失点に対応する。図１４の場合、画像の座標ｙ＝２００である。最小のｘ座標は、画像１５ａと歪められた画像１５ｗとの間のｙ_０に対する値の変化である。画像１５ａと歪められた画像１５ｗとの間のｙ_０に対する値の変化は、有効な実際のピッチの画素単位の値である。図１４に示された場合では、実際のピッチの値は１０画素である。

ｙ_０を所与として、行座標を道路平面上の距離に変換するのは容易である。

前進運動のみに起因する道路平面の流れ（すなわち、ピッチに対する補償後）は、組み合わせられた歪み値からピッチを引くことによって得られる。ｖを道路平面に対する流れとし、δｖを残差流とする。次いで、道路δＨからの点の高さは、以下によって得られる。

次に、本発明の特徴による、カメラ１２からのメートル単位の距離に対する、道路プロファイルのメートル単位のグラフを示す、図１５を参照する。図１５は、メートル単位の距離および高さの図１２の右側トラックの道路プロファイルを示す。

動的プログラミング
動的プログラミングの使用において、（図１３に示されたような）０．５ｍ幅で、車両１８の車輪の１つの正面に２０ｍ延びるトラックなどの、狭いトラックに対して、路面は道路Ｚ上の距離の一次関数としてモデル化することができると考えられる。

ストリップにおける各点に対して、標準化された相互関係は、サブ画素の精度に点の周囲の小さい検索領域内で計算されてもよい。小さい検索領域内で計算された標準化された相互関係は、上に記載された精密な解像度の格子と同様である。しかし、前のように各点に対して最高の相互関係を選ぶのではなく、行に沿って平均の相互スコアをそれぞれの可能性のある残差流に対して計算し、外座層を除去するために平均した堅固性が使用されてもよい。

次に、ｙの関数として関数δｖまたはＺの関数としてδＨを見出され、これは合計相関スコアおよび一部の平滑スコアを最大にする。また、平面モデルから偏差のために不利益となる項を追加することも可能である。

この種の一次元最適化問題により、それ自体が動的プログラミングをもたらす。第１の行に対して、各残差流に対するスコアは、所与の範囲内（たとえば、２画素）で計算される。次いで、各行ｎ＋１に対して、行ｎ＋１に沿って平均相関スコアに関連するスコアが計算される。また、行Ｎにおける累積スコア、およびこの残差流と行ｎにおける残差流との間の平滑スコアを考慮する最良のスコアである、各残差流に対するスコアが計算される。

より明確にするために、ＮｘＭ表を提示する。ただし、Ｎはトラックにおける画像の行数（たとえば、２５０から４００の間の１５０行）であり、Ｍは残差流の検索空間である。たとえば、第２１値は[−１：０．１：１]である。Ｎ行の１番目は、単に、範囲[−１：０．１：１]内の各残差流に対する、各残差流Ｓ_ＮＣ（１，ｉ）で得られる平均相関スコアである。

一般的な行ｎ（ただし、ｎ＝２〜Ｎである）に対して、表項目Ｔ（ｎ，ｊ）の値は、残余動きｊ（Ｓ_ＮＣ（ｎ，ｊ）に対する行ｎの平均相関スコアと、Ｔ（ｎ−１，ｉ）と平滑スコアＳ_ｓｍ（ｉ，ｊ）の組合せを最大にするスコアとの組合せである。

式中、ΨおよびΦはスコアを組み合わせる関数である。単関数は加算が可能である。表が満たされた後、最短経路を得るために逆トラッキングを実行し、最短経路は表面を説明する。

単一フレームシステムへの更新
計算方向
以前の型では、最近のフレームが以前のフレームに向かって歪められ、道路プロファイルが、以前のフレームの座標系において計算された。最近の型はこれを逆転し、以前の画像を最新の画像に向かって歪め、道路プロファイルは、この最新の座標フレームにおいて計算される。計算は同じであるが、以下の利点を有する。
１．以前の画像を最新の画像に向かって歪めることは、適用に対して最適な座標フレームをもたらす。
２．前方に運転する際（通常の状況）、最新画像に現れるすべての道路は、以前の画像内で見られてきた。たとえば、図７ｂの例に表すように、「黒い」領域は存在しない。
３．これによりマルチフレームの概念の実行がより容易になる。

フレームの選択
現在のフレームは、フレーム２として選択され、次いで、車両の動きが一定値（たとえば、１ｍ）を超える場合に、以前のフレームの中で最新のものを見出すために、フレームを通して逆検索がなされる。一定値を超える車両の動きは、車両速度およびフレームの時刻印に基づく。このフレームはフレーム１と表される。

最初の動き歪み
最初の動き歪みに対するパラメータは、慣性センサから、もしくは画像自体から、またはその２つの混合から決定することができる。たとえば、通常の現代の車両では、速度もヨーレートを利用可能である。ピッチレートは利用可能ではない場合があり、画像から見積られる。

ホモグラフィ行列を使用して歪みを実施することは、より便利である。そのように歪みを単一の歪みに一緒に組み合わせることができる。

最初の動き歪みの段階で、近似値は、シフトし、回転を無視してヨーおよびピッチの歪みを実行するなどで使用することができる。後の位置合わせ段階は、あらゆるアフィンおよび射影運動を修正する。

画像間のヨー回転は、画素に変換されたヨー角シータに基づく。次いで、ホモグラフィ行列が、画像をシフトするために構築される。
ｄＴｈｅｔａ＝ｄｔ^＊ｙａｗＲａｔｅ；
ｄＴｈｅｔａＰｉｘ＝ｆ^＊ｄＴｈｅｔａ^＊ｐｉ／１８０；
ｄｘ＝ｒｏｕｎｄ（ｄＴｈｅｔａＰｉｘ）；
Ｈｄｘ＝ｅｙｅ（３）；
Ｈｄｘ（１，３）＝ｄｘ；

画像間のピッチは、水平線上に集中した大きい表示をトラッキングすることにより、画像から決定される（高解像度１２８０ｘ９６０画素の画像に対して、表示は幅４００画素および高さ２００画素である）。表示は、水平方向に±８０画素を超えてトラッキングされ、最良の整合は、ピッチ値として使用される。領域をサブ表示にぴたりと付けることができる別法として、各経路をトラッキングし、中央値を使用する。次いで、ホモグラフィ行列は、画像をシフトするために以下のように構築される。
％はピッチを見出し、ピッチに基づいてＸ軸（シフトとしての概算）を中心に回転する
ｄｙ＝ｆｉｎｄＭｏｔｉｏｎＹ（１２，１１，ｙ０）
Ｈｄｙ＝ｅｙｅ（３）；
Ｈｄｙ（２，３）＝ｄｙ；

車両速度、焦点距離およびカメラの高さを使用して、予測される道路の動きを計算する。予測される道路の動きもホモグラフィである。
Ｈｓ１＝ｅｙｅ（３）；
Ｈｓ１（１，３）＝−ｘ０；
Ｈｘ１（２，３）＝−ｙ０；
Ｓ＝ｄＺ／（ｆ^＊Ｈ）；
Ｈｓ２＝ｅｙｅ（３）；
Ｈｓ２（３，２）＝Ｓ；
Ｈｓ３＝ｅｙｅ（３）；
Ｈｓ３（１，３）＝ｘ０；
Ｈｓ３（２，３）＝ｙ０；
Ｈｗ＝Ｈｓ３^＊Ｈｓ２^＊Ｈｓ１；

次いで、３つのホモグラフィが、完全な変形を形成するために一緒に乗算される。
Ｈａｌｌ＝Ｈｗ^＊Ｈｄｙ^＊Ｈｄｘ；
Ｉ１ｈｗ＝ｈｏｍｏＷａｒｐ１（Ｉ１ｏｒｉｇ，Ｈａｌｌ）；
Ｉ１ｗ＝Ｉ１ｈｗ；

点のトラッキングおよび堅固な適合
ＲＡＮＳＡＣの結果は、最初の歪みＨａｌｌに訂正ホモグラフィＨ２ｆｉｘｅｄである。訂正ホモグラフィＨ２ｆｉｘｅｄおよび最初の歪みＨａｌｌは、以前の画像１から現在の画像２に道路平面の正確なホモグラフィを与えるために一緒に乗算することができる。
Ｈ２ｆｉｎａｌ＝Ｈａｌｌ^＊Ｈ２ｆｉｘｅｄ

正確なホモグラフィ行列を表したＡ’は、カメラ１２の動きからなる。

および水平な平面

カメラと平面の距離ｄ’πおよびカメラの行列ＫおよびＫ’

「’」は、第２の画像の座標系における項を表すために使用される。カメラの行列ＫおよびＫ’は同じであり公知であるので、ホモグラフィ行列Ａ’はその成分に分解されることが可能である。

高密度のトラッキングおよび残差流
高密度の流れを全画像を通して計算する代わりに、車両の表示がヨーレートおよびステアリング角に基づいて予測され、カメラに対する左右の車輪の位置が与えられる。各車輪に対して、たとえば幅０．５ｍの表示は、平面のパラメータを使用して画像に投影される。この表示に沿って５番目の画像毎に、表示幅が０．０５ｍ毎を表す１１の格子点に分けられる。

０．０５ｍ毎を表す１１の格子点に分けられた表示幅は、（各車輪の）表示に沿って良好に画定された格子点の組を与える。トラッキングは、各格子点を中心に集中した１７ｘ１７または９ｘ９画素の表示サイズに対して、画像２と歪められた画像１との間で実行される。ｘおよびｙの両方において±８画素の検索領域が使用され、ｙ方向のサブ画素解像度の検索を含む。ｘ方向のサブ画素解像度の検索も実行できるが、試験は改善された性能を示さず、ｘ方向のサブ画素解像度の検索は計算時間を増加させた。最適化として、各画素に対する検索領域は画像内の各画素位置および拡大焦点（ＦＯＥ）の位置に基づいて最適化されるのは、流れがＦＯＥを通過する線上のみに予期されるからである。

代替の最適化は、ＦＯＥが無限にマッピングされるように、画像を修正することになり、視座は頭上の視点にマッピングされ、流れは垂直になる。代替の最適化は、２つのカメラのステレオ方式での修正に非常に類似している。しかし、画像上の変形が道路に沿った異なった距離に対して全く異なると考えると、画像内の水平のストリップに対して個別に修正を実行することは有利であろう。各ストリップに対して、幅が著しく変化しない場合は、１行が存在する。その１行より上の行は延び、下の行は縮む。たとえば、５ｍ〜２０ｍの道路領域に対して、７ｍを中心に５ｍ〜１０ｍの１つのストリップを歪めることができる。第２のストリップは、１１ｍを中心に８ｍ〜１６ｍであることが可能であり、第３のストリップは、１７ｍを中心に１４ｍ〜２２ｍあることが可能である。

ストリップは、画像の全幅を延ばさないが、表示サイズを可能にする余白を伴って車輪のトラックを網羅するのに十分な幅のみを延ばす。

各点に対して、有効ビットは、前向き後向きの検証、最小相関値ならびにｘおよびｙの流れ値を可能にする閾値に基づいて設定される。各行に対して、行に沿った１１点のうちの有効点の中間値は、該行に対する値として取られる。行に沿った有効点の数は、信頼値である。有効点がない行に対して、残差流値は、上下の近隣の有効点から挿入される。

さらに平滑にするステップが使用できる。たとえば、幅３の中間フィルタに続いて、幅３のフィルタを平均することを使用することができる。これにより残差流が得られる。

残差流は以下のようにわかる。

式中、Ｈは基準フレームからの最高点である。経路に沿った各点に対する残差流を考えると、方程式によりＨを求めることができる。

画素およびサブ画素の解像度において精密なトラッキングを実行することは便利であるが、平面の上下の高さの観点から検索領域を画定することも可能である。たとえば、−２画素から２画素までをサブ画素の解像度０．１画素の精度で検索する代わりに、−０．２ｍ〜０．２ｍの高さをー０．０１ｍの増加で検索することが可能である。−０．２ｍ〜０．２ｍの高さのー０．０１ｍの増加での検索は、高さを画素シフトに変換し、標準化した相互相関を実行することが必要である。検索は、より高額であるが、最初のコスト関数において、メートルの平滑制限を課すことが可能になる。

また、検索により３つ以上の動きからの情報を組み合わせる方法も可能になる。一連の３つのフレーム１、２および３を検討する。
１．フレーム１および３をフレーム２に向かって歪める。
２．点をトラッキングし、１から２へ、また３から２へ良好にトラッキングされた有効点を保持する。
３．ＲＡＮＳＡＣを実行し、画像２から４点を選択し、画像１および３からホモグラフィを計算する。しかし、内座層の計算は、１から２および３から２へのマッピングからの最小内座層である。
４．１から２および３から２への最終ホモグラフィを計算し、画像を歪める。
５．車輪トラックに沿った点に対して、基準平面から最良最高値の検索を実行する。各最高値に対して、２から１および２から３への残差画素を個別に計算し、標準化した相関スコアを個別に計算し、平均（または最小化もしくは最大化）する。別法として、組み合せられた標準化した相関スコアを計算することも可能である。
６．最良スコアを選択する。

マルチフレーム分析
システムは、形状の特徴および１０ｍより数センチメートル超える高さである隆起を検出できる。当然、システムにはいくらかのノイズも存在し、疑似隆起が検出される。しかし、実際の形状の特徴は、車両の動きと一致して動く一方で、ノイズに起因する疑似形状の特徴は、無作為に現れるか、または疑似形状の特徴が人為的な撮像に起因する場合は、画像内で移動しない場合がある。物体の移動に起因する形状の特徴も、車両と一致して動かない。

したがって、情報を経時的に蓄積することが有益である。一方法は、平面情報および道路プロファイル情報を使用して３Ｄ（Ｘ，Ｙ，Ｚ）座標内に道路プロファイルを生成し、次いで車両のエゴモーションを使用して、フレームからフレームにモデルを変形する。カルマンフィルタを使用することが可能である。

別の方法は、ホモグラフィ自体を使用して、情報を経時的にフレームからフレームに運ぶ。情報を経時的にフレームからフレームに運ぶために、ホモグラフィ自体を使用することは、道路プロファイルが路面上に画定されたことを巧みに生かしており、形状の特徴に起因する実際の偏差は１または２画素であり、表面領域または表示の大きさよりはるかに小さいと考えられる。基本マルチフレームのアルゴリズムは、以下の通りである。
１．フレームｎ−ｍを計算したマルチフレームの道路プロファイルを仮定する。式中、ｍは１と等しいことが多いが、各フレームに対するプロファイルの計算が必要ない場合は、それより大きいことがある。
２．フレームｎおよびフレームｎ−ｋを使用して、フレームｎに対する単一フレームの道路プロファイルを計算する。式中、ｋはｍと等しくないことがある。通常、ｋは車両の動きが１ｍなどの一定値を超えるように選択される。
３．マルチフレームのプロファイルおよび単一平面のプロファイルは、異なる基準平面を使用する。異なる基準平面は、重複する著しい領域と同じ道路によって決定されるので、非常に類似していることが多いが、減速バンプを通過する際に非常に類似した基準フレームの仮定が崩れる。したがって、減速バンプの通過を以下によって補うことが重要である。
（ａ）π_ｍをマルチフレーム・モデルの基準平面とし、π_ｎを単一のフレームモデルの基準平面とする。
（ｂ）車両経路（ｘ，ｙ）に沿った各点に対して、平面π_ｍ上の対応する（Ｘ，Ｙ，Ｚ）点を計算する。次に、点（Ｘ，Ｙ，Ｚ）から平面π_ｎまでの距離を計算する。
（ｃ）点（Ｘ，Ｙ，Ｚ）から平面π_ｎまでの距離を、経路に沿った該点に対する道路プロファイルに加算する。
４．フレームｎとフレームｎ−ｍとの間の道路のホモグラフィ行列（Ｈ_ｎｍ）を計算する（ｍ＝ｋの場合は、結果を再利用できる）。
５．Ｈ_ｎｍの逆数を使用して、経路座標（ｘ１，ｙ１）をフレームｎ−ｍからフレームｎに変形する。これによりフレームｎの座標（ｘ１_ｈ，ｙ１_ｈ）内のフレームｎ−ｍから経路が得られる。

６．マルチフレームの道路プロファイルの値（ＰｒｏｆＬ_１）および信頼値（ＶＳ_１）をフレームｎの経路の座標（ｘ２，ｙ２）に挿入する。

上のコードでは、経路内での小さい水平方向の変化のみが考えられる。大きい水平方向の変化が予期される場合は、マルチフレームの信頼値から点（ｉ）で差（ｘ１ｈ（ｉ）−ｘ２（ｉ））の関数を減ずることが可能である。
７．新しいマルチフレームのプロファイルは、歪められたマルチフレームのプロファイルと現在の単一フレームのプロファイルとの間の加重平均である。

加重することは、信頼スコアおよび時間係数（ａ）に基づく。ただし、このＭａｔｌａｂコードに留意されたい。ＰｒｏｆＬ＿１、ＶＳ、ＰｒｏｆＬ、ＶＳ＿１ＩｎｔｅｒｐおよびＰｒｏｆＬ＿１Ｉｎｔｅｒｐは、すべてベクトルであり、加重平均はベクトルＰｒｏｆＬ＿１に沿った各要素に対して実行される。
８．マルチフレームの信頼値も計算される。

ただし、定義されたように、単一フレームの信頼値（ＶＳ）は、ゼロ〜１１（０．０５ｍ毎に抽出された幅０．５ｍの経路と仮定する）の数のベクトルであることに留意されたい。最大関数は、マルチフレームの信頼値がベクトルにおける各点に対してゼロでないことを確保する。

本発明の実施形態は、運転者支援アプリケーションの概念において提供されているが、本発明の実施形態は、例として、通信、機械視覚、音声および／もしくは発話処理などの、他のリアルタイムの信号処理アプリケーションならびに／またはデジタル処理アプリケーションで等しく適用可能であってもよい。

不定冠詞「ａ」、「ａｎ」は、「ａｎ ｉｍａｇｅ」（１つの画像）が「ｏｎｅ ｏｒ ｍｏｒｅ」（１つまたは複数）の意味を有する、すなわち「ｏｎｅ ｏｒ ｍｏｒｅ ｉｍａｇｅｓ」（１つまたは複数の画像）であるように、本明細書で使用される。

本発明の選択された特徴が示され、説明されたが、本発明は、説明された特徴に限定されないことを理解されるべきである。その代わりに、本発明の原理および精神、特許請求の範囲およびその等価物によって定義されたその範囲から逸脱することなく、これらの特徴がなされ得ることを理解されるべきである。

Claims (22)

1. 歩道を検出するためのシステムであって、前記システムは少なくとも一つのプロセッサを含み、前記プロセッサは、
   第１の画像および第２の画像に基づいて、前記第１の画像内の道路平面上の複数の点のそれぞれの高さを見積ることであって、ここで前記第１の画像と前記第２の画像はカメラによって捕捉され、前記第１の画像と前記第２の画像は道路および歩道を有する環境を含む、前記第１の画像内の道路平面上の複数の点のそれぞれの高さを見積ることと、
   前記複数の点のそれぞれの高さに基づいて、道路平面に対して高くなった平面を特定することと、
   前記高くなった平面に基づいて歩道を検出することと
   を実行するようにプログラムされており、
   前記プロセッサは、前記第１の画像および前記第２の画像に基づいてオプティカルフローを見積り、正の残差流の領域を検出するようにさらにプログラムされており、前記正の残差流の領域は、１つ以上の細長い線によって低い残差流の領域から分離されている、
   歩道を検出するためのシステム。
2. 歩道を検出するためのシステムであって、前記システムは少なくとも一つのプロセッサを含み、前記プロセッサは、
   第１の画像および第２の画像に基づいて、前記第１の画像内の道路平面上の複数の点のそれぞれの高さを見積ることであって、ここで前記第１の画像と前記第２の画像はカメラによって捕捉され、前記第１の画像と前記第２の画像は道路および歩道を有する環境を含む、前記第１の画像内の道路平面上の複数の点のそれぞれの高さを見積ることと、
   前記複数の点のそれぞれの高さに基づいて、道路平面に対して高くなった平面を特定することと、
   前記高くなった平面に基づいて歩道を検出することと
   を実行するようにプログラムされており、
   前記プロセッサは、前記第１の画像および前記第２の画像に基づいてオプティカルフローを見積るようにさらにプログラムされ、道路平面より上の特徴の像点は、ゼロより大きい流れを有し、道路平面より下の像点は、ゼロより下の残差流を有する、
   歩道を検出するためのシステム。
3. 前記高くなった平面は、細長い線により前記道路平面から分離されている、請求項１又は２に記載のシステム。
4. 前記高くなった平面は、前記道路平面に沿って延びる細長い構造である、請求項１又は２に記載のシステム。
5. 前記高くなった平面は、前記道路上の複数の車線マークの方向に沿って延びる細長い構造である、請求項１又は２に記載のシステム。
6. 前記プロセッサは、前記複数の点のうちの隣接する点からの情報を結合することにより、前記高くなった平面を特定するようにさらにプログラムされている、請求項１又は２に記載のシステム。
7. 前記プロセッサは、前記複数の点のうちの少なくともいくつかに平滑な制約を適用するようにさらにプログラムされている、請求項６に記載のシステム。
8. 前記歩道上の像点は０．５画素を超える流れを有する、請求項１又は２に記載のシステム。
9. 前記１つ以上の細長い線は、ほぼオプティカルフローの拡大焦点または道路の方向にある、請求項１に記載のシステム。
10. 前記道路上の像点は、ゼロに近い流れを有する、請求項１又は２に記載のシステム。
11. 前記第１の画像および前記第２の画像は、前記カメラによって連続的に捕捉される、請求項１又は２に記載のシステム。
12. 歩道を検出するための方法であって、前記方法は、
    カメラによって捕捉された第１の画像にアクセスすることであって、前記第１の画像は道路および歩道を有する環境を含む、カメラによって捕捉された第１の画像にアクセスすることと、
    カメラによって捕捉された第２の画像にアクセスすることであって、前記第２の画像は道路および歩道を有する環境を含む、カメラによって捕捉された第２の画像にアクセスすることと、
    前記第１の画像の複数の点において、前記第１の画像および前記第２の画像に基づいて、道路平面上の前記複数の点のそれぞれの高さを見積ることと、
    前記複数の点のそれぞれの高さに基づいて、道路平面に対して高くなった平面を特定することと、
    前記高くなった平面に基づいて歩道を検出することと
    を含み、
    前記第１の画像および前記第２の画像に基づいてオプティカルフローを見積り、正の残差流の領域を検出することをさらに含み、前記正の残差流の領域は、１つ以上の細長い線によって低い残差流の領域から分離されている、
    方法。
13. 歩道を検出するための方法であって、前記方法は、
    カメラによって捕捉された第１の画像にアクセスすることであって、前記第１の画像は道路および歩道を有する環境を含む、カメラによって捕捉された第１の画像にアクセスすることと、
    カメラによって捕捉された第２の画像にアクセスすることであって、前記第２の画像は道路および歩道を有する環境を含む、カメラによって捕捉された第２の画像にアクセスすることと、
    前記第１の画像の複数の点において、前記第１の画像および前記第２の画像に基づいて、道路平面上の前記複数の点のそれぞれの高さを見積ることと、
    前記複数の点のそれぞれの高さに基づいて、道路平面に対して高くなった平面を特定することと、
    前記高くなった平面に基づいて歩道を検出することと
    を含み、
    前記第１の画像および前記第２の画像に基づいてオプティカルフローを見積ることをさらに含み、道路平面より上の特徴の像点は、ゼロより大きい流れを有し、道路平面より下の像点は、ゼロより下の残差流を有する、
    方法。
14. 前記高くなった平面は、細長い線により前記道路平面から分離されている、請求項１２又は１３に記載の方法。
15. 前記高くなった平面は、前記道路平面に沿って延びる細長い構造である、請求項１２又は１３に記載の方法。
16. 前記高くなった平面は、前記道路上の複数の車線マークの方向に沿って延びる細長い構造である、請求項１２又は１３に記載の方法。
17. 前記複数の点のうちの隣接する点からの情報を結合することにより、前記高くなった平面を特定することをさらに含む、請求項１２又は１３に記載の方法。
18. 前記複数の点のうちの少なくともいくつかに平滑な制約を適用することをさらに含む、請求項１７に記載の方法。
19. 前記歩道上の像点は０．５画素を超える流れを有する、請求項１２又は１３に記載の方法。
20. 前記１つ以上の細長い線は、ほぼオプティカルフローの拡大焦点または道路の方向にある、請求項１２に記載の方法。
21. 前記道路上の像点は、ゼロに近い流れを有する、請求項１２又は１３に記載の方法。
22. 前記第１の画像および前記第２の画像は、前記カメラによって連続的に捕捉される、請求項１２又は１３に記載の方法。
    

Images