JP7213667B2 - 区画領域および移動経路の低次元の検出 - Google Patents

Description

本発明は、特に陸上車両、船または航空機において使用するための、画像にもとづく区画領域および移動経路の検出に関する。

運転者支援システム、または少なくとも部分的に自動化された運転のために頑健な周辺検知が非常に重要である。特に、他車両から、または塀やガードレールなどの定置のオブジェクトから区切られた走行可能平面を決定することが重要である。

近年、前述の周辺の特徴を頑健に認識できるようにするために、機械学習、特にディープラーニングの方法が使用されることが増えている。その際、測定データにもとづいて分類されることが多い。極端な事例は、個々のピクセルごとに関連するクラス（例えば、道路、自動車、建物）が決定される、カメラ画像のいわゆるセマンティックセグメンテーション（またはピクセルラベリング）である。非特許文献１はその一例を示す。

特許文献１はこれに代わる手法を開示する。ここでは一次元グラフが作成され、そのグラフ内の各ノードが画像内の列に対応する。特徴の認識にもとづいて、グラフ上にエネルギー関数が作成される。このエネルギー関数は、移動するオブジェクトの近傍の自由空間を決定するために最大にされる。

米国特許出願公開第２０１５／２０６０１５号明細書

Ｅ．Ｓｈｅｌｈａｍｅｒ、Ｊ．Ｌｏｎｇ、Ｔ．Ｄａｒｒｅｌｌ、「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ａｒＸｉｖ：１６０５／０６２１１、２０１６年

本発明の範囲内で少なくとも１つの画像から区画領域および／または少なくとも１つのオブジェクトの移動経路を検出する装置が開発された。

区画領域は、衝突が回避されるべき特定のオブジェクトがないという意味で、例えば歩行可能または走行可能な領域であり得る。しかしこの概念は、例えば緑地帯または草地を車道から、建物のファサードを窓から、海を浜から、またはタラップを水から区切ることも含む。領域間の分離は、例えば実線で互いに分離されている２つの走行車線など、単にセマンティックな分離であってもよい。

移動経路は、一般に、オブジェクトが次々にとる場所の連続を示す。この連続がそれぞれの場所にオブジェクトが存在する時間もさらに含む場合、これを軌跡（ｔｒａｊｅｋｔｏｒｉｅ）という。

その際、歩行可能または走行可能な領域という概念は、画像を撮影したカメラが移動型であることに縛られない。カメラは据置型であってもよく、例えば大規模な催しのための駐車場または敷地の空き具合を監視することができる。

同様に移動経路が決定されるオブジェクトという概念は、カメラを搭載したオブジェクトに限定されない。例えば据え置きに取り付けられたカメラによって交通の流れを監視することができる。同様に移動型カメラを装備した車両は、自車両の移動経路とならんで他車両の、歩行者の、または他の任意のオブジェクトの移動経路を監視することもできる。

画像という概念は、特定の種類の画像撮影に縛られず、画像が光学画像であることにも縛られない。従って例えばカラー画像、グレースケール画像、および深度画像も同じように適している。画像は、例えば、単一のカメラ、ステレオカメラ、魚眼カメラ、あるいは、例えばＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ、ＬＩＤＡＲ、またはＴｉｍｅ－ｏｆ－ｆｌｉｇｈｔなどの別のコントラストメカニズムで検知されたものであってもよい。画像は、異なったカメラを用いて、異なった視角で、および／または異なったコントラストメカニズムを用いて検知された画像を融合して得られたものであってもよい。

調査される区画領域は必ずしも車両の前方になくてもよい。例えば右左折または車線変更時にミラーで見ることのできない「死角」の大きさを調査してもよい。

装置は、連続する複数の層からなる少なくとも１つのアーティフィシャル・ニューラル・ネットワークＡＮＮを備え、ＡＮＮの第１層は少なくとも１つの画像またはその画像の一部分を入力として受け取る。

ＡＮＮの第２層は、区画領域の境界線、移動経路の線形状、あるいは境界線または移動経路の一部を出力として提供するように形成されている。第２層の次元は、第１層の次元より小さい。

これに関連して、「第１層」および「第２層」という概念は、２つの層を互いに区別するためだけのものと解されるべきであり、例えば第１層がＡＮＮの入力に直接接する層であり、第２層がそのすぐ上に続く層であるということに限定されない。すなわち、ＡＮＮにおいて、「第１層」および「第２層」に複数の層が前置され、さらに複数の層が後に続くことも全くあり得る。

ＡＮＮの層の次元とは、特に、この層の入力または出力の次元と解されるべきである。

例えば、第１層の次元とは、入力される画像データの次元と解することができる。例えば、第２層の次元とは、境界線または移動経路のパラメータ化された表現が検出されるパラメータ空間の次元、または境界線もしくは移動経路が検出されるそれ以外の形態の次元と解することができる。

さらに、ＡＮＮは、境界線もしくは移動経路だけを提供することに制限されない。例えば、１つのＡＮＮにおける異なった「第２層」が複数の境界線または移動経路を一度に提供することもできる。ＡＮＮは、例えば一作業工程で境界線とならんで境界線に沿う様々なクラスのオブジェクトを提供することもできる。

例えば、ＡＮＮは、実線による車両の走行車線の領域、縁石までの領域、およびアスファルト舗装された領域を全部同時に提供することができる。その場合、異なった運転機能がそれぞれ適した領域を用いることができる。従って例えばリムガード機能が縁石の手前でブレーキをかける一方で、歩行者保護は、緊急の場合に縁石または実線を越えて進むことも要求する。

有利な一実施形態において、ＡＮＮの各層が提供する出力は、最大でもＡＮＮのその層が受け取る入力と全く同じ大きさの次元を有する。その場合、いかなるアップサンプリングもＡＮＮにおいて行われない。これは、演算集約的である。しかし、その間のアップサンプリングのために払われる犠牲が正当化される用途もあるかもしれない。

セマンティックセグメンテーションは、例えば運転タスクを実行するために必要とされるよりもはるかに多くの情報を含むことがわかった。例えばアウトバーンが建築上の境界（Ｂｅｇｒｅｎｚｕｎｇ）によって囲まれる場合、この乗り越えられない境界の向こう側にどのようなタイプのオブジェクトがあるのかはもはや重要でない。それゆえ、境界の向こう側の領域に関連するピクセルを細かく分類する手間を完全に節減することができる。

それがかなりの節減であることは数字の例により明らかになる。典型的な大量生産のカメラは、１２８０×７２０ピクセルの画像を毎秒３０枚撮影する。このピクセルを１０個のオブジェクトクラスにセグメント化するために、ピクセルが当該クラスのオブジェクトに所属する１０個の確率の１つのセットをピクセルごとにいつでも算出しなければならない。したがって、確率は全体で毎秒２億７千６百万個を超える。これに対して、例えば６４個のポリゴンサンプル点（Ｐｏｌｙｇｏｎｓｔｕｅｔｚｓｔｅｌｌｅ）によってパラメータ化されている歩行可能または走行可能な領域の境界線だけを探す場合、このために毎秒最大で６４＊３０＊１０＝１９，２００個の値を算出するだけでよく、すなわち１０，０００倍以上少なくなる。境界線において、まさにそこでどのオブジェクトタイプがそれぞれ歩行可能または走行可能な領域を区切るのかが問われない場合にはさらに節減することが可能である。

この例では、入力される画像ピクセル（１２８０×７２０）の数を第１層の次元と解することができ、ポリゴンサンプル点の数（６４）を第２層の次元と解することができる。すなわち第２層の次元は第１層の次元より１０，０００倍以上小さくなる。

さらに、ＡＮＮによって全部をセマンティックセグメンテーションする場合、入力された画像の次元をまず連続的に減らすが、最後にアップサンプリングによって再び元の大きさに増やさなければならないことによって著しい追加の手間が発生することがわかった。この手間は完全に節減することができる。さらに、これに伴ってＡＮＮが必要とする記憶装置がはるかに少なくなる。

演算装置および記憶装置の負担を軽減することにより、装置のハードウェア実装はエネルギー消費量のより少ないよりコンパクトなハードウェアで済む。特に少なくとも部分的に自動化された運転の場合、このことは開発段階から大量生産の実用化への移行のための重要な要件である。

したがって、入力として全部の画像が使用されるにもかかわらず手間を克服することが可能である。すなわち複雑さを減じるために、画像をいくつかの部分に細分してこれらの部分を別々に処理する必要はない。これは、例えば車両が道路上を走行する、および空がカメラ画像の上部分にあるというシーンコンテキスト全体をその都度ともに学習することができるＡＮＮのトレーニングプロセスにとって有利である。

。
さらには、解決されるべき問題がはるかにコンパクトに表現され、すなわちはじめから運転、もしくは運転を補助する支援システムに実際に必要とされる情報しか問い合わせられないので、ＡＮＮ自体もはじめからはるかに小さく設計することができる。

特に車両において使用される場合、区画領域、もしくは移動経路を（パラメータ化された）線としてコンパクトに表示することには、車両内の他のシステムに伝送される場合に帯域幅をあまり必要としないという別の利点もある。ケーブルハーネスの材料および重量を節減するために、車両システム間の通信には、例えばＣＡＮバスなどのバスシステムが定着している。つまり、材料および重量の節約は、多くのシステムが同一の媒体を共有することによって実現する。高解像度で、全部がセマンティックセグメンテーションされた画像の伝送は、そのような環境において帯域幅を比較的多く消費し、それによって他のシステムはその伝送の順番が回ってくるまで待機しなければならないかもしれない。

境界線または移動経路への画像の変換は、装置で直接、すなわちデータの特殊な、かつ場合によっては不透明な（ｉｎｔｒａｎｓｐａｒｅｎｔ）前処理または後処理なしに行われる。逆にこのことはトレーニング画像またはトレーニング画像シーケンスの透明な（ｔｒａｎｓｐａｒｅｎｔ）、境界線もしくは移動経路の「サンプルソリューション（Ｍｕｓｔｅｒｌｏｅｓｕｎｇｅｎ）」での手間のはるかに少ないラベル付けを可能にする。トレーニング画像において、実動作においてＡＮＮがピクセルを分類することになっているクラスの各ピクセルにラベルを付ける代わりに、例えば、実動作においてＡＮＮが有意義な仕方で検出することになっている境界線もしくは移動経路をトレーニング画像にプロットすることで十分である。

したがってＡＮＮのトレーニングが大幅に簡略化および加速される。これにより事前にトレーニングされたＡＮＮを使用するのではなくトレーニングを完全に自分で行うことがアプリケーションの製造者にとってより実用的となる。すなわち、アプリケーションの製造者は、ＡＮＮをハードウェアの形で追加購入し、そこに保存されたトレーニング成果を取得するための別個のライセンス条件に縛られることなく自由に利用することができる。

少なくとも２つのＡＮＮが設けられていることが有利である。その際、第１ＡＮＮは、区画領域とこの領域を区切る第１オブジェクトタイプとの間の境界線を決定するように形成されている。第２ＡＮＮは、区画領域とこの領域を区切るオブジェクトタイプとの間の境界線を決定するように形成されている。

その場合、２つのＡＮＮは、互いに独立してそれぞれオブジェクトタイプを認識することを専門に扱うようにトレーニングされてもよい。このトレーニングの過程で、１つのオブジェクトタイプを認識するときの学習の進捗が別のオブジェクトタイプの認識を犠牲にしないことが保証されている。

特に、ＡＮＮは互いに独立して、いくつかのオブジェクトタイプの認識と結びついた異なった要求に適応することができる。従って例えば車道境界は静的であり、すなわち車道境界がその外観を自発的に変化させることはない。これに対して先行車両は、右左折または車線変更する場合、同車両がカメラによって検知されるときの透視図（Ｐｅｒｓｐｅｋｔｉｖｅ）を自発的に変え得る。さらに、先行車両は、例えば、その運転者がウインカまたは他のライトを操作するか、または走行中にオープンカーの幌が開いた場合にその外観を変え得る。

さらに、複数のＡＮＮが存在する場合、区画領域のオブジェクトタイプが細かく区切られる分類を境界線と一緒に特に簡単に検出することができる。例えば、少なくとも部分的に自動化された運転を計画するためには、オブジェクトが定置のオブジェクトであるのか、別の車両であるのかが重要である。定置のオブジェクトとの衝突の回避は、自車両の挙動にのみ依存する一方で、別の車両の場合、この車両が、例えば自発的に加速する、制動する、または車線変更し得ることを予め考慮に入れなければならない。さらに、衝突がもはや回避できない場合、制御介入により「適当なオブジェクト」に衝突するよう方向転換されることによって事故の結果が軽減される。従って例えば、このために設計された車両の前部が変形エネルギーを吸収する中実のコンクリート塀に衝突することは、セミトレーラの下に食い込んで変形エネルギーが車室に集中することに比べて結果がそれほど重大でない。さらに、例えば変形エネルギーを可能な限り大きい面積に分散させるために、自車両と衝突対象物との接触面が可能な限り大きくなるようにすることによって事故の結果を軽減することができる。これに関して、少なくとも部分的に自動化された運転が許可される場合に、特に歩行者または自転車運転者などの「柔らかい」道路使用者を保護するための規制基準値があることを出発点とする。

したがって、装置は一般に、２つ以上のＡＮＮが存在するかどうかに関係なく、区画領域の検出された境界線に沿ういくつかの位置で、そこにある区画領域が特定のオブジェクトタイプによって区切られる確率をその都度検出するように形成されていることが特に有利である。

別の特に有利な実施形態において、第１ＡＮＮおよび第２ＡＮＮの出力が少なくとも１つのアグリゲータに送られる。アグリゲータは、２つのＡＮＮにより提供された境界線の重なりの包絡線を、区画領域の唯一の、または付加的境界線として検出するように形成されている。

このようなアグリゲータは、例えば、異なる問題に対応するために複数のＡＮＮの出力を柔軟に組み合わせることを可能にする。その際、ＡＮＮの同一の出力をなんども利用することができる。従って例えば、運転のアクティブ制御に関係があるのは車道境界およびガードレールとならんで特に他の車両であろう。これに対して、例えば積載車のための進入口の通行高さが十分であるか否かを計画するために、他車両をフェードアウトし、その代わりに通行高さを制限するオブジェクトに関する情報をより多く考慮することが有意義である。

一般に、包絡線を用いるアグリゲーション（Ａｇｇｒｅｇａｔｉｏｎ）が比較的複雑な境界線の決定を、個々のＡＮＮによって実行することができるはるかに簡単な部分タスクに分割することを可能にする。

ＡＮＮが１つだけの場合、これを本質的に（ｉｎｈａｅｒｅｎｔ）、ＡＮＮで同時に検出された複数の境界線のアグリゲータとして用いることができる。

境界線と移動経路とを柔軟に組み合わせることができることにより多数の応用が可能になり、その際、基礎をなすＡＮＮを変化させたり、新たにトレーニングしたりする必要はない。例えばオブジェクトの高さを特定することができるか、または輪郭を描くべく（「Ｂｏｕｎｄｉｎｇ Ｂｏｘｅｓ」）オブジェクトを抽出することができる。追い越し過程のための意図的な移動経路または軌跡について、他の道路使用者の予測される挙動に照らしてその過程が安全であるか否かを検査することができる。

オブジェクトの個々のインスタンスを特定すること、および複数の画像のシーケンスにまたがって追跡することができ、その際、例えばオブジェクトごとに、区画領域の境界線に沿ってそれぞれのオブジェクトのインスタンスの中心点に対するピクセルの（符号付き）距離が回帰によって決定される。オブジェクトのインスタンスを再び認識することで、例えば自車両の周辺にある特定の他車両を追跡し、これが突然見えなくなった場合には能動的に「死角」内を探す注意深い人間の運転者の例えば挙動を模倣することができる。

ＡＮＮは、境界線、移動経路、またはパラメータ化された関数で線を描くための、および／またはベクタグラフィックスで線を描くためのパラメータセットとしての相応の部分を提供するように形成されていることが特に有利である。パラメータ化された関数は、任意の定常関数であってもよいし、非定常関数であってもよい。特にポリゴン輪郭線、連続直線、多項式、クロソイド、またはこれらの組合せが適当である。これらの関数により、比較的複雑な線の形状もわずかなパラメータにまとめることができる。

ＡＮＮが、画像の各列、または画像の列から選択されたものに、この列内にある、区画領域の境界線が延びる少なくとも１つの位置を割り当てるように形成されていることが有利である。その場合、境界線の決定は分類タスクから回帰タスクに戻される。

同様に、移動経路も回帰によって決定することができる。このためにＡＮＮは、画像の各行、または画像の行から選択されたものに、この行内にある、移動経路が延びる少なくとも１つの位置を割り当てるように形成されていることが有利である。

画像の列もしくは行から選択することにより、探される境界線もしくは探される移動経路のサンプル点の数が減り、したがって精度を犠牲にして演算する手間が減る。

別の有利な一実施形態において、ＡＮＮは、画像を横切る少なくとも１つの路線（Ｓｔｒｅｃｋｅ）において、区画領域の境界線の最初の出現を検出するように形成されている。まさに運転タスクを克服するときに関係があるのは、意図した走行方向ですぐ近くにある境界線のみである。例えばカメラが進行方向を向き、前進走行の場合、画像の下エッジから最初に認識される境界線が該当する。これに対して、右左折または車線変更を意図する場合、境界線の最初の出現について画像が調査される方向を変更することが有意義であろう。

装置は、例えば、車両または他のオブジェクトの移動を監視および／または制御するための支援システムにおいて用いることができる。その場合、車両は、特にその移動経路が装置によって監視されるオブジェクトであり得る。車両は、陸上車両、船または航空機であってもよい。支援システムは、マニュアル運転を補助するため、および少なくとも部分的に自動化された運転のために用いることができる。

有利な一実施形態において、装置により検出された移動経路が許容範囲内に延びているか否かを監視するように形成されている比較ユニットが支援システム内に設けられている。これに加えて、比較ユニットは、許容範囲を超えた場合に聴覚的、視覚的、または触覚的警告装置を制御するように形成されている。

そのような支援システムは、例えば、運転者が所定の車線を維持しているか否かを監視する車線維持支援であってもよい。例えば運転者の注意がそれたか、またはひどく疲れて車線をたどることができず、これが装置によって認識されると警告装置が比較ユニットによって制御される。これに代えて、または組み合わせて、比較ユニットにより、少なくとも１つのアクチュエータを制御することによっても車両の方位（Ｓｔｅｕｅｒｋｕｒｓ）に介入することができる。この介入は車両の今後の移動経路を許容範囲に戻す。

許容範囲は、例えば、少なくとも部分的に、装置により検出される区画領域の境界線によって設定されていてもよい。それと同時に、特に、例えば車道マーキングも考慮されてもよい。これに関連して、上述のように異なったオブジェクトタイプの境界線を認識するために異なったＡＮＮが用いられるならば有利である。

車両の方位および／または速度を検知するために少なくとも１つのセンサおよび／または少なくとも１つのインターフェースが設けられていることが有利である。方位は、例えば、操舵角または舵角を介して検知することができる。

その場合、例えば、方位の変更に対して車両の移動経路が予想どおりに反応するか否かを認識することができる。そうでない場合、これは、例えば車両がコースから外れる前触れと評価することができ、修正のためにＥＳＰシステムを相応に制御することができ、それによって個々の車輪を的確に制動することができる。

特に有利な一実施形態において、装置により検出された、検知された方位からの移動経路の逸脱が制御偏差としての役割をする制御ループが設けられている。その際、制御ループは、少なくとも１つのアクチュエータおよび／または少なくとも１つの視覚的、聴覚的、または触覚的表示装置を制御することによって制御偏差を解消するように形成されている。

例えば、強い横風によって、車両が車線を維持するようにするために、逆方向に操舵することが必要になり得る。次に、車両が、例えば橋に向かって走行するか、または車両が追い越しの際にトラックのスリップストリームから飛び出す場合、襲ってくる風の力が突然変化し、対抗措置が必要になり得る。支援システムを用いた対抗措置の自動化によって、運転者が驚いて、例えば過剰に反応してハンドルを切り損ねることを阻止できる。

別の有利な実施形態において、装置により検出された境界線に達するまでの残り走行距離および／または残り時間を目標値に調節する、および／または最低レベルより高く維持するように形成されている制御ループが設けられている。すなわち、例えばアダプティブ・クルーズ・コントロール（ａｄａｐｔｉｖｅ Ａｂｓｔａｎｄｓｒｅｇｅｌｕｎｇ）の範囲で、距離（Ｓｔｒｅｃｋｅ）または時間（例えば２秒ルール）として規定された先行者との最小距離を遵守することができる。制御介入は、少なくとも１つのアクチュエータを制御することによって行われてもよいし、これに代えて、または組み合わせて、運転者に反応を促すために少なくとも１つの視覚的、聴覚的、または触覚的表示装置を制御することによって行われてもよい。

ＡＮＮは、特に全部または一部がソフトウェアに実装されていてもよい。ＡＮＮは例えば構成可能なハードウェアの形態であってもよく、ソフトウェアによって徐々に減少して再び増加しない次元を有する層構造がハードウェアに実現される。特に既存の装置もソフトウェアによって相応に再構成することができる。その限りで相応しいソフトウェアは単独で商品化できる製品である。それゆえ、本発明は、さらにコンピュータおよび／または制御装置で実行される場合にコンピュータおよび／または制御装置を本発明に係る装置に格上げし、ならびに／あるいは比較ユニットおよび／または制御ループの機能を本発明に係る支援システムで実行させる機械可読命令を含むコンピュータプログラムに関する。同様に、本発明は、さらに、コンピュータプログラムを有する機械可読データ記憶媒体またはダウンロード製品に関する。

境界線２０（図１ａ）を決定する装置１の実施例である。 ＡＮＮ５、５ａ、５ｂ（図１ｂ）の内部構造の模式図である。 自車両の移動経路３を決定する装置１の実施例である。 列ごとの回帰による境界線２０～２２の検出である。 行ごとの回帰による移動経路３の検出である。 支援システム１００の例であり、移動経路３の監視である。 境界線２０～２２、２５までの走行距離または時間の監視である。

以下、本発明を改善する他の措置を本発明の好ましい実施例の記載とともに図をもとにして詳しく説明する。

図１ａによると、車両に取り付けられたカメラにより進行方向に撮影された画像４は、多数のオブジェクト１００１ａ～１００９を含む風景１０００を示す。左側の建築上の車道境界１００３と右側の建築上の車道境界１００４とにより区切られている車道１００２を多数の車両１００１ａ～１００１ｆが前方に走行している。これに加えて、森林地帯１００５、交通標識橋１００６、送電鉄塔１００７ａ～１００７ｄ、街灯１００８、そしてさらに空１００９も見てとれる。自車両の前方にある車道１００２の自由領域が走行可能領域２である。

画像４全体が２つのＡＮＮ５ａ、５ｂに同時に送り込まれる。第１ＡＮＮ５ａは、画像４の下エッジから参照符号２８で示されたオブジェクトタイプ・車道境界のオブジェクトによって定められた走行可能領域２の境界線２１を検出することを専門に扱う。第２ＡＮＮ５ｂは、画像４の下エッジから参照符号２９で示されたオブジェクトタイプ・他車両のオブジェクトによって定められた走行可能領域２の境界線２２を検出することを専門に扱う。

両方の境界線２１および２２がアグリゲータ６に送り込まれる。このアグリゲータは、２つの境界線２１、２２の重なりを決定し、ここから包絡線２５を決定する。この包絡線２５は、装置１によって全部あわせて最終結果として提供される走行可能領域２の境界線２０である。

境界線２０は、画像４から一作業工程で直接検出することもできる。その場合、例えば境界線２０に沿う位置２０ａおよび２０ｂにおいて、そこではそれぞれどのオブジェクトタイプが境界形状の基準となるのかを分類することができる。図１に示された例において、地点２０ａでは、そこにある境界線２０がオブジェクトタイプ・車道境界２８によって形成される確率が高いことが確認される。これに対して、地点２ｂでは、オブジェクトタイプ・他車両２９である確率が圧倒的に高いが、オブジェクトタイプ・車道境界２８の確率も重要である。

図１ｂは、ＡＮＮ５、５ａ、５ｂの内部構造を模式的に示す。ＡＮＮ５、５ａ、５ｂは、ここでは例示的に、図１ｂにおいて選択された透視図で上から下へ連続する７つの層５１～５７からなる。第１層５１は、画像４を入力として受け取る。最後の層５７は、走行可能領域２の境界線２０～２２を出力として提供する。層５１～５７の次元は、図１ｂにおいてそれぞれ層５１～５７を象徴する直方体の正方形の底面によって示されている。

次元は第１層５１から層５６までまずはゆっくりと、そしてその後どんどん急速に小さくなり、その後、次元は最後の層５７へ移ると一定のレベルを維持する。それに対応して、この最後の層５７によって提供される出力も非常に低次元である。これと比較して、画像４全体のセマンティックセグメンテーションの場合には、入力された画像４の元の次元へのアップサンプリングが層５７に続くことが必要であっただろう。このために必要なかなりの手間が節減される。

図２は、ＡＮＮ５を有する自車両の移動経路３を決定する装置１の一実施例を示す。このＡＮＮ５は、同一の画像４をもとにして走行可能領域２の境界線２０と自車両の移動経路３とを決定するために、例えば、図１のＡＮＮ５ａ、５ｂと組み合わせることができる。

図２において、特に移動経路３を明確に示すために、図１に示されたものとは違う風景１０１０が選択されている。左側の車道マーキング１０１１と右側の車道マーキング１０１２とは走行車線１０１３を区切る。さらに、左側の車道マーキング１０１１は対向車線１０１４から走行車線１０１３を区切る。これに加えて、道路１０１１～１０１４上にかかる橋１０１５と森林地帯１０１６、そしてさらに空１０１７も見て取れる。

画像４は、入力としてＡＮＮ５に送り込まれる。ＡＮＮ５は、ここから移動経路３を検出する。

図３ａは、列ごとの回帰による境界線２０～２２の検出を模式的に示す。その際、画像４の各列４１には、列４１内にある、求められる境界線２０～２２が延びている少なくとも１つの位置４２が割り当てられる。わかりやすくするために、図３ａには参照符号４１を有する３つの列と参照符号４２を有する３つの位置しか示されていない。検出された位置４２は、例えば境界線２０～２２を最終的に表現するパラメータ化された関数のフィッティングのためのサンプル点として用いることができる。

図３ｂは、行ごとの回帰による移動経路３の検出を模式的に示す。その際、画像４の各行４３には、行４３内にある、求められる移動経路３が延びている少なくとも１つの位置４４が割り当てられる。わかりやすくするために、図３ｂには参照符号４３を有する３つの行と参照符号４４を有する３つの位置しか示されていない。図３ａと同様に、位置４４は、移動経路３を最終的に表現するパラメータ化された関数のフィッティングのためのサンプル点として用いることができる。

図４ａは、移動経路３を監視するために用いられる支援システム１００の一実施例を示す。ここでは比較ユニット１１０が、装置１により検出された移動経路３が許容範囲１０５内にあるか否かを検査する。許容範囲１０５は、例えば少なくとも部分的に装置１により検出された境界線２０～２２、２５によって設定されていてもよい。例えば、許容範囲１０５は、図２に描かれた車道マーキング１０１１および１０１２によって決定されてもよい。

許容範囲１０５を超えた場合、場合によっては注意がそれたか、またはひどく疲れている運転者の注意を呼び起こすために、聴覚的、視覚的、または触覚的な警告装置１２０が制御される。

装置１により検出された移動経路３は、代替的に、または制御ループ１６０と組み合わせて送り込まれる。制御ループは、センサ１３０および／またはインターフェース１４０により車両の方位１５１に関する情報を受け取る。方位１５１からの移動経路３の逸脱は制御偏差１６１として評価される。アクチュエータ１７０および／または他の聴覚的、視覚的、または触覚的な警告装置１７５の調整介入（Ｓｔｅｌｌｅｉｎｇｒｉｆｆ）としての制御１６５によって、この制御偏差１６１が解消される。制御偏差１６１の考えられるいくつかの原因は、車両のコースからの逸脱、横すべり、ハイドロプレーニング、および強い横風である。アクチュエータは、例えば操舵、個々の車輪にブレーキをかけるＥＳＰ、および／またはクラッチに作用を及ぼすことができる。

図４ｂは、支援システム１００の別の実施例を示す。この実施例は、装置１により検出された境界線２０～２２、２５に達するまでの残り走行距離１８１、および／または残り時間１８２を監視および制御するように形成されている。

この目的で、支援システム１００の制御ループ１８０に境界線２０～２２、２５および移動経路３が送り込まれる。制御ループ１８０の評価ユニット１８０ａにおいて、境界線２０～２２、２５および移動経路３から、境界線２０～２２、２５に達するまでの残り走行距離１８１および／または残り時間１８２が検出される。残り走行距離１８１および／または残り時間１８２は、これに関する目標値１８３および／またはこれに関する最低レベル１８４と比較される。図４ａと同様に、対応する不足（Ｄｅｆｉｚｉｔｅ）を補償するために、制御ループ１８０の調整介入としてアクチュエータ１７０および／または視覚的、聴覚的、または触覚的な警告装置１７５の制御１８５が行われる。

１ 装置
２ 区画領域
３ 移動経路
４ 画像
５、５ａ、５ｂ アーティフィシャル・ニューラル・ネットワークＡＮＮ
６ アグリゲータ
２０～２２ 境界線
２０ａ、２０ｂ 位置
２５ 包絡線
２８ 第１オブジェクトタイプ
２９ 第２オブジェクトタイプ
４１ 列
４２、４４ 位置
４３ 行
５１ 第１層
５７ 第２層
１００ 支援システム
１０５ 許容範囲
１１０ 比較ユニット
１２０ 警告装置
１３０ センサ
１４０ インターフェース
１５１ 方位
１５２ 速度
１６０、１８０ 制御ループ
１６１ 制御偏差
１６５ 制御
１７０ アクチュエータ
１７５ 表示装置
１８１ 残り走行距離
１８２ 残り時間
１８３ 目標値
１８４ 最低レベル
１８５ 制御

Claims (14)

1. 連続する複数の層（５１～５７）からなる少なくとも１つのアーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）を備える、少なくとも１つの画像（４）から、区画領域（２）および／または少なくとも１つのオブジェクトの移動経路（３）を検出する装置（１）であって、前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）の第１層（５１）が前記少なくとも１つの画像（４）または前記少なくとも１つの画像（４）の一部分を入力として受け取る、装置において、
   前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）の第２層（５７）は、前記区画領域（２）の境界線（２０～２２）、前記移動経路（３）の線形状、あるいは前記境界線（２０～２２）または前記移動経路（３）の一部を出力として提供するように形成されており、前記第２層（５７）の次元が前記第１層（５１）の次元より小さく、
   前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）は、前記画像の各行（４３）、または前記画像（４）の行から選択された行（４３）に、該行（４３）内の、前記移動経路（３）が延びる少なくとも１つの位置（４４）を割り当てるように形成されていることを特徴とする、
   装置。
2. 少なくとも、
   前記区画領域（２）と該区画領域（２）を区切る第１オブジェクトタイプ（２８）との間の境界線（２１）を決定するように形成された第１アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ａ）と、
   前記区画領域（２）と該区画領域（２）を区切る第２オブジェクトタイプ（２９）との間の境界線（２２）を決定するように形成された第２アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ｂ）と、
   が設けられていることを特徴とする、請求項１に記載の装置（１）。
3. 前記第１アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ａ）および前記第２アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ｂ）の出力が少なくとも１つのアグリゲータ（６）に送られ、前記アグリゲータ（６）は、前記第１アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ａ）および前記第２アーティフィシャル・ニューラル・ネットワークＡＮＮ（５ｂ）により提供された境界線（２１、２２）の重畳の包絡線（２５）を前記区画領域（２）の唯一の、または付加的境界線（２０）として検出するように形成されていることを特徴とする、請求項２に記載の装置（１）。
4. 前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）は、パラメータ化された関数で線を描くための、および／またはベクタグラフィックスで線を描くためのパラメータセットとしての前記境界線（２０～２２）、前記移動経路（３）、または相応の部分を提供するように形成されていることを特徴とする、請求項１～３のいずれか一項に記載の装置（１）。
5. 前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）は、前記画像（４）の各列（４１）に、または前記画像（４）の列から選択された列（４１）に、該列（４１）内の、前記区画領域（２）の境界線（２０～２２）が延びる少なくとも１つの位置（４２）を割り当てるように形成されていることを特徴とする、請求項１～４のいずれか一項に記載の装置（１）。
6. 前記アーティフィシャル・ニューラル・ネットワークＡＮＮ（５、５ａ、５ｂ）は、前記画像（４）を横切る少なくとも１つの路線における、前記区画領域（２）の境界線（２０～２２）の最初の出現を検出するように形成されていることを特徴とする、請求項１～５のいずれか一項に記載の装置（１）。
7. 前記装置（１）は、さらに、前記区画領域（２）の検出された境界線（２０）に沿ういくつかの位置（２０ａ、２０ｂ）で、それぞれ、そこにある前記区画領域（２）が特定のオブジェクトタイプ（２８、２９）によって区切られる確率を検出するように形成されていることを特徴とする、請求項１～６のいずれか一項に記載の装置（１）。
8. 少なくとも１つの車両またはオブジェクトの移動を監視および／または制御する支援システム（１００）であって、請求項１～７のいずれか一項に記載の装置（１）を備える、支援システム。
9. 前記装置（１）により検出された移動経路（３）が許容範囲（１０５）内に延びているか否かを監視するように、かつ前記許容範囲（１０５）を超えた場合に聴覚的、視覚的、または触覚的警告装置（１２０）を制御するように形成されている比較ユニット（１１０）が設けられていることを特徴とする、請求項８に記載の支援システム（１００）。
10. 前記許容範囲（１０５）は、少なくとも部分的に、前記装置（１）により検出された前記区画領域（２）の境界線（２０～２２、２５）によって設定されていることを特徴とする、請求項９に記載の支援システム（１００）。
11. 前記車両の方位（１５１）および／または速度（１５２）を検知するための少なくとも１つのセンサ（１３０）および／または少なくとも１つのインターフェース（１４０）が設けられていることを特徴とする、請求項８～９のいずれか一項に記載の支援システム（１００）。
12. 前記装置（１）により検出された、前記検知された方位（１５１）からの前記移動経路（３）の逸脱が制御偏差（１６１）としての役割をする制御ループ（１６０）が設けられており、前記制御ループ（１６０）は、少なくとも１つのアクチュエータ（１７０）および／または少なくとも１つの視覚的、聴覚的、または触覚的表示装置（１７５）を制御する（１６５）ことによって前記制御偏差（１６１）を解消するように形成されていることを特徴とする、請求項１１に記載の支援システム（１００）。
13. 前記装置（１）により検出された前記境界線（２０～２２）に達するまでの残り走行距離（１８１）および／または残り時間（１８２）を、少なくとも１つのアクチュエータ（１７０）および／または少なくとも１つの視覚的、聴覚的、または触覚的表示装置（１７５）を制御すること（１８５）によって目標値（１８３）に調節する、および／または最低レベル（１８４）より高く維持するように形成されている制御ループ（１８０）が設けられていることを特徴とする、請求項８～12のいずれか一項に記載の支援システム（１００）。
14. コンピュータプログラムであって、機械可読命令が、コンピュータおよび／または制御装置で実行される場合に前記コンピュータおよび／または前記制御装置を請求項１～８のいずれか一項に記載の装置（１）に格上げし、および／または比較ユニット（１１０）および／または制御ループ（１６０、１８０）の機能を請求項８～１３のいずれか一項に記載の支援システム（１００）で実行させる前記機械可読命令を含む、コンピュータプログラム。

Images