JP7275280B2

JP7275280B2 - 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法

Info

Publication number: JP7275280B2
Application number: JP2021535866A
Authority: JP
Inventors: ドナルドバークマイアーマシュー
Original assignee: Continental Automotive Systems Inc
Current assignee: Continental Automotive Systems Inc
Priority date: 2018-12-21
Filing date: 2019-12-10
Publication date: 2023-05-17
Anticipated expiration: 2039-12-10
Also published as: WO2020131498A1; US11544938B2; EP3899782A1; CN113228039A; JP2022514891A; US20200202147A1

Description

本発明は、教師あり機械学習(supervised machine learning)のためのトレーニングデータおよび検証データを生成するためのシステムおよびプロセスに関する。

背景技術
車両製造業者は、車両周辺の情報を解釈し、定義されたアクションを生成するアルゴリズムを使用するドライバー支援機能をますます含めている。その上さらに、車両内の自律型機能は、車両によって感知された情報を、車両のナビゲートおよび運転のために利用している。教師あり機械学習には、トレーニングデータ、検証データ、およびテストデータを含む大量のデータが必要である。特定の問題に依存して、数千、数十万、さらには数百万の例が機械学習アルゴリズムのトレーニングのために必要になる場合がある。

本明細書で提供される背景技術は、本開示の文脈を一般的に提示することを目的としている。この背景技術欄で説明されている範囲で、本願発明者の研究は、それ以外では出願時の先行技術として適格でない可能性のある説明の態様と同様に、明示的にも黙示的にも本開示に対する先行技術としての余地はない。

教師あり機械学習のための画像の自動ラベリングの方法は、本開示の例によれば、車両に取り付けられたカメラを用いて路傍物体（roadside objects）の画像を取得するステップと、画像を取得するステップの間に、定義された座標系内で車両の位置および向きを記録するステップと、車両の位置および向きを記録するステップの間に使用されたものと同じ定義された座標系を用いて各路傍物体に関する位置情報を記録するステップと、路傍物体の取得された各画像の位置を、車両の記録された位置および向きを考慮して各路傍物体の位置情報と相関付けするステップと、を含む。これらの画像は、路傍物体の取得された各画像の相関位置を考慮して、路傍物体を識別するためにラベリングされている。

前述のさらなる例では、路傍物体は、標識を含み、高精細マップは各標識に関する位置情報を含む。

前述のいずれかのさらなる例では、本方法は、車両の相対位置を、標識の位置に相関付けするステップを含む。

前述のいずれかのさらなる例では、本方法は、ビデオ記録デバイスの光学的特性について、標識と車両との間の記録された向きを補正するステップを含む。

前述のいずれかのさらなる例では、本方法は、ラベリングされた画像を用いて複数の入出力対を生成するステップを含む。

前述のいずれかのさらなる例では、ラベリングするステップは、各路傍物体にマーキングまたは輪郭を提供するステップを含む。

前述のいずれかのさらなる例では、定義された座標系は、デカルト座標系である。

前述のいずれかのさらなる例では、車両の位置および向きを記録するステップは、ＤＧＰＳ／ＩＭＵシステムを使用して実行される。

前述のいずれかのさらなる例では、車両の位置および向きを記録するステップ、ならびに各路傍物体に関する位置情報を記録するステップは、車両のメモリデバイスを使用して実行される。

前述のいずれかのさらなる例では、本方法は、画像に関連付けられた第１のタイムスタンプデータセットを取得するステップと、位置および向きの情報に関連付けられた第２のタイムスタンプデータセットを取得するステップと、を含む。相関付けするステップは、第１のタイムスタンプデータセットと第２のタイムスタンプデータセットとを同期化するステップを含む。

前述のいずれかのさらなる例では、路傍物体は、標識を含み、高精細マップは各標識に関する位置情報を含む。

前述のいずれかのさらなる例では、本方法は、ラベリングするステップを含み、該ラベリングするステップは、各標識にマーキングまたは輪郭を提供するステップを含む。

前述のいずれかのさらなる例では、本方法は、デカルト座標を用いて各標識の少なくとも１つの角を識別するステップを含む。

教師あり機械学習のための画像の自動ラベリングのためのシステムは、本開示の例によれば、車両に取り付けられかつ該車両に対する外部の物体の画像を捕捉するように構成されたカメラと、物体の画像の捕捉中に車両の位置および向きの情報を決定するためのＤＧＰＳ／ＩＭＵシステムと、画像および関連付けられた位置および向きの情報を記録するためのメモリデバイスと、物体に関するＨＤマップ位置情報を含むＨＤマップと、を含んでいる。少なくとも１つのコンピューティングデバイスは、画像、位置および向きの情報、ならびにＨＤマップの位置情報を同期化し、画像内の物体をラベリングし、物体がラベリングされている第２の画像セットを提供するようにプログラミングされている。

前述のさらなる例では、少なくとも１つのクロックが、画像に関連付けられた第１のタイムスタンプデータセットと、位置および向きの情報に関連付けられた第２のタイムスタンプデータセットとを提供する。

前述のいずれかのさらなる例では、少なくとも１つのコンピューティングデバイスは、カメラ、ＤＧＰＳ／ＩＭＵシステム、およびＨＤマップと通信する車両コントローラを含む。

前述のいずれかのさらなる例では、車両コントローラは、メモリデバイスを含む。

本明細書に開示されるこれらおよび他の特徴は、以下の明細書および図面から最良に理解することができ、以下は図面の簡単な説明である。

道路標識を含む機械学習のための入力例の概略図である。ラベリングされた道路標識を含む機械学習のための出力例の概略図である。例示的な実施形態による情報を記録する車両の概略図である。例示的な実施形態による、車両ならびに記録された情報の例の概略図である。例示的な実施形態のステップを示すフローチャートである。例示的な実施形態のステップを示すフローチャートである。

本開示は、教師あり機械学習のためのトレーニングデータおよび検証データを生成するためのシステムおよびプロセスに関する。教師あり機械学習では、入手可能な入出力対が多いほど、結果のアルゴリズムが向上する場合がある。いくつかの例では、所期の出力データの十分なインスタンスを生成することが困難になる可能性がある。いくつかの例では、データポイントは、手動で生成される場合があり、これはエラーを起こしやすく、大きな労働力を要する可能性がある。

教師あり機械学習は、ペアの入出力対からなるデータポイントを利用する。入出力対ごとに、出力は、入力に対する所期のアルゴリズム応答である。学習アルゴリズムは、定義された出力からの実際の出力を比較し、その差分を考慮してアルゴリズムを変更することにより、データ対を使用する。

図１Ａおよび図１Ｂを参照すると、教師あり機械学習のための例示的な入出力対が概略的に示されている。この例示的な入出力対は、画像内の交通標識の検出とローカライズとを教示するために利用される例である。開示された例では、入力は、図１Ａ中に示される生のカメラ画像である。このカメラ画像は、車道１６を横切るように吊り下げられた標識１０、１２、および１４を含む。図１Ｂは、標識１０、１２、および１４の各々について輪郭１８の形態のラベルを伴う画像の出力を表している。アルゴリズムに画像を標識としてどのようにラベリングするかを学習させるために、図１Ａおよび図１Ｂに示されるような数十万の入出力対が利用されてよい。そのように要求される入出力対の手動ラベリングは効率的ではない。

本開示による例示的なプロセスは、自動運転システムのための高精細（ＨＤ）マップの一部として入手可能な情報を使用することによって、画像のラベリングを自動化する。自動運転システムでの使用に適したＨＤマップには、交通標識の場所が、経度、緯度、高度の値として含まれている。ＨＤマップの値は、典型的には、非常に正確な場所情報を含んでいる。その上さらに、ＨＤマップには、幅、高さ、および向きの情報とともに３次元の位置が含まれる場合がある。例示的な方法では、そのようなＨＤマップを、教師あり機械学習で使用するための画像データのラベリングを自動化するために利用している。

図２を参照すると、画像のセットに交通標識をラベリングするための例示的なプロセスは、標識３０，３２を含む車道のＨＤマップ２２を含んでいる車両２０を利用する。いくつかの例では、図示のように、車両２０は、いくつかの例として符号２４において概略的に示されているテレマティックユニットなどのコントローラ、カメラ２６、およびＨＤマップ２２を含んでいる。コントローラ２４からの情報は、車両２０の位置ならびにＤＧＰＳ／ＩＭＵシステムを用いた進行方向を高精度で記録する（例えば、ＲＴＫ整数モード）。付加的に、ロール軸、ピッチ軸、およびヨー軸における車両２０の向きが、メモリデバイス２８内に保管されてもよく、いくつかの例では、ＤＧＰＳ／ＩＭＵシステムによって決定されてもよい。いくつかの例では、メモリデバイス２８は、コントローラ２４の一部であってもよいし、コントローラ２４から分離されてもよい。いくつかの例では、車両位置、進行方向、速度、角速度、およびビデオのうちの１つ以上がメモリデバイス２８上に保管されている。カメラ２６からのビデオ画像とともにＤＧＰＳ／ＩＭＵシステムからの測定値は、後からの同期化のためにタイムスタンプ情報とともに保管されてよい。コントローラ２４は、ビデオ映像と車両２０の位置および向きのデータとの間の正確な同期を提供する。

ＨＤマップ２２内の交通標識についての情報は、デカルト座標系に変換され、これは、いくつかの例では、情報を記録する前に行われてよい。同様に、コントローラ２４およびカメラ２６によって収集されたデータも、共通のデカルト座標系に提供される。したがって、共通の座標系を考慮して、交通標識の場所と寸法、ならびに車両の経路および向きが記録される。次いで、座標系は、いくつかの例では、コントローラ２４または別個のコンピューティングデバイスで位置合わせされてよく、車両２０は、車道を進み、車両の位置および向きの情報とともに、路傍標識３０，３２のビデオ画像を捕捉する。

記録された情報を使用して、各時点での車両２０に対する各標識３０，３２の位置は、標識３０，３２に対する車両２０の速度および向きを考慮に入れる方法を使用して計算される。その上さらに、カメラ２６の光学系が識別され、各標識３０，３２の精度および位置をさらに定義するために利用されてもよい。

図２を引き続き参照しながら図３を参照すると、カメラ２６によって撮影された画像は、各標識３４のＨＤマップ２２からの幅３６および高さ３８，４０の情報と同期化され、記録からの画像をラベリングするために利用される。ラベリングは、教師あり機械学習に適した入出力データ対を提供するためのビデオ画像内の標識３４の識別である。別の例示的な標識４２は、ＨＤマップ２２内に含まれる幅４６および高さの情報４８，５０とともに利用できる角４４を含む。各標識３４，４２の縁部および角は、ＨＤマップ２２内に存在し、車両２０が車道１６に沿って移動する際のカメラ２６によって捕捉された画像内での識別を可能にさせる。いくつかの例では、角および／または縁部のデカルト座標は、ＨＤマップ２２データとの同期化のためにカメラ２６によって撮影された画像内で識別される。すなわち、いくつかの例では、これらの縁部および角は、同期化のために、ＨＤマップ２２とカメラ２６の画像の一方または両方で識別される。

捕捉されたビデオ画像の各フレームは、ＨＤマップ２２内に含まれる寸法および場所情報に位置合わせされる。共通座標系は、ビデオ画像内で標識の識別を可能にするために、これらの異なるデータのセットを、いくつかの例では、コントローラ２４または別個のコンピューティングデバイス上で同期化する。いくつかの例では、この同期化は、車両の状態（位置、向き、速度、角速度など）およびカメラ２６からのビデオフレームに関連付けられた、中央クロックまたは複数の分散クロックなどからのタイムスタンプ情報を利用して行われてもよい。車両２０が車道１６を下って移動すると、各標識の数百の異なる画像が取得され、対応する数の正確な入出力対の生成を可能にするためにＨＤマップ２２情報と同期される。次いで、ビデオフレームに対する各標識の位置を計算してよい。

その上さらに、いくつかの例では、焦点距離を含むカメラ２６の光学系に基づく遠近変換を使用して、各画像を有する各標識の各角４４の位置を計算することができる。いくつかの例では、カメラ２６は、魚眼カメラのように歪みを有する場合があり、関連する較正手順が画像上で実行されてもよい。

したがって、各標識の場所および位置が識別され、ビデオ画像にリンクされる。次いで、同期化された情報が、各画像内の各交通標識のためのラベルを含む画像もしくは他の表現を生成するために利用され、これは、いくつかの例では、コントローラ２４または別個のコンピューティングデバイス上で実行されてよい。したがって、ラベリングなしの元の画像と組み合わされるラベリング画像は、教師あり機械学習プロセスのための入力として必要とされる多くの入出力対を提供する。

理解されるように、収集された情報におけるわずかなエラーの蓄積のために、ラベルは、各画像上で標識ごとに完全に位置合わせされない場合がある。不正確さは、ＤＧＰＳ／ＩＭＵ情報、カメラ２６較正、車両２０の向きのエラー、ならびにＨＤマップ２２内に存在し得る。したがって、いくつかの例では、ラベルと標識との間の一致を改善するために光学補正を行うことができる。この補正は、手動でもしくは画像処理アルゴリズムを用いて行うことができる。いくつかの例では、ラベルを補正するための自動アプローチが、標識の縁部を探索し、より良好に位置合わせされたラベルを提供するために、この縁部に基づいたラベリングの変更を行うことができる。ラベルの精度の何らかの増加は、結果として機械学習プロセスのための入出力対の向上につながる。

図２および３を引き続き参照しながら図４を参照すると、例示的な方法の概略図が符号６０で示されている。この方法６０は、交通標識の場所、車両位置、および軌道情報を共通のデカルトフレームに変換する初期化ステップ６２を含む。すべての交通標識のグローバル位置は、車両の位置および軌道に共通の局所的デカルト（ｘ，ｙ，ｚ）フレームに変換される。この変換は、データ収集後に達成することができ、他の座標系も利用することができ、本開示の想定内であることを理解されたい。

次いで、車両２０は、ステップ６４に示されるように、ビデオ画像を捕捉しながら車道に沿って運転される。ビデオは、運転中に記録されてよく、同時に、車の位置および向きが、統合されたＤＧＰＳ／ＩＭＵシステムを含むコントローラ２４を用いて高精度で記録されてもよい。車両の向き（例えばロール、ピッチ、ヨーなど）が同時に記録されてもよい。取得された画像および位置および向きのデータに関連付けられたタイムスタンプ情報が記録されてもよく、次いで、画像および位置および向きデータからのタイムスタンプが、画像および位置および向きデータの同期化のために同期化されてもよい。これらの後者の測定値は、一般に、統合されたＤＧＰＳ／ＩＭＵシステムを用いて入手可能である。

ビデオ画像が捕捉された後、ステップ６６に示されるように、車と車道沿いの物体との間の相対位置が決定される。記録された情報を使用して、各時点での車（車のフレーム）に対する各標識の位置が、標準的な方法を使用して計算される。この計算は、標識の向きと標識の幅および高さとともに、各標識の各角の３Ｄ位置のＨＤマップ２２からの情報を含むことができる。この計算も、各画像内の各標識の各角の位置を定義するために、カメラの焦点距離および／またはカメラの他の光学的パラメータに基づくなどの遠近変換を利用する。

一度、各画像内で各標識の場所が計算されると、標識は、ステップ６８に示されるようにラベリングされてよい。ラベリングは、入出力対を定義するために使用可能なマーキングまたは輪郭を提供することを含む。一度、ラベリングされると、画像は、ステップ７０に示されるように、入出力対を提供するためのラベルを含めて生成される。

図２～図４を引き続き参照しながら図５を参照すると、例示的な方法の概略図が符号８０で示されている。

ステップ８２では、本方法８０は、車両に取り付けられたカメラを用いて路傍物体の画像を取得するステップを含む。

ステップ８４では、本方法８０は、画像を取得するステップの間に、定義された座標系内で車両の位置および向きを記録するステップを含む。

ステップ８６では、本方法８０は、車両の位置および向きを記録するステップの間に使用されたものと同じ定義された座標系を用いて、各路傍物体に関する位置情報を記録するステップを含む。

ステップ８８では、本方法８０は、路側物体の取得された各画像の位置を、車両の記録された位置および向きを考慮して各路側物体の位置情報と相関付けするステップを含む。

ステップ９０では、方法８０は、路傍物体の取得された各画像の相関位置を考慮して、路傍物体を識別するために画像をラベリングするステップを含む。

いくつかの例では、本方法８０は、車両の相対位置を標識の位置に相関付けするステップを含む。いくつかの例では、本方法８０は、ビデオ記録デバイスの光学的特性について、標識と車両との間の記録された向きを補正するステップを含む。いくつかの例では、本方法８０は、ラベリングされた画像を用いて複数の入出力対を生成するステップを含む。

例示的な方法６０，８０は、例として特定の順序で示されているが、本方法６０，８０のステップの他の順序が利用されてもよい。

路傍標識のラベリングは、例として開示されているが、他の物体を、機械学習に適した入出力対の生成のためにラベリングすることもでき、すべて本開示の想定内および範囲内であることを理解されたい。

したがって、例示的な方法は、教師あり機械学習プロセスに利用される入出力対の自動生成のためのシステムを提供する。

例示的な実施形態が開示されてきたが、当業者は、特定の補正が本開示の範囲内に入るであろうことを認識するであろう。そのため、本開示の範囲および内容を決定するためには、以下の特許請求の範囲を検討すべきである。

Claims

教師あり機械学習のための入出力トレーニング対を生成する方法であって、
前記方法は、
車両に取り付けられたカメラを用いて路傍物体の画像を取得するステップと、
前記画像を取得するステップの間に、定義された座標系内で前記車両の位置および向きを記録するステップと、
高精細マップから、各路傍物体に関する位置および向きの情報を取得するステップと、
各路傍物体に関する前記位置情報ならびに前記車両の記録された前記位置および向きを、同じ定義された座標系を有するように変換するステップと、
前記カメラのパラメータに基づく遠近変換を使用して、前記路傍物体の、取得された各画像における位置を、前記車両の記録された前記位置および向きを考慮して各路傍物体の変換された前記位置情報を用いて決定するステップと、
前記路傍物体の、対応する決定された前記位置を考慮して、取得された前記各画像における前記路傍物体を識別するために前記画像をラベリングして、ラベリングされた画像を作成するステップであって、取得された各画像および対応するラベリングされた画像は、機械学習アルゴリズムをトレーニングして、画像内の路傍物体を検出するために、入出力トレーニング対を構成している、ステップと、
少なくとも１つのラベリングされた画像および当該ラベリングされた画像に対する対応するラベルにおいて見られる路傍物体の間の位置合わせの不整合を補正するステップとを含み、
補正する前記ステップは、少なくとも１つのラベリングされた前記画像における各路傍物体に対して、少なくとも１つのラベリングされた前記画像における物体に対応する少なくとも１つの路傍物体の縁部を探索し、少なくとも１つの路傍物体の縁部が見出されたことに基づいて、少なくとも１つのラベリングされた前記画像において、少なくとも１つの路傍物体に対する、対応するラベルの位置合わせを補正することを含む、
方法。
前記路傍物体は、標識を含む、請求項１記載の方法。
前記方法は、前記標識の位置に対する前記車両の相対位置を決定するステップを含む、請求項２記載の方法。
前記方法は、前記カメラの光学的特性について、前記標識と前記車両との間の記録された向きを補正するステップを含む、請求項３記載の方法。
前記ラベリングするステップは、各ラベリングされた画像において、前記各路傍物体にマーキングまたは輪郭を提供するステップを含む、請求項１から４までのいずれか１項記載の方法。
前記定義された座標系は、デカルト座標系である、請求項１から５までのいずれか１項記載の方法。
車両の位置および向きを記録する前記ステップは、ＤＧＰＳ／ＩＭＵシステムを使用して実行される、請求項１から６までのいずれか１項記載の方法。
車両の位置および向きを記録する前記ステップ、ならびに各路傍物体に関する位置情報を記録する前記ステップは、前記車両のメモリデバイスを使用して実行される、請求項１から７までのいずれか１項記載の方法。
前記方法は、
複数の前記画像に関連付けられた第１のタイムスタンプデータセットを取得するステップと、
前記位置および向きの情報に関連付けられた第２のタイムスタンプデータセットを取得するステップと、
を含み、
前記路傍物体の、取得された各画像における位置を決定する前記ステップは、前記第１のタイムスタンプデータセットと前記第２のタイムスタンプデータセットとを同期化するステップを含む、
請求項１から８までのいずれか１項記載の方法。
前記方法は、デカルト座標を用いて各標識の少なくとも１つの角を識別するステップを含む、請求項２から９までのいずれか１項記載の方法。
教師あり機械学習のための入出力トレーニング対を生成するシステムであって、
前記システムは、
車両に取り付けられかつ該車両の外部の物体の画像を捕捉するように構成されたカメラと、
前記物体の前記画像の捕捉中に前記車両の位置および向きの情報を決定するためのＤＧＰＳ／ＩＭＵシステムと、
前記画像ならびに決定された前記位置および向きの情報を記録するためのメモリデバイスと、
前記物体に関する高精細マップ位置情報を含む高精細マップと、
前記画像の捕捉を、前記車両の前記位置および向きの情報と同期化し、前記物体の前記高精細マップ位置情報ならびに前記車両の前記位置および向きの情報に基づいて、前記画像内の前記物体をラベリングし、前記物体がラベリングされている第２のラベリングされた画像セットを提供するようにプログラミングされた少なくとも１つのコンピューティングデバイスであって、各捕捉された画像および対応するラベリングされた画像が、機械学習アルゴリズムをトレーニングするための入出力トレーニング対を形成する、コンピューティングデバイスと、
を含み、
少なくとも１つの前記コンピューティングデバイスは、さらに、少なくとも１つのラベリングされた画像および当該ラベリングされた画像に対する対応するラベルにおいて見られる路傍物体の間の位置合わせの不整合を補正するようにプログラミングされており、当該補正することは、少なくとも１つのラベリングされた画像における各物体に対して、少なくとも１つのラベリングされた前記画像における前記物体に対応する少なくとも１つの物体の縁部を探索し、少なくとも１つの前記物体の縁部が見出されたことに基づいて、少なくとも１つのラベリングされた前記画像において、少なくとも１つの物体に対する、対応するラベルの位置合わせを補正することを含む、
システム。
前記システムは、捕捉された前記画像に関連付けられた第１のタイムスタンプデータセットと、前記位置および向きの情報に関連付けられた第２のタイムスタンプデータセットとを提供するための少なくとも１つのクロックを含み、少なくとも１つの前記コンピューティングデバイスは、前記第１のタイムスタンプデータセットと、前記車両の前記位置および向きの情報に対応する前記第２のタイムスタンプデータセットとにそれぞれ基づいて、捕捉された前記画像を同期化する、請求項１１記載のシステム。
少なくとも１つの前記コンピューティングデバイスは、前記カメラ、前記ＤＧＰＳ／ＩＭＵシステム、および前記高精細マップと通信する車両コントローラを含む、請求項１１または１２記載のシステム。
前記車両コントローラは、前記メモリデバイスを含む、請求項１３記載のシステム。