JP7084444B2

JP7084444B2 - ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置

Info

Publication number: JP7084444B2
Application number: JP2020081206A
Authority: JP
Inventors: チャン－シェンヤン; ボ－チュンシュ; チー－ハオチェン; ポ－シェンファン; チー－シャンチャン
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2019-12-27
Filing date: 2020-05-01
Publication date: 2022-06-14
Anticipated expiration: 2040-05-01
Also published as: US20210201566A1; TW202124190A; US11100702B2; TWI739268B; JP2021108091A

Description

本発明は、概して、２Ｄ画像のラベリング情報に基づく３Ｄ画像ラベリング方法及び３Ｄ画像ラベリング装置に関する。

オートパイロット産業の発展に伴い、３Ｄ画像のラベリング技術が注目されている。現在の３Ｄ画像ラベリング技術は依然として手動ラベリングの段階にあり、半自動化さえ達成することは難しい。２Ｄ画像を手動でラベル付けするコストと比較して、３Ｄ画像を手動でラベル付けするコストは、はるかに高い。したがって、産業界にとって、より低コストで３Ｄ画像にラベル付けすることができる方法または装置を提供することが顕著な課題となっている。

米国特許第１０１６９６７８号明細書米国特許出願公開第２０１９／０１３０２１９号明細書米国特許第１０２６２２３４号明細書

特許文献１では、自律車両制御装置を訓練するための物体識別およびラベリングツールが開示されている。特許文献２では、機械学習のための訓練データの効率的な収集のための拡張現実を用いたシステムおよび方法が開示されている。特許文献３では、３Ｄライダによる物体認識と位置特定のための訓練データを自動的に収集する技術が開示されている。

本発明の一実施形態によれば、３Ｄ画像ラベリング装置が開示される。３Ｄ画像ラベリング装置は、点群クラスタモジュールと、投影モジュールと、統合モジュールと、点群回復モジュールとを含む。点群クラスタモジュールは、３Ｄラベル無し画像およびクラスタアルゴリズムに従って、３Ｄクラスタ化画像を生成するために、３Ｄラベル無し画像の複数の点を１つ以上の第１のポイントクラスタとしてクラスタリングするように構成される。投影モジュールは、３Ｄクラスタ化画像に従って１つ以上の第１のオブジェクトを有する第１の２Ｄ画像を生成するように構成され、第１のポイントクラスタのそれぞれは、第１のオブジェクトの１つに対応する。統合モジュールは、第２の２Ｄ画像を生成するために、１つ以上の２Ｄラベル付き画像の１つ以上のオブジェクトフレームに従って、第１の２Ｄ画像の第１のオブジェクトにラベル付けするように構成される。点群回復モジュールは、第２の２Ｄ画像に従って３Ｄラベル付き画像を生成するように構成される。

本発明の別の実施形態によれば、３Ｄ画像ラベリング方法が開示される。プロセッサによって３Ｄ画像ラベリング方法が実行されるとき、プロセッサは、点群クラスタモジュールを実行して、３Ｄクラスタ化画像を生成するために、３Ｄラベル無し画像およびクラスタアルゴリズムに従って、１つ以上の第１のポイントクラスタとして３Ｄラベル無し画像の複数の点をクラスタリングし、投影モジュールを実行して、３Ｄクラスタ化画像に従って１つ以上の第１のオブジェクトを持つ第１の２Ｄ画像を生成し、第１のポイントクラスタのそれぞれは、１つ以上の第１のオブジェクトの１つに対応する。プロセッサは、統合モジュールを実行して、第２の２Ｄ画像を生成するために、１つ以上の２Ｄラベル付き画像の１つ以上のオブジェクトフレームに従って第１の２Ｄ画像の１つ以上の第１のオブジェクトにラベル付けし、点群回復モジュールを実行して、第２の２Ｄ画像に従って３Ｄラベル付き画像を生成する。

本発明の一実施形態において、２Ｄ画像ラベリング情報に基づく３Ｄ画像ラベリング装置のブロック図である。本発明の一実施形態において、２Ｄ画像ラベリング情報に基づく画像ラベリング方法のフローチャートである。

本発明の上記および他の態様は、好ましいが非限定的な実施形態の以下の詳細な説明を参照して、より良く理解されるのであろう。以下、図面を参照して説明する。

本発明の説明を簡単にするために、以下では、用語「３次元」および「２次元」を、それぞれ「３Ｄ」および「２Ｄ」と呼ぶ。

現在の技術によれば、投影によって３Ｄ画像から変換された２Ｄ画像は、既存のラベリングソフトウェアまたは人工知能を使用して自動的または半自動的にラベル付けすることができない。一方、３Ｄ画像が２Ｄ画像に変換されると、３Ｄ画像の前方の物体と後方の物体との間の奥行き関係は消失する（例えば、後方の物体が前方の物体によって覆われる）。オリジナルの２Ｄ画像に従ってラベル付けされた２Ｄ画像のオブジェクトフレームが、３Ｄ画像から変換された２Ｄ画像にラベル付けするために直接使用されるとする。もし、ラベル付けされた２Ｄ画像が次に３Ｄ画像に変換される場合、前方オブジェクトに対応する点群を後方オブジェクトに対応する点群から区別することができないため、ラベル付けは混乱する。本発明に開示される３Ｄ画像ラベリング装置及び３Ｄ画像ラベリング方法は、上記の問題を解決することができる。

図１を参照すると、本発明の一実施形態において、２Ｄ画像ラベリング情報に基づく３Ｄ画像ラベリング装置のブロック図が示されている。３Ｄ画像ラベリング装置１０は、点群クラスタモジュール１０２と、投影モジュール１０４と、統合モジュール１０６と、点群回復モジュール１０８とを含む。

一実施形態では、点群クラスタモジュール１０２、投影モジュール１０４、統合モジュール１０６、および点群回復モジュール１０８は、コンピュータ可読コマンドの組合せによって実現することができ、３Ｄ画像ラベリングデバイス１０の非一時的メモリ（図示せず）に格納することができる。点群クラスタモジュール１０２、投影モジュール１０４、統合モジュール１０６、および点群回復モジュール１０８を実現するように構成されたコンピュータ可読コマンドが処理ユニット（図示せず）によって実行されると、処理ユニットは、点群クラスタモジュール１０２、投影モジュール１０４、統合モジュール１０６、および点群回復モジュール１０８の機能を実行することが可能になる。

点群クラスタモジュール１０２は、３Ｄラベル無し画像3D－IMG－unlabを受信し、３Ｄラベル無し画像3D－IMG－unlabの複数の点を、３Ｄクラスタ化画像3D－IMG－clusを生成するためのクラスタアルゴリズムに従って、１つ以上の第１のポイントクラスタとしてクラスタリングするように構成される。

投影モジュール１０４は、３Ｄクラスタ化画像3D－IMG－clusの第１のポイントクラスタを２Ｄ平面に投影して、第１の２Ｄ画像2D－IMG1を生成するように構成される。

統合モジュール１０６は、第１の２Ｄ画像2D－IMG1および１つ以上の２Ｄラベル付き画像2D－IMG－labを受信し、第１の２Ｄ画像2D－IMG1およびと２Ｄラベル付き画像2D－IMG－labに従って、第２の２Ｄ画像2D－IMG2を生成するように構成される。

点群回復モジュール１０８は、第２の２Ｄ画像2D－IMG2に従って３Ｄラベル付き画像3D－IMG－labを生成するように構成される。

図２を参照すると、本発明の一実施形態において、２Ｄ画像ラベリング情報に基づく画像ラベリング方法のフローチャートが、本発明のより良い理解を得るために示されている。３Ｄ画像ラベリング方法は、３Ｄ画像ラベリング装置１０において使用することができ、処理ユニットによって実行することができる。

最初に、この方法はステップＳ２０１で始まり、点群クラスタモジュールが実行されて、３Ｄラベル無し画像を受信し、３Ｄラベル無し画像3D－IMG－unlabの複数の点を、３Ｄクラスタ化画像3D－IMG－clusを生成するためのクラスタアルゴリズムに従って、１つ以上の第１のポイントクラスタとしてクラスタリングする。一実施形態では、３Ｄラベル無し画像3D－IMG－unlabを、３Ｄオリジナル画像データベースから取得することができる。別の実施形態では、３Ｄラベル無し画像3D－IMG－unlabを、ライダーレーダー（light detection and ranging (LiDAR) radar）またはレーダなどの１つ以上の３Ｄカメラによって取得することができる。３Ｄラベル無し画像3D－IMG－unlabが複数の３Ｄカメラから取得される場合、特定の時間および特定の空間に対応する３Ｄラベル無し画像3D－IMG－unlabは、３Ｄカメラによってキャプチャされた３Ｄオリジナル画像から、時空間の調整を通じて生成することができ、３Ｄラベル無し画像3D－IMG－unlabは、さらに点群クラスタモジュール１０２に提供される。一実施形態では、各点が空間情報（例えば、３Ｄ座標）を含んでもよい。別の実施形態では、各点が空間情報および色情報（例えば、ＲＧＢ値）を含み得る。一実施形態では、本発明で使用されるクラスタアルゴリズムは、点間距離に基づくクラスタアルゴリズムなど、本技術分野で一般に使用されるアルゴリズムとすることができる。別の実施形態では、本発明で使用されるクラスタアルゴリズムは、点密度に基づくクラスタアルゴリズムとすることができる。クラスタ点の中で、点密度に基づくクラスタアルゴリズムは、前方物体（カメラに近い物体）に属するクラスタ点の部分を後方物体（カメラから遠い物体）に属するクラスタ点の部分と効果的に区別することができ、点の２つの部分を別個の第１のポイントクラスタに割り当てることができる。第１のポイントクラスタの各々は、１つ以上の点を含んでもよい。一実施形態では、第１のポイントクラスタの各々がオブジェクトを表してもよい。別の実施形態では、第１のポイントクラスタの各々が実際のオブジェクトの複数の断片のうちの１つを表してもよい。例えば、３つの第１ポイントクラスタは、人物の頭部、上半身、及び下半身（実際の物体の３つ）をそれぞれ表してもよい。３つの第１のポイントクラスタが一緒に結合されるとき、３つの第１のポイントクラスタは、人などの実際のオブジェクトを表してもよい。

ステップＳ２０３において、投影モジュールが実行されて、第１の２Ｄ画像2D－IMG1を生成するため、３Ｄクラスタ化画像3D－IMG－clusの第１のポイントクラスタを２Ｄ平面に投影する。一実施形態によると、投影モジュール１０４は、近点球面投影法を用いて第１の２Ｄ画像2D-IMG1を生成することができる。別の実施形態では、投影モジュール１０４は、本技術分野で一般的に使用される投影方法を使用して、第１の２Ｄ画像2D-IMG1を生成することができる。第１の２Ｄ画像2D－IMG1は、３Ｄクラスタ化画像3D－IMG－clusの第１のポイントクラスタの投影から形成された１つ以上の第１のオブジェクトを含む。すなわち、投影モジュールによって生成される第１の２Ｄ画像2D－IMG1は、３Ｄ情報を有する２Ｄ画像である。

ステップＳ２０５において、統合モジュールが実行され、第１の２Ｄ画像2D－IMG1および１つ以上の２Ｄラベル付き画像2D－IMG－labに従って、第２の２Ｄ画像2D－IMG2を生成する。２Ｄラベル付き画像2D－IMG－labおよび３Ｄラベル無し画像3D－IMG－unlabは、同じ特定の時間および同じ特定の空間に対応する。一実施形態では、２Ｄラベル付き画像2D-IMG-labは、２Ｄラベル付き画像データベースから取得される。他の実施態様において、２Ｄラベル付き画像2D-IMG-labは、一つまたは複数の２Ｄカメラから得られる。複数の２Ｄカメラから２Ｄラベル付き画像2D-IMG-labが得られる場合、異なる角度（３０°、６０°、１２０°など）で２Ｄカメラによって撮影された２Ｄ画像はさらに較正され、ラベル付けされて、２Ｄラベル付き画像2D-IMG-labが生成される。次に、２Ｄラベル付き画像2D－IMG－labは、統合モジュール１０６に提供される。２Ｄラベル付き画像2D-IMG-labの各々は、１つ以上のオブジェクトフレームを含んでもよい。オブジェクトフレームの各々は、「人」、「自動車」又は「自動二輪車」のようなオブジェクトカテゴリを有する。統合モジュール１０６は、第２の２Ｄ画像2D-IMG2を生成するために、２Ｄラベル付き画像2D-IMG-labのオブジェクトフレームに従って、第１の２Ｄ画像2D-IMG1にラベル付けする。一実施形態では、第１の２Ｄ画像2D－IMG1の第１のオブジェクトのそれぞれについて、統合モジュール１０６は、第１のオブジェクトがラベル付き画像2D-IMG-labのオブジェクトフレームのうちの１つに対応する範囲内にあるかどうかを判定する。判定が肯定的である場合、第１のオブジェクトは、対応するオブジェクトフレームのカテゴリに従ってラベル付けされ、そうでない場合、第１のオブジェクトはラベル付けされず、第２の２Ｄ画像が生成される。上記の方法により、ラベル付き画像2D－IMG－labのオブジェクトフレームに対応する第１の２Ｄ画像2D－IMG1の第１のオブジェクトの各々について、オブジェクトカテゴリを決定することができる。すなわち、第２の２Ｄ画像2D－IMG2では、ラベル付き画像2D－IMG－labのオブジェクトフレームに対応する第１のオブジェクトのそれぞれのオブジェクトカテゴリが、対応するラベル付き画像2D－IMG－labのオブジェクトフレームのオブジェクトカテゴリと同じであり、ラベル付き画像2D－IMG－labのオブジェクトフレームに対応しない第１のオブジェクトは、依然としていずれのオブジェクトカテゴリにも割り当てられない。

ステップＳ２０７において、点群回復モジュールが実行されて、第２の２Ｄ画像2D－IMG2に従って３Ｄラベル付き画像3D－IMG－labが生成される。一実施形態では、第２の２Ｄ画像2D－IMG2の第１のオブジェクトのそれぞれについて、点群回復モジュール１０８は、第１のオブジェクトのオブジェクトカテゴリ（存在する場合）に従って、３Ｄラベル付き画像3D-IMG-labを生成するため、第１のオブジェクトに対応する３Ｄクラスタ化画像3D－IMG－clusの第１のポイントクラスタのすべての点にラベル付けする。

一実施形態では、手動支援されたラベリングステップがステップＳ２０５とステップＳ２０７との間に挿入される。手動支援ラベリングステップでは、第２の２Ｄ画像2D－IMGのラベル付けされていない第１のオブジェクトの数を減らすため、ラベル付き画像2D-IMG-labのオブジェクトフレームに対応しない第１の２Ｄ画像2D－IMG1の第１のオブジェクトにラベル付けすることができる。

本発明に開示される３Ｄ画像ラベリング装置及び３Ｄ画像ラベリング方法によれば、３Ｄラベル無し画像が投影によって第１の２Ｄ画像に変換される前に、点群クラスタモジュールは、３Ｄクラスタ化画像を生成するため、３Ｄラベル無し画像の点をクラスタリングする。３Ｄクラスタ化画像の第１のポイントクラスタの各々は、第１の２Ｄ画像の第１のオブジェクトに対応する。第１のポイントクラスタ間の位置関係は、第１のポイントクラスタと第１のオブジェクトとの間の対応によって維持される。次に、第１の２Ｄ画像の第１のオブジェクトは、第２の２Ｄ画像を生成するために、２Ｄラベル付き画像のオブジェクトフレームに従ってラベル付けされる。第２の２Ｄ画像の第１のオブジェクトは、ラベル付けされ、オブジェクトカテゴリに割り当てられる。次に、第２の２Ｄ画像の第１のオブジェクトのオブジェクトカテゴリが、第１のポイントクラスタに対応する３Ｄクラスタ化画像のすべての点に適用される。したがって、上記の方法によって生成されたラベル付けされた３Ｄ画像は、３Ｄ点が投影されるとき、前方物体と後方物体との間の奥行き関係を欠くという問題がない。

実際の用途では、本発明で開示される３Ｄ画像ラベリング装置および３Ｄ画像ラベリング方法は、２Ｄラベル付き画像データベースおよび３Ｄラベル無し画像データベースに従って、３Ｄラベル付き画像データベースを作成するように構成することができる。別の実用化において、本発明に開示される３Ｄ画像ラベリング装置及び３Ｄ画像ラベリング方法は、２Ｄカメラによって提供される２Ｄ画像に瞬時にラベリングすることによって、３Ｄカメラによって提供される３Ｄ画像に瞬時にラベリングするために、自動運転車両に配置することができる。

本発明を、例として、好ましい実施形態に関して説明してきたが、本発明はそれに限定されない。これに反して、種々の修正及び類似の配置及び手順をカバーすることが意図されており、従って、添付の請求項の範囲はそのようなすべての修正及び類似の配置及び手順を包含するように、最も広い解釈が与えられるべきである。

Claims

３Ｄクラスタ化画像を生成するために、３Ｄラベル無し画像の複数の点を、１つ以上の第１のポイントクラスタとして、前記３Ｄラベル無し画像とクラスタアルゴリズムに従って、クラスタリングするように構成された点群クラスタモジュールと、
前記３Ｄクラスタ化画像に従って、１つ以上の第１のオブジェクトを有する第１の２Ｄ画像を生成するように構成され、前記第１のポイントクラスタの各々は前記１つ以上の第１のオブジェクトの１つに対応する投影モジュールと、
第２の２Ｄ画像を生成するために、１つ以上の２Ｄラベル付き画像の１つ以上のオブジェクトフレームに従って、前記第１の２Ｄ画像の前記１つ以上の第１のオブジェクトにラベル付けするように構成された統合モジュールと、
前記第２の２Ｄ画像に従って３Ｄラベル付き画像を生成するように構成された点群回復モジュールと、
を含み、
前記第１の２Ｄ画像の前記第１のオブジェクトの各々について、前記統合モジュールは、前記第１のオブジェクトが前記１つ以上のラベル付き画像の前記１つ以上のオブジェクトフレームの１つに対応する範囲内にあるかどうかを決定し、前記統合モジュールの前記決定が肯定的である場合、前記第１のオブジェクトは、前記対応するオブジェクトフレームのカテゴリに従ってラベル付けされ、そうでない場合、前記第１のオブジェクトはラベル付けされず、前記第２の２Ｄ画像が生成される３Ｄ画像ラベリング装置。
前記クラスタアルゴリズムは、前記３Ｄ画像の前記点の密度に基づいている、請求項１に記載の３Ｄ画像ラベリング装置。
オブジェクトカテゴリを有する前記第２の２Ｄ画像の前記第１のオブジェクトの各々について、前記点群回復モジュールは、前記第１のオブジェクトの前記オブジェクトカテゴリに従って、前記第１のオブジェクトの前記第１のポイントクラスタに対応する前記３Ｄクラスタ化画像のすべての点にラベル付けする、請求項１に記載の３Ｄ画像ラベリング装置。
前記第１のポイントクラスタの各々は、実際のオブジェクトの断片に対応する、請求項１に記載の３Ｄ画像ラベリング装置。
３Ｄ画像ラベリング方法であって、前記方法がプロセッサによって実行されるとき、前記プロセッサは、
３Ｄクラスタ化画像を生成するために、３Ｄラベル無し画像の複数の点を、１つ以上の第１のポイントクラスタとして、前記３Ｄラベル無し画像とクラスタアルゴリズムに従って、クラスタリングする点群クラスタモジュールを実行すること、
前記第１のポイントクラスタのそれぞれが、１つ以上の第１のオブジェクトの１つに対応するように、前記３Ｄクラスタ化画像に従って、前記１つ以上の第１のオブジェクトを有する第１の２Ｄ画像を生成する投影モジュールを実行すること、
第２の２Ｄ画像を生成するために、前記第１の２Ｄ画像の前記１つ以上の第１のオブジェクトを、１つ以上の２Ｄラベル付き画像の１つ以上のオブジェクトフレームに従って、ラベル付けする統合モジュールを実行すること、および、
前記第２の２Ｄ画像に従って、３Ｄラベル付き画像を生成する点群回復モジュールを実行すること、
を可能にし、
前記第１の２Ｄ画像の前記第１のオブジェクトの各々について、前記統合モジュールは、前記第１のオブジェクトが前記１つ以上のラベル付き画像の前記１つ以上のオブジェクトフレームの１つに対応する範囲内にあるかどうかを決定し、前記統合モジュールの前記決定が肯定的である場合、前記第１のオブジェクトは、前記対応するオブジェクトフレームのカテゴリに従ってラベル付けされ、そうでない場合、前記第１のオブジェクトはラベル付けされず、前記第２の２Ｄ画像が生成される３Ｄ画像ラベリング方法。
前記クラスタアルゴリズムは、前記３Ｄ画像の前記点の密度に基づいている、請求項５に記載の３Ｄ画像ラベリング方法。
オブジェクトカテゴリを有する前記第２の２Ｄ画像の前記第１のオブジェクトの各々について、前記点群回復モジュールは、前記第１のオブジェクトの前記オブジェクトカテゴリに従って、前記第１のオブジェクトの前記第１のポイントクラスタに対応する前記３Ｄクラスタ化画像のすべての点にラベル付けする、請求項５に記載の３Ｄ画像ラベリング方法。
前記第１のポイントクラスタの各々は、実際のオブジェクトの断片に対応する、請求項５に記載の３Ｄ画像ラベリング方法。