JP6588053B2

JP6588053B2 - 点群データにアノテーションを付与する方法および装置

Info

Publication number: JP6588053B2
Application number: JP2017106563A
Authority: JP
Inventors: ユジャン; フーチャンルブ; ジュハン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2016-10-13
Filing date: 2017-05-30
Publication date: 2019-10-09
Anticipated expiration: 2037-05-30
Also published as: US11004234B2; CN107945198B; CN107945198A; US20180108146A1; JP2018063236A

Description

本願はコンピュータ技術分野に関し、具体的には、点群データ処理の技術分野、特に点群データにアノテーションを付与する方法および装置に関する。

点群データに関する認識アルゴリズムは、訓練時に障害物認識アルゴリズムを最適化させるために、大量のアノテーションが付与された点群データを訓練サンプルとして用いることが必要である。従って、最適化過程を順調に行うように、異なるシーンの点群データを予め大量に収集して、正確にアノテーションを付与しなければならない。

ところが、点群データ密度の不十分および点群データを収集する時の角度変化によって、点群アノテーションが困難となり、アノテーション操作者がアノテーションを付与するのに時間がかかり、且つアノテーションの正確性が低い。そのため、点群データのアノテーション効率を向上させることが期待される。
［先行技術文献］
［特許文献］
［特許文献１］米国特許出願公開第２０１４／０３０７２４７号公報

本願は、改良された点群データにアノテーションを付与するための方法および装置を提供することで、以上の背景技術に記載の技術的問題を解決することを目的とする。

発明を解決するための手段

第１態様では、本願は、点群データにアノテーションを付与する方法を提供し、この方法は、レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップと、前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得するステップと、前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップと、前記特徴物の認識と追跡の結果を用いて前記点群の分割と追跡の結果を補正して、点群の分割と追跡の結果の信頼度を取得するステップと、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップと、を含む。

いくつかの実施例において、点群の分割と追跡の結果の信頼度を取得した後に、前記方法は、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供するステップと、信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、検証後の点群の分割と追跡の結果を取得するステップと、をさらに含み、前記の信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップにおいては、検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定するステップを含む。

いくつかの実施例において、前記のレーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、ビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得するステップを含む。

いくつかの実施例において、前記の前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップにおいては、前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行するステップを含む。

いくつかの実施例において、前記レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行うステップを含む。

いくつかの実施例において、前記のレーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行うステップを含む。

第２態様では、本願は、点群データにアノテーションを付与する装置を提供し、この装置は、レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得する収集ユニットと、前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得する分割・追跡ユニットと、前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する認識・追跡ユニットと、前記特徴物の認識と追跡の結果を用いて前記点群の分割と追跡の結果を補正して、点群の分割と追跡の結果の信頼度を取得する補正ユニットと、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定する決定ユニットと、を備える。

いくつかの実施例において、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供し、信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、点群の検証後の分割と追跡の結果を取得する取得ユニットをさらに備え、前記決定ユニットはさらに、検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定する。

いくつかの実施例において、前記収集ユニットは、ビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得する。
いくつかの実施例において、前記認識・追跡ユニットは、前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行する。

いくつかの実施例において、前記収集ユニットは、配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行う。
いくつかの実施例において、前記収集ユニットは、自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行う。

本願が提供する点群データにアノテーションを付与する方法および装置は、その他のセンサデータに対して認識と追跡を行って得られた特徴物の認識と追跡の結果を用いて、点群の分割と追跡の結果を補正し、且つ、補正して得られた信頼度に基づいて最終の点群のアノテーション結果を選別し、それによって、点群データにアノテーションを付与する作業負荷を低減させるとともに、アノテーションコストを低減させる。

以下の図面を参照しながら行った非限定的な実施例についての詳細な説明に基づいて、本願の他の特徴、目的や利点はより明瞭になる。
本願を適用できる例示的なシステムアーキテクチャー図である。本願に係る点群データにアノテーションを付与する方法の一実施例を示すフローチャートである。本願に係る点群データにアノテーションを付与する方法の別の実施例を示すフローチャートである。本願に係る点群データにアノテーションを付与する装置の一実施例を示す構造模式図である。本願の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステムを示す構造模式図である。

以下、図面および実施例を参照しながら本発明をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するものに過ぎず、当該発明を限定するものではないと理解すべきである。ただし、説明の便宜上、図面に発明に関連する部分のみが示されている。

なお、衝突しない場合、本願の実施例及び実施例の特徴を相互に組み合せてもよい。以下、図面及び実施例を参照しながら本願を詳細に説明する。
図１は本願を適用できる点群データにアノテーションを付与する方法または装置の実施例の例示的なシステムアーキテクチャー１００を示す。

図１に示されるように、システムアーキテクチャー１００は、端末装置１０１、ネットワーク１０２およびサーバ１０３を備えてもよい。ネットワーク１０２は端末装置１０１とサーバ１０３の間に通信リンクを提供する媒体に用いられている。ネットワーク１０２は様々な接続タイプ、例えば有線、無線通信リンクまたは光ファイバーケーブル等を含んでもよい。

ユーザは端末装置１０１を用いてネットワーク１０２を介してサーバ１０３とインタラクションして、それによりメッセージなどを送受信することができる。端末装置１０１に、様々な通信クライアントアプリケーション、例えば点群可視化ツール等がインストールされてもよい。

端末装置１０１はディスプレイスクリーンを有し且つ点群可視化ツールの実行をサポートできる様々な電子機器であってもよく、ラップトップコンピュータやデスクトップコンピュータ等を含むが、これらに制限されない。

サーバ１０３は様々なサービスを提供できるサーバであってもよく、例えば、端末装置１０１に表示される情報をサポートするバックグランドサーバが挙げられる。バックグランドサーバは受信したデータに分析等の処理を行って、処理結果を端末装置にフィードバックすることができる。

なお、本願の実施例で提供される点群データにアノテーションを付与する方法は端末装置１０１によって実行されてもよく、サーバ１０３によって実行されてもよく、端末装置１０１とサーバ１０３によって当該方法の異なるステップがそれぞれ実行されてもよい。相応に、点群データにアノテーションを付与する装置は端末１０１に設置されても、サーバ１０３に設置されても、端末１０１とサーバ１０３に当該装置の異なるユニットが設置されてもよい。

なお、図１における端末装置、ネットワークおよびサーバの数は例示的なものに過ぎない。必要に応じて、端末装置、ネットワークおよびサーバの数が任意であってもよい。
さらに、本願に係る点群データにアノテーションを付与する方法の一実施例のプロセス２００を示す図２を参照する。前記点群データにアノテーションを付与する方法は、以下のステップを含む。

ステップ２０１：レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得する。
本実施例では、点群データにアノテーションを付与する方法が実行されている電子機器（例えば図１に示される端末装置またはサーバ）は、レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行うことができ、レーザレーダによって点群データを取得でき、当該レーザレーダと異なるセンサによって点群データ以外のセンサデータが取得できる。

ステップ２０２：点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得する。
本実施例では、電子機器はステップ２０１で得られた点群データに基づいて、点群データに対して分割と追跡操作を実行して、点群の分割と追跡の結果を取得する。そのうち、点群の分割と追跡の操作は従来の点群の分割と追跡の結果アルゴリズムによって実現でき、ここで詳細な説明を省略する。

ステップ２０３：センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する。
本実施例では、ステップ２０１で得られたセンサデータについては、電子機器はセンサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する。

ステップ２０４：特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正し、点群の分割と追跡の結果の信頼度を取得する。
本実施例では、電子機器はステップ２０３で得られた特徴物の認識と追跡の結果、およびステップ２０２で得られた点群の分割と追跡の結果に基づいて、特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正し、点群の分割と追跡の結果の信頼度を取得できる。補正過程は、点群の分割と追跡の結果が特徴物の認識と追跡の結果と一致するかどうか、および両方の一致度を判断することである。例えば、点群の分割と追跡の結果では、物体を通行人として識別し、特徴物の認識と追跡の結果でも、当該当物体を通行人として識別した場合、両方によるこの物体の認識の結果が一致すると判断でき、点群の分割と追跡の結果では物体を通行人として識別したが、特徴物の認識と追跡の結果では当該当物体を車両として識別した場合、両方によるこの物体の認識の結果が不一致と判断できる。

ステップ２０５：信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定する。
本実施例では、電子機器は、ステップ２０４で得られた信頼度と予め設定した信頼度閾値とを比較し、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を、点群のアノテーション結果として決定することができる。

本実施例のいくつかの代替的な実施形態では、ステップ２０１においては、ビデオカメラを用いてシーンに対してデータ収集を行って、撮影映像を取得することを含む。当該実施形態では、レーザレーダと異なるセンサとしてビデオカメラが使用され、相応に、特徴物を認識するためのセンサデータは撮影映像になる。

この前の実施形態のいくつかの代替的な実施形態では、ステップ２０３においては、撮影映像の映像コンテンツに対して、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行することを含む。当該実施形態において、電子機器はナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムによって、撮影映像の映像コンテンツにおける特徴物に対して認識と追跡を行い、その後に点群の分割と追跡の結果の信頼度を評価する標準とする。ナンバープレート認識・追跡アルゴリズムおよび顔認識・追跡アルゴリズムは現在の成熟した技術であるため、この２種の認識アルゴリズムのうちの１種または２種によって特徴物の認識と追跡の正確性を向上でき、さらに後続のステップで得られる信頼度の信頼性を向上させ、最終的に得られるアノテーション結果もより正確になる。

本実施例の代替的な実施形態では、上記ステップ２０４において特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正することは、３Ｄ点群の空間座標をビデオカメラの空間座標系と一致するように調整して、カメラが撮影する点をレーザレーダによる点とマッチングさせることを含む。その後に、点群の分割と追跡の結果における物体と物体の運動軌跡が、映像コンテンツに対して得られた特徴物の認識と追跡における物体と物体の運動軌跡と一致するかどうか、および一致度を判断し、取得した一致度を出力する信頼度としてもよい。

本実施例のいくつかの代替的な実施形態では、ステップ２０１においては、配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行うことを含む。当該実施形態において、配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行うことで、収集したデータをできるだけ自律走行車が実際に運転している時に収集するデータに近くして、それによって、最終的なアノテーション結果から最大限に自律走行車に適用する障害物認識アルゴリズムを訓練できる。

本実施例のいくつかの代替的な実施形態では、ステップ２０１においては、自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行うことを含む。当該実施形態では、上記ステップ２０１において、自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行うことができる。このような方式では、自律走行車における車載装置を直接データ収集装置として用いることにより、収集したデータをできるだけ自律走行車が実際に運転している時に収集するデータに近くして、それによって、最終的なアノテーション結果から最大限に自律走行車に適用する障害物認識アルゴリズムを訓練できる。

本願の上記実施例で提供した方法は、ほかのセンサデータに対して認識と追跡を行って得られた特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正し、補正して得られた信頼度に基づいて最終的な点群アノテーション結果を選別し、それによって、点群データにアノテーションを付与する作業負荷を低減させるとともに、アノテーションコストを低減させる。

さらに、点群データにアノテーションを付与する方法の別の実施例のプロセス３００を示す図３を参照する。当該点群データにアノテーションを付与する方法のプロセス３００は、以下のステップを含む。

ステップ３０１：レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得する。
本実施例では、ステップ３０１の具体的な処理は図２に対応する実施例のステップ２０１を参照すればよく、ここで、詳細な説明を省略する。

ステップ３０２：点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得する。
本実施例では、ステップ３０２の具体的な処理は図２に対応する実施例のステップ２０２を参照すればよく、ここで、詳細な説明を省略する。

ステップ３０３：センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する。
本実施例では、ステップ３０３の具体的な処理は図２に対応する実施例のステップ２０３を参照すればよく、ここで、詳細な説明を省略する。

ステップ３０４：特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正し、点群の分割と追跡の結果の信頼度を取得する。
本実施例では、ステップ３０４の具体的な処理は図２に対応する実施例のステップ２０４を参照すればよく、ここで、詳細な説明を省略する。

ステップ３０５：信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供する。
本実施例では、ステップ３０４で取得した信頼度に基づいて、電子機器は信頼度が信頼度閾値より大きい点群の分割と追跡の結果を抽出し、抽出した点群の分割と追跡の結果をユーザによる検証に供することができる。

ステップ３０６：信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、検証後の点群の分割と追跡の結果を取得する。
本実施例では、ステップ３０５で得られた信頼度が信頼度閾値より大きい点群の分割と追跡の結果について、ユーザが点群の分割と追跡の結果に検証操作を実行したことが検出された場合、電子機器は検証後の点群の分割と追跡の結果を取得できる。

本実施例のいくつかの代替的な実施形態では、当該検証操作は、ユーザが点群の分割と追跡の結果に対する人工的な抜き取り検査操作であってもよい。実際には、信頼度が信頼度閾値より大きい点群の分割と追跡の結果をユーザに表示してユーザによる抜き取り検査に供することができ、抜き取り検査において問題なければ、点群の分割と追跡の結果を後続ステップに用いてもよい。

ステップ３０７：検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定する。
本実施例では、ステップ３０６で得られた検証後の点群の分割と追跡の結果に基づいて、上記電子機器は検証後の点群の分割と追跡の結果を最終的な点群のアノテーション結果として決定できる。

図３から明らかなように、図２の対応する実施例に比べて、本実施例では、点群データにアノテーションを付与する方法であるプロセス３００は、信頼度が信頼度閾値より大きい点群の分割と追跡の結果の検証操作を強調することで、得られたアノテーション結果をより正確にし、さらに、アノテーション結果からより優れた点群認識アルゴリズムを訓練できるようにさせる。

さらに、図４に示されるように、上記各図に示される方法の実現として、本願は点群データにアノテーションを付与する装置の一実施例を提供し、当該装置の実施例は図２に示される方法の実施例に対応するものであり、当該装置は具体的に様々な電子機器に適用できる。

図４に示されるように、本実施例の前記した点群データにアノテーションを付与する装置４００は、収集ユニット４０１、セグメンテーション・追跡ユニット４０２、認識・追跡ユニット４０３、補正ユニット４０４および決定ユニット４０５を備える。そのうち、収集ユニット４０１はレーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得し、セグメンテーション・追跡ユニット４０２は点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得し、認識・追跡ユニット４０３はセンサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得し、補正ユニット４０４は特徴物の認識と追跡の結果を用いて点群の分割と追跡の結果を補正し、点群の分割と追跡の結果の信頼度を取得し、決定ユニット４０５は信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定する。

本実施例では、点群データにアノテーションを付与する装置４００の収集ユニット４０１、セグメンテーション・追跡ユニット４０２、認識・追跡ユニット４０３、補正ユニット４０４および決定ユニット４０５の具体的な処理については、図２に対応する実施例のステップ２０１、ステップ２０２、ステップ２０３、ステップ２０４およびステップ２０５を参照すればよく、ここで、詳細な説明を省略する。

本実施例のいくつかの代替的な実施形態では、装置４００は、信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、点群の検証後の分割と追跡の結果を取得し、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供する取得ユニット４０６をさらに備える。また、決定ユニット４０５はさらに、検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定する。当該実施形態の具体的な実現は、図３に対応する実施例における、対応するステップを参照すればよく、ここで、詳細な説明を省略する。

本実施例のいくつかの代替的な実施形態では、収集ユニット４０１はビデオカメラを用いてシーンに対してデータ収集を行って、撮影映像を取得する。当該実施形態の具体的な実現は図２に対応する実施例における、対応する実施形態を参照すればよく、ここで、詳細な説明を省略する。

本実施例のいくつかの代替的な実施形態では、認識・追跡ユニット４０３は、撮影映像の映像コンテンツに対して、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行する。当該実施形態の具体的な実現は図２に対応する実施例における、対応する実施形態を参照すればよく、ここで、詳細な説明を省略する。

本実施例のいくつかの代替的な実施形態では、収集ユニット４０１は、配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行う。当該実施形態の具体的な実現は図２に対応する実施例における、対応する実施形態を参照すればよく、ここで、詳細な説明を省略する。

本実施例のいくつかの代替的な実施形態では、収集ユニット４０１は、自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行う。当該実施形態の具体的な実現は図２に対応する実施例における、対応する実施形態を参照すればよく、ここで、詳細な説明を省略する。

以下、本発明の実施例を実現するためのサーバに適用されるコンピュータシステム５００を示す構造模式図である図５を参照する。
図５に示すように、コンピュータシステム５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているプログラムまたは記憶部５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）５０１を備える。ＲＡＭ５０３には、システム５００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

キーボード、マウスなどを含む入力部５０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部５０７、ハードディスクなどを含む記憶部５０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部５０９は、Ｉ／Ｏインターフェース５０５に接続されている。通信部５０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ５１０は、必要に応じてＩ／Ｏインターフェース５０５に接続される。リムーバブルメディア５１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ５１０に取り付けられ、したがって、ドライバ５１０から読み出されたコンピュータプログラムが必要に応じて記憶部５０８にインストールされる。

特に、本発明の実施例によれば、フローチャートを参照しながら記載された上記のプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部５０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア５１１からインストールされてもよい。

図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。

本発明の実施例に記載されたユニットは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設定されてもよく、例えば、「収集ユニット、分割・追跡ユニット、認識・追跡ユニット、補正ユニットおよび決定ユニットを備えるプロセッサ」として記載されてもよい。その中でも、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、認識・追跡ユニットは、「前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するユニット」として記載されてもよい。

一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、前記機器に、レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得し、前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得し、前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得し、前記特徴物の認識と追跡の結果を用いて前記点群の分割と追跡の結果を補正して、点群の分割と追跡の結果の信頼度を取得し、信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するようにさせる。

以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップと、
前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得するステップと、
前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップと、
前記特徴物の認識と追跡の結果を用いて前記点群の分割と追跡の結果を補正して、点群の分割と追跡の結果の信頼度を取得するステップと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップと、を含む
ことを特徴とする点群データにアノテーションを付与する方法。
請求項２：
点群の分割と追跡の結果の信頼度を取得した後に、前記方法は、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供するステップと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、検証後の点群の分割と追跡の結果を取得するステップと、をさらに含み、
前記の信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップにおいては、
検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定するステップを含む
ことを特徴とする請求項１に記載の方法。
請求項３：
前記のレーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、
ビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得するステップを含む
ことを特徴とする請求項２に記載の方法。
請求項４：
前記の前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップにおいては、
前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行するステップを含む
ことを特徴とする請求項３に記載の方法。
請求項５：
前記レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、
配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行うステップを含む
ことを特徴とする請求項１〜４のいずれか１項に記載の方法。
請求項６：
前記のレーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、
自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行うステップを含む
ことを特徴とする請求項１〜４のいずれか１項に記載の方法。
請求項７：
レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得する収集ユニットと、
前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得する分割・追跡ユニットと、
前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する認識・追跡ユニットと、
前記特徴物の認識と追跡の結果を用いて前記点群の分割と追跡の結果を補正して、点群の分割と追跡の結果の信頼度を取得する補正ユニットと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定する決定ユニットと、を備える
ことを特徴とする点群データにアノテーションを付与する装置。
請求項８：
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供し、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、点群の検証後の分割と追跡の結果を取得する取得ユニットをさらに備え、
前記決定ユニットはさらに、
検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定する
ことを特徴とする請求項７に記載の装置。
請求項９：
前記収集ユニットは、
ビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得する
ことを特徴とする請求項８に記載の装置。
請求項１０：
前記認識・追跡ユニットは、
前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行する
ことを特徴とする請求項９に記載の装置。
請求項１１：
前記収集ユニットは、
配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行う
ことを特徴とする請求項７〜１０のいずれか１項に記載の装置。
請求項１２：
前記収集ユニットは、
自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行う
ことを特徴とする請求項７〜１０のいずれか１項に記載の装置。

Claims

レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップであって、前記センサとしてビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得する、ステップと、
前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得するステップと、
前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップと、
前記特徴物の認識と追跡の結果を用いて点群データの座標系とセンサデータの座標系とを一致するように調整し、両座標系をマッチングさせて、点群の分割と追跡の結果の信頼度を取得するステップであって、前記点群の分割と追跡の結果における物体と物体の運動軌跡が、前記撮影映像の映像コンテンツに対して得られた特徴物の認識と追跡における物体と物体の運動軌跡と一致するか否か、および一致度を判断し、取得した一致度を前記点群の分割と追跡の結果の信頼度とする、ステップと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップと、を含む
ことを特徴とする点群データにアノテーションを付与する方法。
点群の分割と追跡の結果の信頼度を取得した後に、前記方法は、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる人工的な抜き取り検査操作に供するステップと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる検証操作に応答して、検証後の点群の分割と追跡の結果を取得するステップと、をさらに含み、
前記信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定するステップにおいては、
検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定するステップを含む
ことを特徴とする請求項１に記載の方法。
前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得するステップにおいては、
前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行するステップを含む
ことを特徴とする請求項１に記載の方法。
前記レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、
配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行うステップを含む
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
前記レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得するステップにおいては、
自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行うステップを含む
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
レーザレーダおよびレーザレーダと異なるセンサを用いて同一シーンに対してデータ収集を行って、点群データおよびセンサデータをそれぞれ取得する収集ユニットであって、前記センサとしてビデオカメラを用いて前記シーンに対してデータ収集を行って、撮影映像を取得する、収集ユニットと、
前記点群データに対して分割と追跡を行って、点群の分割と追跡の結果を取得する分割・追跡ユニットと、
前記センサデータにおける特徴物に対して認識と追跡を行って、特徴物の認識と追跡の結果を取得する認識・追跡ユニットと、
前記特徴物の認識と追跡の結果を用いて点群データの座標系とセンサデータの座標系とを一致するように調整し、両座標系をマッチングさせて、点群の分割と追跡の結果の信頼度を取得する補正ユニットであって、前記点群の分割と追跡の結果における物体と物体の運動軌跡が、前記撮影映像の映像コンテンツに対して得られた特徴物の認識と追跡における物体と物体の運動軌跡と一致するか否か、および一致度を判断し、取得した一致度を前記点群の分割と追跡の結果の信頼度とする、補正ユニットと、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を点群のアノテーション結果として決定する決定ユニットと、を備える
ことを特徴とする点群データにアノテーションを付与する装置。
信頼度が信頼度閾値より大きい点群の分割と追跡の結果を取得してユーザによる検証に供し、
信頼度が信頼度閾値より大きい点群の分割と追跡の結果に対してユーザによる人工的な抜き取り検査操作に応答して、点群の検証後の分割と追跡の結果を取得する取得ユニットをさらに備え、
前記決定ユニットはさらに、
検証後の点群の分割と追跡の結果を点群のアノテーション結果として決定する
ことを特徴とする請求項６に記載の装置。
前記認識・追跡ユニットは、
前記撮影映像の映像コンテンツに対し、ナンバープレート認識・追跡アルゴリズムおよび／または顔認識・追跡アルゴリズムを実行する
ことを特徴とする請求項６に記載の装置。
前記収集ユニットは、
配置高さが自律走行車での取り付け高さと同じレーザレーダ、センサを用いてデータ収集を行う
ことを特徴とする請求項６〜８のいずれか１項に記載の装置。
前記収集ユニットは、
自律走行車に取り付けられて且つ較正されたレーザレーダ、センサを用いてデータ収集を行う
ことを特徴とする請求項６〜８のいずれか１項に記載の装置。