JP6745328B2 - 点群データを復旧するための方法及び装置 - Google Patents

点群データを復旧するための方法及び装置 Download PDF

Info

Publication number
JP6745328B2
JP6745328B2 JP2018247307A JP2018247307A JP6745328B2 JP 6745328 B2 JP6745328 B2 JP 6745328B2 JP 2018247307 A JP2018247307 A JP 2018247307A JP 2018247307 A JP2018247307 A JP 2018247307A JP 6745328 B2 JP6745328 B2 JP 6745328B2
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
image
data frame
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018247307A
Other languages
English (en)
Other versions
JP2019149149A (ja
Inventor
閻ミャオ
湛逸飛
周旺
段雄
朗咸朋
馬常杰
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2019149149A publication Critical patent/JP2019149149A/ja
Application granted granted Critical
Publication of JP6745328B2 publication Critical patent/JP6745328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Description

本開示は、点群データ処理技術分野に関するもので、より具体的に、点群データを復旧するための方法及び装置に関するものである。
点群データ（Ｐｏｉｎｔ Ｃｌｏｕｄ）は、各種の業界における３次元（３Ｄ）再構築のアプリケーションに広く使用されている。点群データは、３Ｄ場面の３Ｄ座標系におけるポイントデータを記述する集合である。通常、点群データにおけるポイントデータは、物体の外表面を特性付ける。レーザー測定または写真測量の原理（principle of laser measuring or photographic surveying）に基づいて、物体表面の各サンプリングポイントの空間座標を採集することにより、ポイントデータのセット（「点群データ」と呼ばれる）を取得することができる。
しかしながら、採集過程における遮蔽又は遠距離により、点群データにホール（ｈｏｌｅ）、または疎らになりすぎることが現われ、目標物体の抽出と分割に不利となる。したがって、点群データの復旧が早急に解決することが望まれる問題の一つになる。
本開示の例示的実施形態によれば、点群データを復旧するための方法を提供する。
第１の局面として、点群データ復旧モデルを生成するための方法を提供する。前記方法は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定し、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するステップとを含む。
第２の局面として、点群データを復旧するための方法を提供する。前記方法は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うステップとを含む。
第三の局面として、点群データ復旧モデルを生成するための装置を提供する。前記装置は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールとを備える。
第四の局面として、点群データを復旧するための装置を提供する。前記装置は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に応じて前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットについて、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定する画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、各点群データセットについて、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれの復旧を行うように構成された点群復旧モジュールとを備える。
第五の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第１の局面の方法が実現される装置を提供する。
第六の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第２の局面の方法を実現する装置を提供する。
第七の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
第八の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第２の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
発明の内容の部分で説明した内容は、本開示に係る実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本開示の範囲を限定するためのものではないことを理解されたい。本開示の他の特徴は、下の説明により理解が容易になる。
本開示の各実施形態の上記及び他の特徴、利点及び局面は、図面に合わせて下記の詳細な説明を参照することにより、より明らかになる。図面において、同一又は類似の符号は、同一又は類似の要素を示すものとする。
図１は、本開示に係る実施形態が実施される例示的環境の概略図を示す。 図２は、本開示の実施形態に係る点群データ復旧モデルを生成するための方法のフローチャートを示す。 図３は、本開示の実施形態に係る点群データを分割するための方法のフローチャートを示す。 図４は、本開示の実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法のフローチャートを示す。 図５は、本開示の実施形態に係る点群データを復旧するための方法のフローチャートを示す。 図６は、本開示の実施形態に係る点群データ復旧モデルを生成するための装置の概略ブロック図を示す。 図７は、本開示の実施形態に係る点群データを復旧するための装置の概略ブロック図を示す。 図８は、本開示の実施形態を実施することができるコンピューティングデバイスのブロック図を示す。
以下、説明の詳細を参照しながら本開示の実施形態をより詳細に述べる。添付図面には、本開示に係る一部の実施形態が示され、本開示はさまざまな形態によって実現することができるが、ここで述べた実施例に限定されるものではなく、逆にこれらの実施形態の提供は本開示に係る実施形態を確実にかつより全面的に理解するためのものであることを理解されるべきである。本開示における図面又は実施形態は例示的なものであり、本開示の保護範囲を限定するためのものではない。
本開示に係る実施形態の説明において、用語「含む」及び類似の用語は、開放的な「含む」と理解されるべきである。つまり、「．．．を含むが、これらに限定されない」と理解されるべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解されるべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるまたは同じ対象物を示すことができる。以下、他の明確な定義と暗黙的定義を含める可能性もある。
上述したように、採集過程で遮蔽又は遠距離により、点群データは、ホール（ｈｏｌｅ）が現れ、または疎らになりすぎるため、目標物体の抽出と分割に不利となる。既知の従来の方法では、通常、点群データ自体に基づいて、一定の範囲内で線形補間を行い、点群データの復旧を実現するようにしている。一部の技術において、２Ｄ画像と点群データとの関係に基づいて、２Ｄ画像におけるピクセルポイントの２Ｄ座標に対して幾何的な関係により、ピクセルポイントの３Ｄ位置を推測するようにしている。しかしながら、これらの従来技術において、いずれも点群データ上直接フィッティング、補間などのような方法を利用しており、精確性と普遍性を確保することができなかった。
本開示に係る実施形態の基本的な思想は、同じ場面に関する大規模の画像データと点群データの助けを借りて、深層学習ネットワークに対してトレーニングを行い、点群データ復旧モデルを生成し、点群データ復旧モデルを使用して点群データの復旧を実現することである。点群データ復旧は、モデリングとの方法を使用して実現するため、方法の普遍性を確保することができる。また、ビッグデータ（big data）を利用しているため、点群データ復旧の精度を向上することができる。本開示の実施形態によれば、同じ場面における異なる物体の属性についてモデルをそれぞれ構築することで、点群データにおける異なる物体の属性に対応する各部分をそれぞれ復旧することができる。これにより、点群データ復旧の精度を更に向上させることができる。
本明細書に使用されるように、用語「モデル」は、トレーニングデータから対応する入力と出力との間の関連を習得することができるため、トレーニングの完了後に、与えられた入力に対して対応する出力を生成することができる。「モデル」は、「ニューラルネットワーク」、「学習モデル」、「学習ネットワーク」または「深層学習ネットワーク」などと呼ぶこともできることを理解されたい。
以下、添付図面を参照して、本開示に係る実施形態を具体的に説明する。
図１は、本開示に係る実施形態が実施される例示的環境１００の概略図を示す。この例示的環境１００において、採集作業車１１０は、前記採集作業車１１０に設置されたデータ採集装置１１１を通じて、各種の場面に対して大規模の場面データ１１２を取得する。本開示に係る実施形態において、場面データ１１２は、同じ場面を対象とする点群データと画像データの両者を含むことができる。本開示に係る実施形態において、場面データ１１２は、点群データと画像データの採集位置および／または時間情報をさらに含むことができる。
例示的に、いくつかの実施形態において、データ採集装置１１１は、例えば、レーザー画像検出と測距（ＬＩＤＡＲ）システム、ステレオカメラシステム、モバイルレーザーイメージングシステムなどの場面を対象とする点群データを取得するためのセンサーシステムを含むことができる。例えば、点群データは、３Ｄ座標（ＸＹＺ）、レーザー反射強度および／または色情報（ＲＧＢ）などを含むことができる。本開示に係る実施形態において、データ採集装置１１１は、例えばカメラ、ビデオカメラなどの場面を対象とする画像データを取得するための画像取得手段をさらに備えることができる。例えば、画像データは、２Ｄ座標（ＸＹ）、グレースケールなどを含むことができる。
図１に示すように、場面データ１１２は、取得された後に記憶装置１２０に格納され、後続のコンピューティングデバイス１３０によって処理されまたは使用される。本開示に係る実施形態において、記憶装置１２０は、採集作業車１１０のローカル記憶装置であってもよく、または該ローカル記憶装置がアクセス可能な外部記憶装置であってもよい。その他の実施形態において、記憶装置１２０は、コンピューティングデバイス１３０のローカル記憶装置であってもよく、またはコンピューティングデバイス１３０によってアクセス可能な外部記憶装置であってもよい。
本開示に係る実施形態において、コンピューティングデバイス１３０は、場面データ１１２に基づいて点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、コンピューティングデバイス１３０は、構築された点群データ復旧モデル１３１に基づいて、場面データ１１２における点群データに対して復旧を行うこともできる。その他の実施形態において、コンピューティングデバイス１３０は、復旧された点群データに基づいて３Ｄ場面を再構築することもできる。
上述した環境１００は、単に例示的な説明にすぎず、本開示に係る実施形態は、上述した応用環境に限定されず、例えば深度カメラ（depth camera）のホール充填（Hole-filling）、製造業におけるレーザーレーダーを利用した部品の検出などのような点群データ処理又は復旧のための任意の環境に応用することができることを理解されるべきである。以下、図２〜図５を参照して、本開示に係る実施形態に係る点群データを復旧するための方法の例示的実施の詳細な説明を行う。
図２は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための方法２００のフローチャートを示す。この方法２００は、例えば図１におけるコンピューティングデバイス１３０で実施されることにより、点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、点群データは、フレームごとに処理されている。
図２に示すように、ブロック２０５において、処理待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。説明の便宜上、本開示では、該点群データフレームを「第１の点群データフレーム」と呼ぶこともできる。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと、採集位置および／または時間において点群データフレームに関連付けられた画像データとを取得することができる。これらの例示的な実施形態の詳細な説明は、下記の図３のブロック３１０を組み合わせて行う。
ブロック２１０において、ブロック２０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、少なくとも一つの２Ｄ画像は、データの採集位置および／または時間においてその点群データフレームに関連付けることができる。
例えば、一実施形態において、１つまたは複数の２Ｄ画像は、採集位置が点群データフレームの採集位置の所定の距離内に位置する２Ｄ画像のセット（集合）にすることができる。選択的に、または付加的に、いくつかの実施形態において、１つまたは複数の２Ｄ画像は、採集時間が第１の点群データフレームの採集時間を囲む所定の時間帯内に位置する２Ｄ画像のセットであってもよい。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、各点群データセットが異なる物体に対応するように、対応する画像における物体の異なる属性（例えば、地面、建築物、動物、人物など）に基づいて、第１の点群データフレームにおける点群データを１つまたは複数の点群データセットに分割することができる。これにより、１つまたは複数の２Ｄ画像を利用して、１つのフレームの点群データにおける各ポイントの物体属性に値を付与することができる。
以下、図３を参照しながら、ブロック２１０の例示的な実施により詳細な説明を行う。図３は、本開示に係る実施形態に係る点群データを分割するための方法３００のフローチャートを示す。この方法３００は、同様に、例えば、図１のコンピューティングデバイス１３０で実施することができる。
図示されたように、ブロック３１０において、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと採集位置および／または時間において第１の点群データフレームに関連付けられた画像データとを取得することができる。
１つの例示について考えると、例えば、現在の処理待ちの第１の点群データフレームは本日１０：００に採集したものとする場合、画像と点群データは同時に採集されたものなので、タイムスタンプにより、第１の点群データフレームに関連付けられた画像として、例えば９：５０〜１０：１０の間の画像を選択することができる。別の一例において、例えば、第１の点群データフレームの世界座標での採集位置が（１００、１００、３）である場合、第１の点群データフレームに関連付けられた画像として、距離が例えば１００メートルの範囲内のすべての採集位置の画像を選択することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で、第１の点群データフレームに関連付けられた画像を取得することができることを理解されるべきである。
ブロック３２０において、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行う。本開示に係る実施形態において、当該技術分野において既知の、または将来的に開発される任意の適切な画像意味分割技術を使用して、該ステップを実行することができ、本開示の思想を濁すこと避けするために、本開示ではこれに対する重複した説明を省略する。意味分割により、少なくとも一つの２Ｄ画像における各物体（例えば、地面、建築物、動物、人物など）に対応するピクセルの範囲を区別することにより、少なくとも一つの２Ｄ画像における各ピクセルポイントの対応する物体を確定することができるようになる。
ブロック３３０において、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせる。これは３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で対応するマッピングを実現することができることを理解されるべきである。本開示に係る一実施形態において、まず点群データを画像座標に変換させ、続いて、画像座標をピクセル座標に変換させることができる。１つの例示において、例えば、採集作業車１１０は、ＬＩＤＡＲにより点群データを取得し、カメラにより画像データを取得する。ＬＩＤＡＲ及びカメラの回転行列［Ｒ、Ｔ］は、ＬＩＤＡＲとカメラとの相対的な位置関係を測定することにより取得される。
点群データを、カメラを原点とする座標系に変換させる。すなわち、
[R, T] * P_lidar = P_camera （１）
であり、ここで、P_lidarはＬＩＤＡＲの座標系におけるポイントであり、P_cameraはカメラの座標系におけるポイントである。続いて、カメラを原点とする点群データを画像座標にマッピングさせる。
すなわち、
X_film = fx * X/Z − x_center; Y_film = fy * Y/Z − y_center （２）
であり、ここで、X_filmは画像における点群データのＸ方向における位置（ピクセルレベル）であり、fxはＸ方向における焦点距離であり、x_centerは画像の中心点のＸ方向における位置（ピクセルレベル）であり、Y_filmは画像における点群データのＹ方向における位置（ピクセルレベル）であり、fyはＹ方向での焦点距離であり、y_centerは画像中心点のＹ方向の位置（ピクセルレベル）である。続いて、画像座標をピクセル座標に変換させる。これにより、点群データとピクセルポイントとの間の対応関係を取得することができる。
ブロック３４０において、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行う。本開示に係る実施形態によれば、ブロック３２０で確定した各ピクセルポイントの対応する物体の情報、及びブロック３３０で取得した点群データにおけるポイントとピクセルポイントとの対応関係に基づいて、点群データにおける各ポイントに対して相応の物体の属性を付与することにより、物体の属性に基づいて点群データに対してクラスタリングを行い、相応の点群データセットを形成することができる。
前述した図３を参照しながら説明した点群データの分割は、後続の過程で、異なる物体の属性に基づいて、相応する点群データに対してそれぞれ復旧を行うことができるようにするためである。点群データに対する分割に基づき、且つ分割された点群データに対してそれぞれ復旧を行うことにより、点群データ復旧の精度を向上させることができ、同時に点群データ復旧の効率を向上させることもできる。上述した図３の方法は、単なる例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を使用して点群データに対して分割を行い、分割された点群データに対してそれぞれ復旧を実行することができることを理解されるべきである。
図２に戻ると、ブロック２２０において、少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定し、ここで、前記マッチング画像は、データの採集位置および／または時間において前記第１点群データフレームとマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間が第１の点群データフレームと一致するか又はほぼ一致する画像を第１の点群データフレームのマッチング画像として探し出すことができる。
ブロック２３０において、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレームとに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。説明の便宜上、本開示では、基準点群データフレームを「第２の点群データフレーム」と呼ぶこともできる。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、第１の点群データフレームの前および／またはその後の１つまたは複数のフレームを取得して、基準点群データフレームとすることができる。すなわち、第２の点群データフレームである。本開示に係る実施形態によれば、複数のフレームの点群データにより、一つの画像におけるすべてのピクセルポイントを３Ｄ空間に還元させることができ、ピクセルポイントと点群データとの一対一の対応関係を取得することができる。
以下、図４を参照し、ブロック２３０の例示的実施をより詳細に説明する。図４は、本開示に係る実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法４００のフローチャートを示す。この方法４００は、例えば図１のコンピューティングデバイス１３０において実施されることもできる。
図４に示すように、ブロック４１０において、第１の点群データフレームに隣接する１つまたは複数の第２の点群データフレームを取得する。本開示に係る実施形態によれば、需要に応じて第２点群データフレームの数を確定することにより、第２の点群データフレームの数からマッチング画像におけるピクセルポイントごとの対応する点群データを確定し、すなわち、ピクセルポイントの３Ｄ位置データを確定することができる。
ブロック４２０において、第１の点群データフレームと第２の点群データフレームにおける点群データを、マッチング画像の座標空間にマッピングさせる。これも、同様に３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。ブロック４２０の処理は、ブロック３３０で説明した処理と同様の処理を実施することができ、これに対する重複の説明を省略する。
ブロック４３０において、ブロック４２０で実行されたマッピングに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。本開示に係る実施形態によれば、ブロック４２０でのマッピングに基づいて、点群データとピクセルポイントとの間の対応関係を取得することにより、マッチング画像におけるすべてのピクセルポイントに対応する点群データ（つまり、３Ｄの位置データ）を確定することができる。
図４を組み合わせて説明した方法において、複数のフレームの点群データに基づいて、一つのマッチング画像におけるすべてのピクセルポイントの３Ｄ位置データの真実値を確定することができ、これは、後続モデルのトレーニングのために相応するトレーニング出力データを提供することを意図するものである。上述した図４の方法は、例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を用いて、モデルのトレーニングのトレーニング出力データとしてピクセルポイントの３Ｄ位置データの真実値を確定することができることを理解されるべきである。
図２に戻ると、ブロック２４０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データを、それぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークにより、前記点群データセットの対応する物体のための点群データ復旧モデルを生成する。
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、同じ物体に対応する点群データセットにおける点群データと、マッチング画像における対応する同じ物体のピクセルポイントの２Ｄ位置データとを深層学習ネットワークの入力層とし、対応する同一の物体のピクセルポイントの３Ｄ位置データを深層学習ネットワークの出力層とすることで、点群データセットの対応する物体のための点群データ復旧モデルをトレーニングし生成することができる。つまり、点群データ復旧モデルは、画像における物体によって特定されるものであり、単に全体的なイメージにだけ特定されるものではない。これは、例えば点群復旧モデルがカスタマイズ性を備え精度を向上させるように点群復旧モデルを精確にトレーニングするのに有益である。
本開示に係る実施形態によれば、当該技術分野において既知の、または将来的に開発される任意の適切な深層学習ネットワーク（例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（Recurrent Neural Network）、深層ニューラルネットワークなど）を通じてモデルの構築を実現することができる。現在の主流となる深層学習ネットワーク層は、入力層、畳み込み層、プーリング層（pooling layer, max pooling）、全結合層（fully connected layer）、出力層などを含む。具体的な必要に応じて、これらの層を組み合わせ、それぞれの層にいくつかの初期値を付与し、そして集合の真実値をトレーニングすることにより、これらの初期値を変更することができ、これにより得られた予測の精確率の結果がより高くなる。出力層が予測値を提供する。トレーニングモードでは、予測値と真実値との間の差を比較して、ネットワークにおける値を調整するようにする。
本開示に係る実施形態によれば、異なる物体の対応する点群データについて、対応する深層学習ネットワークをトレーニングして、対応する物体の点群データを復旧することができる。同じネットワークを利用してすべての点群のデータを復旧することに比べて、精確率がより高くなる。
ここまで図２〜図４を組み合わせながら、本開示に係る実施形態に係る点群データ復旧モデルを生成する過程を説明した。以下、図５は、本開示に係る実施形態に係る点群データ復旧モデルを使用するプロセスを説明する。図５は、本開示に係る実施形態に係る点群データを復旧するための方法５００のフローチャートを示す。この方法５００は、図１に示すようなコンピューティングデバイス１３０で実施されることができる。前述の方法２００は、点群データ復旧モデルのトレーニングの過程とみなすことができ、以下に説明する方法５００は、そのモデルの使用過程であることを理解することができる。
図５に示すように、ブロック５０５において、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。該ステップにおける処理は、ブロック２０５の処理と同様で、その他の詳細は、前述のブロック２０５を参照して説明した内容を参照することができる。
ブロック５１０において、ブロック５０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、復旧待ちの点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、採集位置および／または時間において復旧待ちの点群データフレームに関連付けられた１つまたは複数の２Ｄ画像を取得し、後続の異なる物体の属性についてそれぞれ復旧を実行するために、復旧待ちの点群データフレームにおけるポイントデータが対応する２Ｄ画像における物体の属性に基づいて、点群データフレームを少なくとも一つの点群データセットに分割することができる。該ステップの処理は、ブロック２１０の処理と同様で、その他の詳細は、前述のブロック２１０を参照しながら説明した内容を参照することができる。
ブロック５２０において、少なくとも一つの２Ｄ画像から前記復旧待ちの点群データフレームとのマッチング画像を確定し、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ちの点群データフレームにマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、点群データフレームのマッチング画像として、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間において点群データフレームと一致するか又はほぼ一致した画像を探し出すことができる。該ステップの処理は、ブロック２２０の処理と同様である。
ブロック５３０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルにより、点群データセットにおける点群データに対してそれぞれ復旧を行う。モデル構築時のトレーニング入力データと同様に、本開示に係る実施形態において、対応する同一の物体属性の点群データセットにおける点群データ及びマッチング画像における対応する同じ物体の属性のピクセルポイントの２Ｄ位置データを点群データ復旧モデルの入力データとする。対応して、点群データ復旧モデルの出力データは、復旧された対応する同じ物体の属性の点群データ、即ち、マッチング画像における対応する同じ物体の属性のすべてのピクセルポイントの３Ｄ位置データである。復旧は、点群データにおけるポイントデータのフィーリング（filling）を指すものとしてもよい。
本開示に係る実施形態によれば、ビッグデータを利用してモデルを構築する方法により、点群データの復旧を実現することで、方法の精確性と普遍性を確保した。また、本開示に係る実施形態において、異なる物体の対応する点群データについて、予めトレーニングされた対応する物体の点群データ復旧モデルを使用して対応する物体の点群データを復旧することができる。同じモデルを使用して、すべての点群のデータを復旧する場合に比べて、精確率がより高くなる。
本開示に係る実施形態は、上述した方法またはプロセスを実現するための相応の装置を提供する。図６は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための装置６００の概略ブロック図を示す。デバイス６００は、例えば、図１のコンピューティングデバイス１３０で実施されることができる。図６に示すように、装置６００は、画像取得モジュール６０５、点群分割モジュール６１０、画像確定モジュール６２０、位置確定モジュール６３０とモデルの生成モジュール６４０を備えることができる。
本開示に係る実施形態によれば、画像取得モジュール６０５は、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール６０５の処理は、図２のブロック２０５の処理と同様に、その詳細に対する重複説明は省略する。
本開示に係る実施形態によれば、点群分割モジュール６１０は、２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール６１０の処理は、図２のブロック２１０の処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、点群分割モジュール６１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示されていない）ことができる。これらの手段による処理は、前述した図３を参照して行った処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、画像確定モジュール６２０は、少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において第１の点群データフレームと一致するマッチング画像を確定するように構成することができる。画像確定モジュール６２０の処理は、図２のブロック２２０の処理と同様で、本開示では重複説明を省略する。
本開示に係る実施形態によれば、位置確定モジュール６３０は、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレーム（本明細書で第２の点群データフレームとも呼ぶ）に基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成することができる。位置確定モジュール６３０の処理は、図２のブロック２３０の操作と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、位置確定モジュール６３０は、第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して基準点群データフレームとするように構成されたデータ取得手段と、第１の点群データフレーム及び第２の点群データフレームにおける点群データをマッチング画像の座標空間にマッピングさせるように構成された第２のマッピング手段と、前記マッピングに基づいてマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成される位置確定手段とを備える（図示せず）ことができる。これらの手段による処理は、前述の図４を参照して説明した処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、モデル生成モジュール６４０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データ及び３Ｄ位置データをそれぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成することができる。モデル生成モジュール６４０の処理は、図２のブロック２４０の処理と同様で、その詳細について重複説明は省略する。
図７は、本開示に係る実施形態に係る点群データを復旧するための装置７００の概略ブロック図を示す。デバイス７００は、同様に、例えば図１のコンピューティングデバイス１３０で実施されることができる。装置７００は、画像取得モジュール７０５と、点群分割モジュール７１０と、画像確定モジュール７２０と、点群復旧モジュール７３０とを備えることができる。
本開示に係る実施形態によれば、画像取得モジュール７０５は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール７０５の処理は、図５のブロック５０５の処理と同様で、その詳細について重複説明は省略することにする。
本開示に係る実施形態によれば、点群分割モジュール７１０は、２Ｄ画像における物体の属性に基づいて、復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール７１０の処理は、図５のブロック５１０の処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態において、点群分割モジュール７１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、復旧待ち点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示せず）ことができる。これらの手段による処理は、前述した図３を参照しながら説明した処理と同様で、その詳細について重複説明は省略する。
本開示に係る実施形態によれば、画像確定モジュール７２０は、前記少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において前記復旧待ち点群データフレームと一致するマッチング画像を確定するように構成されることができる。画像確定モジュール７２０の処理は、図５のブロック５２０の処理と同様で、本開示では、重複説明を省略する。
本開示に係る実施形態によれば、点群復旧モジュール７３０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを使用して点群データセットにおける点群データに対してそれぞれ復旧を行うよう構成されることができる。点群復旧モジュール７３０の処理は、図５のブロック５３０の処理と同様で、本開示では、重複説明を省略する。
装置６００と装置７００に記載された各手段は、それぞれ図２および図５を参照して説明した方法２００、５００のうちの各ステップに対応していることを理解されたい。また、装置６００と装置７００と、これらの中に含まれる手段による処理及び機能は、いずれも前述の図２〜図５を参照しながら説明した処理と特徴に対応して同じ効果を有し、その詳細に対する重複説明は省略する。
装置６００と装置７００に含まれる手段は、ソフトウェア、ハードウェア、またはこれらの任意の組み合わせを含む様々な方法を利用して実現することができる。一実施形態において、１つまたは複数の手段は、ソフトウェアおよび／またはファームウェアを利用して実現することができ、例えば、記憶媒体上に記憶された機器が実行可能な指令として実現することができる。機器実行可能な指令に加えて、または代替的に、装置６００とデバイス７００の一部または全部の手段が少なくとも部分的に１つまたは複数のハードウェアロジックアセンブリで実現されることができる。例示的で非限定的なものとして、使用可能な試験的なタイプのハードウェアロジックアセンブリは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップ（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含む。
図６及び図７に示されたこれらの手段は、部分的または全体的にハードウェア・モジュール、ソフトウェアモジュール、ファームウェアモジュールまたはこれらの任意の組み合わせで実現されることができる。特に、いくつかの実施形態において、上述したフロー、方法、またはプロセスは記憶装置システムまたは記憶装置システムに対応するホストまたは記憶装置システムに依存しない他のコンピューティングデバイス中のハードウェアで実現されることができる。
図８は、本開示の実施形態を実施可能な例示的なデバイス８００の模式的なブロック図を示した。デバイス８００は、図１に示されたモデル確定装置１３０及び／又はモデル応用装置１４０を実現可能である。図面に示されたように、デバイス８００には、読取専用メモリ（ＲＯＭ）８０２に記憶されているコンピュータプログラム指令、或いは記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラム指令に応じて、各種の適当な動作及び処理を実行可能な中央処理装置（ＣＰＵ）８０１が備えられる。ＲＡＭ８０３において、デバイス８００の処理に必要な各種のプログラム及びデータが記憶されても良い。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続される。
例えばキーボード、マウスなどの入力手段８０６、例えば各種のタイプのディスプレー、スピーカなどの出力手段８０７、例えば磁気ディスク、光ディスクなどの記憶手段８０８、及び例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段８０９が含まれる、デバイス８００における複数の部品は、Ｉ／Ｏインターフェース８０５に接続される。通信手段８０９により、デバイス８００が例えばインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他のデバイスと情報／データを交換することが可能である。
処理手段８０１は、前記で説明された各方法及び処理、例えば方法２００及び／又は５００を実行する。例えば、幾つかの実施形態において、方法２００及び／又は５００は、装置が読取可能な媒体、例えば記憶手段８０８に有形的に備えられるコンピュータソフトウェアプログラムとして実現されも良い。幾つかの実施形態において、コンピュータプログラムの一部又は全体は、ＲＯＭ８０２及び／又は通信手段８０９を介してデバイス８００にロードされ、及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１により実行されると、前記で説明された方法２００及び／又は５００の一つ又は複数のステップを実行することができる。選択的に、他の実施形態において、ＣＰＵ８０１は他の任意の適当な方式により（例えば、ファームウェアを介して）方法２００及び／又は５００を実行するように構成されても良い。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラに実行されると、フローチャート及び／又はブロック図における所定の機能／操作が実施可能である。プログラムコードは、全体が装置によって実行されても良く、一部が装置によって実行されても良く、独立なパッケージとして部分的に装置によって実行され且つ部分的に遠隔装置に実行され、或いは全体的に遠隔装置又はサーバに実行されても良い。
本開示の文脈において、機器が読取可能な媒体は、有形的な媒体であっても良い。それは、指令実行システム、装置又はデバイスにより使用され、或いは指令実行システム、装置又はデバイスと合わせて使用されるプログラムを備え、或いは記憶することができる。機器が読取可能な媒体は、機器が読取可能な信号媒体又は機器が読取可能な記憶媒体であっても良い。機器が読取可能な媒体は、電子媒体、磁気媒体、光媒体、電磁媒体、赤外線媒体、或いは半導体システム、装置又はデバイス、或いはそれらのあらゆる適切な組み合わせを含んでも良いが、それらに限定されない。機器が読取可能な記憶媒体について、より具体的な例示には、一つ又は複数のケーブルによる電気的な接続、ポータブルコンピュータディスケット、ハードウェア、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、ポータブルコンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらのあらゆる適切な組合せが含まれる。
また、特定の順序で各動作を説明したが、示された特定の順序又は順次で実行されるようにこれらの動作を要求し、或いは所望の結果が得られるように全ての図示された動作を実行すべきと要求するものと理解すべきでない。ある環境において、マルチタスク及び並行処理が有利になる可能性がある。同様に、上記の説明において若干の具体的な実現の細部が含まれたが、本開示の範囲に対する限制ではないと理解すべきである。単独な実施形態の文脈に説明された幾つかの特徴は、単一な実現において組み合わせて実現されても良い。逆に、単独で実現された文脈に説明された各特徴は、複数の実現において単独で、或いはあらゆる適切なサブアセンブリで実現されても良い。
構造上の特徴及び／又は方法ロジックの動作に特定された言語を使って本主題を説明したが、添付の特許請求の範囲に特定された主題は必ずしも上記の特定の特徴又は動作によって限定されないと理解すべきである。逆に、上記の特定の特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。
１００ 例示的環境
１１１ データ採集装置
１１２ 場面データ
１２０ 記憶装置
１３０ コンピューティングデバイス
１３１ 点群データ復旧モデル
２０５、２１０ ブロック
８００ デバイス
８０１ 中央処理装置（ＣＰＵ）
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ Ｉ／Ｏインターフェース

Claims (20)

  1. 点群データ復旧モデルを生成するための方法であって、
    第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得する画像取得ステップと、
    前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割する点群分割ステップと、
    各点群データセットに対して、
    前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定する画像確定ステップと、
    前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
    前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定する位置確定ステップと、
    前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するモデル生成ステップと
    を含む点群データ復旧モデルを生成するための方法。
  2. 前記点群分割ステップは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行う意味分割ステップと、
    前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングする第１のマッピングステップと、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するデータクラスタリングステップと
    を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
  3. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項１又は請求項２に記載の点群データ復旧モデルを生成するための方法。
  4. 前記位置確定ステップは、
    前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするデータ取得ステップと、
    前記第１の点群データフレーム及び前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングする第２のマッピングステップと、
    前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する位置確定ステップと
    を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
  5. 点群データを復旧するための方法であって、
    復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得する画像取得ステップと、
    前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割する点群分割ステップと、
    各点群データセットに対して、
    前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定する画像確定ステップと、
    前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
    前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行う点群復旧ステップと
    を含む点群データを復旧するための方法。
  6. 前記点群分割ステップは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行う意味分割ステップと、
    前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングする第１のマッピングステップと、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するデータクラスタリングステップと
    を含む請求項５に記載の点群データを復旧するための方法。
  7. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項５又は請求項６に記載の点群データを復旧するための方法。
  8. 点群データ復旧モデルを生成するための装置であって、
    第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
    前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
    各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
    前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
    各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、
    各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールと
    を備える点群データ復旧モデルを生成するための装置。
  9. 前記点群分割モジュールは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
    前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
    を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
  10. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項８又は請求項９に記載の点群データ復旧モデルを生成するための装置。
  11. 前記位置確定モジュールは、
    前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするように構成されたデータ取得手段と、
    前記第１の点群データフレームと前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするように構成された第２のマッピング手段と、
    前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成された位置確定手段と
    を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
  12. 点群データを復旧するための装置であって、
    復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
    前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
    各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
    前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
    各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを介して、前記点群データセットにおける点群データに対してそれぞれ復旧を行うように構成された点群復旧モジュールと
    を備える点群データを復旧するための装置。
  13. 前記点群分割モジュールは、
    前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
    前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
    前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
    を備える請求項１２に記載の点群データを復旧するための装置。
  14. 前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項１２又は請求項１３に記載の点群データを復旧するための装置。
  15. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現される装置。
  16. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置を備える装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現される装置。
  17. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
  18. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
  19. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータプログラム。
  20. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータプログラム。

JP2018247307A 2017-12-29 2018-12-28 点群データを復旧するための方法及び装置 Active JP6745328B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711480175.7A CN108198145B (zh) 2017-12-29 2017-12-29 用于点云数据修复的方法和装置
CN201711480175.7 2017-12-29

Publications (2)

Publication Number Publication Date
JP2019149149A JP2019149149A (ja) 2019-09-05
JP6745328B2 true JP6745328B2 (ja) 2020-08-26

Family

ID=62586701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247307A Active JP6745328B2 (ja) 2017-12-29 2018-12-28 点群データを復旧するための方法及び装置

Country Status (5)

Country Link
US (1) US10970864B2 (ja)
EP (1) EP3506161A1 (ja)
JP (1) JP6745328B2 (ja)
KR (1) KR102126724B1 (ja)
CN (1) CN108198145B (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN109191553B (zh) * 2018-08-29 2023-07-25 百度在线网络技术（北京）有限公司 点云渲染方法、装置、终端及存储介质
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
US10915793B2 (en) * 2018-11-08 2021-02-09 Huawei Technologies Co., Ltd. Method and system for converting point cloud data for use with 2D convolutional neural networks
CN109493407B (zh) * 2018-11-19 2022-03-25 腾讯科技（深圳）有限公司 实现激光点云稠密化的方法、装置及计算机设备
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN109859114B (zh) * 2018-12-27 2020-10-16 北京大学 基于局域平滑性和非局域相似性的三维点云修复方法
CN111626288B (zh) * 2019-02-28 2023-12-01 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
GB2582266B (en) 2019-03-05 2022-11-30 Geoslam Ltd Three-dimensional dataset and two-dimensional image localisation
JP7103506B2 (ja) * 2019-03-14 2022-07-20 日本電気株式会社 情報提示方法、情報提示装置及びプログラム
US11159811B2 (en) * 2019-03-15 2021-10-26 Tencent America LLC Partitioning of coded point cloud data
CN111935642B (zh) * 2019-05-13 2022-10-21 北京地平线机器人技术研发有限公司 一种可移动设备的定位方法及装置
CN110148099B (zh) * 2019-05-29 2021-09-10 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
GB2584469B (en) * 2019-06-05 2023-10-18 Sony Interactive Entertainment Inc Digital model repair system and method
US11195064B2 (en) * 2019-07-11 2021-12-07 Waymo Llc Cross-modal sensor data alignment
CN112445929B (zh) * 2019-08-30 2022-05-17 浙江商汤科技开发有限公司 视觉定位方法及相关装置
JP6819758B1 (ja) * 2019-09-30 2021-01-27 ダイキン工業株式会社 点群データ同一性推定装置及び点群データ同一性推定システム
CN115605918A (zh) 2019-10-04 2023-01-13 伟摩有限责任公司（Us） 时空嵌入
CN110852949B (zh) * 2019-11-07 2020-11-24 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
WO2021093718A1 (zh) * 2019-11-15 2021-05-20 北京金山云网络技术有限公司 视频处理方法、视频修复方法、装置及设备
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN113316801A (zh) * 2019-12-09 2021-08-27 深圳市大疆创新科技有限公司 点云孔洞填充方法、装置和存储介质
CN111191582B (zh) * 2019-12-27 2022-11-01 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111223101B (zh) * 2020-01-17 2023-08-11 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN113538552B (zh) * 2020-02-17 2024-03-22 天目爱视（北京）科技有限公司 一种基于图像排序的3d信息合成图像匹配的方法
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN111402332B (zh) * 2020-03-10 2023-08-18 兰剑智能科技股份有限公司 基于slam的agv复合建图与导航定位方法及系统
CN111414953B (zh) * 2020-03-17 2023-04-18 集美大学 点云分类方法和装置
CN111402308B (zh) * 2020-03-17 2023-08-04 阿波罗智能技术(北京)有限公司 障碍物速度的确定方法、装置、设备和介质
CN111667563B (zh) * 2020-06-19 2023-04-07 抖音视界有限公司 图像处理方法、装置、设备和存储介质
CN111722245B (zh) 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112530027A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云修复方法、装置及电子设备
CN112835007B (zh) * 2021-01-07 2023-04-18 北京百度网讯科技有限公司 点云数据转换方法、装置、电子设备和存储介质
CN112945205B (zh) * 2021-01-27 2022-09-23 西北核技术研究所 一种超快多幅二维图像探测方法及装置
CN112785611B (zh) * 2021-01-29 2021-10-12 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN112967219B (zh) * 2021-03-17 2023-12-05 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN113557528B (zh) * 2021-03-30 2023-11-28 商汤国际私人有限公司 生成点云补全网络及点云数据处理方法、装置和系统
CN113424220B (zh) * 2021-03-30 2024-03-01 商汤国际私人有限公司 生成点云补全网络及点云数据的处理
CN113128405B (zh) * 2021-04-20 2022-11-22 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法
KR102313918B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
TW202305740A (zh) 2021-06-17 2023-02-01 日商新唐科技日本股份有限公司 物體檢測裝置、物體檢測方法及程式
CN113658195B (zh) * 2021-08-16 2024-03-19 金地（集团）股份有限公司 图像分割方法、装置及电子设备
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN114333418B (zh) * 2021-12-30 2022-11-01 深兰人工智能(深圳)有限公司 用于自动驾驶的数据处理方法及相关装置
CN117274116B (zh) * 2023-11-22 2024-03-05 广州中望龙腾软件股份有限公司 点云修补方法、装置、存储介质及计算机设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4978615B2 (ja) * 2008-11-27 2012-07-18 三菱電機株式会社 対象特定装置
JP5620200B2 (ja) * 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN103236043B (zh) * 2013-04-28 2015-10-28 北京农业信息技术研究中心 一种植物器官点云修复方法
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
US20160159011A1 (en) * 2014-12-04 2016-06-09 Caterpillar Inc. Vision System for Selective Tridimensional Repair Using Additive Manufacturing
US9618459B2 (en) * 2015-05-18 2017-04-11 Flightware, Inc. Systems and methods for automated composite layup quality assurance
CN105405162B (zh) * 2015-10-16 2017-12-05 北京师范大学 基于局部结构和方向感知的树点云三维重建方法
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
EP3179407B1 (en) * 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
US11060853B2 (en) * 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
CN116582682A (zh) * 2017-08-22 2023-08-11 松下电器（美国）知识产权公司 图像编码器、图像解码器及非暂态计算机可读介质
BR112020002205A2 (pt) * 2017-08-22 2020-07-28 Panasonic Intellectual Property Corporation Of America codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Also Published As

Publication number Publication date
JP2019149149A (ja) 2019-09-05
KR20190082066A (ko) 2019-07-09
US20190206071A1 (en) 2019-07-04
CN108198145A (zh) 2018-06-22
US10970864B2 (en) 2021-04-06
EP3506161A1 (en) 2019-07-03
CN108198145B (zh) 2020-08-28
KR102126724B1 (ko) 2020-06-25

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
KR102145109B1 (ko) 지도 생성 및 운동 객체 위치 결정 방법 및 장치
US10127670B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
Rahman et al. Notice of violation of IEEE publication principles: Recent advances in 3D object detection in the era of deep neural networks: A survey
CN111694903A (zh) 地图构建方法、装置、设备以及可读存储介质
JP2017134814A (ja) 点群データに基づく車両輪郭検出方法、および装置
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN112862874B (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
KR20230042383A (ko) 포인트 클라우드 데이터 생성 방법 및 장치
WO2020221443A1 (en) Scale-aware monocular localization and mapping
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
Wen et al. Cooperative indoor 3D mapping and modeling using LiDAR data
CN110068824B (zh) 一种传感器位姿确定方法和装置
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN111709984A (zh) 位姿深度预测方法、视觉里程计方法、装置、设备及介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN115375836A (zh) 基于多元置信度滤波的点云融合三维重建方法和系统
CN113870412A (zh) 一种航空场景图像的处理方法、装置以及电子设备
Funk et al. Infinite, sparse 3d modelling volumes
CN117953058A (en) Cross-modal pose estimation method and device, electronic equipment and storage medium
CN117746133A (zh) 目标检测方法、模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R150 Certificate of patent or registration of utility model

Ref document number: 6745328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250