JP7282080B2 - 二次元画像および点群データからの三次元境界ボックス - Google Patents

二次元画像および点群データからの三次元境界ボックス Download PDF

Info

Publication number
JP7282080B2
JP7282080B2 JP2020516640A JP2020516640A JP7282080B2 JP 7282080 B2 JP7282080 B2 JP 7282080B2 JP 2020516640 A JP2020516640 A JP 2020516640A JP 2020516640 A JP2020516640 A JP 2020516640A JP 7282080 B2 JP7282080 B2 JP 7282080B2
Authority
JP
Japan
Prior art keywords
point
bounding box
point cloud
cloud data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020516640A
Other languages
English (en)
Other versions
JP2020534617A (ja
Inventor
シュー ダンフェイ
ディミトロフ アンゲロフ ドラゴミール
ジェイン アシェシュ
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2020534617A publication Critical patent/JP2020534617A/ja
Application granted granted Critical
Publication of JP7282080B2 publication Critical patent/JP7282080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Description

この国際出願は、参照によってその両方の開示が本明細書に組み込まれる、２０１７年１０月３０日に出願された米国特許出願第１５／７９７，５７３号および２０１７年９月２２日に出願された米国仮特許出願第６２／５６２，１９３号の利益を主張する。
複数のアプリケーションは、環境に存在する三次元物体に関する情報を必要とする。例えば、自律車両および自律ドローンなどの様々な自律システムは、衝突および障害回避のために物体の三次元データを利用する。三次元環境を効果的にナビゲーションするために、そのような自律システムは、例えば、障害のサイズおよび位置に関する情報を含む、障害に関する情報を必要する。加えて、それらのシステムは、そのような物体が環境とどのように相互作用するかを推定することを必要とすることがある。三次元物体の１つのそのような表現は、三次元境界ボックスである。三次元境界ボックスは、８個の角によって定義され、位置、方位、長さ、幅、および高さを有する三次元物体の単純な表現であってもよい。
環境、環境と関連付けられた画像データおよび点群（point cloud）データ、ならびに環境内の物体の周りの三次元境界ボックスの例を示す。 三次元境界ボックスのパラメータを判定するよう二次元画像および点群がニューラルネットワークを通る（run through）処理の例のグラフィカル表現である。 三次元境界ボックスのパラメータを判定するよう二次元画像および点群がニューラルネットワークを通る処理の別の例のグラフィカル表現である。 二次元画像および点群データから三次元境界ボックスを判定する１つまたは複数の処理を表すフローチャートを示す。 二次元画像および点群データから三次元境界ボックスを判定する１つまたは複数の追加の処理を表すフローチャートを示す。 二次元画像および点群データから三次元境界ボックスを判定するために使用可能なコンピュータ制御されたシステムの例を示す。
以下の詳細な説明は、環境内の物体を表す三次元境界ボックスを推定する技術に向けられる。環境内に存在する物体の空間情報を必要とする様々なアプリケーションが存在する。簡易的な例として、半自律および完全自律車両および自律ドローンなどの多くの自律システムは、追跡、ナビゲーション、および衝突回避を実行するために、それらの環境内の物体の位置、方位、および寸法を必要とする。
自律車両システムは、物体および／または物体の属性を検出、追跡、および識別する異なるタイプのセンサのアレイを含んでもよい。例えば、ＬＩＤＡＲおよびＲＡＤＡＲ、超音波トランスデューサ、および深度カメラなどのセンサは、環境内の物体に関する三次元情報を提供することができ、従来のカメラなどのセンサは、環境に関する二次元情報を提供することができる。例えば、ＬＩＤＡＲシステムは、１つまたは複数のレーザを含む発光素子を有する発光素子および光センサを有してもよく、１つまたは複数のレーザは、物体または光センサに光を反射し返す表面に向かって高度に焦点調節された光を方向付ける。ＬＩＤＡＲシステムの測定は、ＬＩＤＡＲシステムによって捕捉された位置または距離に対応する座標（例えば、デカルト、極など）を有する三次元ＬＩＤＡＲデータとして表されてもよい。例えば、ＬＩＤＡＲデータは、環境内の複数の点を含む点群データを含んでもよい。いくつかの例では、ＬＩＤＡＲセンサは、短い時間量内の多くの量の範囲の測定値（例えば、０．１秒ごとに１０００～１０００００の範囲の測定値）を生成することができる。同様に、ＲＡＤＡＲシステムは、環境内の３Ｄ物体または特徴に関する点群データを生成するとして知られている。対照的に、画像捕捉デバイスは、ＲＧＢ画像データ、グレースケール画像データ、またはそうでない場合、環境に関する画像データなどの２Ｄ画像データを提供することができる。
本開示の実装態様では、例えば、ＬＩＤＡＲシステムまたはＲＡＤＡＲシステムからの点群データまたは２Ｄ画像データは、自律車両の環境内の物体の三次元表現を作成するために使用されてもよい。１つの例示的な三次元表現は、三次元境界ボックスである。三次元境界ボックスは、物体を取り囲む最小容積の直方体（cuboid）であってもよい。三次元境界ボックスは、それが包含する物体についての空間的位置、方位と共にサイズに関する情報を提供する。例えば、自律システムは、追跡、ナビゲーション、および衝突回避のためにこの情報を使用することができる。
本開示の実施形態に従って、環境内の１つまたは複数の物体と関連付けられた三次元境界ボックスについてのパラメータを推定するために、機械学習アルゴリズムが画像データおよび点群データに適用される。例えば、画像データと関連付けられた、例えば、対象の物体に対応する切り取られた画像と関連付けられた第１の特徴ベクトル、および点群データと関連付けられた第２の特徴ベクトルは、機械学習アルゴリズムに入力されてもよい。機械学習アルゴリズムは、三次元境界ボックスのパラメータを出力してもよい。パラメータは、座標系における８個の点を含んでもよく、８個の点は、三次元境界ボックスの８個の角を表す。パラメータを回収する（recover）ために使用される例示的な機械学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい、人工ニューラルネットワーク（ＡＮＮ）である。
いくつかの実装態様では、画像データと関連付けられた特徴ベクトルは、残差ネットワークから抽出されてもよく、および／または点群データと関連付けられた特徴ベクトルは、点群データを処理するように構成されたディープニューラルネットワークから抽出されてもよい。例えば、画像データと関連付けられた特徴ベクトルは、更なる機械学習アルゴリズムに渡される前に、点群データと関連付けられた特徴ベクトルと連結されてもよい。
また、本開示の実装態様では、点毎データ（per-point data）は、三次元境界ボックスを判定するために検討されてもよい。例えば、点群データを処理するために使用される既知のディープラーニングネットワークは、例えば、最大プーリング（max-pooling）または平均プーリング（average pooling）などを使用して、個々の点に関する情報を組み合わせる前に各々の点を個々に検討してもよい。しかしながら、実装態様では、特徴ベクトルは、点群における点ごとに判定され、それらの特徴ベクトルは、画像データと関連付けられた特徴ベクトルおよび（全体的な）点群と関連付けられた特徴ベクトルに従って機械学習アルゴリズムに入力されてもよい。このように、アルゴリズムは、点群における点ごとに、境界ボックスの属性を推定する複数のパラメータを判定することができる。例えば、点群における点ごとに、本開示の実装態様は、点に対する三次元境界ボックスの角ごとのオフセットを判定することができる。各々の点に対するオフセットを判定することは、簡易性、機能性、および／または信頼性を改善することができる。それらのオフセットを計算することに加え、機械学習アルゴリズムはまた、点ごとのオフセットと関連付けられた信頼値を判定することができる。いくつかの実施例では、最高信頼値と関連付けられた点およびその対応するオフセットは、三次元境界ボックスを定義するように選択されてもよい。
いくつかの実装態様では、機械学習アルゴリズムは、信頼値を判定するように訓練されてもよい。いくつかの実装態様では、ＡＮＮは、点が三次元境界ボックスの中または三次元境界ボックスの外側にあるかどうかを示すデータを使用して、教師あり方式（supervised manner）において訓練されてもよい。他の実装態様では、ＡＮＮは、三次元境界ボックスについての回帰損失関数を使用して、教師なし方式（unsupervised manner）において訓練されてもよい。
自律ドローン、完全自律車両システムもしくは半自律車両システム、または物体を追跡し、ナビゲーションを支援し、および／もしくは衝突回避のためのいくつかの他のシステムなどのシステムによって三次元境界ボックスが使用されてもよい。三次元境界ボックスについての他の使用も、本開示の利点により当業者にとって明らかであることがある。図１～６を参照して、更なる詳細が以下で提供される。
図１に目を向けると、環境１００は、様々な物体を含んでもよい。例示を目的として、環境１００内の１つのそのような物体は、車両１０２である。環境１００は、座標系１０４と関連付けられる。座標系１０４は、全体または局地的のいずれかであってもよい。全体座標系では、座標系１０４において表されるいずれかの点は、絶対座標である。代わりに、局地的座標系では、点は、全体座標において動くことがある、任意に定義された原点（環境を通じて進むような自律車両の中心など）（origin）に対して表現される。
環境１００と関連付けられた三次元データは、ＬＩＤＡＲシステムなどの三次元センサ（図示せず）によって生成されてもよい。上述したように、ＬＩＤＡＲシステムは、環境内の物体の外部表面を表すデータ点の組を含む、ＬＩＤＡＲデータ、例えば、１つまたは複数の点群を出力してもよい。例えば、参照符号１０６によって表されるＬＩＤＡＲデータは、車両１０２と関連付けられた複数の点を含む点群１０８を含む。ＬＩＤＡＲセンサによって生成されるとして点群１０８が説明されるが、点群は、１つまたは複数のＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、および／または他の三次元センサからの点を含んでもよい。例えば、点群１０８は、それらに限定されないが、深度カメラ、超音波トランスデューサ、および位相アレイレーダなど、環境１００に関する情報を提供する１つもしくは複数のＬＩＤＡＲセンサ、１つもしくは複数のＲＡＤＡＲセンサ、および／または１つもしくは複数の他の三次元センサから組み合わされ、または融合された（fused）データを含んでもよい。点群における各々の点は、三次元座標、例えば（ｘ，ｙ，ｚ）などの画像座標系によって表されてもよい。
図１においても示されるように、点群情報に加えて、環境１００の画像１１０は、少なくとも１つの画像捕捉デバイス（図示せず）によって捕捉されてもよい。画像１１０は、画像データを含む。例示を目的として、画像捕捉デバイスは、カメラであってもよい。しかしながら、赤、青、緑、深度（ＲＧＢＤ）カメラおよびステレオカメラなどの他の画像捕捉デバイスが予期される。例示的な実施形態では、画像１１０内の各々の画素は、画像座標系によって二次元座標、例えば、（ｕ，ｖ）として表される。画像１１０を捕捉すると、車両１０２は、画像１１０内の車両画像１１２として表される。画像データが画像捕捉デバイスから受信されると、様々なアルゴリズム（シングルショット検出器マルチボックス（Single Shot Detector Multibox）、ファストＣＮＮ（Fast-CNN）、ファスタＲ ＣＮＮ（Faster-R CNN）、オーバヒート（overfeat）、領域ベース完全結合ネットワーク（region based fully-connected networkなど）が画像内、いくつかの実装態様では、二次元境界ボックス内の物体を識別するために適用されてもよい。それらのアルゴリズムは、特定の物体クラスを識別するためのみに選択されてもよい。例えば、アルゴリズムは、車、歩行者、動物、またはいずれかのそれらの組み合わせのみを検出してもよいが、いずれかの数の物体クラスの検出が予期される。図１に示されるように、そのようなアルゴリズムが、物体、ここでは車両を検出しており、対応する二次元境界ボックス１１４を識別している。二次元境界ボックス１１４は、長方形であり、画像１１０内の車両画像１１２を完全に取り囲むような寸法にされ、位置付けられる。代替的な実施形態では、画像１１０は、少なくとも１つのステレオカメラ、ＲＧＢＤカメラ、および／または深度カメラによって捕捉される。複数のカメラの使用は、複数の視点幾何（view geometry）の使用を通じて深度情報の回収を可能にすることができる。そのような実施形態では、ステレオまたはＲＧＢＤカメラからの深度情報は、画像１１０をセグメント化し、二次元境界ボックス１１４を作成するために、画像１１０内の物体の検出を支援するために使用される。
本開示の実装態様では、点群１０８および画像１１０、より詳細には、境界ボックス１１４内の車両画像１１２は、三次元境界ボックス１１６を作成するために使用されてもよい。三次元境界ボックス１１６が最小容積を有するように、三次元境界ボックス１１６は、車両１０２を完全に取り囲むような寸法にされてもよく、位置付けられてもよく、および方位付けされてもよい。三次元境界ボックス１３０の属性は、座標系１０４に対し、点群における１つもしくは複数の点に対し、および／またはいくつかの他の座標系に対して定義されてもよい。例えば、本開示の実装態様では、三次元境界ボックスは、ｘ、ｙ、およびｚの座標を有する三次元空間内の８個の点として定義されてもよく、８個の点は、三次元境界ボックスの８個の角に対応する。三次元境界ボックス１１６のパラメータを推定する方法および技術が以下で更に詳細に説明される。
図２は、画像データおよび点群データを使用して三次元境界ボックスのパラメータを判定する処理２００の図的記述を示す。この実装態様では、環境を記述した三次元データ２０２は、点群２０４を含む。図１の例にあるように、点群２０４は、環境内の三次元物体と関連付けられた複数の点を含み、例示を容易にするために、点群２０４は、単一の車両の外部表面と関連付けられた点のみを含むとして示される。しかしながら、他の実装態様では、点群２０４は、環境内の車両に近接した他の特徴の外部表面に対応する点を含んでもよい。また、この例では、環境の画像２０６が提供される。画像２０６は、環境を記述した二次元データから構成される。この画像データは、二次元境界ボックス２０８を定義し、画像２０６からの車両の車両画像２１０をセグメント化するように処理される。
図２はまた、点群２０４を受信するように構成された第１の処理アルゴリズム２１２を示す。本開示のいくつかの実装態様では、第１の処理アルゴリズム２１２は、点群を受信し、点を分析するように構成された人工ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を含んでもよい。例えば、第１の処理アルゴリズム２１２は、ＰｏｉｎｔＮｅｔネットワークであってもよい。ＰｏｉｎｔＮｅｔは、未加工点群データを受信し、全体点特徴および局所的点特徴の両方を学習するディープネットワークアーキテクチャである。ＰｏｉｎｔＮｅｔは、分類、部分セグメント化（part segmentation）、およびセマンティックセグメント化（semantic segmentation）の目的で従来から使用されている。しかしながら、本開示の目的により、第１の処理アルゴリズム２１２は、点群と関連付けられた特徴ベクトルを作成するように構成されてもよい。例えば、ＰｏｉｎｔＮｅｔが第１の処理アルゴリズム２１２として使用されるとき、特徴ベクトルは、予測層の前のいくつかの層の１つにおいて作成されてもよい。処理２００は、２１４において示されるように、それらの特徴ベクトルのうちの１つまたは複数を抽出してもよい。特徴ベクトル２１４は、点群２０６における点の位置とのみ関連付けられた、純粋に幾何学的な特徴ベクトルであってもよい。
処理２００において第２の処理アルゴリズム２１６も設けられる。第２の処理アルゴリズム２１６は、車両画像２１０を受信し、車両画像２１０と関連付けられた１つまたは複数の外観特徴ベクトル２１８を作成するように構成されてもよい。本開示のいくつかの実装態様では、第２の処理アルゴリズム２１６は、ＲｅｓＮｅｔ５０またはＲｅｓＮｅｔ１０１などの残差学習ネットワークとして具体化されてもよい。第２の処理アルゴリズム２１６は、車両画像２１０と関連付けられた特徴ベクトル（複数可）２１８を作成するように構成されてもよい。いくつかの実施例では、処理２００は、予測層の前の、残差学習ネットワークのいくつかの層の１つから特徴ベクトル（複数可）２１８を抽出してもよい。例えば、第２の処理アルゴリズム２１６は、ＲｅｓＮｅｔ－１０１ ＣＮＮであってもよく、特徴ベクトル２１８は、最終残差ブロックによって作成されてもよく、特徴マップ位置（feature map locations）にわたって平均化されてもよい。特徴ベクトル２１８は、純粋な外観ベクトルであってもよく、すなわち、いずれの幾何学的情報を有さない。
したがって、第１の処理アルゴリズム２１２および第２の処理アルゴリズム２１８はそれぞれ、特徴ベクトル２１４、２１８を作成するように構成される。特徴ベクトル２１４、２１８は、第１の処理アルゴリズムおよび第２の処理アルゴリズムを含むニューラルネットワークの１つまたは複数の層から抽出されたニューラルネットワーク処理特徴に対応してもよい。示される実施形態では、特徴ベクトルｌ２１４は、点群２０６と関連付けられた幾何学的特徴ベクトルであり、特徴ベクトル２１８は、車両画像２１０と関連付けられた外観特徴ベクトルである。参照符号２２０によって示されるように、特徴ベクトル２１４、２１８は、組み合わされてもよく、更なる人工ニューラルネットワーク（ＡＮＮ）２２２に入力されてもよい。例えば、特徴ベクトルｌ２１４、２１８は、連結されてもよい。ＡＮＮ ２２２は、点群２０６および画像２１２についての８個の境界ボックスの角の三次元座標を回帰させるように構成された完全結合層を有するマルチレイヤニューラルネットワークであってもよい。よって、本開示の例示的な実施形態では、境界ボックスパラメータ２２４は、８個の座標の組を含んでもよく、８個の座標の各々は、画像物体、すなわち、この例では車両に対応する三次元境界ボックスである直方体の角に対応する。８個の角２２８によって定義された例示的な三次元境界ボックス２２６が図２に示される。別の実施例では、ＡＮＮ ２２２は、そのような境界ボックスの中心位置、方位、および三次元の広がり（three dimensional extents）を予測してもよい。このように、ＡＮＮ ２２２は、長方形の容積形状を保持するよう出力を制約する。
まさに説明されるように、図２に示される処理は、境界ボックスを記述した座標を直接回帰させる全体アーキテクチャを設ける。図３は、処理２００と同様に、物体と関連付けられた点群３０２および切り取られた画像３０４を使用して、三次元境界ボックスのパラメータをも判定する、処理３００の図的記述を示す。しかしながら、処理２００とは異なり、処理３００は、点群および画像のペアについてのパラメータの単一の組の代わりに、点群３０２における点ごとの境界ボックス座標を予測する密度が増加したアーキテクチャである。
処理２００と同様に、処理３００は、点群３０２を受信するように構成された第１の処理アルゴリズム３０６および切り取られた画像３０４を受信するように構成された第２の処理アルゴリズム３０８を設ける。本開示の例示的な実装態様では、第１の処理アルゴリズム３０６は、順序付けられていない（unordered）三次元点の組を入力として受信するように構成されたＰｏｉｎｔＮｅｔニューラルネットワークであってもよい。ＰｏｉｎｔＮｅｔニューラルネットワークは、図２に関して上記議論されたように、点群の全体についての１つの出力を作成し、または入力点ごとに１つの出力を作成するように構成可能である。ＰｏｉｎｔＮｅｔニューラルネットワークが点を全体的におよび個々に検討することを理由に、ＰｏｉｎｔＮｅｔニューラルネットワークから、点群３０４の全体と関連付けられた第１の特徴ベクトル３１０（図２の実施形態にあるように）と共に、点毎特徴ベクトル（per-point feature vector）３１２、すなわち、点群３０４における点毎特徴ベクトル３１２を抽出することが可能である。
処理２００と同様に、画像処理アルゴリズム３０８は、ＲｅｓＮｅｔ１０１などの残差ニューラルネットワークであってもよく、残差ニューラルネットワークから、外観特徴ベクトル３１４が導出される。例えば、上記でも議論されたように、本開示のいくつかの実装態様では、外観特徴ベクトル３１４は、ネットワークの最終残差から抽出されてもよく、特徴マップ位置にわたって平均化されてもよい。
３１６において示されるように、点毎特徴ベクトル３１２、全体点群特徴ベクトル３１０、および外観特徴ベクトル３１４は、組み合わされ、例えば、連結され、ＡＮＮ ３１８に入力されてもよい。いくつかの実装態様では、各々の点と関連付けられた特徴ベクトルは、全体点群特徴ベクトル３１０が各々の点の特徴ベクトルに連結されるように、全体点群特徴ベクトル３１０と別々に組み合わされてもよく、例えば、連結されてもよい。上記議論されたＡＮＮ ２２２とは異なり、ＡＮＮ ３１８は、入力点ごとに予測を行う。より詳細には、ＡＮＮ ３１８は、点群における点ごとに、点に対する境界ボックスの８個の角の各々についての空間オフセットを予測してもよく、予測されたオフセットについての信頼スコア３２２を判定してもよい。境界ボックスの８個の角の各々についての空間オフセットの概念が３２４に示される。特に、示されるように、８個のオフセット３２０が点群における所与の点３２６に対して計算される。オフセットの各々は、推定された三次元境界ボックス３３０の異なる３２８ａ、３２８ｂ、…、３２８ｈに対応する。
上述したことから認識されるように、同一の境界ボックス３３０、すなわち、同一の物体についての同一の境界ボックス３３０は、点群３０２における点ごとに推定される。また、信頼値３２２は、各々の点と関連付けられる。本開示の実装態様では、点群３０２における点の１つおよびその関連付けられたオフセット値３２０は、物体を最良に表す三次元境界ボックスとして選択されてもよい。一実施例では、最高信頼スコア３２２と関連付けられた点および対応するオフセット３２０は、三次元境界ボックスであると判定される。他の実装態様では、三次元境界ボックスを判定するために、いくつかの予め定められた数の点と関連付けられた平均値が使用されてもよい。例えば、最高信頼値を有するいくつかの予め定められた数の点と関連付けられたオフセットが平均化されてもよい。
絶対的な目標（absolute objective）を予測するよりも相対的な目標を予測する方が全体的に容易であることを理由に、処理３００は、各々の点に対するオフセットを推定する。例えば、都市環境内の境界ボックスを推定するケースでは、車両に取り付けられたＬＩＤＡＲセンサから境界ボックスの位置は、２メートルから１００メートルまで変化することがある。三次元境界ボックスを定義する前の試みは、ネットワークに広範囲の値を予測することを学習させることを試みている。しかしながら、処理３００は代わりに、入力点に対する角の位置を予測するようにネットワークを訓練し、それによって、目標の分散を制限している。
本開示の実装態様では、信頼値３２２は、スコアリング関数方程式（scoring function formulation）を使用して判定されてもよい。一実装態様では、スコアリング関数方程式は、点ごとに、点が二項分類目標（binary classification objective）を有する予測された境界ボックスの内部にあるかどうか、およびスコアが予測された確率であるかどうかを予測するようにネットワークが訓練される教師あり方程式であってもよい。別の実装態様では、スコアリング関数方程式は、信頼スコアを予測すること、および回帰損失を信頼度と乗算することを含む教師なし方程式であってもよい。いくつかの実装態様では、この損失は、回帰損失を最小化する代わりに低信頼度を予測することによって最適化されてもよい。低信頼度にペナルティを科すように低信頼損失も加算されてもよい。いくつかの実施形態では、低信頼損失は、以下の式（１）によって表されるなど、一定の重み係数による対数確率であってもよい。
Ｌ＝Ｌreg×ｃｏｎ ｆ－ｌｏｇ（ｃｏｎ ｆ）×ｗ （１）
この損失式では、ｗは、実験に基づいた有効性を通じて判定されてもよい任意選択の重み係数を表す。そのような重み付けは、対数関数によって提供されるような、低回帰損失を出力する圧力を有する、ネットワーク圧力（networks pressure）を、高信頼度を有するように平衡を保つことができる。教師なし方程式は、どの点が正確な境界予測を生じさせる可能性が高いかをＡＮＮ ３１８が判定することを可能にすることができる。
上記議論されたように、機能３１６においてＡＮＮ ３１８に渡される前に、画像および点群特徴が組み合わされ、例えば、連結される。融合（ｆｕｓｉｏｎ）は、全体点群特徴ベクトル３１０、点毎特徴ベクトル３１２、および外観特徴ベクトル３１４の連結であってもよい。本開示のいくつかの実装態様では、局所的融合も実行されてもよい。例えば、ＰｏｉｎｔＮｅｔからの点毎特徴ベクトルは、画像処理アルゴリズム３０８の中間層から抽出された局所的外観情報と関連付けられてもよい。特に、点群３０２における点と画像３０４内の属性（例えば、画素）との間の明確な対応関係が存在しないことがある。本開示の実装態様では、点群３０２における各々の点は、既知のカメラモデルを使用して画像面に投影されてもよい。点の周りの特徴パッチは、画像処理アルゴリズム３０８の中間層から抽出されてもよく、双線形補間を使用して固定サイズの特徴ベクトルにサイズ変更されてもよい。特徴パッチは次いで、ＡＮＮ ３１８に入力されることになる他の特徴ベクトルと連結されてもよい。
図２および３の処理では、画像処理アルゴリズ２１６、３０８および／または点群処理アルゴリズム２１２、３０６の層を含む、層の各々に対してバッチ正規化（batch normalization）が実行されてもよい。バッチ正規化は、入力データ／特徴における共変量シフト（covariance shift）を効果的に減少させることができることを理由に、現代のニューラルアーキテクチャ設計において必須となっている。しかしながら、いくつかのケースでは、バッチ正規化は、ネットワークの性能を阻害することがあることが発見されている。例えば、バッチ正規化は、層への入力特徴マップが通常はいくつかのバイアス（bias）により分散されること、および共変量シフトを減少させることが望ましいことを想定している。しかしながら、点群を仮定して境界ボックスを推定するとき、本開示の実装態様にあるように、入力点群の分散は、明らかにガウスではない。境界ボックスの位置を直接予測するために点位置の数値が使用される。バッチ正規化を使用することによってなど、分散を正規化することは、そのような情報を破棄し、よって、性能を阻害する。
本開示の実施形態に従って、ボクセル化（voxelization）もしくは投影などの特殊な前処理を必要としないことを理由に、および／またはまばらな点群に対してロバストであることを理由に、点群データを処理する処理アルゴリズムとしてＰｏｉｎｔＮｅｔアーキテクチャが使用されてもよい。しかしながら、本開示の実施形態では、いくつかのデータの前処理が望ましいことがある。例えば、入力された点群および境界ボックスの目標の両方は、Ｚ軸に沿って中心となるように回転してもよい。一実装態様では、画像捕捉デバイスによって捕捉された画像のフレームの中心などの対象の領域の中心が判定されてもよい。対象の領域の中心は次いで、光線としてカメラフレームに投影解除されもよく（unprojected）、カメラフレームのｚ軸にこの光線を回転させる剛体回転（rigid rotation）が発見されてもよい。この回転は次いで、入力された点群および境界ボックスの目標の両方に適用されてもよい。画像にある点群のそれらの点のみが検討され（すなわち、残りは検討から破棄される）、いくつかの座標系の中心にされる。同様に、画像データは、画像データの二次元境界ボックス内に位置する画素のみが保持されるように（すなわち、残りを破棄する）切り取られてもよく、切り取られた画像が別の画像座標フレームにおいて中心となるように画像が再度中心にされてもよい。したがって、入力データは、ＡＮＮ ３１８による検討のために正規化されてもよい。
図４および５は、三次元境界ボックスを示すパラメータを判定する例示的な方法４００、５００を示すフローチャートである。図４および５に示される方法４００、５００は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装することができる一連の動作を表す、論理フローグラフにおけるブロックの集合として示される。ソフトウェアのコンテキストでは、ブロックは、１つまたは複数のプロセッサによって（例えば、１つもしくは複数のプロセッサまたはコントローラの他の構成要素によって）実行されるとき、列挙された動作を１つまたは複数のプロセッサに実行させる、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行し、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。動作が説明される順序は、限定として解釈されることを意図しておらず、処理を実装するために、いずれかの数の説明されるブロックがいずれかの順序において、および／または並列して組み合わされてもよい。
本明細書で提示される主題は、コンピュータ処理、コンピュータ制御装置、コンピューティングシステム、またはコンピュータ可読記憶媒体などの製品として実装されてもよい。方法４００、５００に関して説明される主題は、１つもしくは複数のコンピューティングデバイス上でおよび／または１つもしくは複数のコンピューティングデバイスと共に実行することができる動作の全体的なコンテキストにおいて提示されるが、様々なプログラム／コントローラモジュールとの組み合わせで他の実装態様が実行されてもよいことを当業者は認識するであろう。概して、そのようなモジュールは、特定のタスクを実行し、または特定の抽象データタイプを実装する、ルーチン、プログラム、コンポーネント、データ構造、および他のタイプの構造を含む。
方法４００、５００に関して説明される主題は、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能電化製品、ミニコンピュータ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯電話装置、タブレットコンピューティングデバイス、特殊目的ハードウェアデバイス、およびネットワークアプライアンスなどを含む、本明細書で説明される主題を超えた他のコンピュータシステム構成上でまたは他のコンピュータシステム構成と共に実施されてもよい。
図４に示されるように、三次元境界ボックスを判定する例示的な方法４００は、４０２において、画像データを受信することと、４０４において、点群データを受信することと、を含む。上記詳述したように、画像データは、ＲＧＢカメラなどの従来の画像捕捉デバイスからの出力を含んでもよく、点群データは、ＬＩＤＡＲ、ＲＡＤＡＲセンサ、または深度カメラ（例えば、構造化された光もしくは飛行時間（time of flight）などの三次元センサからの出力を含んでもよい。本開示の実装態様では、画像データは、環境の二次元の記述を提供し、点群データは、その環境の三次元の記述を提供する。４０２において受信された画像データおよび４０４において受信された点群データが同一の環境を記述することを理由に、２つのタイプのデータは、例えば、データを取得するために使用されるカメラおよびセンサのオフセットを説明する（account for）よう相関付けられてもよい。そのようなオフセットは、相対的な姿勢変換（pose transformation）によって定義されてもよい。
例示的な方法４００は、４０６において、環境内の対象の領域を判定することを含む。例えば、点群データにおける画像データによって記述された環境は、いくつかの物体を含んでもよい。例えば、環境は、車、歩行者、自転車、建物、および／または道路標識を含むことができる都市環境であってもよく、４０６において、環境内の１つの物体に対応する対象の領域が識別されてもよい。上述したように、環境内の物体を識別するシステムが既知であり、そのようなシステムは、対象の領域を判定するために使用されてもよい。いくつかの例示的な実装態様では、４０６において対象の領域を定義するために二次元境界ボックスが使用されてもよい。対象の複数の領域を含むそれらの画像について、全てのそのような対象の領域に対して以下の処理が順次または並列してのいずれかで適用されてもよい。
４０８において、例示的な方法４００はまた、画像を対象の領域に切り取ることを含む。このように画像を切り取ることは、切り取られた画像を提供する。例えば、切り取られた画像は、環境内の対象の物体の画像を含んでもよい。
例示的な方法４００はまた、４１０において、点群データおよび切り取られた画像を正規化することを含む。例えば、点群および境界ボックスの目標の両方は、切り取られてもよく（またはそうでない場合、画像における二次元境界ボックスおよび点群における関連する点内のデータのみを残すように変えられてもよい（例えば、２つのセンサの間の既知の変換を使用した再投影によって））、センサの軸、例えば、ａ～Ｚ軸に沿って中心となるように回転してもよい。
４１２において、点群についての特徴ベクトル（例えば、幾何学的特徴ベクトル）が取得され、４１４において、切り取られた画像についての特徴ベクトル（例えば、外観特徴ベクトル）が取得される。上記説明されたように、点群データは、ＰｏｉｎｔＮｅｔなどの処理アルゴリズムに渡されてもよく、幾何学的特徴ベクトルは、ＰｏｉｎｔＮｅｔニューラルネットワークの層から抽出されてもよい。この例示的な実施形態では、幾何学的特徴ベクトルは、点群の全体に対応する全体特徴ベクトルであってもよい。同様に、切り取られた画像は、ＲｅｓＮｅｔ１０１などの画像処理アルゴリズムに渡されてもよく、外観特徴ベクトルは、最終残差ブロックなどの残差ネットワークの層から抽出されてもよい。
４１６において、例示的な方法４００では、幾何学的特徴ベクトルおよび外観特徴ベクトルは、関数によって処理され、４１８において、処理された特徴ベクトルは、機械学習アルゴリズムに渡される。４１６は、例えば、外観特徴ベクトルとの幾何学的特徴ベクトルの連結を含んでもよい。機械学習アルゴリズムは、畳み込みニューラルネットワークおよび／または複数の完全結合層などの人工ニューラルネットワークを含んでもよい。
例示的な方法４００はまた、４２０において、対象の物体と関連付けられた三次元境界ボックスを記述したパラメータを出力することを含む。上記説明されたように、三次元境界ボックスは、対象の物体を完全に取り囲む直方体であってもよい。この例示的な方法４００では、機械学習アルゴリズムは、点群および切り取られた画像についての三次元境界ボックスの８個の角の三次元座標を直接回帰させる。
図５は、三次元境界ボックスを推定する別の例示的な方法５００を示す。方法５００は、いくつかの実装態様では、図３に示された処理３００に対応する。方法５００に従って、５０２において、物体の切り取られた画像が受信され、５０４において、物体と関連付けられた点群データが受信される。上記詳述したように、切り取られた画像は、物体の周りの二次元境界ボックスの特徴の識別および／または作成の結果であってもよい。点群データは、１つまたは複数のＬＩＤＡＲ、ｒａｄａｒ、および／または例えば、点群として物体の周りの三次元情報を出力するように構成された他のセンサシステムなどの三次元センサから受信されてもよい。
方法５００はまた、上記説明された方法４００と同様に、５０６において、点群についての特徴ベクトル（例えば、幾何学的特徴ベクトル）を取得することと、５１０において、切り取られた画像についての外観特徴ベクトルを取得することと、を含む。しかしながら、方法４００とは異なり、方法５００はまた、５０８において、点毎特徴ベクトルを取得することを含む。図３に関連して上記説明されたように、データを点ごとにおよび全体的に検討する、順序付けられていない点群データを処理するためのニューラルネットワークが既知である。そのようなニューラルネットワークの例は、ＰｏｉｎｔＮｅｔニューラルネットワークである。いくつかの実施例では、そのような点毎特徴ベクトルおよび全体特徴ベクトルは、異なる層において同一のネットワークから抽出されてもよい。
方法５００はまた、５１２において、切り取られた画像の一部を各々の点と関連付けることを含む。本明細書で説明されるアーキテクチャでは、画像データおよび幾何学的データは、環境内の物体についての三次元境界ボックスを判定するように共に検討される。しかしながら、アーキテクチャは、この情報がより容易にアクセス可能であることができる事実にも関わらず、モデル内の点群と画像との間の明確な対応関係を含まないことがある。よって、５１２において、点群における各々の点は、画像面に投影されてもよい。投影されると、特徴パッチは次いで、画像処理アルゴリズムの中間層において点の周りで抽出されてもよく、パッチは、双線形補間を使用して固定サイズの特徴ベクトルにサイズ変更されてもよい。この特徴は、５０６において取得された全体点群特徴、５０８において取得された点毎特徴ベクトル、および５１０において取得された外観特徴ベクトルと連結されてもよい。他の実装態様では、特徴パッチは、点群の全体についての全体幾何学的特徴ベクトルおよび切り取られた画像についての外観特徴ベクトルと共に処理する前に、５０８において取得された点毎特徴ベクトルと連結されてもよい。
５１４において、特徴ベクトルは、畳み込みニューラルネットワークなどの人工ニューラルネットワークであってもよい機械学習アルゴリズムに渡される。点毎特徴ベクトルを含むことを理由に、畳み込みニューラルネットワークは、点ごとに、５１６において、三次元境界ボックスの角と関連付けられた変位またはオフセットの予測を出力し、５１８において、信頼スコアを出力する。よって、この例示的な実装態様では、点群における点ごとに、畳み込みニューラルネットワークは、点ごとの８個のオフセットパラメータを作成し、８個のオフセットパラメータの各々は、三次元境界ボックスの異なる角に対応する。信頼スコアは、０～１に番号付けされてもよく、図３と関連して上記説明されたように、ニューラルネットワークは、信頼スコアスコアを判定するように、教師あり方式または教師なし方式のいずれかにおいて訓練されてもよい。
方法５００はまた、５２０において、信頼スコアに基づいて三次元境界ボックスを出力することを含む。本開示の実装態様では、三次元境界ボックスは、最高信頼スコアを有する点群における点と関連付けられたオフセットパラメータに対応してもよい。他の実装態様では、三次元境界ボックスは、点群における１つよりも多い点と関連付けられたオフセットパラメータの平均値に対応してもよい。実施例を限定しない方式によって、最高信頼スコアを有する点など、いくつかの予め定められた数の点と関連付けられたオフセットパラメータは、オフセットパラメータを判定するように平均化されてもよい。
図６は、発明を全体的または部分的に実装することができるコンピュータ制御システム６００を示す。コンピュータ制御システム６００は、記憶装置６０４、１つまたは複数のプロセッサ６０６、メモリ６０８、およびオペレーティングシステム６１０を含む１つまたは複数のコンピュータシステム６０２を表す。記憶装置６０４、プロセッサ（複数可）６０６、メモリ６０８、およびオペレーティングシステム６１０は、通信インフラストラクチャ６１２を通じて通信可能に結合されてもよい。任意選択で、コンピュータシステム（複数可）６０２は、Ｉ／Ｏデバイス６１４を介してユーザまたは環境と対話してもよく、通信インフラストラクチャ６１２を介してネットワーク６１６を通じて１つまたは複数の他のコンピューティングデバイスと対話してもよい。オペレーティングシステム６１０は、１つまたは複数のアプリケーション６１８を制御するように他の構成要素と対話してもよい。
いくつかの例では、コンピュータシステム（複数可）６０２は、本明細書で議論されるような三次元境界ボックスの推定を実行するように、いずれかのハードウェアおよび／またはソフトウェアを実装してもよい。
本明細書で説明されるシステムおよび方法は、ソフトウェアもしくはハードウェアまたはそれらのいずれかの組み合わせにおいて実装されてもよい。本明細書で説明されるシステムおよび方法は、相互に物理的または論理的に別個であってもよく、または別個でなくてもよい、１つまたは複数のコンピューティングデバイスを使用して実装されてもよい。方法は、オンプレミスハードウェア、オンプレミス仮想システム、またはホストされたプライベートインスタンスのいずれかとして配置された構成要素によって実行されてもよい。加えて、本明細書で説明される方法の様々な態様は、他の機能に組み合わされてもよく、または融合されてもよい。
本明細書で説明されるシステムおよび方法を実装するための例示的な環境およびコンピュータ制御システムが図６に示される。プロセッサまたはコンピュータシステムは、本明細書で説明される方法のいくつかまたは全てを特に実行するように構成されてもよい。いくつかの実施形態では、方法は、１つまたは複数のコンピュータまたはプロセッサによって部分的にまたは完全に自動化されるように構成されてもよい。本明細書で説明されるシステムおよび方法は、ハードウェア、ファームウェア、および／またはソフトウェアのいずれかの組み合わせを使用して実装されてもよい。本明細書で説明される本システムおよび方法（または、いずれかのそれらの部分（複数可）もしくは機能（複数可））は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装されてもよく、１つまたは複数のコンピュータシステムまたは他の処理システムにおいて実装されてもよい。いくつかの実施形態では、示されるシステム要素は、単一のハードウェアデバイスに組み合わされてもよく、または複数のハードウェアデバイスに分離されてもよい。複数のハードウェアデバイスが使用される場合、ハードウェアデバイスは、物理的に相互に近接してまたは相互に遠隔に位置してもよい。説明され、および示される方法の実施形態は、例示的であり、限定しないことを意図している。例えば、方法のステップのいくつかまたは全ては、異なる実施形態では、組み合わされてもよく、再配置されてもよく、および／または省略されてもよい。
１つの例示的な実施形態では、本明細書で説明されるシステムおよび方法は、本明細書で説明される機能性を実施することが可能な１つまたは複数のコンピュータシステムに向けられてもよい。例示的なコンピューティングデバイスは、それらに限定されないがＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、およびＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）などのいずれかのオペレーティングシステムを動作させるパーソナルコンピュータ（ＰＣ）システムであってもよいが、それに限定されない。しかしながら、本明細書で説明されるシステムおよび方法は、それらのプラットフォームに限定されなくてもよい。代わりに、本明細書で説明されるシステムおよび方法は、いずれかの適切なオペレーティングシステムを動作させるいずれかの適切なコンピュータシステム上で実装されてもよい。例えば、それらに限定されないが、双方向テレビ（ｉＴＶ）、ビデオオンデマンドを使用して、およびデジタルビデオレコーダ（ＤＶＲ）または他のオンデマンド観察システムを介して、それらに限定されないが、コンピューティングデバイス、通信デバイス、携帯電話、スマートフォン、電話装置、電話、携帯情報端末（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）、ハンドヘルドＰＣ、双方向テレビ（ｉＴＶ）、デジタルビデオレコーダ（ＤＶＤ）、クライアントワークステーションシンクライアント、シッククライアント、プロキシサーバ、ネットワーク通信サーバ、リモートアクセスデバイス、クライアントコンピュータ、サーバコンピュータ、ルータ、ウェブサーバ、データ、媒体、音声、ビデオ、電話、またはストリーミング技術サーバなど、本明細書で説明されるシステムおよび方法の他の構成要素が要求に応じて設けられてもよい。
システムは、１つまたは複数のプロセッサを含んでもよい。プロセッサ（複数可）は、それらに限定されないが、通信バス、クロスオーババー、またはネットワークなどの通信インフラストラクチャに接続されてもよい。処理およびプロセッサは、同一の物理位置に位置する必要はない。言い換えると、処理は、例えば、ＬＡＮまたはＷＡＮ接続を通じて１つまたは複数の地理的に離れたプロセッサにおいて実行されてもよい。コンピューティングデバイスは、ディスプレイユニット上で表示するために通信インフラストラクチャからグラフィック、テキスト、および他のデータを転送することができるディスプレイインタフェースを含んでもよい。
コンピュータシステムはまた、それらに限定されないが、メインメモリ、ランダムアクセスメモリ（ＲＡＭ）、および二次メモリなどを含んでもよい。二次メモリは、ハードディスクドライブおよび／またはコンパクトディスクドライブＣＤ－ＲＯＭなどの着脱可能記憶ドライブを含んでもよい。着脱可能記憶ドライブは、着脱可能記憶ユニットから読み出してもよく、および／または着脱可能記憶ユニットに書き込んでもよい。認識することができるように、着脱可能記憶ユニットは、コンピュータソフトウェアおよび／またはデータを記憶しているコンピュータ使用可能記憶媒体を含んでもよい。いくつかの実施形態では、機械アクセス可能媒体は、コンピュータによってアクセス可能なデータを記憶するために使用されるいずれかの記憶装置を指してもよい。機械アクセス可能媒体の例は、例えば、磁気ハードディスク、フロッピーディスク、光ディスク、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）もしくはデジタル多用途ディスク（ＤＶＤ）など、磁気テープ、および／またはメモリチップなどを含んでもよいが、それらに限定されない。
プロセッサデータを記憶するための１つもしくは複数のデータ記憶装置を含んでもよく、または１つもしくは複数のデータ記憶装置と通信するように動作可能に結合されてもよい。そのようなデータ記憶装置は、非限定的な例として、磁気ディスク（内蔵ハードディスクおよび着脱可能ディスクを含む）、磁気光ディスク、光ディスク、リードオンリメモリ、ランダムアクセスメモリ、ならびに／またはフラッシュ記憶装置を含むことができる。コンピュータプログラム命令およびデータを有形的に具体化するのに適切な記憶装置はまた、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気ディスク、磁気光ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、全ての形式の不揮発性メモリを含むことができる。プロセッサおよびメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補足されてもよく、またはＡＳＩＣに組み込まれてもよい。
処理システムは、コンピュータ制御データ記憶システムと通信することができる。データ記憶システムは、ＭｙＳＱＬ（登録商標）または他の関係データベースなど、非関係または関係データ記憶装置を含むことができる。他の物理および論理データベースタイプが使用されてもよい。データ記憶装置は、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒ（登録商標）、Ｏｒａｃｌｅ（登録商標）、ＩＢＭ ＤＢ２（登録商標）、ＳＱＬＩＴＥ（登録商標）などのデータベースサーバであってもよく、またはそうでない場合、いずれかの他のデータベースソフトウェアもしくは関係データベースソフトウェアであってもよい。データ記憶装置は、構文タグを識別する情報および構文タグに関して演算するために必要ないずれかの情報を記憶してもよい。いくつかの実施形態では、処理システムは、オブジェクト指向プログラミングを使用してもよく、データをオブジェクトに記憶してもよい。それらの実施形態では、処理システムは、データオブジェクトを関係データベースに記憶するオブジェクト関係マッパ（ＯＲＭ）を使用してもよい。本明細書で説明されるシステムおよび方法は、いずれかの数の物理データモデルを使用して実装されてもよい。１つの例示的な実施形態では、関係データベース管理システム（ＲＤＢＭＳ）が使用されてもよい。それらの実施形態では、ＲＤＢＭＳにおけるテーブルは、座標を表す列を含むことができる。経済システムのケースでは、会社、製品などを表すデータが、ＲＤＢＭＳにおけるテーブルに記憶されてもよい。テーブルは、それらの間の予め定義された関係を有することができる。テーブルはまた、座標と関連付けられた付加詞（adjunct）を有することができる。
代替的な例示的な実施形態では、二次メモリは、コンピュータプログラムまたは他の命令がコンピュータシステムにロードされることを可能にする他の同様のデバイスを含んでもよい。そのようなデバイスは、例えば、着脱可能記憶ユニットおよびインタフェースを含んでもよい。それらの例は、ソフトウェアおよびデータが着脱可能記憶ユニットからコンピュータシステムに転送されることを可能にすることができる、プログラムカートリッジおよびカートリッジインタフェース（例えば、それらに限定されないが、ビデオゲームデバイスにおいて見出されるものなど）、着脱可能メモリチップ（例えば、それらに限定されないが、消去可能プログラム可能リードオンリメモリ（ＥＰＲＯＭ）、またはプログラム可能リードオンリメモリ（ＰＲＯＭ）および関連するソケットなど）、ならびに他の着脱可能記憶ユニットおよびインタフェースを含んでもよい。
コンピューティングデバイスはまた、それらに限定されないが、マイクロフォンなどの音声入力デバイス、タッチスクリーン、カメラなどのジェスチャ認識デバイス、他の自然ユーザインタフェース、マウスまたはデジタイザなどの他のポインティングデバイス、およびキーボードまたは他のデータ入力デバイスなどの入力デバイスを含んでもよい。コンピューティングデバイスはまた、それらに限定されないが、ディスプレイおよびディスプレイインタフェースなどの出力デバイスを含んでもよい。コンピューティングデバイスは、それらに限定されないが、通信インタフェース、ケーブル、および通信経路などの入力／出力（Ｉ／Ｏ）デバイスを含んでもよい。それらのデバイスは、それらに限定されないが、ネットワークインタフェースカードおよびモデムを含んでもよい。通信インタフェース（複数可）は、ソフトウェアおよびデータがコンピュータシステムと１つまたは複数の外部デバイスとの間で転送されることを可能にすることができる。
１つまたは複数の実施形態では、コンピューティングデバイスは、自動車システムに動作可能に結合されてもよい。そのような自動車システムは、手動で動作し、半自律的であり、または完全に自律的であるかのいずれかであってもよい。そのような実施形態では、入力および出力デバイスは、１つもしくは複数の画像捕捉デバイス、コントローラ、マイクロコントローラ、およびそれらに限定されないが、加速化、制動、および操縦などの自動車機能を制御する他のプロセッサを含んでもよい。更に、そのような実施形態における通信インフラストラクチャはまた、コントローラエリアネットワーク（ＣＡＮ）バスを含んでもよい。
１つまたは複数の実施形態では、コンピューティングデバイスは、いずれかの機械視覚に基づくシステムに動作可能に結合されてもよい。例えば、機械視覚に基づくシステムは、それらに限定されないが、相互動作、半自立、または完全自律産業および農業ロボット、家庭用ロボット、調査システム、セキュリティシステムなどを含む。すなわち、本明細書で説明される実施形態は、１つの特定のコンテキストに限定されず、機械視覚を利用するいずれかのアプリケーションに適用可能であってもよい。
１つまたは複数の実施形態では、本実施形態は、コンピュータネットワークまたはネットワークの環境において実施されてもよい。ネットワークは、プライベートネットワークもしくはパブリックネットワーク（例えば、以下で説明されるように、インターネット）、またはその両方の組み合わせを含むことができる。ネットワークは、ハードウェア、ソフトウェア、またはその両方の組み合わせを含んでもよい。
電気通信指向の見方から（telecommunications-oriented view）、ネットワークは、通信設備によって各々のハードウェアノードにおいて機能する１つまたは複数のプロセス（ハードウェア、ソフトウェア、またはそれらの組み合わせ）と相互接続された各々のそのようなノードのセットとして記述されてもよい。プロセスは、プロセス間通信パスウェイ（ｐａｔｈｗａｙ）を使用して、それらの間の通信パスウェイを介して相互に情報を相互通信し、情報を交換することができる。それらのパスウェイ上で、適切な通信プロトコルが使用される。
本実施形態に従った例示的なコンピュータおよび／または電気通信ネットワーク環境は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせを含むことができる、ノードを含んでもよい。ノードは、通信ネットワークを介して相互接続されてもよい。各々のノードは、ノードに組み込まれたプロセッサによって実行可能な１つまたは複数のプロセスを含んでもよい。例えば、単一のプロセスが複数のプロセッサによって稼働してもよく、または複数のプロセスが単一のプロセッによって稼働してもよい。加えて、ノードの各々は、ネットワークの間および外部との間の接点（ｉｎｔｅｒｆａｃｅ ｐｏｉｎｔ）を提供することができ、サブネットワークの集合を組み込むことができる。
例示的な実施形態では、プロセスは、いずれかの通信プロトコルを通じて通信をサポートするプロセス管通信パスウェイを通じて相互に通信してもよい。パスウェイは、直接または並列に、継続的または断続的に機能してもよい。パスウェイは、多くのコンピュータによって使用される標準的な並列命令セットに加えて、通信ネットワークに関して本明細書で説明される通信標準、プロトコル、または技術のいずれかを使用することができる。
ノードは、処理機能を実行することが可能ないずれかのエンティティを含んでもよい。実施形態と共に使用することができるそのようなノードの例は、コンピュータ（パーソナルコンピュータ、ワークステーション、サーバ、もしくはメインフレームなど）、ハンドヘルド無線デバイスおよび有線デバイス（携帯情報端末（ＰＤＡ）、処理能力を有するモデム携帯電話ＢｌａｃｋＢｅｒｒｙ（登録商標）デバイスを含む無線電子メールデバイスなど）、ドキュメント処理デバイス（スキャナ、プリンタ、ファクシミリ装置、もしくは多機能ドキュメント装置など）、または説明されるプロセッサの集合が接続される複合エンティティ（ローカルエリアネットワークもしくはワイドエリアネットワーク）を含む。例えば、本開示のコンテキストでは、ノード自体は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、プライベートネットワーク（仮想プライベートネットワーク（ＶＰＮ）など）、またはネットワークの集合であってもよい。
ノードの間の通信は、通信ネットワークによって行われることが可能である。ノードは、継続的または断続的のいずれかで通信ネットワークと接続されてもよい。例として、本開示のコンテキストでは、通信ネットワークは、適切な帯域幅および情報セキュリティをもたらすデジタル通信インフラストラクチャであってもよい。
通信ネットワークは、いずれかの周波数において、いずれかのタイプの標準、プロトコル、または技術を使用した、有線通信能力、無線通信能力、またはその両方の組み合わせを含むことができる。加えて、本実施形態では、通信ネットワークは、プライベートネットワーク（例えば、ＶＰＮ）またはパブリックネットワーク（例えば、インターネット）であってもよい。
通信ネットワークによって使用される例示的な無線プロトコルおよび技術の非包括的なリストは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、汎用パケット無線サービス（ＧＰＲＳ）、セルラデジタルパケットデータ（ＣＤＰＤ）、モバイルソリューションプラットフォーム（ＭＳＰ）、マルチメディアメッセージング（ＭＭ）、ラジオアプリケーションプロトコル（ＷＡＰ）、符号分割多重アクセス（ＣＤＭＡ）、ショートメッセージサービス（ＳＭＳ）、無線マークアップ言語（ＷＭＬ）、ハンドヘルドデバイスマークアップ言語（ＨＤＭＬ）、無線のためのバイナリランタイム環境（ＢＲＥＷ）、無線アクセスネットワーク（ＲＡＮ）、およびパケットスイッチドコアネットワーク（ＰＳ－ＣＮ）を含んでもよい。また、含まれるのは、様々な世代の無線技術である。通信ネットワークによって使用される主要な有線プロトコルおよび技術の例示的な非包括的なリストは、非同期転送モード（ＡＴＭ）、拡張内部ゲートウェイルーティングプロトコル（ＥＩＧＲＰ）、フレームリレー（ＦＲ）、高レベルデータリンク制御（ＨＤＬＣ）、インターネット制御メッセージプロトコル（ＩＣＭＰ）、内部ゲートウェイルーティングプロトコル（ＩＧＲＰ）、インターネットワークパケット交換（ＩＰＸ）、ＩＳＤＮ、ポイントツーポイントプロトコル（ＰＰＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ルーティング情報プロトコル（ＲＩＰ）、およびユーザデータグラムプロトコル（ＵＤＰ）を含む。当業者が理解するように、いずれかの他の既知のまたは予期された無線または有線プロトコルおよび技術が使用されてもよい。
本開示の実施形態は、本明細書における動作を実行する装置を含んでもよい。装置は特に、所望の目的のために構築されてもよく、またはデバイスに記憶されたプログラムによって選択的に活性化され、または再構成される汎用デバイスを含んでもよい。
１つまたは複数の実施形態では、本実施形態は、機械実行可能命令において具体化される。命令は、命令によりプログラムされた、処理デバイス、例えば、汎用または特殊目的プロセッサに、本開示のステップを実行させるために使用されてもよい。代わりに、本開示のステップは、本開示のステップを実行するためのハードワイヤドロジックを含む特定のハードウェア構成要素によって、またはプログラムされたコンピュータ構成要素およびカスタムハードウェア構成要素のいずれかの組み合わせによって実行されてもよい。例えば、本開示は、上記述べられたように、コンピュータプログラム製品として提供されてもよい。この環境では、実施形態は、それに記憶された命令を有する機械可読媒体を含むことができる。命令は、例示的な本実施形態に従って処理または方法を実行するよういずれかのプロセッサ（または、他の電子デバイス）をプログラムするために使用されてもよい。加えて、本開示はまた、コンピュータプログラム製品上でダウンロードおよび記憶されてもよい。ここで、プログラムは、搬送波において具体化されたデータ信号または通信リンク（例えば、モデムもしくはネットワーク接続）を介した他の伝播媒体によってリモートコンピュータ（例えば、サーバ）から要求しているコンピュータ（例えば、クライアント）に転送されてもよく、最終的にそのような信号は、後続の実行のためにコンピュータシステムに記憶されてもよい。
方法は、コンピュータもしくはいずれかの命令実行システムによる使用のために、またはコンピュータもしくはいずれかの命令実行システムと関連した使用のためにプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品において実装されてもよい。コンピュータ使用可能またはコンピュータ可読記憶媒体は、コンピュータ、または命令実行システム、装置、もしくはデバイスによる使用のために、またはコンピュータ、または命令実行システム、装置、もしくはデバイスと関連した使用のためにプログラムを包含または記憶することができるいずれかの装置であってもよい。
対応するプログラムコードを記憶および／または実行するのに適切なデータ処理システムは、メモリ要素などのコンピュータ制御されたデータ記憶装置に直接または間接的に結合された少なくとも１つのプロセッサを含むことができる。入力／出力（Ｉ／Ｏ）デバイス（それらに限定されないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）は、システムに結合されてもよい。データ処理システムが仲介するプライベートまたはパブリックネットワークを通じて他のデータ処理システムまたはリモートプリンタもしくは記憶装置に結合されことを可能にするために、ネットワークアダプタもシステムに結合されてもよい。ユーザとの対話をもたらすために、ＬＣＤ（液晶ディスプレイ）などのディスプレイデバイスまたはユーザに情報を表示するための別のタイプモニタ、ならびにキーボード、およびそれによってユーザがコンピュータに入力を提供することができるマウスまたはトラックボールなどの入力デバイスを有する機構がコンピュータ上で実装されてもよい。
コンピュータプログラムは、コンピュータにおいて直接または間接的に使用することができる命令セットであってもよい。本明細書で説明されるシステムおよび方法は、ＣＵＤＡ、ＯｐｅｎＣＬ、Ｆｌａｓｈ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋、Ｃ、Ｃ＃、Ｐｙｔｈｏｎ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＨＰ、ＸＭＬ、ＨＴＭＬなどのプログラミング言語、またはコンパイル型言語もしくはインタプリタ型言語を含むプログラミング言語の組み合わせを使用して実装されてもよく、スタンドアロンプログラムまたはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境における使用に適切な他のユニットとシテを含む、いずれかの形式において配列されてもよい。ソフトウェアは、それらに限定されないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むことができる。プログラミングモジュールの間のインタフェースを実装する際に、ＳＯＡＰ／ＨＴＴＰなどのプロトコルが使用されてもよい。本明細書で説明される構成要素および機能性は、それらに限定されないが、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ（登録商標）Ｍａｃ、ｉＯＳ（登録商標）、Ｕｎｉｘ（登録商標）／Ｘ－Ｗｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）などの異なるバージョンを含む、ソフトウェア開発に適切ないずれかのプログラミング言語を使用して仮想環境または非仮想環境において実行するいずれかのデスクトップオペレーティングシステム上で実装されてもよい。システムは、Ｒｕｂｙ ｏｎ Ｒａｉｌなどのウェブアプリケーションフレームワークを使用して実装されてもよい。
命令のプログラムの実行に適切なプロセッサは、それらに限定されないが、いずれかの種類のコンピュータの、汎用および特殊目的マイクロプロセッサ、ならびに単一のプロセッサまたは複数のプロセッサもしくはコアの１つを含む。プロセッサは、リードオンリメモリ、ランダムアクセスメモリ、その両方、または本明細書で説明されるデータ記憶装置のいずれかの組み合わせなどのコンピュータ制御されたデータ記憶装置から命令およびデータを受信および記憶してもよい。プロセッサは、電子デバイスの動作および性能を制御するよう動作可能である処理回路または制御回路を含んでもよい。
本明細書で説明されるシステム、モジュール、および方法は、ソフトウェアまたはハードウェア要素のいずれかの組み合わせを使用して実装されてもよい。本明細書で説明されるシステム、モジュール、および方法は、単独または相互に組み合わせて動作する１つまたは複数の仮想マシンを使用して実装されてもよい。ハードウェアコンピューティングプラットフォームまたはホスト上で稼働する仮想化ソフトウェアの制御の下で実行される仮想マシンに物理コンピューティングマシンプラットフォームをカプセル化するために、いずれかの適用可能な仮想化ソリューションが使用されてもよい。仮想マシンは、仮想システムハードウェアおよびゲストオペレーティングシステムソフトウェアの両方を有してもよい。
本明細書で説明されるシステムおよび方法は、データサーバなどのバックエンドコンポーネントを含み、アプリケーションサーバもしくはインターネットサーバなどのミドルウェアコンポーネントを含み、またはグラフィカルユーザインタフェース、インターネットブラウザ、もしくはそれらのいずれかの組み合わせを有するクライアントコンピュータなどのフロントエンドコンポーネントを含むコンピュータシステムにおいて実装されてもよい。システムのコンポーネントは、通信ネットワークなどのデジタルデータ通信のいずれかの形式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮ、ＷＡＮ、ならびにインターネットを形成するコンピュータおよびネットワークを含む。
本開示の１つまたは複数の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能家電製品、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成により実施されてもよい。本明細書で説明されるシステムおよび方法はまた、ネットワークを通じてリンク付けされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境において実施されてもよい。
用語「コンピュータプログラム媒体」および「コンピュータ可読媒体」は、それらに限定されないが、着脱可能記憶ドライブ、ハードディスクドライブ内に設置されたハードディスクなどの媒体を一般的に指すために使用されてよい。それらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステムに提供することができる。本明細書で説明されるシステムおよび方法は、そのようなコンピュータプログラム製品に向けられてもよい。
「一実施形態」、「実施形態」、「例示的な実施形態」、「様々な実施形態」などに対する言及は、本開示の実施形態が、特定の特徴、構造、または特性を含んでもよいが、あらゆる実施形態が、特定の特徴、構造、または特性を必ずしも含むわけではないことを示してもよい。更に、「一実施形態では」または「例示的な実施形態にでは」という句の繰り返される使用は、同一の実施形態を必ずしも指しているわけではないが、同一の実施形態を指してもよい。同様に、「例」に対する言及は、本開示の様々な例が、特定の特徴、構造、または特性を含んでもよいが、あらゆる例が、特定の特徴、構造、または特性を必ずしも含むわけではないことを示してもよい。更に、「いくつかの例では」という句の繰り返される使用は、同一の例を必ずしも指しているわけではないが、同一の例を指してもよい。
説明および特許請求の範囲では、用語「結合される」および「接続される」は、それらの派生形と共に使用されてよい。それらの用語は、互いに同義語として意図されていなくてよいことが理解されるべきである。むしろ、特定の実施形態においては、「接続される」は、２つ以上の要素が、互いに物理的または電気的に直接接触していることを示すために使用されてよい。「結合される」は、２つ以上の要素が、物理的または電気的に直接接触していることを意味してもよい。しかしながら、「結合される」は、２つ以上の要素が、互いに直接接触しておらず、それでもなお、互いに協働して動作し、または相互作用することを意味してもよい。
ここでは、また一般に、アルゴリズムは、所望の結果にいたる、動作の首尾一貫した連続であると見なされてよい。これらは、物理量の物理的動作を含む。必ずではないが、通常、これらの量は、記憶され、転送され、組み合わされ、比較され、他の方法でオペレーションされることが可能な、電気または磁気信号の形態を取る。主として、共通使用の理由で、これらの信号を、ビット、値、要素、シンボル、文字、項、または数などと呼ぶことが、時には便利であることが分かっている。しかしながら、これらおよび類似の用語のすべては、適切な物理量と関連付けられるべきであり、これらの量に適用される便利なラベルにすぎないことが、理解されるべきである。
特に別段の指摘がない限り、本明細書全体において、用語「処理する」、「計算する」、「算定する」、または「決定する」などは、コンピューティングシステムのレジスタおよび／またはメモリ内の電子的などの物理量として表されるデータを演算および／または変換して、コンピュータシステムのメモリ、レジスタ、または他のそのような情報記憶、伝送、もしくは表示デバイス内の物理量として同様に表される他のデータにする、コンピュータもしくはコンピューティングシステム、または類似の電子コンピューティングデバイスの、動作および／または処理を指すことが、理解されてよい。
同様の方式で、用語「プロセッサ」は、レジスタおよび／またはメモリからの電子データを処理して、その電子データを、レジスタおよび／またはメモリ内に記憶されてよい他の電子データに変換する、任意のデバイス、またはデバイスの一部を指してよい。非限定的な例として、「プロセッサ」は、中央処理ユニット（ＣＰＵ）、またはグラフィカル処理ユニット（ＧＰＵ）であってよい。「コンピューティングプラットフォーム」は、１つまたは複数のプロセッサを備えてよい。本明細書において使用されるとき、「ソフトウェア」プロセスは、例えば、タスク、スレッド、およびインテリジェントエージェントなどの、経時的に仕事を実行するソフトウェアエンティティおよび／またはハードウェアエンティティを含んでよい。また、各プロセスは、命令を順次的または並列的、連続的または断続的に実施するための、多数のプロセスを指してよい。「システム」および「方法」という用語は、システムが１つまたは複数の方法を具体化してよく、方法がシステムと見なされてよい限り、本明細書においては、交換可能に使用される。
１つまたは複数の実施形態が、説明されたが、それらの様々な改変、追加、置換、および均等物が、本開示の範囲内に含まれる。
実施形態の説明において、それの一部を形成する添付の図面に対する参照が行われ、それは、特許請求される発明の特定の実施形態を実例として示している。他の実施形態が使用されてよく、構造的変更などの変更または改変が行われてよいことが、理解されるべきである。そのような実施形態、変更または改変は、意図された特許請求される発明に関する範囲からの逸脱であるとは限らない。ステップは、本明細書においては、ある順序で提示されてよいが、いくつかのケースにおいては、順序付けは、ある入力が、説明されるシステムおよび方法の機能を変更することなく、異なる時間に、または異なる順序で、提供されるように、変更されてよい。開示される手順も、異なる順序で実行されることができる。加えて、本明細書における様々な計算は、開示された順序で実行される必要はなく、計算の代替的な順序付けを使用する他の実施形態が、容易に実施されることができる。並べ替えられるのに加えて、計算は、同じ結果を有するサブ計算に分解されることもできる。
上の議論は、説明される技法の例示的な実施について説明するが、他のアーキテクチャが、説明される機能性を実施するために使用されてよく、それは、本開示の範囲内にあることが意図されている。更に、議論の目的で、上では、責務の特定の分配が定義されたが、様々な機能および責務は、状況に応じて、異なる方法で、分配され、分割されてよい。
更に、本発明は、構造的特徴および／または方法論的動作に特有の言葉で説明されたが、添付の特許請求の範囲において定義される本発明は、説明された特定の特徴または動作に必ずしも限定されないことが、理解されるべきである。むしろ、特定の特徴または動作は、特許請求の範囲を実施する例示的な形態として開示されている。
例示的な条項
Ａ：三次元境界ボックスを推定するシステムであって、前記システムは、１つまたは複数のプロセッサによって実行されるとき、前記システムに、画像捕捉デバイスから捕捉された画像を受信することと、前記画像内の物体を検出することと、前記画像を切り取って前記物体を含む切り取られた画像を形成することと、前記物体と関連付けられた点群データを受信することと、前記点群データと関連付けられた第１の特徴ベクトルを判定することであって、前記第１の特徴ベクトルは、幾何学的特徴ベクトルを含む、ことと、前記切り取られた画像と関連付けられた第２の特徴ベクトルを判定することであって、前記第２の特徴ベクトルは、外観特徴ベクトルを含む、ことと、前記第１の特徴ベクトルおよび前記第２の特徴ベクトルをニューラルネットワークに渡すことと、前記ニューラルネットワークから、前記物体と関連付けられた三次元境界ボックスを記述した座標を受信することと、を実行させる命令を含む非一時的コンピュータ可読媒を含む。
Ｂ：前記命令は更に、前記システムに、複数の第３の特徴ベクトルを判定することであって、前記複数の第３の特徴ベクトルの１つ目は、前記点群データにおける第１の点に対応し、前記複数の第３の特徴ベクトルの２つ目は、前記点群データにおける第２の点に対応する、ことと、前記第１の複数の特徴ベクトルおよび前記第２の複数の特徴ベクトルと共に前記複数の第３の特徴ベクトルを前記ニューラルネットワークに渡すことと、前記第１の点に対し、オフセットの第１の組および第１の信頼スコアを判定することであって、前記オフセットの第１の組は、前記第１の点に対する前記三次元境界ボックスの角の第１の推定位置に対応する、ことと、前記第２の点に対し、オフセットの第２の組および第２の信頼スコアを判定することであって、前記オフセットの第２の組は、前記第２の点に対する前記三次元境界ボックスの前記角の第２の推定位置に対応する、ことと、を実行させ、前記システムは、前記第１の信頼スコアが前記第２の信頼スコアよりも高いときに前記第１の推定位置に対応する座標を受信し、前記システムは、前記第２の信頼スコアが前記第１の信頼スコアよりも高いときに前記第２の推定位置に対応する座標を受信する、段落Ａに記載のシステム。
Ｃ：前記命令は、前記システムに、未加工の点群データを処理するように構成された点群ニューラルネットワークの処理層から前記第１の特徴ベクトルを抽出させ、前記命令は、前記システムに、残差学習ニューラルネットワークから前記第２の特徴ベクトルを抽出させる、段落Ａまたは段落Ｂに記載のシステム。
Ｄ：前記ニューラルネットワークは、完全結合層の１つまたは複数を含む、段落Ａ乃至段落Ｃのいずれかの１つに記載のシステム。
Ｅ：前記命令は更に、前記システムに、前記点群データを原点に変換することによって前記点群データを正規化させる、段落Ａ乃至段落Ｄのいずれかの１つに記載のシステム。
Ｆ：前記座標は、８個の点を含み、前記８個の点の各々は、前記三次元境界ボックスのそれぞれの角と関連付けられている、段落Ａ乃至段落Ｅのいずれかの１つに記載のシステム。
Ｇ：前記第１のニューラルネットワークは、点が三次元境界ボックスの内部にあり、または前記三次元境界ボックスの外側にあるかどうかを識別するデータセットを使用して、教師あり方式において訓練される、段落Ａ乃至段落Ｆのいずれかの１つに記載のシステム。
Ｈ：前記第１のニューラルネットワークは、前記境界ボックスに対する回帰損失を含む境界ボックス損失関数を使用して訓練される、段落Ａ乃至段落Ｇのいずれかの１つに記載のシステム。
Ｉ：前記命令は更に、前記システムに、前記第１の点と関連付けられた前記切り取られた画像の第１の部分を判定させ、前記第２の点と関連付けられた前記切り取られた画像の第２の部分を判定させ、前記第１の部分または前記第２の部分のうちの少なくとも１つは、少なくとも部分的に双線形補間を使用して判定される、段落Ａ乃至段落Ｈのいずれかの１つに記載のシステム。
Ｊ：環境内の物体の三次元境界ボックスを推定する例示的なコンピュータによって実行される方法であって、画像捕捉デバイスから前記環境の画像を受信するステップと、前記環境と関連付けられた点群データを受信するステップであって、前記点群データは、複数の点を含む、ステップと、前記画像内の物体を検出するステップと、前記画像を切り取って前記物体の画像を含む切り取られた画像を形成するステップと、前記切り取られた画像を第１のニューラルネットワークに入力するステップと、前記点群を第２のニューラルネットワークに入力するステップと、前記第１のニューラルネットワークから前記切り取られた画像と関連付けられた外観特徴ベクトルを抽出するステップと、前記第２のニューラルネットワークから前記点群データと関連付けられた全体幾何学的特徴ベクトルを抽出するステップと、前記第２のニューラルネットワークから複数の点毎幾何学的特徴ベクトルを抽出するステップであって、前記点毎幾何学的特徴ベクトルの個々は、前記複数の点の個々と関連付けられている、ステップと、前記外観特徴ベクトル、前記全体幾何学的特徴ベクトル、および前記複数の点毎幾何学的特徴ベクトルを第３のニューラルネットワークに入力するステップと、前記第３のニューラルネットワークから前記物体の三次元境界ボックスと関連付けられた情報を受信するステップと、を備えたコンピュータによって実行される方法。
Ｋ：前記三次元境界ボックスと関連付けられた前記情報を受信する前記ステップは、前記点群における点に対する複数の変位を受信することを含み、前記変位は、前記三次元境界ボックスの角に対応する、段落Ｊに記載のコンピュータによって実行される方法。
Ｌ：前記第３のニューラルネットワークは、前記点群における点ごとに、複数のオフセットおよび信頼スコアを判定し、前記オフセットは、それぞれの点に対する前記三次元境界ボックスの推定された角からの変位を含み、前記三次元境界ボックスを受信する前記ステップは、最高信頼スコアを有する点と関連付けられたパラメータを受信することを含む、段落Ｊまたは段落Ｋに記載のコンピュータによって実行される方法。
Ｍ：前記第３のニューラルネットワークは、前記境界ボックスに対する回帰損失を含む境界ボックス損失関数を使用して訓練される、段落Ｊ乃至段落Ｌのいずれかの１つに記載のコンピュータによって実行される方法。
Ｎ：前記第３のニューラルネットワークは、点が三次元境界ボックスの内部にあり、または前記三次元境界ボックスの外側にあるかどうかのインジケーションを使用して、教師あり方式において訓練される、段落Ｊ乃至段落Ｍのいずれかの１つに記載のコンピュータによって実行される方法。
Ｏ：前記画像の外観特徴ベクトル、前記全体幾何学的特徴ベクトル、および前記複数の点毎幾何学的特徴ベクトルを第３のニューラルネットワークに入力する前記ステップは、前記点毎幾何学的特徴ベクトルの各々の個々を前記全体幾何学的特徴ベクトルと連結することを含む、段落Ｊ乃至段落Ｎのいずれかの１つに記載のコンピュータによって実行される方法。
Ｐ：三次元境界ボックスを推定する例示的なシステムであって、自律車両と、前記自律車両と関連付けられ、前記自律車両の環境内の画像を捕捉するように構成された画像捕捉デバイスと、前記自律車両と関連付けられ、前記環境に対応する点群データを出力するように構成されたセンサと、１つまたは複数のプロセッサと、命令を含む非一時的コンピュータ可読媒体と、を備え、前記命令は、前記１つまたは複数のプロセッサによって実行されるとき、前記システムに、前記画像捕捉デバイスによって捕捉された画像を受信することと、前記画像内の物体を検出することと、前記画像を切り取って前記物体を含む切り取られた画像を形成することと、点群データを受信することと、前記点群データと関連付けられた第１の特徴ベクトルを判定することと、前記切り取られた画像と関連付けられた第２の特徴ベクトルを判定することと、前記第１の特徴ベクトルおよび前記第２の特徴ベクトルをニューラルネットワークに渡すことと、前記ニューラルネットワークから、前記物体についての三次元境界ボックスと関連付けられた座標を受信することと、を実行させる。
Ｑ：前記命令は更に、前記システムに、複数の第３の特徴ベクトルを判定することであって、前記複数の第３の特徴ベクトルの１つ目は、前記点群データにおける第１の点に対応し、前記複数の第３の特徴ベクトルの２つ目は、前記点群データにおける第２の点に対応する、ことと、前記第１の複数の特徴ベクトルおよび前記第２の複数の特徴ベクトルと共に前記複数の第３の特徴ベクトルを前記ニューラルネットワークに渡すことと、前記第１の点に対し、オフセットの第１の組および第１の信頼スコアを判定することであって、前記オフセットの第１の組は、前記第１の点に対する前記三次元境界ボックスの角の第１の推定位置に対応する、ことと、前記第２の点に対し、オフセットの第２の組および第２の信頼スコアを判定することであって、前記オフセットの第２の組は、前記第２の点に対する前記三次元境界ボックスの前記角の第２の推定位置に対応する、ことと、を実行させ、前記システムは、前記第１の信頼スコアが前記第２の信頼スコアよりも高いときに前記第１の推定位置に対応する座標を受信し、前記システムは、前記第２の信頼スコアが前記第１の信頼スコアよりも高いときに前記第２の推定位置に対応する座標を受信する、段落Ｐに記載のシステム。
Ｒ：前記画像捕捉デバイスは、ＲＧＢ画像を捕捉するように構成されたカメラを含み、前記センサは、ＬＩＤＡＲセンサまたはＲＡＤＡＲセンサを含み、前記センサからの前記ＲＧＢ画像および前記点群データは、調整される（aligned）、段落Ｐまたは段落Ｑに記載のシステム。
Ｓ：前記命令は更に、前記システムに、前記第１の点と関連付けられた前記切り取られた画像の第１の部分を判定させ、前記第２の点と関連付けられた前記切り取られた画像の第２の部分を判定させる、段落Ｐ乃至段落Ｒのいずれかの１つに記載のシステム。
Ｔ：前記命令は更に、前記システムに、未加工の点群データを処理するように構成された点群ニューラルネットワークから前記第１の特徴ベクトルを抽出することによって前記第１の特徴ベクトルを判定することと、残差学習ネットワークから前記第２の特徴ベクトルを抽出することによって前記第２の特徴ベクトルを判定することと、を実行させる、段落Ｐ乃至段落Ｓのいずれかの１つに記載のシステム。

Claims (17)

  1. 三次元境界ボックスを推定するシステムであって、前記システムは、１つまたは複数のプロセッサによって実行されるとき、前記システムに、
    画像捕捉デバイスから捕捉された画像を受信することと、
    前記画像内の物体を検出することと、
    前記画像を切り取って前記物体を含む切り取られた画像を形成することと、
    前記物体と関連付けられた点群データを受信することと、
    前記点群データと関連付けられた全体幾何学的特徴ベクトルと、複数の点毎幾何学的特徴ベクトルとを判定することであって、前記複数の点毎幾何学的特徴ベクトルの個々は、前記点群データに含まれた複数の点の個々に関連付けられている、ことと、
    前記切り取られた画像と関連付けられた外観特徴ベクトルを判定することと、
    前記全体幾何学的特徴ベクトル、前記複数の点毎幾何学的特徴ベクトル、および前記外観特徴ベクトルをニューラルネットワークに渡すことと、
    前記ニューラルネットワークから、前記点群データの各点毎に推定された点毎三次元境界ボックスの各角に関する空間オフセットを受信することと、
    前記点群データの各点毎に推定された前記点毎三次元境界ボックスの各角に関する前記空間オフセットに少なくとも部分的に基づいて、前記物体と関連付けられた全体三次元境界ボックスを記述した座標を判定することと、
    を実行させる命令を含む非一時的コンピュータ可読媒体を含むことを特徴とするシステム。
  2. 前記複数の点毎幾何学的特徴ベクトルを判定することは、前記複数の点毎幾何学的特徴ベクトルの１つ目が、前記点群データにおける第１の点に対応し、前記複数の点毎幾何学的特徴ベクトルの２つ目が、前記点群データにおける第２の点に対応することを含み、
    前記空間オフセットを推定することは、
    前記第１の点に対し、空間オフセットに関する第１の組と、空間オフセットに関する前記第１の組に対応する第１の信頼スコアを判定することであって、空間オフセットに関する前記第１の組が、前記第１の点に対する前記点毎三次元境界ボックスの角の第１の推定位置に対応する、ことと、
    前記第２の点に対し、空間オフセットに関する第２の組と、空間オフセットに関する前記第２の組に対応する第２の信頼スコアを判定することであって、空間オフセットに関する前記第２の組は、前記第２の点に対する前記点毎三次元境界ボックスの前記角の第２の推定位置に対応する、ことと、を含み、
    前記命令は、更に、前記システムに信頼スコアを判定させ、前記信頼スコアを判定することは、
    前記第１の信頼スコアが前記第２の信頼スコアよりも高いときに前記第１の推定位置に対応する座標を判定することと、
    前記第２の信頼スコアが前記第１の信頼スコアよりも高いときに前記第２の推定位置に対応する座標を判定することと
    を含む、
    ことを特徴とする請求項１に記載のシステム。
  3. 前記命令は、更に、前記システムに、未加工の点群データを処理するように構成された点群ニューラルネットワークの処理層から前記全体幾何学的特徴ベクトルおよび前記複数の点毎幾何学的特徴ベクトルを抽出させ、前記命令は、更に、前記システムに、残差学習ニューラルネットワークから前記外観特徴ベクトルを抽出させる、ことを特徴とする請求項１に記載のシステム。
  4. 前記ニューラルネットワークは、完全結合層の１つまたは複数を含み、
    前記画像捕捉デバイスは、ＲＧＢ画像を捕捉するように構成されたカメラを含み、
    前記点群データを生成するセンサは、ＬＩＤＡＲセンサまたはＲＡＤＡＲセンサを含み、
    前記センサからの前記ＲＧＢ画像および前記点群データは、調整される、
    ことを特徴とする請求項１に記載のシステム。
  5. 前記命令は更に、前記システムに、前記点群データを原点に変換することによって前記点群データを正規化させる、ことを特徴とする請求項１に記載のシステム。
  6. 前記座標は、８個の点を含み、前記８個の点の各々は、前記全体三次元境界ボックスのそれぞれの角と関連付けられている、ことを特徴とする請求項１に記載のシステム。
  7. 前記ニューラルネットワークは、点が前記点毎三次元境界ボックスの内部にあり、または前記点毎三次元境界ボックスの外側にあるかどうかを識別するデータセットを使用して、教師あり方式において訓練される、ことを特徴とする請求項１に記載のシステム。
  8. 前記ニューラルネットワークは、前記点毎三次元境界ボックスに対する回帰損失を含む境界ボックス損失関数を使用して訓練される、ことを特徴とする請求項１に記載のシステム。
  9. 前記命令は更に、前記システムに、
    前記第１の点と関連付けられた前記切り取られた画像の第１の部分を判定することと、
    前記第２の点と関連付けられた前記切り取られた画像の第２の部分を判定することと、を実行させ、
    前記第１の部分または前記第２の部分のうちの少なくとも１つは、少なくとも部分的に双線形補間を使用して判定される、
    ことを特徴とする請求項２に記載のシステム。
  10. 環境内の物体の三次元境界ボックスを推定する例示的なコンピュータによって実行される方法であって、
    画像捕捉デバイスから前記環境の画像を受信するステップと、
    前記環境と関連付けられた点群データを受信するステップであって、前記点群データは、複数の点を含む、ステップと、
    前記画像内の物体を検出するステップと、
    前記画像を切り取って前記物体の画像を含む切り取られた画像を形成するステップと、
    前記切り取られた画像を第１のニューラルネットワークに入力するステップと、
    前記点群データを第２のニューラルネットワークに入力するステップと、
    前記第１のニューラルネットワークから前記切り取られた画像と関連付けられた外観特徴ベクトルを抽出するステップと、
    前記第２のニューラルネットワークから前記点群データと関連付けられた全体幾何学的特徴ベクトルを抽出するステップと、
    前記第２のニューラルネットワークから複数の点毎幾何学的特徴ベクトルを抽出するステップであって、前記複数の点毎幾何学的特徴ベクトルの個々は、前記複数の点の個々と関連付けられている、ステップと、
    前記外観特徴ベクトル、前記全体幾何学的特徴ベクトル、および前記複数の点毎幾何学的特徴ベクトルを第３のニューラルネットワークに入力するステップと、
    前記第３のニューラルネットワークから、前記点群データの各点毎に推定された点毎三次元境界ボックスの各角に関する空間オフセットを受信するステップと、
    前記点群データの各点毎に推定された前記点毎三次元境界ボックスの各角に関する前記空間オフセットに少なくとも部分的に基づいて、前記物体と関連付けられた全体三次元境界ボックスと関連付けられた情報を判定するステップと、
    を備えたことを特徴とするコンピュータによって実行される方法。
  11. 前記点毎三次元境界ボックスと関連付けられた前記空間オフセットを受信する前記ステップは、前記点群データにおける点に対する複数の変位を受信することを含み、前記変位は、前記点毎三次元境界ボックスの角に対応する、ことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
  12. 前記第３のニューラルネットワークは、前記点群データにおける点ごとに、複数の空間オフセットおよび信頼スコアを判定し、前記複数の空間オフセットは、それぞれの点に対する前記点毎三次元境界ボックスの推定された角からの変位を含み、前記全体三次元境界ボックスを判定する前記ステップは、最高信頼スコアを有する点と関連付けられたパラメータを判定することを含む、ことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
  13. 前記第３のニューラルネットワークは、前記点毎三次元境界ボックスに対する回帰損失を含む境界ボックス損失関数を使用して訓練される、ことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
  14. 前記第３のニューラルネットワークは、点が前記点毎三次元境界ボックスの内部にあり、または前記点毎三次元境界ボックスの外側にあるかどうかのインジケーションを使用して、教師あり方式において訓練される、ことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
  15. 前記画像の外観特徴ベクトル、前記全体幾何学的特徴ベクトル、および前記複数の点毎幾何学的特徴ベクトルを第３のニューラルネットワークに入力する前記ステップは、前記点毎幾何学的特徴ベクトルの各々の個々を前記全体幾何学的特徴ベクトルと連結することを含む、ことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
  16. 前記システムは、前記ニューラルネットワークから、前記点群データの各点毎の前記空間オフセットに関連付けられた信頼スコアを受信するようにさらに構成され、
    前記点群データの各点毎に推定された前記点毎三次元境界ボックスの各角に関する前記空間オフセットに少なくとも部分的に基づいて、前記物体と関連付けられた全体三次元境界ボックスを記述した座標を判定することは、
    前記点群データの各点毎の前記空間オフセットに関連付けられた信頼スコアに対応する前記点毎三次元境界ボックスを選択することにより、前記物体と関連付けられた前記全体三次元境界ボックスを記述する座標を判定すること
    を含むことを特徴とする請求項１に記載のシステム。
  17. 前記第３のニューラルネットワークから、前記点群データの各点毎の前記空間オフセットに関連付けられた信頼スコアを受信するステップをさらに備え、
    前記点群データの各点毎に推定された前記点毎三次元境界ボックスの各角に関する前記空間オフセットに少なくとも部分的に基づいて、前記物体と関連付けられた全体三次元境界ボックスと関連付けられた前記情報を判定するステップは、
    前記点群データの各点毎の前記空間オフセットに関連付けられた前記信頼スコアに対応する前記点毎三次元境界ボックスを選択することにより、前記物体と関連付けられた全体三次元境界ボックスを記述する座標を判定するステップ
    を含むことを特徴とする請求項１０に記載のコンピュータによって実行される方法。
JP2020516640A 2017-09-22 2018-08-31 二次元画像および点群データからの三次元境界ボックス Active JP7282080B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762562193P 2017-09-22 2017-09-22
US62/562,193 2017-09-22
US15/797,573 US10438371B2 (en) 2017-09-22 2017-10-30 Three-dimensional bounding box from two-dimensional image and point cloud data
US15/797,573 2017-10-30
PCT/US2018/049129 WO2019060125A1 (en) 2017-09-22 2018-08-31 THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS

Publications (2)

Publication Number Publication Date
JP2020534617A JP2020534617A (ja) 2020-11-26
JP7282080B2 true JP7282080B2 (ja) 2023-05-26

Family

ID=65807708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516640A Active JP7282080B2 (ja) 2017-09-22 2018-08-31 二次元画像および点群データからの三次元境界ボックス

Country Status (5)

Country Link
US (2) US10438371B2 (ja)
EP (1) EP3685306A1 (ja)
JP (1) JP7282080B2 (ja)
CN (2) CN111108507B (ja)
WO (1) WO2019060125A1 (ja)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN110546651B (zh) * 2017-04-27 2023-04-04 惠普发展公司，有限责任合伙企业 用于识别对象的方法、系统和计算机可读介质
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US10872228B1 (en) * 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
US11017550B2 (en) * 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US11475351B2 (en) * 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
CN108229305B (zh) * 2017-11-21 2021-06-04 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
TWI651686B (zh) * 2017-11-30 2019-02-21 國家中山科學研究院 一種光學雷達行人偵測方法
US10705216B2 (en) * 2017-12-07 2020-07-07 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
KR101982942B1 (ko) * 2017-12-21 2019-05-27 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치들
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US10745005B2 (en) * 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US11423508B2 (en) * 2018-02-26 2022-08-23 Intel Corporation Method and system of point cloud registration for image processing
US10692183B2 (en) * 2018-03-29 2020-06-23 Adobe Inc. Customizable image cropping using body key points
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
US11022693B1 (en) * 2018-08-03 2021-06-01 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a lidar data segmentation system
CN112512300A (zh) * 2018-08-08 2021-03-16 托罗公司 用于训练自主车辆的手柄和方法及其存放方法
US10915793B2 (en) * 2018-11-08 2021-02-09 Huawei Technologies Co., Ltd. Method and system for converting point cloud data for use with 2D convolutional neural networks
DK201970115A1 (en) 2018-11-08 2020-06-09 Aptiv Technologies Limited DEEP LEARNING FOR OBJECT DETECTION USING PILLARS
US11010592B2 (en) * 2018-11-15 2021-05-18 Toyota Research Institute, Inc. System and method for lifting 3D representations from monocular images
CN113168517A (zh) * 2018-11-30 2021-07-23 高通股份有限公司 处理传感器信息以供对象检测
US11069081B1 (en) * 2019-01-25 2021-07-20 Google Llc Location discovery
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
JP7352368B2 (ja) * 2019-03-29 2023-09-28 株式会社コーエーテクモゲームス ゲーム操作学習プログラム、ゲームプログラム、ゲームプレイプログラム、及びゲーム操作学習方法
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
CN112132888B (zh) * 2019-06-25 2024-04-26 黑芝麻智能科技(重庆)有限公司 大规模室内稀疏激光雷达点云内的单目相机定位
JP2021006011A (ja) * 2019-06-27 2021-01-21 株式会社クボタ 農作業車のための障害物検出システム
US20210004566A1 (en) * 2019-07-02 2021-01-07 GM Global Technology Operations LLC Method and apparatus for 3d object bounding for 2d image data
WO2021007117A1 (en) * 2019-07-05 2021-01-14 DeepMap Inc. Generating training data for deep learning models for building high definition maps
US11195064B2 (en) * 2019-07-11 2021-12-07 Waymo Llc Cross-modal sensor data alignment
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN110363863B (zh) * 2019-07-15 2023-09-12 上海点积实业有限公司 一种神经网络的输入数据生成方法和系统
US11176693B1 (en) * 2019-07-24 2021-11-16 Amazon Technologies, Inc. Rapid point cloud alignment and classification with basis set learning
AU2020326442A1 (en) * 2019-08-05 2022-03-10 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
DE112020003708T5 (de) * 2019-08-06 2022-06-09 Sony Group Corporation Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
CN110490865B (zh) * 2019-08-22 2022-04-01 易思维（杭州）科技有限公司 基于螺柱高反光特性的螺柱点云分割方法
EP3783525A1 (en) * 2019-08-22 2021-02-24 Argo AI GmbH Method for detecting an object in surroundings of a vehicle, corresponding system and vehicle
US11327178B2 (en) * 2019-09-06 2022-05-10 Volvo Car Corporation Piece-wise network structure for long range environment perception
US10614340B1 (en) * 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
CN110956194A (zh) * 2019-10-10 2020-04-03 深圳先进技术研究院 三维点云的结构化方法、分类方法、设备及装置
DE102019127306A1 (de) * 2019-10-10 2021-04-15 Valeo Schalter Und Sensoren Gmbh System und Verfahren zum Erfassen von Objekten in einer dreidimensionalen Umgebung eines Trägerfahrzeugs
US11281917B2 (en) 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
GB2591171B (en) 2019-11-14 2023-09-13 Motional Ad Llc Sequential fusion for 3D object detection
CN112907659A (zh) * 2019-11-19 2021-06-04 阿里巴巴集团控股有限公司 移动设备定位系统、方法及设备
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
CN113316801A (zh) * 2019-12-09 2021-08-27 深圳市大疆创新科技有限公司 点云孔洞填充方法、装置和存储介质
CN113075922A (zh) * 2019-12-17 2021-07-06 图森有限公司 来自多个传感器的数据集成
WO2021132758A1 (ko) * 2019-12-26 2021-07-01 (주) 로탈 스테레오 카메라를 이용한 객체 위치 결정 시스템
CN111223136B (zh) * 2020-01-03 2024-04-23 三星（中国）半导体有限公司 稀疏2d点集的深度特征提取方法及装置
CN111208530B (zh) * 2020-01-15 2022-06-17 北京四维图新科技股份有限公司 定位图层生成方法、装置、高精度地图及设备
CN111259829B (zh) * 2020-01-19 2023-10-20 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
US11403764B2 (en) 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
CN111339880A (zh) * 2020-02-19 2020-06-26 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
US11804051B2 (en) * 2020-02-25 2023-10-31 Zebra Technologies Corporation Parallel data capture system
KR102551149B1 (ko) * 2020-02-27 2023-07-03 애플 인크. 포인트 클라우드 클러스터들의 공간적 관계들
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US11668799B2 (en) 2020-03-20 2023-06-06 Aptiv Technologies Limited Histogram based L-shape detection of target objects
CN111414888A (zh) * 2020-03-31 2020-07-14 杭州博雅鸿图视频技术有限公司 低分辨率人脸识别方法、系统、装置及存储介质
CN113536867B (zh) * 2020-04-22 2023-09-22 杭州海康威视数字技术股份有限公司 物体识别的方法、装置及系统
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
US10970645B1 (en) * 2020-05-08 2021-04-06 StradVision, Inc. Method for explainable active learning, to be used for object detector, by using Bayesian dual autoencoder and active learning device using the same
US11410356B2 (en) 2020-05-14 2022-08-09 Toyota Research Institute, Inc. Systems and methods for representing objects using a six-point bounding box
CN111738293A (zh) * 2020-05-18 2020-10-02 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
US11532096B2 (en) 2020-05-21 2022-12-20 Verizon Connect Development Limited Systems and methods for utilizing a deep learning model to determine vehicle viewpoint estimations
CN113763231B (zh) * 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
CN111722245B (zh) * 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
US11715277B2 (en) * 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
US11628856B2 (en) * 2020-06-29 2023-04-18 Argo AI, LLC Systems and methods for estimating cuboids from LiDAR, map and image data
US11527084B2 (en) * 2020-07-10 2022-12-13 Huawei Technologies Co., Ltd. Method and system for generating a bird's eye view bounding box associated with an object
CN111895931B (zh) * 2020-07-17 2021-11-26 嘉兴泊令科技有限公司 一种基于计算机视觉的煤矿作业区标定方法
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
US11756317B2 (en) * 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data
CN112102496B (zh) * 2020-09-27 2024-03-26 安徽省农业科学院畜牧兽医研究所 牛体格测量方法、模型训练方法和系统
US11189049B1 (en) * 2020-10-16 2021-11-30 Ford Global Technologies, Llc Vehicle neural network perception and localization
EP3985411A1 (en) * 2020-10-19 2022-04-20 Aptiv Technologies Limited Method and device for detecting objects
CN112433193B (zh) * 2020-11-06 2023-04-07 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的模位置定位方法及系统
US20220156972A1 (en) * 2020-11-16 2022-05-19 Waymo Llc Long range distance estimation using reference objects
CN112416018B (zh) * 2020-11-24 2021-07-09 广东技术师范大学 基于多信号采集与路径规划模型的无人机避障方法和装置
CN112241204B (zh) * 2020-12-17 2021-08-27 宁波均联智行科技股份有限公司 一种车载ar-hud的手势交互方法和系统
CN112509126A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 三维物体检测的方法、装置、设备及存储介质
US11657719B2 (en) * 2020-12-18 2023-05-23 Zoox, Inc. System for sparsely representing and storing geographic and map data
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
CN112926475B (zh) * 2021-03-08 2022-10-21 电子科技大学 一种人体三维关键点提取方法
RU2767831C1 (ru) * 2021-03-26 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и электронные устройства для обнаружения объектов в окружении беспилотного автомобиля
CN112801059B (zh) * 2021-04-07 2021-07-20 广东众聚人工智能科技有限公司 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
US11823465B2 (en) 2021-04-13 2023-11-21 Ford Global Technologies, Llc Neural network object identification
CN113255444A (zh) * 2021-04-19 2021-08-13 杭州飞步科技有限公司 图像识别模型的训练方法、图像识别方法和装置
CN112862730B (zh) * 2021-04-26 2021-07-27 深圳大学 点云特征增强方法、装置、计算机设备和存储介质
KR102343041B1 (ko) * 2021-05-14 2021-12-24 주식회사 인피닉 3d 데이터에서 객체 자동 특정 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113269820A (zh) * 2021-05-26 2021-08-17 北京地平线信息技术有限公司 空间几何信息估计模型的生成方法和装置
US11978259B2 (en) 2021-07-09 2024-05-07 Ford Global Technologies, Llc Systems and methods for particle filter tracking
US11741631B2 (en) * 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
CN113645063B (zh) * 2021-07-16 2024-03-19 上海德衡数据科技有限公司 基于边缘计算的智能集成数据的方法及系统
CN113780078B (zh) * 2021-08-05 2024-03-19 广州西威科智能科技有限公司 无人驾驶视觉导航中故障物快速精准识别方法
US11966452B2 (en) * 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception
CN113538315B (zh) * 2021-08-20 2024-02-02 支付宝(杭州)信息技术有限公司 图像处理方法及装置
CN113984037B (zh) * 2021-09-30 2023-09-12 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114862952B (zh) * 2022-04-27 2024-03-19 江西理工大学 无人机检测与防御方法及系统
WO2023223765A1 (ja) * 2022-05-18 2023-11-23 株式会社アイシン 物体検知装置および物体検知方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076096A (ja) 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
JP2017134814A (ja) 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 点群データに基づく車両輪郭検出方法、および装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
WO2014020364A1 (en) * 2012-07-30 2014-02-06 Zinemath Zrt. System and method for generating a dynamic three-dimensional model
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US20150131924A1 (en) * 2013-11-13 2015-05-14 Microsoft Corporation Creation of Rectangular Images from Input Images
TWI534755B (zh) * 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9665791B2 (en) * 2014-04-04 2017-05-30 Massachusetts Institute Of Technology System and method for extracting dominant orientations from a scene
WO2015157643A1 (en) * 2014-04-10 2015-10-15 Vega-Avila Rolando Solar energy forecasting
US9846961B2 (en) * 2014-04-30 2017-12-19 Intel Corporation System and method of limiting processing by a 3D reconstruction system of an environment in a 3D reconstruction of an event occurring in an event space
US9858681B2 (en) * 2014-10-27 2018-01-02 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
WO2016068869A1 (en) * 2014-10-28 2016-05-06 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
US10043097B2 (en) * 2015-03-10 2018-08-07 Fringefy Ltd. Image abstraction system
US9881226B1 (en) * 2015-09-24 2018-01-30 Amazon Technologies, Inc. Object relation builder
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
BR112018017232A2 (pt) * 2016-02-29 2019-01-15 Urugus S A sistema para análise de escala planetária
US10424065B2 (en) * 2016-06-10 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing three-dimensional semantic parsing of indoor spaces
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US10304191B1 (en) * 2016-10-11 2019-05-28 Zoox, Inc. Three dimensional bounding box estimation from two dimensional images
KR102267553B1 (ko) * 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
CN106651765A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种采用深度神经网络的缩略图自动生成的方法
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10438371B2 (en) 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076096A (ja) 2008-11-27 2009-04-09 Mitsubishi Electric Corp 対象特定装置
JP2017134814A (ja) 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 点群データに基づく車両輪郭検出方法、および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia，Multi-View 3D Object Detection Network for Autonomous Driving，arXiv，米国，2016年11月23日，pp.1-9，https://arxiv.org/pdf/1611.07759v1.pdf

Also Published As

Publication number Publication date
JP2020534617A (ja) 2020-11-26
US10438371B2 (en) 2019-10-08
WO2019060125A1 (en) 2019-03-28
CN117636331A (zh) 2024-03-01
CN111108507B (zh) 2024-01-12
EP3685306A1 (en) 2020-07-29
US20190096086A1 (en) 2019-03-28
CN111108507A (zh) 2020-05-05
US20200005485A1 (en) 2020-01-02
US11216971B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP7282080B2 (ja) 二次元画像および点群データからの三次元境界ボックス
US11361196B2 (en) Object height estimation from monocular images
US11688161B2 (en) Three dimensional bounding box estimation from two dimensional images
JP7433227B2 (ja) センサーデータセグメンテーション
US10991156B2 (en) Multi-modal data fusion for enhanced 3D perception for platforms
US9933264B2 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US20200041276A1 (en) End-To-End Deep Generative Model For Simultaneous Localization And Mapping
WO2020029758A1 (zh) 对象三维检测及智能驾驶控制的方法、装置、介质及设备
EP3414641B1 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
EP2671384B1 (en) Mobile camera localization using depth maps
US20130129224A1 (en) Combined depth filtering and super resolution
US20220058818A1 (en) Object-centric three-dimensional auto labeling of point cloud data
US20220051425A1 (en) Scale-aware monocular localization and mapping
US20230245373A1 (en) System and method for generating a three-dimensional photographic image
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN112509126A (zh) 三维物体检测的方法、装置、设备及存储介质
JP2022034034A (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
US11417063B2 (en) Determining a three-dimensional representation of a scene
Shade Choosing where to go: mobile robot exploration
US20220108455A1 (en) Rgbd video semantic segmentation with temporal and geometric consistency
CN117746417A (zh) 目标检测模型构建方法、目标检测方法及相关装置
CN117253133A (zh) 目标检测方法、目标检测模型训练方法、装置和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230516

R150 Certificate of patent or registration of utility model

Ref document number: 7282080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150