JP6364049B2 - 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム - Google Patents

点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム Download PDF

Info

Publication number
JP6364049B2
JP6364049B2 JP2016162606A JP2016162606A JP6364049B2 JP 6364049 B2 JP6364049 B2 JP 6364049B2 JP 2016162606 A JP2016162606 A JP 2016162606A JP 2016162606 A JP2016162606 A JP 2016162606A JP 6364049 B2 JP6364049 B2 JP 6364049B2
Authority
JP
Japan
Prior art keywords
point
trained
cloud data
detected
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016162606A
Other languages
English (en)
Other versions
JP2017134814A (ja
Inventor
ボウ リー
ボウ リー
ティエンレイ チャン
ティエンレイ チャン
ティエン シア
ティエン シア
ジー タオ
ジー タオ
ヤンチン リン
ヤンチン リン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Publication of JP2017134814A publication Critical patent/JP2017134814A/ja
Application granted granted Critical
Publication of JP6364049B2 publication Critical patent/JP6364049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Description

本発明は、コンピュータの技術分野に関し、具体的には、車両検出技術分野に関し、特に点群データに基づく車両輪郭検出方法、および装置に関する。
経済の発展および生活水準の向上につれて、自動車は不可欠な通勤手段として、徐々に多くの家庭に普及している。しかしながら、それに伴う運転安全問題は、常に幸せな生活を脅かしている。中国では、２０１０年度の交通事故による死亡者数は、中国公安省のデータによれば６５，２２５人であり、ＷＨＯモデルの推定によれば２７５，９８３人であり、一日一回重大な航空事故が発生することに相当する。交通事故による全世界の死傷者数は、一年に１３回の９１１大惨事が発生することに相当する。
科学技術が発達している現代社会において、人々は明らかに災難の多発が容認できない。安全運転が世間全体に期待され、政府および市場の推進で、自動車の安全技術がますます盛んになっている。広義では、自動車の安全技術はパッシブセーフティ（ｐａｓｓｉｖｅ ｓａｆｅｔｙ）およびアクティブセーフティ（ａｃｔｉｖｅ ｓａｆｅｔｙ）の２種類に大きく分けられる。パッシブセーフティは、衝突が発生する際に如何に損失を最小限に抑える技術であり、主に自動車構造、シートベルト、積層フロントガラス、折り畳み式ステアリングコラム、エアバッグなどの設計を含むが、衝突してから受動的保護をトリガするメカニズムによって、事故回避効果が限られる。アクティブセーフティは、予め警告して衝突を回避する技術であり、主に運転者の周囲環境の感知、分析、決定および制御、例えば車線逸脱警告（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ：ＬＤＷ）を含む。パッシブセーフティに比べて、アクティブセーフティは先行性および車両設計への低依存性などの利点に着目し、幅広く研究されており、かつ先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ：ＡＤＡＳ）の製品形態として周知されている。
車両検出技術は、アクティブセーフティの主な技術サポートの１つである。従来の技術案は、ほとんど単一の視覚技術を使用し、画像中の特徴をマッチングする方法により車両を検出するが、被検出車両の空間位置および姿勢を正確に提供することができない。また、レーザー点群を利用して入力とし、形状および点群の密度などの特徴によりクラスタリングしてから車両を検出する技術案も提案されたが、このような方法は、多くの場合に、大量の手動調整の必要があり、場面変化への適応性が低い。
本発明は、上記背景技術に言及された技術的問題を解決するために、改良した点群データに基づく車両輪郭検出方法、および装置を提供することを目的とする。
第１態様によれば、本発明は点群データに基づく車両輪郭検出方法を提供し、被訓練（訓練対象の）点群データを取得するステップと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するステップと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含む。
いくつかの実施形態において、被訓練点群データを取得するステップは、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点であるステップを含む。
いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
いくつかの実施形態において、被訓練点群データ中の各点に対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップは、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含む。
いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、
である。
いくつかの実施形態において、被訓練点群データおよび被訓練点群データに対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、全畳み込みニューラルネットワークのパラメータを初期化するステップと、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整するステップと、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含む。
いくつかの実施形態において、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であるステップと、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得するステップと、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するステップと、を含む。
いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含む。
第２態様によれば、本発明は、点群データに基づく車両輪郭検出装置をさらに提供し、被訓練点群データを取得するために構成される取得モジュールと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するために構成されるタグデータ生成モジュールと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備える。
いくつかの実施形態において、取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
いくつかの実施形態において、タグデータ生成モジュールは、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成される。
いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、そのうち、
である。
いくつかの実施形態において、訓練モジュールは、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成される。
いくつかの実施形態において、検出モジュールは、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得し、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するために構成される。
いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
検出モジュールは、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成される。
本発明に係る点群データに基づく車両輪郭検出方法、および装置によれば、点群データ収集装置で収集された点群データおよびそれらの点群データに対する注記により全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に好適な車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に、車両の二次元寸法の変化に起因する検出難度および検出誤差を回避することができる。
また、いくつかの実施形態において、本発明の技術案によれば、車両輪郭を検出するとともに車両の空間位置情報を直接取得することができ、それにより車両運転時の自動運転の経路計画および制御が容易になる。
以下の図面を参照しながら行った非限定的な実施例に対する詳細な説明を読むことによって、本発明の他の特徴、目的および利点はより明らかになる。
本発明を適用可能な例示的なシステムのアーキテクチャ図である。 本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフローチャートである。 図２における被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップの代替的な実現形態の模式的フローチャートである。 図２における被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップの代替的な実現形態の模式的フローチャートである。 本発明に係る点群データに基づく車両輪郭検出装置の一実施例の構成模式図である。 本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステムの構成模式図である。
以下、図面および実施例を参照しながら本発明をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するものに過ぎず、当該発明を限定するものではないと理解すべきである。ただし、説明の便宜上、図面に発明に関連する部分のみが示されている。
なお、衝突しない場合、本発明の実施例および実施例の特徴を相互に組み合せてもよい。以下、図面および実施例を参照しながら本発明を詳細に説明する。
図１は、本発明に係る点群データに基づく車両輪郭検出方法または点群データに基づく車両輪郭検出装置の実施例を適用可能な例示的なシステムアーキテクチャ１００である。
図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４およびサーバ１０５を備えてもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供することに用いられる。ネットワーク１０４は、様々な接続タイプ、例えば有線、無線通信リンクまたは光ファイバーケーブルなどを備えてもよい。
ユーザは、端末装置１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５と対話してメッセージなどを送受信してもよい。
いくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集機能を有する任意の電子機器であってもよい。例えば、端末装置１０１、１０２、１０３は、三次元レーザースキャナであってもよい。
或いは、別のいくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集装置とデータ通信を行い、それにより点群データ収集装置で収集された点群データを取得してもよい。例えば、端末装置１０１、１０２、１０３は様々な電子機器であってもよく、スマートフォン、タブレットＰＣ、電子書籍リーダー、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービングピクチャーエクスパーツグループオーディオレイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービングピクチャーエクスパーツグループオーディオレイヤー４）プレーヤー、ラップトップポータブルコンピュータ、およびデスクトップコンピュータなどを含むが、それらに限定されない。
サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末装置１０１、１０２、１０３で取得された点群データを処理し分析するバックエンドサーバであってもよい。バックエンドサーバは、受信した点群データに対して分析などの処理を行い、処理結果（例えば、点群データに車両輪郭が含まれるか否か）を端末装置にフィードバックしてもよい。
なお、本発明の実施例に係る点群データに基づく車両輪郭検出方法はサーバ１０５により実行されてもよく、端末装置１０１、１０２、１０３により実行されてもよい。それに対応して、点群データに基づく車両輪郭検出装置は、サーバ１０５に設置されてもよく、端末装置１０１、１０２、１０３に設置されてもよい。
図１における端末装置、ネットワークおよびサーバの数は、例示的なものだけであると理解すべきである。必要に応じて、任意数の端末装置、ネットワーク、およびサーバを備えてもよい。
次に、図２に示すように、本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフロー２００を示す。前記点群データに基づく車両輪郭検出方法は、以下のステップを含む。
ステップ２１０：被訓練点群データを取得する。
本実施例では、点群データに基づく車両輪郭検出方法を実行する電子機器（例えば、図１に示すサーバまたは端末装置）は、有線接続方式または無線接続方式により、点群データ収集機能を有する装置から点群データを取得してもよい。ただし、前記無線接続形態は、３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）接続、ＷｉＭＡＸ接続、Ｚｉｇｂｅｅ（登録商標）接続、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）接続、およびその他の現在知られているか未来に開発される無線接続形態を含んでもよいが、これらに限定されない。
点群は、レーザーを利用して同一空間参照系で物体の表面の各サンプリング点の空間座標を取って得られたターゲット空間分布およびターゲット表面特性を表現する大量の点の集合である。つまり、カメラで撮影する写真と類似し、各点群はある場面画像に対応することができる。また、点群は当該場面画像における各物体の三次元モデルおよび線、面、体などの様々な情報を反映することができる。
ステップ２２０：被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成する。
いくつかの代替的な実現形態において、人工補助方式により、被訓練点群データ中の各点を注記し、それにより当該被訓練点群データ中の各点が車両輪郭に属するか否かを指示することができる。
注記は各被訓練点群データ中の各点が車両輪郭に属するか否かを指示するためのものであるため、注記に基いて生成されたタグデータにも、車両輪郭に属するか否かの情報を含む。
ステップ２３０：被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得する。
一般的には、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）モデルの基本構造は、特徴抽出層、および特徴マッピング層の二層を含む。特徴抽出層については、各ニューロンの入力が前の層の局所採択域に接続され、かつ当該局所の特徴を抽出し、かつ、当該局所特徴が抽出されると、ほかの特徴との位置関係もそれに連れて決定される。特徴マッピング層については、ネットワークの各コンピューティング層が、複数の特徴マッピングからなり、各特徴マッピングは１つの平面であり、平面におけるすべてのニューロンの重みが等しい。
いくつかの代替的な実現形態において、被訓練点群データをＣＮＮモデルに入力し、ＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差に基づき、ＣＮＮモデルのパラメータを反復的に調整し、それにより訓練後のＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差を最小化するようにしてもよい。
ステップ２４０：被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得する。
上記ステップ２１０〜ステップ２４０により、車両検出モデルを取得することができる。このステップ２４０では、被検出点群データ中の各被検出点を車両検出モデルに入力することにより、当該被検出点群データに車両輪郭が含まれるか否かを検出することができる。本実施例に係る点群データに基づく車両輪郭検出方法によれば、三次元の点群データを検出根拠とするため、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。
いくつかの代替的な実現形態において、被訓練点群データを取得するステップ２１０は、以下のステップをさらに含んでもよい。
ステップ２１１：点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
これらの代替的な実現形態の応用場面では、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であってもよい。被訓練三次元データＤに基づいて取得された被訓練奥行きマップでは、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）である。
そのうち、
（１）
つまり、当該奥行きマップでは、第ｒ行第ｃ列の位置の数値が（ｄ，ｚ）である。
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面である。つまり、θは垂直面に対する各被訓練三次元データＤの「ヨー角」と見なされてもよい。
φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。つまり、φは水平面に対する各被訓練三次元データＤの「ピッチ角」である。
また、ａｔａｎ２（ｙ，ｘ）の意味は、座標原点を開始点とし（ｘ，ｙ）点へ延びる半直線がｘ軸およびｙ軸から構成される座標平面でｘ軸の正方向とのなす角の角度である。
いくつかの代替的な実現形態において、被訓練点群データ集合中の各被訓練点群データに対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップ２２０は、以下のステップを含んでもよい。
ステップ２２１：被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成する。
ステップ２２２：被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成する。
つまり、被訓練点群データ中のある点が車両輪郭に属するか否かにかかわらず、その取得される二次元タグデータにおいて、第１チャネルの数値は、当該点が車両輪郭に属する確率を表し、第２チャネルの数値は当該点が車両輪郭に属しない確率を表すことができる。第１チャネルの数値と第２チャネルの数値がいずれも非負の数であり、かつ第１チャネルの数値と第２チャネルの数値との和が１であることが明らかにされる。
これらの代替的な実現形態の応用場面では、被訓練点群データは、車両輪郭に属するか否かを明確に判定できない点を含む可能性がある。これらの応用場面では、それらの点に対応する二次元タグデータにおける第１チャネルと第２チャネルに適切な数値を設定することにより、当該点が車両輪郭に属する可能性を表すようにしてもよい。
いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、以下の式（２）で表されてもよい。
具体的には、
（２）
であり、式中、
Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
である。
ここで、θｉおよびφｉは、式（１）のθおよびφと類似する意味を有してもよい。つまり、θｉは車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）と原点とを結ぶ線と第１の平面のなす角であり、第１の平面はｙ軸、ｚ軸から構成される平面である。φｉは車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）と原点とを結ぶ線と第２の平面のなす角であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
いくつかの代替的な実現形態において、本実施例に係る点群データに基づく車両輪郭検出方法のステップ２３０は、さらに図３に示すようなフロー３００により実現されてもよい。
ステップ３１０：全畳み込みニューラルネットワークのパラメータを初期化する。
ステップ３２０：損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整する。
ここで、損失関数は、現在出力と被訓練点群データに対応するタグデータとの偏差であってもよい。現在出力は、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である。
ステップ３３０：現在出力に対応する損失関数が最小値であるか否かを判断する。
そうである場合（Ｙ）、ステップ３４０において、偏差に対応するパラメータを車両検出モデルのパラメータとして出力する。
そうでなく、現在出力に対応する損失関数が最小値ではない場合（Ｎ）、損失関数が最小値になったまで、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップ３２０を繰り返して実行する。
いくつかの代替的な実現形態において、被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップ２４０は、さらに図４に示すようなフロー４００により実現されてもよい。
ステップ４１０：点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点である。いくつかの代替的な実現形態において、前記の式（１）により点群データ収集装置で収集された被検出三次元データに対応する被検出奥行きマップを取得してもよい。
ステップ４２０：車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得する。
ステップ４３０：被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。
いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。
これらの実現形態において、フロー４００は、以下のステップをさらに含んでもよい。
ステップ４４０：被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成する。
ステップ４５０：第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成する。
いくつかの応用場面において、被検出点群データを車両検出モデルに入力した後、取得する検出結果は、被訓練点群データの車両輪郭に属する点の二次元タグデータと同様な表現形式を有してもよい。つまり、検出結果は、同様に２６個のチャネルを有し、第１チャネルの数値は、現在の車両検出モデルに基づき、当該被検出点が車両輪郭に属する確率を表し、第２チャネルの数値は、現在の車両検出モデルに基づいて当該被検出点が車両輪郭に属しない確率を表す。第３〜２６チャネルの値は、当該被検出点の空間位置を表すために用いられてもよい。
このようにして、被検出点群データの検出結果における第１チャネルの数値が所定閾値より大きい被検出点を車両輪郭に属する点とし、例えばデータ融合技術により、それらの車両輪郭に属する点の空間位置に基づき、当該被検出点群データにおける車両の位置を復元することができる。
本発明の上記実施例に係る方法は、点群データ収集装置で収集される点群データおよびそれらの点群データに対する注記により、全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に適用できる車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。
さらに、図５を参照し、本発明は、上記各図に示す方法の実現形態として、点群データに基づく車両輪郭検出装置の一実施例を提供した。当該装置の実施例は、図２に示す方法の実施例に対応しており、当該装置は、具体的に様々な電子機器に適用されてもよい。
図５に示すように、本実施例に係る装置５００は、取得モジュール５１０、タグデータ生成モジュール５２０、訓練モジュール５３０および検出モジュール５４０を備える。
そのうち、取得モジュール５１０は、被訓練点群データを取得するために構成されてもよい。
タグデータ生成モジュール５２０は、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するために構成されてもよい。
訓練モジュール５３０は、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成されてもよい。
検出モジュール５４０は、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成されてもよい。
いくつかの代替的な実現形態において、取得モジュール５１０は、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成されてもよく、そのうち、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
いくつかの代替的な実現形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
いくつかの代替的な実現形態において、タグデータ生成モジュール５２０は、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されてもよい。
いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
である。
いくつかの代替的な実現形態において、訓練モジュール５３０は、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されてもよい。
いくつかの代替的な実現形態において、検出モジュール５４０は、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の予測結果を取得するために構成されてもよい。
ここで、予測結果は、被検出点が車両輪郭に属する確率を含んでもよく、かつ、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。
いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。
これらの実現形態において、検出モジュール５４０は、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成されてもよい。
上記点群データに基づく車両輪郭検出装置５００は、例えば、プロセッサ、メモリなどのいくつかの他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造を図５に示しなかったことを、当業者は理解することができる。
以下、本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステム６００を示す構造模式図である図６を参照する。
図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
キーボード、マウスなどを含む入力部６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部６０９は、Ｉ／Ｏインターフェース６０５に接続されている。通信部６０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ６１０は、必要に応じてＩ／Ｏインターフェース６０５に接続される。リムーバブルメディア６１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ６１０に取り付けられ、したがって、ドライバ６１０から読み出されたコンピュータプログラムが必要に応じて記憶部６０８にインストールされる。
特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア６１１からインストールされてもよい。
図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
本発明の実施例に記載されたモジュールは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたモジュールは、プロセッサに設定されてもよく、例えば、「取得モジュール、タグデータ生成モジュール、訓練モジュール、および検出モジュールを備えるプロセッサ」として記載されてもよい。その中でも、これらのモジュールの名称は、ある場合において当該モジュールその自体を限定するものではなく、例えば、取得モジュールは、「被訓練点群データを取得するモジュール」として記載されてもよい。
一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、前記機器に、被訓練点群データを取得し、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成し、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、かつ、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせる。
以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims (26)

  1. 被訓練点群データを取得するステップと、
    前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するステップと、
    前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、
    被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含むことを特徴とする
    点群データに基づく車両輪郭検出方法。
  2. 前記被訓練点群データを取得するステップは、
    点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
    請求項１に記載の方法。
  3. 各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
    前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
    θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
    φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
    請求項２に記載の方法。
  4. 前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成するステップは、
    前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
    前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
    請求項３に記載の方法。
  5. 前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ ｐ ，ｙ ｐ ，ｚ ｐ ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は
    であり、
    式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
    であることを特徴とする
    請求項３に記載の方法。
  6. 前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、
    前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
    現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
    前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
    そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
    請求項１〜５のいずれかに記載の方法。
  7. 前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
    前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
    前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
    前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
    請求項５に記載の方法。
  8. 前記予測結果は、前記被検出点の位置情報をさらに含み、
    前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
    前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
    前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
    請求項７に記載の方法。
  9. 被訓練点群データを取得するために構成される取得モジュールと、
    前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するために構成されるタグデータ生成モジュールと、
    前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、
    被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備えることを特徴とする
    点群データに基づく車両輪郭検出装置。
  10. 前記取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成され、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であることを特徴とする
    請求項９に記載の装置。
  11. 各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
    前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
    θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
    φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
    請求項１０に記載の装置。
  12. 前記タグデータ生成モジュールは、さらに、
    前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、
    前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されることを特徴とする
    請求項１１に記載の装置。
  13. 前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ ｐ ，ｙ ｐ ，ｚ ｐ ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
    であり、
    式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
    であることを特徴とする
    請求項１１に記載の装置。
  14. 前記訓練モジュールは、さらに、
    前記全畳み込みニューラルネットワークのパラメータを初期化し、
    現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整し、
    前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、
    そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されることを特徴とする
    請求項９〜１３のいずれかに記載の装置。
  15. 前記検出モジュールは、さらに、
    前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であり、
    前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の車両輪郭に属する確率を含む予測結果を取得し、
    前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するために構成されることを特徴とする
    請求項１３に記載の装置。
  16. 前記予測結果は、前記被検出点の位置情報をさらに含み、
    前記検出モジュールは、さらに、
    前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、
    前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するために構成されることを特徴とする
    請求項１５に記載の装置。
  17. １つの又は複数のプロセッサと、
    コマンドを記憶するメモリと、を含み、
    前記コマンドが前記１つの又は複数のプロセッサによって実行される時に、前記１つの又は複数のプロセッサに
    被訓練点群データを取得し、
    前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
    前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
    被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
    点群データに基づく車両輪郭検出装置。
  18. 前記被訓練点群データを取得することは、
    点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
    請求項１７に記載の装置。
  19. 各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
    前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
    θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
    φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
    請求項１８に記載の装置。
  20. 前記の前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成することは、
    前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
    前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
    請求項１９に記載の装置。
  21. 前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘ ｐ ，ｙ ｐ ，ｚ ｐ ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は
    であり、
    式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
    であることを特徴とする
    請求項１９に記載の装置。
  22. 前記の前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得することは、
    前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
    現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
    前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
    そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
    請求項１７〜２１のいずれかに記載の装置。
  23. 前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
    前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
    前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
    前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
    請求項２１に記載の装置。
  24. 前記予測結果は、前記被検出点の位置情報をさらに含み、
    前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
    前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
    前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
    請求項２３に記載の装置。
  25. コンピュータプログラムを記憶する不揮発性コンピュータ記憶媒体であって、
    前記コンピュータプログラムが１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
    被訓練点群データを取得し、
    前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
    前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
    被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
    不揮発性コンピュータ記憶媒体。
  26. １つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
    被訓練点群データを取得し、
    前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
    前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
    被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
    コンピュータプログラム。
JP2016162606A 2016-01-27 2016-08-23 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム Active JP6364049B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610057306.XA CN107025642B (zh) 2016-01-27 2016-01-27 基于点云数据的车辆轮廓检测方法和装置
CN201610057306.X 2016-01-27

Publications (2)

Publication Number Publication Date
JP2017134814A JP2017134814A (ja) 2017-08-03
JP6364049B2 true JP6364049B2 (ja) 2018-07-25

Family

ID=57612792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162606A Active JP6364049B2 (ja) 2016-01-27 2016-08-23 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム

Country Status (7)

Country Link
US (1) US10229330B2 (ja)
JP (1) JP6364049B2 (ja)
KR (1) KR101836304B1 (ja)
CN (1) CN107025642B (ja)
DE (1) DE102016116818A1 (ja)
IL (1) IL247446B (ja)
SE (1) SE541962C2 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
EP3596492A4 (en) 2017-03-13 2020-12-16 Opsys Tech Ltd EYE-FREE SCANNING LIDAR SYSTEM
KR20220119769A (ko) 2017-07-28 2022-08-30 옵시스 테크 엘티디 작은 각도 발산을 갖는 vcsel 어레이 lidar 송신기
CN107492098B (zh) * 2017-08-17 2018-04-10 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US10482628B2 (en) * 2017-09-30 2019-11-19 United States Of America As Represented By The Secretary Of The Army Photogrammetric point cloud compression for tactical networks
CN107610524A (zh) * 2017-11-02 2018-01-19 济南浪潮高新科技投资发展有限公司 一种利用激光雷达进行停车场车位智能识别的方法及装置
CN107944354B (zh) * 2017-11-10 2021-09-17 南京航空航天大学 一种基于深度学习的车辆检测方法
KR102634870B1 (ko) 2017-11-15 2024-02-13 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
CN108108657B (zh) * 2017-11-16 2020-10-30 浙江工业大学 基于多任务深度学习的修正局部敏感哈希车辆检索方法
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
CN108875902A (zh) * 2017-12-04 2018-11-23 北京旷视科技有限公司 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质
US10705216B2 (en) * 2017-12-07 2020-07-07 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
TWI657407B (zh) * 2017-12-07 2019-04-21 財團法人資訊工業策進會 利用遞歸神經網路的三維點雲追蹤裝置及方法
CN108198268B (zh) * 2017-12-19 2020-10-16 江苏极熵物联科技有限公司 一种生产设备数据标定方法
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
CN110135227B (zh) * 2018-02-09 2022-06-03 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
CN108415032B (zh) * 2018-03-05 2021-06-25 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
JP7324518B2 (ja) * 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN110634159A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN108921105B (zh) * 2018-07-06 2020-11-03 京东数字科技控股有限公司 识别目标数量的方法、装置及计算机可读存储介质
CN109325972B (zh) * 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN109166128B (zh) * 2018-07-31 2021-11-26 东华大学 一种非等效三维点云分割方法
CN109101967A (zh) * 2018-08-02 2018-12-28 苏州中德睿博智能科技有限公司 基于视觉的目标对象识别与定位方法、终端以及存储介质
CN109299656B (zh) * 2018-08-13 2021-10-22 浙江零跑科技股份有限公司 一种车载视觉系统场景视深确定方法
CN109188457B (zh) * 2018-09-07 2021-06-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
US11151734B2 (en) * 2018-09-14 2021-10-19 Huawei Technologies Co., Ltd. Method and system for generating synthetic point cloud data using a generative model
CN109544623B (zh) * 2018-10-11 2021-07-27 百度在线网络技术（北京）有限公司 车辆损伤区域的测量方法和装置
CN110147706B (zh) 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
US20190061771A1 (en) * 2018-10-29 2019-02-28 GM Global Technology Operations LLC Systems and methods for predicting sensor information
CN109344804A (zh) * 2018-10-30 2019-02-15 百度在线网络技术（北京）有限公司 一种激光点云数据的识别方法、装置、设备和介质
CN111353969B (zh) * 2018-12-20 2023-09-26 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
CN110047276B (zh) * 2019-03-11 2020-11-27 广州文远知行科技有限公司 障碍物车辆的拥堵状态确定方法、装置和相关产品
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN110111603B (zh) * 2019-05-10 2021-05-18 广州达泊智能科技有限公司 基于三维检测技术的停车辅助方法、装置及系统
JP2022534500A (ja) 2019-05-30 2022-08-01 オプシス テック リミテッド アクチュエータを使用する眼に安全な長距離ｌｉｄａｒシステム
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
CN110246183B (zh) * 2019-06-24 2022-07-15 百度在线网络技术（北京）有限公司 车轮接地点检测方法、装置及存储介质
CN110488308A (zh) * 2019-07-05 2019-11-22 北京国泰新能科技发展有限公司 一种车厢定位检测方法和装置
CN110764090A (zh) * 2019-10-22 2020-02-07 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备及可读存储介质
CN111009011B (zh) * 2019-11-28 2023-09-19 深圳市镭神智能系统有限公司 车辆方向角的预测方法、装置、系统以及存储介质
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN110969689A (zh) * 2019-12-03 2020-04-07 上海眼控科技股份有限公司 点云特征提取方法、装置、计算机设备和存储介质
KR102363501B1 (ko) * 2019-12-10 2022-02-16 주식회사 라이드플럭스 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
WO2021134258A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 基于点云的目标跟踪方法、装置、计算机设备和存储介质
CN111325766B (zh) * 2020-02-20 2023-08-25 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111325984B (zh) * 2020-03-18 2023-05-05 阿波罗智能技术(北京)有限公司 样本数据的获取方法、装置和电子设备
CN111401264A (zh) * 2020-03-19 2020-07-10 上海眼控科技股份有限公司 车辆目标检测方法、装置、计算机设备和存储介质
US11668799B2 (en) 2020-03-20 2023-06-06 Aptiv Technologies Limited Histogram based L-shape detection of target objects
CN111462108B (zh) * 2020-04-13 2023-05-02 山西新华防化装备研究院有限公司 一种基于机器学习的头面部产品设计工效学评估操作方法
CN111814847B (zh) * 2020-06-19 2024-03-26 浙江工业大学 基于车辆三维轮廓的聚类方法
CN111784774B (zh) * 2020-07-06 2024-03-05 北京京东乾石科技有限公司 目标检测方法、装置、计算机可读介质及电子设备
CN111895931B (zh) * 2020-07-17 2021-11-26 嘉兴泊令科技有限公司 一种基于计算机视觉的煤矿作业区标定方法
CN114141022B (zh) * 2020-09-03 2023-05-23 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN112150595A (zh) * 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112561922B (zh) * 2020-11-26 2024-03-01 北京大学 基于神经网络的畸变三维点云分割方法
CN112785548B (zh) * 2020-12-29 2023-07-18 中央财经大学 一种基于车载激光点云的路面裂缝检测方法
CN112949463B (zh) * 2021-02-26 2023-08-04 长安大学 一种集料级配快速检测模型的建立、检测方法及系统
CN112927338A (zh) * 2021-03-30 2021-06-08 深圳裹动智驾科技有限公司 基于三维轮廓的仿真方法、存储介质及计算机设备
CN113361379A (zh) * 2021-06-03 2021-09-07 北京百度网讯科技有限公司 生成目标检测系统和检测目标的方法及装置
CN113469042A (zh) * 2021-06-30 2021-10-01 上海商汤临港智能科技有限公司 真值数据确定、神经网络训练、行驶控制方法及装置
KR102405818B1 (ko) * 2021-11-15 2022-06-07 국방과학연구소 노이즈 제거 방법, 노이즈 제거 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN114637880A (zh) * 2022-02-18 2022-06-17 厦门大学 基于多视角投影的跨维数据检索方法
CN114577155A (zh) * 2022-02-24 2022-06-03 蔚来汽车科技(安徽)有限公司 生成测点的方法及测点生成装置
CN114792417B (zh) * 2022-02-24 2023-06-16 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN116993923B (zh) * 2023-09-22 2023-12-26 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238178B2 (ja) 1990-12-27 2001-12-10 株式会社東芝 学習機械の学習法
US7586489B2 (en) * 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
JP4864043B2 (ja) * 2008-05-13 2012-01-25 株式会社豊田中央研究所 画像処理装置、方法及びプログラム
US8411953B2 (en) * 2008-09-30 2013-04-02 International Business Machines Corporation Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
JP2011065400A (ja) * 2009-09-17 2011-03-31 Daihatsu Motor Co Ltd 物体認識装置
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US8996228B1 (en) 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
JP6021689B2 (ja) 2013-02-26 2016-11-09 三菱重工メカトロシステムズ株式会社 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US20170116498A1 (en) * 2013-12-04 2017-04-27 J Tech Solutions, Inc. Computer device and method executed by the computer device
CN103871079B (zh) * 2014-03-18 2016-11-09 南京金智视讯技术有限公司 基于机器学习和光流的车辆跟踪方法
US9460517B2 (en) * 2014-10-22 2016-10-04 Pointivo, Inc Photogrammetric methods and devices related thereto
US20170308736A1 (en) * 2014-10-28 2017-10-26 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
CN104463241A (zh) * 2014-10-31 2015-03-25 北京理工大学 一种智能交通监控系统中的车辆类型识别方法
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
US10192129B2 (en) * 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
WO2017132636A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US9805274B2 (en) * 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
CN113238581A (zh) * 2016-02-29 2021-08-10 星克跃尔株式会社 无人飞行器的飞行控制的方法和系统
US20170270406A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Cloud-based processing using local device provided sensor data and labels
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
DE202017102495U1 (de) * 2016-05-02 2017-08-07 Google Inc. Teilen von Fahrzeugeinstellungsdaten
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
US10055675B2 (en) * 2016-06-15 2018-08-21 Ford Global Technologies, Llc Training algorithm for collision avoidance using auditory data
US10311648B2 (en) * 2016-06-22 2019-06-04 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
EP3497550B1 (en) * 2016-08-12 2023-03-15 Packsize, LLC Systems and methods for automatically generating metadata for media documents
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors

Also Published As

Publication number Publication date
US20170213093A1 (en) 2017-07-27
KR20170089743A (ko) 2017-08-04
IL247446B (en) 2020-11-30
IL247446A0 (en) 2016-12-29
CN107025642A (zh) 2017-08-08
CN107025642B (zh) 2018-06-22
KR101836304B1 (ko) 2018-03-08
SE541962C2 (en) 2020-01-14
JP2017134814A (ja) 2017-08-03
SE1651131A1 (en) 2017-07-28
DE102016116818A1 (de) 2017-07-27
US10229330B2 (en) 2019-03-12

Similar Documents

Publication Publication Date Title
JP6364049B2 (ja) 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
JP7101255B2 (ja) 目標対象の運動の向きを予測するための方法、車両制御方法及び装置
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
US11204249B2 (en) Positioning method and robot with the same
WO2022017131A1 (zh) 点云数据的处理方法、智能行驶控制方法及装置
CN113377888B (zh) 训练目标检测模型和检测目标的方法
US20240053861A1 (en) Vehicular incident reenactment using three-dimensional (3d) representations
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
JP2020057387A (ja) 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体
WO2021007100A1 (en) Cross-modal sensor data alignment
KR20200045701A (ko) 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
US11373411B1 (en) Three-dimensional object estimation using two-dimensional annotations
US11314975B2 (en) Object identification in data relating to signals that are not human perceptible
CN112639822B (zh) 一种数据处理方法及装置
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN116740668B (zh) 三维目标检测方法、装置、计算机设备和存储介质
US11436804B2 (en) Augmented reality system
CN110770540B (zh) 用于构建环境模型的方法和装置
US20190311532A1 (en) Method and Apparatus for Uncertainty Modeling of Point Cloud
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
WO2022107548A1 (ja) ３次元骨格検出方法及び３次元骨格検出装置
CN115222815A (zh) 障碍物距离检测方法、装置、计算机设备和存储介质
EP4246455A1 (en) Method and device for detecting object and vehicle
Zhang et al. A Novel Point Cloud Clustering Algorithm Integrating In-Vehicle Driver Monitoring

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180629

R150 Certificate of patent or registration of utility model

Ref document number: 6364049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250