JP7226553B2 - 情報処理装置、データ生成方法、及びプログラム - Google Patents
情報処理装置、データ生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7226553B2 JP7226553B2 JP2021533869A JP2021533869A JP7226553B2 JP 7226553 B2 JP7226553 B2 JP 7226553B2 JP 2021533869 A JP2021533869 A JP 2021533869A JP 2021533869 A JP2021533869 A JP 2021533869A JP 7226553 B2 JP7226553 B2 JP 7226553B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- estimation
- learning
- likelihood
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本開示は、情報処理装置、データ生成方法、及びプログラムに関する。
３次元LIDAR（Light Detection and Ranging）センサは、形状を含めた周囲の環境情報の取得に用いられるセンサである。３次元LIDARセンサは、例えば、自動運転制御もしくはロボット制御等に用いられる。自動運転制御においては、３次元LIDARセンサは、車両周辺の障害物もしくは路面等の情報の取得に用いられる。
特許文献１には、車両に搭載されたLIDARセンサを用いることによって、他の車両もしくは歩行者等の物体との距離を測定することが開示されている。
特許文献１に開示されているLIDARセンサ等を含む３次元LIDARセンサは、周囲に照射した光の反射光を検出することによって、照射した対象物までの距離を計測する。さらに、３次元LIDARセンサは、計測点毎の距離情報をまとめて点群データとして保持することによって、周囲の物体の形状もしくは周囲の環境情報等を取得する。しかし、３次元LIDARセンサは、光の反射を利用する性質上、照射した光の反射光を正常に検出することができない場合がある。例えば、物体に対して照射された光の入射角が浅い場合、もしくは、低反射強度な素材や水溜りのような全反射する対象に対して光を照射した場合、３次元LIDARセンサが受光する反射光の強度が弱まる。このような場合、３次元LIDARセンサが取得した点群データには、欠損が生じるなどして、信頼性の低いデータが含まれてしまうという問題がある。
本開示の目的は、LIDARセンサを用いて取得したデータの正確性を判別することができる情報処理装置、データ生成方法、及びプログラムを提供することにある。
本開示の第１の態様にかかる情報処理装置は、撮像センサと、学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成する学習部と、前記学習済みモデルを用いて、前記撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する推定部と、を備える。
本開示の第２の態様にかかるデータ生成方法は、学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する。
本開示の第３の態様にかかるプログラムは、学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成することをコンピュータに実行させる。
本開示により、LIDARセンサを用いて取得したデータの正確性を判別することができる情報処理装置、データ生成方法、及びプログラムを提供することができる。
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる情報処理装置１０の構成例について説明する。情報処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる情報処理装置１０の構成例について説明する。情報処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。
情報処理装置１０は、撮像センサ１１、学習部１２、及び推定部１３を有している。撮像センサ１１は、撮影対象物もしくは撮影対象領域の撮像データを生成する。撮像データは、画像データと言い換えられてもよい。撮像センサ１１は、例えば、可視光カメラ、デプスカメラ、赤外線カメラ、マルチスペクトルカメラ、等の画像データを取得するセンサであってもよい。また、撮像センサ１１は、単体もしくは複数のカメラを用いて構成されてもよい。撮像センサ１１は、例えば、イメージセンサ、画像センサ、撮像素子等と言い換えられてもよい。
学習部１２及び推定部１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、学習部１２及び推定部１３は、回路もしくはチップ等のハードウェアであってもよい。
撮像センサ１１は、学習用撮像データ及び推定用撮像データを生成する。学習用撮像データは、機械学習に用いられるモデルの入力データもしくは学習データとして用いられるデータである。推定用撮像データは、推定用撮像データ内の特定の領域に対応する推定用３次元点群データの距離の尤度を推定するために用いられる。推定用３次元点群データは、推定用撮像データに含まれる領域もしくは画素と対応付けられた３次元点群データである。つまり、推定用３次元点群データは、推定用撮像データに含まれる領域もしくは画素に基づいて定まる３次元点群データである。学習用撮像データ及び推定用撮像データは、例えば、物体もしくは風景等を含む画像データである。
学習部１２は、学習用撮像データと、学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成する。学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データは、撮像センサを用いて撮影された領域と同じ領域の情報を、撮像センサと異なるセンサを用いて生成された３次元点群データにそれぞれの点の尤度が与えられたデータでもよい。撮像センサと異なるセンサは、例えば、測距センサであってもよい。測距センサは、例えば、LIDARセンサもしくは３次元LIDARセンサであってもよい。３次元点群データは、例えば、測距センサから３次元点群データに含まれるそれぞれの点までの距離、及び、測距センサを基点としたそれぞれの点の方向等を示すデータであってもよい。
学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データには、例えば、学習用撮像データに含まれる、不動産、道路、植物、等の動かない物体もしくは動きの少ない物体と同じ物体のデータが含まれる。ここで、正解付３次元点群データは、学習用撮像データに含まれる領域と実質的に同じ領域あって、学習用撮像データと実質的に同じタイミングに取得されてもよい。この場合、正解付３次元点群データには、動かない物体もしくは動きの少ない物体にくわえて、学習用撮像データに含まれる、人物、車、等の動く物体と同じ物体のデータが含まれてもよい。
正解付３次元点群データは、例えば、情報処理装置１０に内蔵もしくは取り付けられた測距センサ等を用いて生成されてもよい。または、正解付３次元点群データは、情報処理装置１０とは異なる装置において生成されたデータであってもよい。この場合、情報処理装置１０は、情報処理装置１０とは異なる装置において生成されたデータを、ネットワークを経由して取得してもよい。もしくは、情報処理装置１０は、情報処理装置１０とは異なる装置において生成されたデータを、記録媒体等を介して取得してもよい。
学習済みモデルは、例えば、学習用撮像データと、正解付３次元点群データに含まれるそれぞれの点の距離の尤度と、を学習することによって決定されたパラメータが適用されるモデルであってもよい。つまり、学習部１２は、学習用撮像データと、正解付３次元点群データに含まれるそれぞれの点の距離の尤度とを学習することによってモデルのパラメータを決定する。学習とは、例えば、機械学習、畳み込みニューラルネットワーク等を用いたディープラーニング等であってもよい。
推定部１３は、学習部１２において生成された学習モデルを用いて、撮像センサ１１において取得された推定用撮像データから、推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する。
学習部１２は、正解付３次元点群データに含まれるそれぞれの点の距離の尤度を正解データとして用いる。正解付３次元点群データに含まれるそれぞれの点と、学習用撮像データに含まれる領域もしくは画素とは対応付けられているとする。この場合、推定部１３は、学習部１２において生成された学習モデルに撮像センサ１１において取得された推定用撮像データを入力することによって、推定用３次元点群データに含まれる点の距離の尤度を出力する。学習モデルから出力されるデータが、推定データに相当する。
以上説明したように、情報処理装置１０は、撮像センサ１１において取得された推定用撮像データに含まれる領域もしくは画素と対応付けられる点の距離の尤度を含む推定データを生成することができる。このように推定された点の距離の尤度を、実際にLIDARセンサ等を用いて測定された点群データに含まれる点と対応付けることによって、LIDARセンサ等を用いて測定されたデータの正確性を判別することができる。
また、上記の説明においては、情報処理装置１０が、撮像センサ１１及び学習部１２を含む構成について説明したが、撮像センサ１１及び学習部１２の少なくとも一方が、情報処理装置１０とは異なる装置に設けられてもよい。
例えば、撮像センサ１１は車等に設けられてもよい。車等に設けられた撮像センサ１１において取得されたデータは、情報処理装置１０内の記録装置に記録されてもよく、情報処理装置１０とは異なる装置に保存されてもよい。記録装置は、例えば、ＳＳＤ（Solid State Drive）もしくはＨＤＤ（Hard Disk Drive）であってもよい。
さらに、学習部１２を備える装置であって、情報処理装置１０と異なる装置（以下、学習装置と称する）は、記録装置に記録されたデータを用いて学習を行い、学習済みモデルを生成してもよい。情報処理装置１０は、学習装置において生成された学習済みモデルを利用して、所望の情報処理を行うことができる。
このように、学習部１２を、情報処理装置１０とは異なる学習装置に設けることによって、情報処理装置１０の処理負荷を軽減することができる。
（実施の形態２）
続いて、図２を用いて実施の形態２にかかる情報処理装置２０の構成例について説明する。情報処理装置２０は、撮像センサ１１、学習部１２、推定部１３、LIDARセンサ２１、及び統合部２２を有している。撮像センサ１１、学習部１２、及び推定部１３は、図１の撮像センサ１１、学習部１２、及び推定部１３と同様であり、詳細な説明を省略する。情報処理装置２０を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、構成要素は、回路もしくはチップ等のハードウェアであってもよい。
続いて、図２を用いて実施の形態２にかかる情報処理装置２０の構成例について説明する。情報処理装置２０は、撮像センサ１１、学習部１２、推定部１３、LIDARセンサ２１、及び統合部２２を有している。撮像センサ１１、学習部１２、及び推定部１３は、図１の撮像センサ１１、学習部１２、及び推定部１３と同様であり、詳細な説明を省略する。情報処理装置２０を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、構成要素は、回路もしくはチップ等のハードウェアであってもよい。
LIDARセンサ２１は、学習用３次元点群データ及び測定３次元点群データを取得する。取得するとは、測定する、収集する、生成する等と言い換えられてもよい。学習用３次元点群データの領域は、学習用撮像データにおいて生成される画像データの領域を含む。LIDARセンサ２１は、情報処理装置２０に取り付けられ、撮像センサ１１を用いて撮影可能な領域を含む点群データを取得可能な位置に取り付けられる。もしくは、LIDARセンサ２１は、撮像センサ１１が取り付けられている物体と同じ物体に取り付けられてもよい。撮像センサ１１が取り付けられている物体は、例えば、壁、棒、建物等であってもよい。つまり、LIDARセンサ２１及び撮像センサ１１は、情報処理装置２０とは異なる装置もしくは場所等に取り付けられてもよい。この場合、LIDARセンサ２１及び撮像センサ１１は、情報処理装置２０とケーブル等を介して接続されてもよい。もしくは、LIDARセンサ２１及び撮像センサ１１は、無線回線を介して情報処理装置２０と接続されてもよい。
LIDARセンサ２１は、取得した学習用３次元点群データを学習部１２へ出力する。また、LIDARセンサ２１は、取得した測定３次元点群データを統合部２２へ出力する。推定用３次元点群データは、推定用撮像データに含まれる領域もしくは画素に基づいて定まる３次元点群データであるのに対して、測定３次元点群データは、LIDARセンサ２１を用いて実際に測定された３次元点群データである。ここで、図３を用いて学習部１２において実行される学習処理について説明する。
学習部１２は、学習用撮像データと、正解付３次元点群データとを学習データとして用いる。正解付３次元点群データは、LIDARセンサ２１において取得された学習用３次元点群データのそれぞれの点の尤度が正解データとして付与されている。点の尤度とは、例えば、LIDARセンサ２１から対象物までの距離の尤度であってもよい。例えば、距離が計測できている点には正解データとして尤度に１が設定される。距離が計測できていない点、もしくは、距離の計測結果が周囲の点の計測結果と比較して、不連続な点もしくは孤立している点には、正解データとして尤度に０が設定される。不連続な点もしくは孤立している点とは、例えば、周囲の点が示す距離との差異が、予め定められた閾値よりも大きい点であってもよい。また、尤度の正確性もしくは不正確性の度合いに応じて、尤度に０から１の間の値が与えられてもよい。例えば、距離が計測できている点には正解データとして尤度に１が設定され、距離が計測できていない点に０が設定され、距離の計測結果が周囲の点の計測結果と比較して、不連続な点もしくは孤立している点には、０から１の間の値が与えられてもよい。この場合、尤度の値が０から１に近づくにつれて、正確性が高くなる。
距離が計測できていないとは、例えば、LIDARセンサ２１から照射された光が全反射し、LIDARセンサ２１において反射光を検知できなかった場合等が挙げられる。距離が計測できていない点は、例えば、水たまり等を示すと想定される。また、距離の計測結果が周囲の点の計測結果と比較して、不連続な点もしくは孤立している点は、雨もしくは雪に反射された反射光を示すと想定される。もしくは、人間による目視によってそれぞれの点の尤度が設定されてもよい。例えば、人間による目視によって、全反射が起こる可能性の高い水たまり等の位置に相当する点の尤度に０が設定され、全反射が起こらない場所に相当する点の尤度に１が設定されてもよい。もしくは、ダイナミックマップもしくは地図データ等の精密な３次元構造情報と正解付３次元点群データとを突き合わせることによって、それぞれの点の尤度が設定されてもよい。
図３の正解付３次元点群データに記載されているPoint_1～Point_Nは、それぞれの点を示しており、撮像データと対応付けられている。例えば、撮像データにおけるそれぞれの画素の位置と、正解付３次元点群データのそれぞれの点とが対応付けられていてもよい。
学習部１２は、推定用撮像データに含まれる領域もしくは画素に基づいて定まる推定用３次元点群データのそれぞれの点の尤度を推定するために用いられるモデルのパラメータを決定する。学習部１２は、パラメータを決定するために、学習用撮像データと、正解付３次元点群データとを学習データとする学習を行う。パラメータが決定されたモデルを、学習済みモデルと称してもよい。パラメータは、ディープラーニングにおいて用いられる重み係数等であってもよい。
学習部１２は、学習済みモデルを推定部１３へ出力する。もしくは、推定部１３は、推定処理を実行する度に、学習部１２から学習済みモデルを取得してもよい。
図２に戻り、推定部１３は、撮像センサ１１において取得された推定用撮像データに含まれる領域もしくは画素に基づいて定まる推定用３次元点群データのそれぞれの点の距離の尤度を含む点群尤度推定データを生成する。点群尤度推定データは、例えば、図３の正解付３次元点群データに示されるように、それぞれの点と、推定されたそれぞれの点の距離の尤度とが関連付けられてもよい。
ここで、図４を用いて、統合部２２において実行される統合処理について説明する。統合部２２は、LIDARセンサ２１において取得された測定３次元点群データと、推定部１３において生成された点群尤度推定データとを受け取る。図４の測定データに含まれる測定３次元点群データは、LIDARセンサ２１において取得され、推定用撮像データは、撮像センサ１１において取得される。統合部２２は、測定３次元点群データのそれぞれの点に、点群尤度推定データに示されるそれぞれの点の尤度を付与し、信頼度付３次元点群データを生成する。
信頼度付３次元点群データは、例えば、尤度が０、つまり、データの正確性が低いと想定される点が明確に区別された点群データであってもよい。データの正確性が低いとは、データの信頼度が低いと言い換えられてもよい。例えば、信頼度付３次元点群データは、データの正確性が低い点が四角等の図形を用いて囲まれてもよい。もしくは、信頼度付３次元点群データは、データの正確性が低い点の色として、データの正確性が高い点の色と異なる色を付してもよい。つまり、信頼度付３次元点群データは、尤度の閾値を１とした場合に、１よりも低い尤度の点と、１以上の尤度の点とを区別することができるように生成されてもよい。信頼度付３次元点群データは、表示用データとして用いられてもよい。
続いて、図５を用いて情報処理装置２０において実行される信頼度付３次元点群データの生成処理の流れについて説明する。
はじめに、学習部１２は、学習用３次元点群データに含まれるそれぞれの点に、正解データとして距離の尤度を付与もしくは設定する（Ｓ１１）。もしくは、学習部１２は、正解データとして尤度が付与された正解付３次元点群データを、他の機能ブロックもしくは情報処理装置２０とは異なる他の装置等から取得してもよい。
次に、学習部１２は、学習用撮像データと、正解付３次元点群データとを入力データとする学習を行う（Ｓ１２）。学習部１２は、推定用撮像データに含まれる領域もしくは画素に基づいて定まる推定用３次元点群データのそれぞれの点の尤度を推定するために用いられるモデルのパラメータを決定するために、学習を行う。
次に、推定部１３は、学習済みモデルを用いて、推定用撮像データから、点群データに含まれるそれぞれの点の尤度を推定した点群尤度推定データを生成する（Ｓ１３）。尤度が推定される点を含む点群データは、推定用撮像データが示す領域と実質的に一致しているとする。
次に、統合部２２は、点群尤度推定データを用いて、測定３次元点群データに含まれるそれぞれの点に尤度を付与する（Ｓ１４）。統合部２２は、例えば、正確性の高いデータと正確性の低いデータとを明確に区別するように、信頼度付３次元点群データを生成する。
以上説明したように、情報処理装置２０は、推定用撮像データから、推定用撮像データと実質的に同じ領域に基づいて定まる推定用３次元点群データに含まれるそれぞれの点の尤度を推定することができる。これより、情報処理装置２０は、推定されたそれぞれの点の尤度を用いて、LIDARセンサ２１において取得した測定３次元点群データに含まれるそれぞれの点の正確性を判別することができる。情報処理装置２０を操作するユーザもしくは管理者等は、LIDARセンサ２１において取得した測定３次元点群データの正確性もしくは信頼性に関する情報を用いて、データの欠損もしくは信頼度の低いデータの補正等を行うことができる。その結果、情報処理装置２０は、雨、雪、砂塵等の空気中に飛来する粒子による外乱に対して頑強なセンシングを行うことができる。
さらに、信頼度付３次元点群データを用いることによって、３次元地図、障害物情報、もしくは路面情報等の正確性を向上させることができる。
（実施の形態３）
続いて、図６を用いて実施の形態３にかかる学習処理について説明する。なお、実施の形態３においても、図２の情報処理装置２０を用いた処理が実行される。図６においては、学習部１２が、画像認識学習及び尤度推定学習を行うことが示されている。画像認識学習は、学習用撮像データと、学習用ラベル付きデータとを用いて、画像認識に用いられるモデル（以下、画像認識学習済モデル、とする）を生成することを示している。また、尤度推定学習は、学習用ラベル付きデータと、正解付き３次元点群データとを用いて、尤度推定に用いられるモデル（以下、尤度推定学習済モデル、とする）を生成することを示している。
続いて、図６を用いて実施の形態３にかかる学習処理について説明する。なお、実施の形態３においても、図２の情報処理装置２０を用いた処理が実行される。図６においては、学習部１２が、画像認識学習及び尤度推定学習を行うことが示されている。画像認識学習は、学習用撮像データと、学習用ラベル付きデータとを用いて、画像認識に用いられるモデル（以下、画像認識学習済モデル、とする）を生成することを示している。また、尤度推定学習は、学習用ラベル付きデータと、正解付き３次元点群データとを用いて、尤度推定に用いられるモデル（以下、尤度推定学習済モデル、とする）を生成することを示している。
ラベルは、例えば、学習用撮像データに表示されているそれぞれの物体の名称であってもよい。例えば、学習用ラベル付きデータにおいては、人間、車、木、水たまり等のラベルがそれぞれの物体に付与されてもよい。また、学習用ラベル付きデータは、ラベルが付与されたそれぞれの物体に異なる色が付与され、他の物体との差異が明確にされてもよい。学習用ラベル付きデータは、画像認識学習済モデルを生成する際に、人間、車、木、水たまり等のラベルが正解データとして用いられる。画像認識処理として、例えば、セマンティックセグメンテーションが実行されてもよい。つまり、画像認識学習済モデルは、セマンティックセグメンテーションに用いられるモデルであってもよい。
画像認識学習済モデルは、撮像センサ１１において取得された推定用撮像データから、推定用ラベル付きデータを生成するために用いられるモデルであってもよい。さらに、尤度推定学習済モデルは、推定用ラベル付きデータから、推定用３次元点群データのそれぞれの点のうち、推定用ラベル付きデータに対応する点の尤度を推定するために用いられるモデルであってもよい。つまり、尤度推定学習済モデルは、推定用ラベル付きデータから、尤度として１が設定される物体と、尤度として０が設定される物体とを区別する２次元の画像データ（以下、尤度推定画像データとする）を生成するために用いられるモデルであってもよい。例えば、尤度推定画像データにおいては、水たまりの位置の尤度が０と設定され、その他の位置の尤度が１と設定されたことを示すために、水たまりの位置と、他の位置とに異なる色が付与されてもよい。また、尤度として設定される値は、０から１の間の値を示すいずれかの値であってもよい。
続いて、図７を用いて統合部２２において実行される統合処理について説明する。推定部１３は、撮像センサ１１において取得された推定用撮像データを用いた画像認識処理を行い、画像認識結果として、推定用ラベル付きデータを生成する。具体的には、推定部１３は、画像認識学習済モデルを用いて、推定用撮像データから、推定用ラベル付きデータを生成する。さらに、推定部１３は、尤度推定学習済モデルを用いて、推定用ラベル付きデータから、尤度推定画像データを生成する。尤度推定学習済モデルに入力される推定用ラベル付きデータは、画像認識学習済モデルを用いて生成された推定用ラベル付きデータである。
ここで、図７に示されている統合部２２における詳細な処理について図８を用いて説明する。統合部２２は、LIDARセンサ２１において取得された測定３次元点群データを、カメラ座標系に投影した点群データへ変換する。つまり、統合部２２は、LIDARセンサ２１において取得された測定３次元点群データを座標変換し、２次元点群データを生成する。
さらに、統合部２２は、２次元データである尤度推定画像データを用いて、２次元点群データのそれぞれの点に尤度を付与する。さらに、統合部２２は、尤度が付与された２次元点群データを３次元点群データへ座標変換し、信頼度付３次元点群データを生成する。
以上説明したように、実施の形態３において、情報処理装置２０は、画像認識処理を実行するための画像認識学習済モデル及び尤度推定を行うための尤度推定学習済モデルを生成するために学習を行う。さらに、情報処理装置２０は、画像認識学習済モデルを用いて生成された推定用ラベル付きデータを尤度推定学習済モデルの入力とすることによって得られる尤度推定画像データを用いることによって、信頼度付３次元点群データを生成することができる。
情報処理装置２０は、画像認識処理として、セマンティックセグメンテーションを実行することによって、例えば、画像用撮像データに含まれ得る様々な水たまりの状態から、水たまりの画像を抽出することができる。一方、セマンティックセグメンテーションを用いずに、水たまりを抽出するには、様々な水たまりの状態を学習し、水たまりを抽出する学習モデルを決定する必要がある。つまり、画像認識処理としてセマンティックセグメンテーションが用いられることによって、容易に、距離の尤度として０を設定すべき水たまりと、その他の物体とを区別することができる。その結果、学習データとして撮像データが用いられる場合における学習用撮像データの数よりも、少ない数の学習用ラベル付きデータを用いることによって、所望の学習済みモデルを決定することができる。
また、画像認識学習済モデル及び尤度推定学習済モデルを用いた推定処理が行われることによって、例えば、画像認識学習済モデル及び尤度推定学習済モデルのどちらか一方のみを、認識精度の高いモデルに交換することが可能となる。
また、実施の形態３においては、学習部１２が、画像認識学習及び尤度推定学習を行うことについて説明したが、例えば、学習部１２は、学習用撮像データ及び正解付き３次元点群データを用いた学習のみを行ってもよい。つまり、学習部１２は、学習用ラベル付きデータを用いた学習を行わず、推定用撮像データから尤度推定画像を生成するために用いられるモデルを生成してもよい。この場合、推定部１３は、図７に示す画像認識を行わず、学習部１２において生成された学習済みモデルに推定用撮像データを入力し、尤度推定画像データを生成する。
このように、一つの学習済みモデルのみを用いることによって、二つの学習済みモデルを用いる場合と比較して、推定部１３における処理負担を軽減させることができる。
（実施の形態４）
続いて、実施の形態４における補正処理について説明する。実施の形態４においては、LIDARセンサ２１の設置位置に応じて尤度推定結果が補正されることについて説明する。例えば、LIDARセンサ２１から照射された光の地表に対する入射角度が小さいほど、反射光の強度が小さくなることが想定される。そのため、LIDARセンサ２１から照射された光の地表に対する入射角度が小さくなるほど、距離の尤度を１とするための重み付けの値を小さくしてもよい。つまり、LIDARセンサ２１から照射された光の地表に対する入射角度が小さくなるほど、尤度として０が設定される点が多くなる。LIDARセンサ２１から照射された光の地表に対する入射角度は、LIDARセンサ２１の取付角度が地表に対して上向きになるほど地表に対する入射角度が小さくなる。
続いて、実施の形態４における補正処理について説明する。実施の形態４においては、LIDARセンサ２１の設置位置に応じて尤度推定結果が補正されることについて説明する。例えば、LIDARセンサ２１から照射された光の地表に対する入射角度が小さいほど、反射光の強度が小さくなることが想定される。そのため、LIDARセンサ２１から照射された光の地表に対する入射角度が小さくなるほど、距離の尤度を１とするための重み付けの値を小さくしてもよい。つまり、LIDARセンサ２１から照射された光の地表に対する入射角度が小さくなるほど、尤度として０が設定される点が多くなる。LIDARセンサ２１から照射された光の地表に対する入射角度は、LIDARセンサ２１の取付角度が地表に対して上向きになるほど地表に対する入射角度が小さくなる。
また、LIDARセンサ２１の設置位置が地表から離れて高くなるほど、地表からLIDARセンサ２１までの距離が長くなり、反射光の強度が小さくなることが想定される。そのため、例えば、入射角度が同じである場合、LIDARセンサ２１の設置位置が地表から離れて高くなるほど、距離の尤度を１とするための重み付けの値を小さくしてもよい。つまり、入射角度が同じである複数のLIDARセンサ２１のうち、LIDARセンサ２１の設置位置が、地表から離れて高くなるほど、尤度として０が設定される点が多くなる。
以上説明したように、情報処理装置２０は、LIDARセンサ２１から照射されるレーザ光の地表への入射角度、及び、LIDARセンサ２１の地表からの高さ、の少なくとも一方に応じて、推定される点の距離の尤度を補正することができる。
LIDARセンサ２１の設置位置に応じて距離の尤度を決定するために用いる重み付け係数を変更することによって、それぞれの点について、より正確な尤度を設定することができる。
図９は、情報処理装置１０もしくは情報処理装置２０（以下、情報処理装置１０等とする）の構成例を示すブロック図である。図９を参照すると、情報処理装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された情報処理装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
図９の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された情報処理装置１０等の処理を行うことができる。
図９を用いて説明したように、上述の実施形態における情報処理装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮像センサと、
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成する学習部と、
前記学習済みモデルを用いて、前記撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する推定部と、を備える情報処理装置。
（付記２）
前記学習部は、
前記正解付３次元点群データに含まれるそれぞれの点と、前記学習用撮像データの画素に対応する位置との対応関係を管理する、付記１に記載の情報処理装置。
（付記３）
前記正解付３次元点群データに含まれるそれぞれの点の距離の尤度は、周囲の点の距離と比較した結果に応じて定められる、付記１又は２に記載の情報処理装置。
（付記４）
LIDARセンサと、
前記推定データに含められるそれぞれの点の距離の尤度を、前記LIDARセンサにおいて取得された測定３次元点群データのそれぞれの点に付与する統合部と、をさらに備える、付記１乃至３のいずれか１項に記載の情報処理装置。
（付記５）
前記測定３次元点群データは、前記推定用撮像データに含まれる領域と実質的に同じ領域を含む、付記４に記載の情報処理装置。
（付記６）
前記学習部は、
前記学習用撮像データと学習用ラベル付きデータと、前記正解付３次元点群データに含まれる点の距離の尤度とを学習データとして用い、
前記推定部は、
前記推定用撮像データを画像処理することによって得られる推定用ラベル付きデータから前記推定データとして尤度推定画像データを生成する、付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記推定部は、
前記画像処理として、セマンティックセグメンテーションを実行する、付記６に記載の情報処理装置。
（付記８）
前記推定部は、
前記LIDARセンサから照射されるレーザ光の地表への入射角度、及び、前記LIDARセンサの地表からの高さ、の少なくとも一方に応じて、前記推定用撮像データから生成されるそれぞれの点の距離の尤度を補正する、付記４乃至７のいずれか１項に記載の情報処理装置。
（付記９）
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する、データ生成方法。
（付記１０）
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成することをコンピュータに実行させるプログラム。
（付記１）
撮像センサと、
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成する学習部と、
前記学習済みモデルを用いて、前記撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する推定部と、を備える情報処理装置。
（付記２）
前記学習部は、
前記正解付３次元点群データに含まれるそれぞれの点と、前記学習用撮像データの画素に対応する位置との対応関係を管理する、付記１に記載の情報処理装置。
（付記３）
前記正解付３次元点群データに含まれるそれぞれの点の距離の尤度は、周囲の点の距離と比較した結果に応じて定められる、付記１又は２に記載の情報処理装置。
（付記４）
LIDARセンサと、
前記推定データに含められるそれぞれの点の距離の尤度を、前記LIDARセンサにおいて取得された測定３次元点群データのそれぞれの点に付与する統合部と、をさらに備える、付記１乃至３のいずれか１項に記載の情報処理装置。
（付記５）
前記測定３次元点群データは、前記推定用撮像データに含まれる領域と実質的に同じ領域を含む、付記４に記載の情報処理装置。
（付記６）
前記学習部は、
前記学習用撮像データと学習用ラベル付きデータと、前記正解付３次元点群データに含まれる点の距離の尤度とを学習データとして用い、
前記推定部は、
前記推定用撮像データを画像処理することによって得られる推定用ラベル付きデータから前記推定データとして尤度推定画像データを生成する、付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記推定部は、
前記画像処理として、セマンティックセグメンテーションを実行する、付記６に記載の情報処理装置。
（付記８）
前記推定部は、
前記LIDARセンサから照射されるレーザ光の地表への入射角度、及び、前記LIDARセンサの地表からの高さ、の少なくとも一方に応じて、前記推定用撮像データから生成されるそれぞれの点の距離の尤度を補正する、付記４乃至７のいずれか１項に記載の情報処理装置。
（付記９）
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する、データ生成方法。
（付記１０）
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データから、前記推定用撮影データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成することをコンピュータに実行させるプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１９年７月２２日に出願された日本出願特願２０１９－１３４７１８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 情報処理装置
１１ 撮像センサ
１２ 学習部
１３ 推定部
２０ 情報処理装置
２１ LIDARセンサ
２２ 統合部
１１ 撮像センサ
１２ 学習部
１３ 推定部
２０ 情報処理装置
２１ LIDARセンサ
２２ 統合部
Claims (9)
- 撮像センサと、
学習用撮像データと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成する学習手段と、
前記学習済みモデルを用いて、前記撮像センサにおいて取得された推定用撮像データから、前記推定用撮像データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データを生成する推定手段と、を備え、
前記学習手段は、
前記学習用撮像データと学習用ラベル付きデータと、前記正解付３次元点群データに含まれる点の距離の尤度とを学習データとして用い、
前記推定手段は、
前記推定用撮像データを画像処理することによって得られる推定用ラベル付きデータから前記推定データとして尤度推定画像データを生成する、情報処理装置。 - 前記学習手段は、
前記正解付３次元点群データに含まれるそれぞれの点と、前記学習用撮像データの画素に対応する位置との対応関係を保存する、請求項１に記載の情報処理装置。 - 前記正解付３次元点群データに含まれるそれぞれの点の距離の尤度は、周囲の点の距離と比較した結果に応じて定められる、請求項１又は２に記載の情報処理装置。
- LIDARセンサと、
前記推定データに含められるそれぞれの点の距離の尤度を、前記LIDARセンサにおいて取得された測定３次元点群データのそれぞれの点に付与する統合手段と、をさらに備える、請求項１乃至３のいずれか１項に記載の情報処理装置。 - 前記測定３次元点群データは、前記推定用撮像データに含まれる領域と実質的に同じ領域を含む、請求項４に記載の情報処理装置。
- 前記推定手段は、
前記画像処理として、セマンティックセグメンテーションを実行する、請求項１乃至５のいずれか１項に記載の情報処理装置。 - 前記推定手段は、
LIDARセンサから照射されるレーザ光の地表への入射角度、及び、前記LIDARセンサの地表からの高さ、の少なくとも一方に応じて、前記推定用撮像データから生成されるそれぞれの点の距離の尤度を補正する、請求項４乃至６のいずれか１項に記載の情報処理装置。 - 学習用撮像データと、学習用ラベル付きデータと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データを画像処理することによって得られる推定用ラベル付きデータから、前記推定用撮像データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データとして尤度推定画像データを生成する、データ生成方法。 - 学習用撮像データと、学習用ラベル付きデータと、前記学習用撮像データに含まれる領域と実質的に同じ領域の正解付３次元点群データに含まれる点の距離の尤度とを学習データとして学習し、学習済みモデルを生成し、
前記学習済みモデルを用いて、撮像センサにおいて取得された推定用撮像データを画像処理することによって得られる推定用ラベル付きデータから、前記推定用撮像データに基づいて定まる推定用３次元点群データに含まれる点の距離の尤度を含む推定データとして尤度推定画像データを生成することをコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019134718 | 2019-07-22 | ||
| JP2019134718 | 2019-07-22 | ||
| PCT/JP2020/024062 WO2021014846A1 (ja) | 2019-07-22 | 2020-06-19 | 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021014846A1 JPWO2021014846A1 (ja) | 2021-01-28 |
| JPWO2021014846A5 JPWO2021014846A5 (ja) | 2022-03-29 |
| JP7226553B2 true JP7226553B2 (ja) | 2023-02-21 |
Family
ID=74193029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021533869A Active JP7226553B2 (ja) | 2019-07-22 | 2020-06-19 | 情報処理装置、データ生成方法、及びプログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220270282A1 (ja) |
| EP (1) | EP4006829A4 (ja) |
| JP (1) | JP7226553B2 (ja) |
| AU (1) | AU2020317303B2 (ja) |
| CA (1) | CA3148404A1 (ja) |
| WO (1) | WO2021014846A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023021559A1 (ja) * | 2021-08-16 | 2023-02-23 | 日本電気株式会社 | 推定モデル訓練装置、推定モデル訓練方法、認識装置、認識方法、及び非一時的なコンピュータ可読媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013142991A (ja) | 2012-01-10 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体領域検出装置、方法、及びプログラム |
| WO2017057061A1 (ja) | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6833630B2 (ja) | 2017-06-22 | 2021-02-24 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
-
2020
- 2020-06-19 EP EP20843522.2A patent/EP4006829A4/en active Pending
- 2020-06-19 US US17/628,750 patent/US20220270282A1/en active Pending
- 2020-06-19 WO PCT/JP2020/024062 patent/WO2021014846A1/ja unknown
- 2020-06-19 AU AU2020317303A patent/AU2020317303B2/en not_active Expired - Fee Related
- 2020-06-19 JP JP2021533869A patent/JP7226553B2/ja active Active
- 2020-06-19 CA CA3148404A patent/CA3148404A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013142991A (ja) | 2012-01-10 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体領域検出装置、方法、及びプログラム |
| WO2017057061A1 (ja) | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2020317303B2 (en) | 2023-12-07 |
| EP4006829A1 (en) | 2022-06-01 |
| WO2021014846A1 (ja) | 2021-01-28 |
| AU2020317303A1 (en) | 2022-02-17 |
| US20220270282A1 (en) | 2022-08-25 |
| CA3148404A1 (en) | 2021-01-28 |
| JPWO2021014846A1 (ja) | 2021-01-28 |
| EP4006829A4 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Automated evaluation of semantic segmentation robustness for autonomous driving | |
| JP7052663B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| JP7204326B2 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム | |
| JP6766844B2 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
| US20190065637A1 (en) | Augmenting Real Sensor Recordings With Simulated Sensor Data | |
| Held et al. | Precision tracking with sparse 3d and dense color 2d data | |
| KR20200021626A (ko) | 객체 검출 모델 트레이닝 장치 및 방법 | |
| CN111753609A (zh) | 一种目标识别的方法、装置及摄像机 | |
| CN108332752B (zh) | 机器人室内定位的方法及装置 | |
| KR102167835B1 (ko) | 영상 처리 방법 및 장치 | |
| Maier et al. | Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data | |
| Maier et al. | Vision-based humanoid navigation using self-supervised obstacle detection | |
| WO2019136613A1 (zh) | 机器人室内定位的方法及装置 | |
| JP2020061140A (ja) | ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
| CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| KR102323413B1 (ko) | 카메라 포즈 추정 방법 | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| JP7226553B2 (ja) | 情報処理装置、データ生成方法、及びプログラム | |
| JP6351917B2 (ja) | 移動物体検出装置 | |
| US20220270327A1 (en) | Systems and methods for bounding box proposal generation | |
| JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 | |
| US20230401748A1 (en) | Apparatus and methods to calibrate a stereo camera pair | |
| JP2020061139A (ja) | ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
| WO2022214821A2 (en) | Monocular depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7226553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |