JP6892157B2 - Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 - Google Patents

Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 Download PDF

Info

Publication number
JP6892157B2
JP6892157B2 JP2020009527A JP2020009527A JP6892157B2 JP 6892157 B2 JP6892157 B2 JP 6892157B2 JP 2020009527 A JP2020009527 A JP 2020009527A JP 2020009527 A JP2020009527 A JP 2020009527A JP 6892157 B2 JP6892157 B2 JP 6892157B2
Authority
JP
Japan
Prior art keywords
test
learning
nth
coordinate
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009527A
Other languages
English (en)
Other versions
JP2020123348A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東洙 申
東洙 申
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
明春 李
明春 李
炯樹 李
炯樹 李
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123348A publication Critical patent/JP2020123348A/ja
Application granted granted Critical
Publication of JP6892157B2 publication Critical patent/JP6892157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

本発明は、自律走行車両に利用するための学習方法及び学習装置に関し；より詳細には、３Ｄ空間を再構築してＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートする前記学習方法及び前記学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。
最近、車の自律走行技術が脚光を浴びている。自律走行技術とは、車両に搭載されたセンサ、カメラなどの外部情報を取得できるモジュールによって外部情報を収集し、これを利用して車両が安全に走行されるようにする技術を意味する。
自律走行技術で必須で求められるのがＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）だが、ＨＤマップは情報が高密度に集約されており、センチメートル単位の正確性を持つ地図であり、自律走行車両の安全な走行のためには、このような良い地図が必要だからである。
しかし、このようなＨＤマップを作成することは非常に難しく、時間と費用が多く投入される作業である。これは、ＨＤマップに入る情報を収集するために、適切な装備を搭載した車両を隅々まで移動させなければならず、抽出された情報に臨時的な情報、例えば道路脇にしばらく停車中の車両等の情報が含まれていないか、その都度確認しなければならないからである。このような高いコストのため、ＨＤマップは多く作成されていないのが実情である。
本発明は、前述した問題点を解決することを目的とする。
本発明は、（ｉ）Ｖ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）情報融合技術を利用して多数の車両の深さ予測（Ｍｕｌｔｉ−Ｖｅｈｉｃｌｅ Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ）情報を取得して少なくとも一つのＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートし、（ｉｉ）前記多数の車両の深さ予測情報を利用して３Ｄ空間再構築を遂行する学習方法を提供することにより、車両がより安全に自律走行を遂行できるよう支援することを他の目的とする。
本発明は、データ取得車両から取得された地図データを分類し、評価して、ＨＤマップをアップデートする方法を提供できるようにすることをまた他の目的とする。
本発明は、地図データに対するローカル情報とグローバル情報とを参照して、地図データを評価できる方法を提供できるようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、多数の車両によって取得された情報のうち、ＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートするために利用される特定情報を選択する学習方法において、（ａ）学習装置が、ターゲット領域内で検出された第１クラウドポイントないし第Ｎクラウドポイントに対応する第１座標ないし第Ｎ座標に対する情報を含む少なくとも一つの座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つのローカル特徴マップ及び少なくとも一つのグローバル特徴ベクトルを生成するようにする段階；（ｂ）前記学習装置が、（ｉ）前記ローカル特徴マップと、（ｉｉ）前記グローバル特徴ベクトルと、（ｉｉｉ）前記第１クラウドポイントないし前記第Ｎクラウドポイントに対応する第１クラス情報ないし第Ｎクラス情報に対する情報を含む少なくとも一つのクラスマトリックスとを統合して生成された少なくとも一つの統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報が前記ＨＤマップのアップデートに利用される確率それぞれを示す第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにする段階；及び（ｃ）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと（ｉｉ）第１ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；を含むことを特徴とする方法が提供される。
一実施例として、前記（ａ）段階で、前記学習装置が、前記座標ニューラルネットワークの少なくとも一つの座標コンボリューションレイヤに含まれている一つ以上の座標コンボリューションニューロンそれぞれをもって、そのパラメータを用いて少なくとも一つの座標コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の座標コンボリューションニューロンに伝達させることにより、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの座標コンボリューション演算を前記座標マトリックスに適用することにより、前記ローカル特徴マップを生成するようにする。
一実施例として、前記（ａ）段階で、前記学習装置が、 前記座標ニューラルネットワークのグローバル特徴レイヤをもって、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つのグローバル特徴演算を前記ローカル特徴マップに適用して前記グローバル特徴ベクトルを生成する。
一実施例として、前記（ｂ）段階で、前記統合特徴マップは、（ｉ）特定の順序で整列された前記第１クラス情報ないし前記第Ｎクラス情報を成分として含む前記クラスマトリックス、（ｉｉ）前記特定の順序で整列された、前記第１クラウドポイントないし前記第Ｎクラウドポイントそれぞれに対応するそれぞれの特徴値を成分として含む前記ローカル特徴マップ、及び（ｉｉｉ）前記グローバル特徴ベクトルをＮ回複製して生成されたグローバル特徴マップを、チャネル方向にコンカチネーティング（Ｃｈａｎｎｅｌ−ｗｉｓｅ Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成される。
一実施例として、前記（ｂ）段階で、前記学習装置が、（ｉ）前記判断ニューラルネットワークの少なくとも一つの判断コンボリューションレイヤに含まれた一つ以上の判断コンボリューションニューロンそれぞれをもって、そのパラメータを用いて、少なくとも一つの判断コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の判断コンボリューションニューロンに伝達させることにより、前記判断ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの判断コンボリューション演算を前記判断マトリックスに適用するようにし、判断特徴マップを生成するようにした後、（ｉｉ）前記判断ニューラルネットワークの判断出力レイヤをもって、前記判断特徴マップを参照して前記第１クラウドポイントないし前記第Ｎクラウドポイントに前記判断ニューラルネットワーク演算の一部である分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を適用して、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアを生成するようにする。
一実施例として、前記（ｃ）段階で、前記学習装置が、前記ロスレイヤをもって、次の数式に従って前記ロスを生成するようにし、
Figure 0006892157
 Nは、前記第１クラウドポイントないし第Ｎクラウドポイントの個数を意味し、ｙiは、第ｉ予測適合度スコアを意味し、
Figure 0006892157
 は、第ｉＧＴ適合度スコアを意味する。
一実施例として、前記（ｃ）段階で、前記学習装置が、前記ロスレイヤをもって、最急下降法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を利用して、前記バックプロパゲーションを遂行することにより、これによって調整された前記パラメータを利用して生成される後続第１予測適合度スコアないし後続第Ｎ予測適合度スコアがこれに対応する後続第１ＧＴ適合度スコアないし後続第ＮのＧＴ適合度スコアと相対的にさらに類似するようにさせる。
一実施例として、一つ以上のデータ取得車両と連動するサーバが、（ｉ）それぞれの前記データ取得車両によって取得した地図データを、それぞれの前記地図データが取得された位置に対するそれぞれの位置情報を参照にして分類し、（ｉｉ）前記分類された地図データ内の前記ターゲット領域に対するターゲット情報を利用して前記座標マトリックス及び前記クラスマトリックスを生成し、（ｉｉｉ）前記座標マトリックス及び前記クラスマトリックスを前記学習装置に伝達する。
一実施例として、前記地図データのうちの、第１特定地図データ及び第２特定地図データが同一の特定領域に対応する場合、前記サーバが、前記第１特定地図データ及び前記第２特定地図データに少なくとも一つの統合演算を適用して前記第１特定地図データ及び前記第２特定地図データを統合する。
一実施例として、前記データ取得車両それぞれは、（ｉ）少なくとも一つのカメラ及び少なくとも一つの深さセンサのうちの少なくとも一部と、（ｉｉ）これに対応する演算モジュールとを利用して、前記データ取得車両それぞれから距離閾値以下に位置する一つ以上の物体に対するクラウドポイント情報及びクラス情報を取得することにより、前記地図データのうち少なくとも一部を取得し、それを前記サーバに伝達する。
一実施例として、前記サーバは、（ｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラウドポイント情報を用いて前記座標マトリックスを生成するプロセス、及び（ｉｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラス情報を用いて前記クラスマトリックスを生成するプロセスを遂行する。
本発明の他の一態様によれば、多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択するテスティング方法において、（ａ）（１）学習装置が、学習用ターゲット領域内で検出された第１学習用クラウドポイントないし第Ｎ学習用クラウドポイントに対応する第１学習用座標ないし第Ｎ学習用座標に対する情報を含む少なくとも一つの学習用座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記学習用座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つの学習用ローカル特徴マップ及び少なくとも一つの学習用グローバル特徴ベクトルを生成するようにし、（２）前記学習装置が、（ｉ）前記学習用ローカル特徴マップと、（ｉｉ）前記学習用グローバル特徴ベクトルと、（ｉｉｉ）前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対応する第１学習用クラス情報ないし第Ｎ学習用クラス情報に対する情報を含む少なくとも一つの学習用クラスマトリックスとを統合して生成された少なくとも一つの学習用統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対する情報が前記学習用ＨＤマップのアップデートに利用される確率それぞれを示す第１学習用予測適合度スコアないし第Ｎ学習用予測適合度スコアを生成するようにし、（３）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１学習用予測適合度スコアないし前記第Ｎ学習用予測適合度スコアと、（ｉｉ）第１ＧＴ適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、テスト用ターゲット領域内で検出された第１テスト用クラウドポイントないし第Ｎテスト用クラウドポイントに対応する第１テスト用座標ないし第Ｎテスト用座標に対する情報を含む少なくとも一つのテスト用座標マトリックスが取得されると、前記座標ニューラルネットワークをもって、前記テスト用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つのテスト用ローカル特徴マップ及び少なくとも一つのテスト用グローバル特徴ベクトルを生成するようにする段階；及び（ｂ）前記テスティング装置が、（ｉ）前記テスト用ローカル特徴マップと、（ｉｉ）前記テスト用グローバル特徴ベクトルと、（ｉｉｉ）前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対応する第１テスト用クラス情報ないし第Ｎテスト用クラス情報に対する情報を含む少なくとも一つのテスト用クラスマトリックスとを統合して生成された少なくとも一つのテスト用統合特徴マップが取得されると、前記判断ニューラルネットワークをもって、前記テスト用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対する情報が前記テスト用ＨＤマップのアップデートに利用される確率それぞれを示す第１テスト用予測適合度スコアないし第Ｎテスト用予測適合度スコアを生成するようにする段階；を含むことを特徴とするテスティング方法が提供される。
一実施例として、（ｃ）前記テスティング装置が、アップデートモジュールをもって、前記第１テスト用予測適合度スコアないし前記第Ｎテスト用予測適合度スコアそれぞれが閾値以上であるか否かを判断するようにし、前記閾値以上の特定予測適合度スコアを有する一つ以上の特定クラウドポイントに対する特定情報を利用して前記テスト用ＨＤマップをアップデートするようにする段階；をさらに含む。
一実施例として、一つ以上のテスト用データ取得車両と連動するテスト用サーバが、（ｉ）それぞれの前記テスト用データ取得車両によって取得されたテスト用地図データそれぞれを、前記テスト用地図データが取得されたそれぞれの位置に対するそれぞれのテスト用位置情報を参照にして分類し、（ｉｉ）分類された前記テスト用地図データに含まれた、前記テスト用ターゲット領域に対するテスト用ターゲット情報を利用して前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを生成し、（ｉｉｉ）前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを前記テスト用学習装置に伝達する。
一実施例として、前記テスト用サーバは、（ｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラウドポイント情報を用いて前記テスト用座標マトリックスを生成するプロセス、及び（ｉｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラス情報を用いて前記テスト用クラスマトリックスを生成するプロセスを遂行する。
本発明のまた他の一態様によれば、多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択する学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）ターゲット領域内で検出された第１クラウドポイントないし第Ｎクラウドポイントに対応する第１座標ないし第Ｎ座標に対する情報を含む少なくとも一つの座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つのローカル特徴マップ及び少なくとも一つのグローバル特徴ベクトルを生成するようにするプロセス、（ＩＩ）（ｉ）前記ローカル特徴マップと、（ｉｉ）前記グローバル特徴ベクトルと、（ｉｉｉ）前記第１クラウドポイントないし前記第Ｎクラウドポイントに対応する第１クラス情報ないし第Ｎクラス情報に対する情報を含む少なくとも一つのクラスマトリックスとを統合して生成された少なくとも一つの統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報が前記ＨＤマップのアップデートに利用される確率それぞれを示す第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにするプロセス、及び（ＩＩＩ）ロスレイヤをもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと（ｉｉ）第１ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記座標ニューラルネットワークの少なくとも一つの座標コンボリューションレイヤに含まれている一つ以上の座標コンボリューションニューロンそれぞれをもって、そのパラメータを用いて少なくとも一つの座標コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の座標コンボリューションニューロンに伝達させることにより、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの座標コンボリューション演算を前記座標マトリックスに適用することにより、前記ローカル特徴マップを生成するようにする。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記座標ニューラルネットワークのグローバル特徴レイヤをもって、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つのグローバル特徴演算を前記ローカル特徴マップに適用して前記グローバル特徴ベクトルを生成するようにする。
一実施例として、前記（ＩＩ）プロセスで、前記統合特徴マップは、（ｉ）特定の順序で整列された前記第１クラス情報ないし前記第Ｎクラス情報を成分として含む前記クラスマトリックス、（ｉｉ）前記特定の順序で整列された、前記第１クラウドポイントないし前記第Ｎクラウドポイントそれぞれに対応するそれぞれの特徴値を成分として含む前記ローカル特徴マップ、及び（ｉｉｉ）前記グローバル特徴ベクトルをＮ回複製して生成されたグローバル特徴マップを、チャネル方向にコンカチネーティングして生成される。
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサが、（ｉ）前記判断ニューラルネットワークの少なくとも一つの判断コンボリューションレイヤに含まれた一つ以上の判断コンボリューションニューロンそれぞれをもって、そのパラメータを用いて、少なくとも一つの判断コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の判断コンボリューションニューロンに伝達させることにより、前記判断ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの判断コンボリューション演算を前記判断マトリックスに適用するようにし、判断特徴マップを生成するようにし、（ｉｉ）前記判断ニューラルネットワークの判断出力レイヤをもって、前記判断特徴マップを参照して前記第１クラウドポイントないし前記第Ｎクラウドポイントに前記判断ニューラルネットワーク演算の一部である分類演算を適用して、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアを生成するようにする。
一実施例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ロスレイヤをもって、次の数式に従って前記ロスを生成するようにし、
Figure 0006892157
 Nは、前記第１クラウドポイントないし第Ｎクラウドポイントの個数を意味し、ｙiは、第ｉ予測適合度スコアを意味し、
Figure 0006892157
 は、第ｉＧＴ適合度スコアを意味する。
一実施例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ロスレイヤをもって、最急下降法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を利用して、前記バックプロパゲーションを遂行することにより、これによって調整された前記パラメータを利用して生成される後続第１予測適合度スコアないし後続第Ｎ予測適合度スコアがこれに対応する後続第１ＧＴ適合度スコアないし後続第ＮのＧＴ適合度スコアと相対的にさらに類似するようにさせる。
一実施例として、一つ以上のデータ取得車両と連動するサーバが、（ｉ）それぞれの前記データ取得車両によって取得した地図データを、それぞれの前記地図データが取得された位置に対するそれぞれの位置情報を参照にして分類し、（ｉｉ）前記分類された地図データ内の前記ターゲット領域に対するターゲット情報を利用して前記座標マトリックス及び前記クラスマトリックスを生成し、（ｉｉｉ）前記座標マトリックス及び前記クラスマトリックスを前記学習装置に伝達する。
一実施例として、前記地図データのうちの、第１特定地図データ及び第２特定地図データが同一の特定領域に対応する場合、前記サーバが、前記第１特定地図データ及び前記第２特定地図データに少なくとも一つの統合演算を適用して前記第１特定地図データ及び前記第２特定地図データを統合する。
一実施例として、前記データ取得車両それぞれは、（ｉ）少なくとも一つのカメラ及び少なくとも一つの深さセンサのうちの少なくとも一部と、（ｉｉ）これに対応する演算モジュールとを利用して、前記データ取得車両それぞれから距離閾値以下に位置する一つ以上の物体に対するクラウドポイント情報及びクラス情報を取得することにより、前記地図データのうち少なくとも一部を取得し、それを前記サーバに伝達する。
一実施例として、前記サーバは、（ｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラウドポイント情報を用いて前記座標マトリックスを生成するプロセス、及び（ｉｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラス情報を用いて前記クラスマトリックスを生成するプロセスを遂行する。
本発明のまた他の一態様によれば、多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択するテスティング装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（１）学習装置が、学習用ターゲット領域内で検出された第１学習用クラウドポイントないし第Ｎ学習用クラウドポイントに対応する第１学習用座標ないし第Ｎ学習用座標に対する情報を含む少なくとも一つの学習用座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記学習用座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つの学習用ローカル特徴マップ及び少なくとも一つの学習用グローバル特徴ベクトルを生成するようにし、（２）前記学習装置が、（ｉ）前記学習用ローカル特徴マップと、（ｉｉ）前記学習用グローバル特徴ベクトルと、（ｉｉｉ）前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対応する第１学習用クラス情報ないし第Ｎ学習用クラス情報に対する情報を含む少なくとも一つの学習用クラスマトリックスとを統合して生成された少なくとも一つの学習用統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対する情報が前記学習用ＨＤマップのアップデートに利用される確率それぞれを示す第１学習用予測適合度スコアないし第Ｎ学習用予測適合度スコアを生成するようにし、（３）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１学習用予測適合度スコアないし前記第Ｎ学習用予測適合度スコアと、（ｉｉ）第１ＧＴ適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスト用ターゲット領域内で検出された第１テスト用クラウドポイントないし第Ｎテスト用クラウドポイントに対応する第１テスト用座標ないし第Ｎテスト用座標に対する情報を含む少なくとも一つのテスト用座標マトリックスが取得されると、前記座標ニューラルネットワークをもって、前記テスト用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つのテスト用ローカル特徴マップ及び少なくとも一つのテスト用グローバル特徴ベクトルを生成するようにするプロセス、及び（ＩＩ）（ｉ）前記テスト用ローカル特徴マップと、（ｉｉ）前記テスト用グローバル特徴ベクトルと、（ｉｉｉ）前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対応する第１テスト用クラス情報ないし第Ｎテスト用クラス情報に対する情報を含む少なくとも一つのテスト用クラスマトリックスとを統合して生成された少なくとも一つのテスト用統合特徴マップが取得されると、前記判断ニューラルネットワークをもって、前記テスト用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対する情報が前記テスト用ＨＤマップのアップデートに利用される確率それぞれを示す第１テスト用予測適合度スコアないし第Ｎテスト用予測適合度スコアを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が提供される。
一実施例として、前記プロセッサが、（ＩＩＩ）アップデートモジュールをもって、前記第１テスト用予測適合度スコアないし前記第Ｎテスト用予測適合度スコアそれぞれが閾値以上であるか否かを判断するようにし、前記閾値以上の特定予測適合度スコアを有する一つ以上の特定クラウドポイントに対する特定情報を利用して前記テスト用ＨＤマップをアップデートするようにするプロセスをさらに遂行する。
一実施例として、一つ以上のテスト用データ取得車両と連動するテスト用サーバが、（ｉ）それぞれの前記テスト用データ取得車両によって取得されたテスト用地図データそれぞれを、前記テスト用地図データが取得されたそれぞれの位置に対するそれぞれのテスト用位置情報を参照にして分類し、（ｉｉ）分類された前記テスト用地図データに含まれた、前記テスト用ターゲット領域に対するテスト用ターゲット情報を利用して前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを生成し、（ｉｉｉ）前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを前記テスティング装置に伝達する。
一実施例として、前記テスト用サーバは、（ｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラウドポイント情報を用いて前記テスト用座標マトリックスを生成するプロセス、及び（ｉｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラス情報を用いて前記テスト用クラスマトリックスを生成するプロセスを遂行する。
本発明は、前述した問題点を解決することを目的とする。
本発明は、Ｖ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）情報融合技術を利用して多数の車両の深さ予測（Ｍｕｌｔｉ−Ｖｅｈｉｃｌｅ Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ）情報を取得して少なくとも一つのＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートし、前記多数の車両の深さ予測情報を利用して３Ｄ空間再構築を遂行する学習方法を提供することにより、車両がより安全に自律走行を遂行できるようにする効果がある。
本発明の前記及び他の目的及び特長は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるであろう。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一実施例に係る多数の車両によって取得された情報のうち、ＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートするために利用される特定情報を選択する学習方法を遂行する学習装置の構成を概略的に示した図面である。 図２は、本発明の一実施例に係る前記多数の車両によって取得された前記情報のうち、前記ＨＤマップをアップデートするために利用される前記特定情報を選択する前記学習方法の流れを概略的に示した図面である。 図３は、本発明の一実施例に係る前記多数の車両によって取得された前記情報のうち、前記ＨＤマップのアップデートに利用される前記特定情報を選択する前記学習方法を遂行するための、座標ニューラルネットワーク及び判断ニューラルネットワークが学習される方式を概略的に示した図面である。 図４は、本発明の一実施例に係る前記多数の車両によって取得された前記情報のうち、前記ＨＤマップのアップデートに利用される前記特定情報を選択するテスティング方法を遂行するための、座標ニューラルネットワーク及び判断ニューラルネットワークがテストされる方式を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明の一実施例に係る多数の車両によって取得された情報のうち、ＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートするために利用される特定情報を選択する学習方法を遂行する学習装置の構成を概略的に示した図面である。
図１を参照すれば、前記学習装置１００は、後に詳しく説明する構成要素である少なくとも一つの座標ニューラルネットワーク１３０と、少なくとも一つの判断ニューラルネットワーク１４０と、少なくとも一つのロスレイヤ１５０とを含み得る。前記座標ニューラルネットワーク１３０と、前記判断ニューラルネットワーク１４０と、前記ロスレイヤ１５０との入出力及び演算過程は、それぞれ少なくとも一つの通信部１１０と少なくとも一つのプロセッサ１２０とによって行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態であり得、前記プロセッサ１２０は、前記メモリ１１５に格納されたインストラクションを遂行するように設定され、前記プロセッサ１２０は、後に説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。このように前記学習装置１００が描写されたところで、前記学習装置１００が本発明を実施するためのミディアム、プロセッサ、メモリ、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。
以上、本発明の前記学習装置１００の構成について説明した。続いて、本発明の前記学習方法について概括的に見てみる。
図２は、本発明の一実施例に係る前記多数の車両によって取得された前記情報のうち、前記ＨＤマップをアップデートするために利用される前記特定情報を選択する前記学習方法の流れを概略的に示した図面である。
図２を参照すれば、前記学習装置１００は、前記座標ニューラルネットワーク１３０をもって、後に説明する座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つのローカル特徴マップ及び少なくとも一つのグローバル特徴ベクトルを生成するようにできる（Ｓ０１）。以降、前記学習装置１００は、前記判断ニューラルネットワーク１４０をもって、後に説明する少なくとも一つの統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにできる（Ｓ０２）。そして、前記学習装置１００は、前記ロスレイヤ１５０をもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと、（ｉｉ）第１ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判断ニューラルネットワーク１４０及び前記座標ニューラルネットワーク１３０のパラメータのうちの少なくとも一部を学習するようにできる（Ｓ０３）。
本発明の前記学習方法の概括的な構成は、前記の通りである。続いて、これについて図３を参照してさらに具体的に説明する。
図３は、本発明の一実施例に係る前記多数の車両によって取得された前記情報のうち、前記ＨＤマップのアップデートに利用される前記特定情報を選択する前記学習方法を遂行するための、前記座標ニューラルネットワーク及び前記判断ニューラルネットワークが学習される方式を概略的に示した図面である。
図３を参照すれば、N×３サイズの前記座標マトリックスが入力されることがわかる。この際、前記座標マトリックスは、前記ＨＤマップ内でアップデートされるターゲット領域内で検出される第１クラウドポイント（ｃｌｏｕｄ ｐｏｉｎｔ）ないし第Ｎクラウドポイントに対応する第１座標ないし第Ｎ座標に対する情報を含むことができる。Ｎ個のクラウドポイントが存在し、現実世界の次元は３次元なので、前記N×３サイズになれるのである。また、前記第１座標ないし前記第Ｎ座標に対するそれぞれの情報が、それぞれの第１行ないし第Ｎ行内に位置するように、それぞれの前記情報が特定の順序で整列され得る。前記第１座標ないし前記第Ｎ座標に対する情報がどのように取得され得るかについては、前記学習方法を説明した後に説明する。
このような座標マトリックスが入力された後、前記学習装置１００は、前記座標ニューラルネットワーク１３０をもって、前記座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、前記ローカル特徴マップ及び前記グローバル特徴ベクトルを生成するようにできる。
具体的には、前記学習装置１００が、前記座標ニューラルネットワークの少なくとも一つの座標コンボリューションレイヤ１３１に含まれている一つ以上の座標コンボリューションニューロンそれぞれをもって、そのパラメータを用いて少なくとも一つの座標コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の座標コンボリューションニューロンに伝達させることにより、前記座標コンボリューション演算を前記座標マトリックスに適用することにより、前記ローカル特徴マップを生成するようにすることができる。その際、前記座標コンボリューション演算は、前記座標ニューラルネットワーク演算に含まれているものであり得る。以上の過程は、ディープラーニング分野で特徴マップ生成に利用される、広く知られているフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）方式と類似したものであるため、通常の技術者が前記の説明を参照にして容易に理解できるであろう。一実施例によれば、前記ローカル特徴マップは、N×C1サイズの２次元形態であり得、C1は、３以上の整数（Ｉｎｔｅｇｅｒ）であり得る。
前記ローカル特徴マップが作成された後、前記学習装置１００は、グローバル特徴レイヤ１３２をもって、前記ローカル特徴マップに少なくとも一つのグローバル特徴演算を適用して、前記グローバル特徴ベクトルを生成することができる。前記グローバル特徴演算は、前記座標ニューラルネットワーク演算の一部であり得る。一実施例によれば、前記グローバル特徴レイヤ１３２は、従来技術のプーリングレイヤと類似し得、前記グローバル特徴演算は、従来のプーリング演算と類似し得るであろう。また、他の実施例によれば、前記グローバル特徴レイヤ１３２は、従来技術のＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤと類似し得、前記グローバル特徴演算は、従来技術のＦＣ演算と類似し得るであろう。すなわち、前記ターゲット領域に対するグローバル情報を含む前記グローバル特徴ベクトルが生成できるものであれば、どのような従来技術を利用しても差し支えない。そして、一実施例によれば、前記グローバル特徴ベクトルは、１×C2サイズの１次元の形態であり得る。
前記ローカル特徴マップと前記グローバル特徴ベクトルとの間のサイズの違いを見れば確認できるように、前記ローカル特徴マップと前記グローバル特徴ベクトルとは異なる情報を含むことができる。つまり、前記ローカル特徴マップが「ローカル」になれる理由は、前記第１クラウドポイントないし前記第Ｎクラウドポイントそれぞれに対するそれぞれのローカル情報が前記ローカル特徴マップの各行に位置することができるからである。一方、前記１×C2サイズの前記グローバル特徴ベクトルは、前記クラウドポイントそれぞれではなく、前記クラウドポイント全体に対するグローバル情報を含むことができる。
その後、前記学習装置１００は、統合モジュール（図示せず）をもって、前記ローカル特徴マップ及び前記グローバル特徴ベクトルとともに、クラスマトリックスを利用して、統合特徴マップを生成するようにすることができる。この際、前記クラスマトリックスは、前記第１クラウドポイントないし前記第Ｎクラウドポイントに対応する第１クラス情報ないし第Ｎクラス情報を含むことができる。一例として、前記クラスマトリックス内に、前記第１クラス情報ないし前記第Ｎクラス情報が整列されることができ、前記クラスマトリックスの第１行ないし第Ｎ行それぞれに前記第１クラス情報ないし前記第Ｎクラス情報が位置するような前記特定の順序で整列されことができる。
このような状態で、前記統合モジュールは、図３に示したように、前記グローバル特徴ベクトルをＮ回複製して生成されたグローバル特徴マップと、前記クラスマトリックスと、前記ローカル特徴マップとをチャネル方向にコンカチネーティング（Ｃｈａｎｎｅｌ−ｗｉｓｅ Ｃｏｎｃａｔｅｎａｔｉｎｇ）することができる。この際、前記グローバル特徴マップと、前記クラスマトリックスと、前記ローカル特徴マップとは、任意の順序、例えば、図３に示したように前記クラスマトリックス、前記ローカル特徴マップ、及び前記グローバル特徴マップの順序、あるいは前記ローカル特徴マップ、前記クラスマトリックス、及び前記グローバル特徴マップの順序でチャネル方向にコンカチネーティングされ得る。
その後、前記学習装置１００は、前記判断ニューラルネットワーク１４０をもって、前記統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報が前記ＨＤマップのアップデートに利用される確率それぞれを示す第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにできる。以下、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアが利用される目的について説明する。
後で詳しく説明するが、前記ＨＤマップをアップデートするために利用される前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報は、一つ以上のデータ取得車両それぞれがこれに割り当てられた領域（前記割り当てられた領域は、前記ターゲット領域を含む）を走行してそれぞれ取得されたものであり得る。この場合において、前記クラウドポイントに対する情報は、通りがかりの車両、停車している車両あるいは歩行者のような臨時的な物体についての情報を、望まなくても含め得る。前記予測適合度スコアは、それに対応するクラウドポイントに関する情報が、前記望まない情報であるか否かを判断するのに利用され得る。
以下、前記予測適合度スコアを生成する前記プロセスをさらに具体的に説明する。つまり、前記学習装置１００は（ｉ）前記判断ニューラルネットワーク１４０の少なくとも一つの判断コンボリューションレイヤ１４１に含まれた一つ以上の判断コンボリューションニューロンそれぞれをもって、そのパラメータを用いて、少なくとも一つの判断コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の判断コンボリューションニューロンに伝達させることにより、前記判断ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの判断コンボリューション演算を前記判断マトリックスに適用するようにし、判断特徴マップを生成するようにし得る。そして、前記学習装置１００は、（ｉｉ）前記判断ニューラルネットワーク１４０の判断出力レイヤをもって、前記判断特徴マップを参照して前記第１クラウドポイントないし前記第Ｎクラウドポイントに前記判断ニューラルネットワーク演算の一部である分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を適用して、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアを生成するようにすることができる。
以上のように前記判断コンボリューションレイヤ１４１及び前記判断出力レイヤ１４２を利用する構成が、前記フィードフォワード方式のうちの一種であるＭＬＰ（Ｍｕｌｔｉ−Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）方式と類似しているので、通常の技術者は前記予測適合度スコアを生成するプロセスを容易に理解できるであろう。他の実施例として、希少データ（ｓｐａｒｓｅ ｄａｔａ）をディープラーニングで容易に利用できるようにする従来技術を前記判断ニューラルネットワーク１４０にも適用することができるであろう。つまり、前記判断ニューラルネットワーク１４０は、ＦＣレイヤを成分として含むように構成され、広く知られた従来技術を利用して構成される変形ネットワークと前記ＦＣレイヤとが並列的に連結される構成であり得る。これについての具体的な説明は省略することにする。
その後、前記学習装置１００は、前記ロスレイヤ１５０をもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと、（ｉｉ）前記第１ＧＴ適合度スコアないし前記第ＮのＧＴ適合度スコアとを参照して前記ロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク１４０及び前記座標ニューラルネットワーク１３０のパラメータのうちの少なくとも一部を学習するようにできる。それぞれの前記第１ＧＴ適合度スコアないし前記第ＮのＧＴ適合度スコアは、それぞれの前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアに対応され得、前記学習装置１００を学習させるために管理者によって前記学習装置１００に入力され得る。
この際、前記ロスは次の数式によって生成され得る。
Figure 0006892157
 この際、Nは、前記第１クラウドポイントないし第Ｎクラウドポイントの個数を意味し、ｙiは、第ｉ予測適合度スコアを意味し、
Figure 0006892157
 は、第ｉＧＴ適合度スコアを意味し得る。前記数式は広く知られているクロスエントロピー（Ｃｒｏｓｓ−Ｅｎｔｒｏｐｙ）方式と類似しているが、ロスを生成する方式であれば、どの方式も本発明で利用できるであろう。
その後、前記学習装置１００は、前記ロスレイヤ１５０をもって、最急降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を利用して前記バックプロパゲーションを遂行することにより、前記パラメータを学習することができる。前記で説明したような学習プロセスを遂行した後、前記バックプロパゲーションによって調整された前記パラメータを利用して生成される後続第１予測適合度スコアないし後続第Ｎ予測適合度スコアは、これに対応する後続第１ＧＴ適合度スコアないし後続第ＮのＧＴの適合度スコアと相対的にさらに類似し得る。
以上、本発明の前記学習方法について詳しく説明した。以下、前記座標マトリックスと、前記クラスマトリックスと、前記ＧＴ適合度スコアとがどのように取得できるかについて説明する。
まず、前記ＨＤマップをアップデートするために利用される前記一つ以上のデータ取得車両が提供され得る。前記データ取得車両は、（ｉ）３Ｄ ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラのような少なくとも一つの深さセンサ及び少なくとも一つの映像カメラのうちの少なくとも一部、並びに（ｉｉ）前記映像カメラと前記深さセンサのうちの前記少なくとも一部に対応する演算モジュール、例えばコンピューティング装置を含むことができ、サーバと連動できる。
その際、前記データ取得車両それぞれは、そのカメラ及び深さセンサのうちの少なくとも一部から取得された情報を前記演算モジュールによって処理することで、それぞれに割り当てられた領域を走行して地図データのうちの少なくとも一部を取得することができる。一例として、前記地図データは、クラウドポイント情報及び物体クラス情報を含むことができる。
具体的には、特定データ取得車両は、そのカメラによって取得された情報に、広く知られた従来技術である物体検出演算を適用して特定物体クラス情報を取得し、（ｉ）前記特定データ取得車両周辺の特定物体の特定相対座標情報と、（ｉｉ）これを取得した時点において、前記特定データ取得車両が位置した位置に関する特定位置情報とを前記演算モジュールによって統合して特定クラウドポイント情報を生成することができるであろう。その後、前記特定データ取得車両は、前記特定物体クラス情報及び前記特定クラウドポイント情報を含む特定地図データを前記サーバに伝達することができる。
前記サーバは、前記クラウドポイント情報を参照して生成された仮想空間上に、前記物体クラス情報をマッピング（ｍａｐｐｉｎｇ）して、前記クラウドポイントそれぞれに対応するそれぞれのクラス情報を取得した後、それぞれの前記地図データが取得されたそれぞれの位置についての位置情報それぞれを参照して、それぞれの前記地図データを分類することができる。そして、分類された地図データは、前記座標マトリックス及び前記クラスマトリックスを生成するために用いられることができる。つまり、前記データ取得車両から取得された前記地図データは、領域別に分けられ、領域別に評価され、前記ＨＤマップをアップデートするために利用され得る。ここで、同一の特定領域に二つの地図データが対応することもできるが、この場合、前記サーバがどのように処理するかについて説明するようにする。
つまり、前記地図データのうちの第１特定地図データ及び第２特定地図データが前記同一の特定領域に対応する場合、前記サーバは、前記第１特定地図データ及び前記第２特定地図データに少なくとも一つの統合演算を適用して、これを統合することができる。その際、前記統合演算は、広く知られている従来技術である、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アルゴリズムを活用して具現され得る。
その後、前記サーバは、（ｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラウドポイント情報を用いて前記座標マトリックスを生成するプロセス、及び（ｉｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラス情報を用いて前記クラスマトリックスを生成するプロセスを遂行することができる。このような座標マトリックス及びクラスマトリックスは、前記座標ニューラルネットワーク１３０及び前記判断ニューラルネットワーク１４０に入力され、これらを学習させることができる。
また、前記座標マトリックス及び前記クラスマトリックスに含まれた前記第１クラウドポイント及び前記第Ｎクラウドポイントに対する情報がラベラーによって処理されることにより、前記第１ＧＴ適合度スコアないし前記第ＮのＧＴ適合度スコアが生成され得る。前記ラベラーは、人、またはコンピュータプログラムであり得る。
以上、本発明の前記学習方法並びに前記座標マトリックス、前記クラスマトリックス、及び前記第１ＧＴ適合度スコアないし前記第ＮのＧＴ適合度スコアの取得方式について説明した。次に、本発明のテスティング方法について、図４を参照にして説明する。
図４を参照すれば、（ａ）（１）前記学習装置１００が、学習用ターゲット領域内で検出された第１学習用クラウドポイントないし第Ｎ学習用クラウドポイントに対応する第１学習用座標ないし第Ｎ学習用座標に対する情報を含む少なくとも一つの学習用座標マトリックスが取得されると、前記座標ニューラルネットワーク１３０をもって、前記学習用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つの学習用ローカル特徴マップ及び少なくとも一つの学習用グローバル特徴ベクトルを生成するようにし、（２）前記学習装置１００が、（ｉ）前記学習用ローカル特徴マップと、（ｉｉ）前記学習用グローバル特徴ベクトルと、（ｉｉｉ）前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対応する第１学習用クラス情報ないし第Ｎ学習用クラス情報に対する情報を含む少なくとも一つの学習用クラスマトリックスとを統合して生成された少なくとも一つの学習用統合特徴マップが取得されると、前記判断ニューラルネットワーク１４０をもって、前記学習用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対する情報が前記学習用ＨＤマップのアップデートに利用される確率それぞれを示す第１学習用予測適合度スコアないし第Ｎ学習用予測適合度スコアを生成するようにし、（３）前記学習装置１００が、前記ロスレイヤ１５０をもって、（ｉ）前記第１学習用予測適合度スコアないし前記学習用第Ｎ予測適合度スコアと、（ｉｉ）第１ＧＴ適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク１４０及び前記座標ニューラルネットワーク１３０のパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、テスト用ターゲット領域内で検出された第１テスト用クラウドポイントないし第Ｎテスト用クラウドポイントに対応する第１テスト用座標ないし第Ｎテスト用座標に対する情報を含む少なくとも一つのテスト用座標マトリックスが取得されると、前記座標ニューラルネットワーク１３０をもって、前記テスト用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つのテスト用ローカル特徴マップ及び少なくとも一つのテスト用グローバル特徴ベクトルを生成するようにできる。
その後、前記テスティング装置が、（ｉ）前記テスト用ローカル特徴マップと、（ｉｉ）前記テスト用グローバル特徴ベクトルと、（ｉｉｉ）前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対応する第１テスト用クラス情報ないし第Ｎテスト用クラス情報に対する情報を含む少なくとも一つのテスト用クラスマトリックスとを統合して生成された少なくとも一つのテスト用統合特徴マップが取得されると、前記判断ニューラルネットワーク１４０をもって、前記テスト用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対する情報が前記テスト用ＨＤマップのアップデートに利用される確率それぞれを示す第１テスト用予測適合度スコアないし第Ｎテスト用予測適合度スコアを生成するようにし得る。
その後、前記テスティング装置が、アップデートモジュールをもって、前記第１テスト用予測適合度スコアないし前記第Ｎテスト用予測適合度スコアそれぞれが閾値以上であるか否かを判断するようにし、前記閾値以上の特定予測適合度スコアを有する一つ以上の特定クラウドポイントに対する特定情報を利用して前記テスト用ＨＤマップをアップデートするようにできる。
その際、前記テスト用座標マトリックス及び前記テスト用クラスマトリックスは、前記学習方法と類似した方式で取得され得る。つまり、一つ以上のテスト用データ取得車両と連動するテスト用サーバが、（ｉ）それぞれの前記テスト用データ取得車両によって取得されるそれぞれのテスト用地図データを、それぞれの前記テスト用地図データが取得されたそれぞれの位置に対するテスト用位置情報を参照にして分類し、（ｉｉ）分類されたテスト用地図データに含まれた、前記テスト用ターゲット領域に対するテスト用特定情報を利用して前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを生成し、（ｉｉｉ）前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを前記テスティング装置に伝達することができる。また、前記テスト用サーバは、（ｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラウドポイント情報を用いて前記テスト用座標マトリックスを生成するプロセス、及び（ｉｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラス情報を用いて前記テスト用クラスマトリックスを生成するプロセスを遂行できる。
以上説明されたテスティング装置のプロセスによって、前記臨時的な物体に対する情報など必要のない情報を除き、必要な情報のみを利用して前記テスト用ＨＤマップをアップデートすることができるようになる。
本発明は、それぞれの車両から情報セットを取得する方法を記述し、これらの方法は前記多数の車両の深さ予測手法の一つとして考慮され得る。また、このような情報をＨＤマップで統合する方法は、Ｖ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）情報融合技法の一つとして考慮され得る。３Ｄ空間再構築は、このような技法を用いてＨＤマップをアップデートできるように遂行される。その結果、道路を移動してＨＤマップを生成できる装置が搭載された車両の生産や管理に高いコストがかかる従来技術に代わって、レーザースキャン情報及びイメージを収集し、車線検出及びマッピングによってマップを生成する多数の車両によって取得された情報を利用してＨＤマップが生成され得る。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. 多数の車両によって取得された情報のうち、ＨＤマップ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）をアップデートするために利用される特定情報を選択する学習方法において、
    （ａ）学習装置が、ターゲット領域内で検出された第１クラウドポイントないし第Ｎクラウドポイントに対応する第１座標ないし第Ｎ座標に対する情報を含む少なくとも一つの座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つのローカル特徴マップ及び少なくとも一つのグローバル特徴ベクトルを生成するようにする段階；
    （ｂ）前記学習装置が、（ｉ）前記ローカル特徴マップと、（ｉｉ）前記グローバル特徴ベクトルと、（ｉｉｉ）前記第１クラウドポイントないし前記第Ｎクラウドポイントに対応する第１クラス情報ないし第Ｎクラス情報に対する情報を含む少なくとも一つのクラスマトリックスとを統合して生成された少なくとも一つの統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報が前記ＨＤマップのアップデートに利用される確率それぞれを示す第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにする段階；及び
    （ｃ）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと（ｉｉ）第１ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；
    を含むことを特徴とする方法。
  2. 前記（ａ）段階で、
    前記学習装置が、前記座標ニューラルネットワークの少なくとも一つの座標コンボリューションレイヤに含まれている一つ以上の座標コンボリューションニューロンそれぞれをもって、前記座標ニューラルネットワークのパラメータを用いて少なくとも一つの座標コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の座標コンボリューションニューロンに伝達させることにより、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの座標コンボリューション演算を前記座標マトリックスに適用することにより、前記ローカル特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
  3. 前記（ａ）段階で、
    前記学習装置が、前記座標ニューラルネットワークのグローバル特徴レイヤをもって、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つのグローバル特徴演算を前記ローカル特徴マップに適用して前記グローバル特徴ベクトルを生成するようにすることを特徴とする請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記統合特徴マップは、（ｉ）特定の順序で整列された前記第１クラス情報ないし前記第Ｎクラス情報を成分として含む前記クラスマトリックス、（ｉｉ）前記特定の順序で整列された、前記第１クラウドポイントないし前記第Ｎクラウドポイントそれぞれに対応するそれぞれの特徴値を成分として含む前記ローカル特徴マップ、及び（ｉｉｉ）前記グローバル特徴ベクトルをＮ回複製して生成されたグローバル特徴マップを、チャネル方向にコンカチネーティング（Ｃｈａｎｎｅｌ−ｗｉｓｅ Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成されることを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記学習装置が、（ｉ）前記判断ニューラルネットワークの少なくとも一つの判断コンボリューションレイヤに含まれた一つ以上の判断コンボリューションニューロンそれぞれをもって、前記判断ニューラルネットワークのパラメータを用いて、少なくとも一つの判断コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の判断コンボリューションニューロンに伝達させることにより、前記判断ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの判断コンボリューション演算を前記判断マトリックスに適用するようにし、判断特徴マップを生成するようにした後、（ｉｉ）前記判断ニューラルネットワークの判断出力レイヤをもって、前記判断特徴マップを参照して前記第１クラウドポイントないし前記第Ｎクラウドポイントに前記判断ニューラルネットワーク演算の一部である分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）演算を適用して、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアを生成するようにすることを特徴とする請求項１に記載の方法。
  6. 前記（ｃ）段階で、
    前記学習装置が、前記ロスレイヤをもって、次の数式に従って前記ロスを生成するようにし、
    Figure 0006892157
     Ｎは、前記第１クラウドポイントないし第Ｎクラウドポイントの個数を意味し、ｙiは、第ｉ予測適合度スコアを意味し、
    Figure 0006892157
     は、第ｉＧＴ適合度スコアを意味することを特徴とする請求項１に記載の方法。
  7. 前記（ｃ）段階で、
    前記学習装置が、前記ロスレイヤをもって、最急下降法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を利用して、前記バックプロパゲーションを遂行することにより、前記バックプロパゲーションによって調整された前記パラメータを利用して生成される後続第１予測適合度スコアないし後続第Ｎ予測適合度スコアが前記後続第１予測適合度スコアないし前記後続第Ｎ予測適合度スコアそれぞれに対応する後続第１ＧＴ適合度スコアないし後続第ＮのＧＴ適合度スコアと相対的にさらに類似するようにさせることを特徴とする請求項１に記載の方法。
  8. 一つ以上のデータ取得車両と連動するサーバが、（ｉ）それぞれの前記データ取得車両によって取得した地図データを、それぞれの前記地図データが取得された位置に対するそれぞれの位置情報を参照にして分類し、（ｉｉ）前記分類された地図データ内の前記ターゲット領域に対するターゲット情報を利用して前記座標マトリックス及び前記クラスマトリックスを生成し、（ｉｉｉ）前記座標マトリックス及び前記クラスマトリックスを前記学習装置に伝達することを特徴とする請求項１に記載の方法。
  9. 前記地図データのうちの、第１特定地図データ及び第２特定地図データが同一の特定領域に対応する場合、前記サーバが、前記第１特定地図データ及び前記第２特定地図データに少なくとも一つの統合演算を適用して前記第１特定地図データ及び前記第２特定地図データを統合することを特徴とする請求項８に記載の方法。
  10. 前記データ取得車両それぞれは、（ｉ）少なくとも一つのカメラ及び少なくとも一つの深さセンサのうちの少なくとも一部と、（ｉｉ）前記少なくとも一つのカメラ及び前記少なくとも一つの深さセンサのうちの少なくとも一部に対応する演算モジュールとを利用して、前記データ取得車両それぞれから距離閾値以下に位置する一つ以上の物体に対するクラウドポイント情報及びクラス情報を取得することにより、前記地図データのうち少なくとも一部を取得し、前記地図データのうち少なくとも一部を前記サーバに伝達することを特徴とする請求項８に記載の方法。
  11. 前記サーバは、（ｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラウドポイント情報を用いて前記座標マトリックスを生成するプロセス、及び（ｉｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラス情報を用いて前記クラスマトリックスを生成するプロセスを遂行することを特徴とする請求項１０に記載の方法。
  12. 多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択するテスティング方法において、
    （ａ）（１）学習装置が、学習用ターゲット領域内で検出された第１学習用クラウドポイントないし第Ｎ学習用クラウドポイントに対応する第１学習用座標ないし第Ｎ学習用座標に対する情報を含む少なくとも一つの学習用座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記学習用座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つの学習用ローカル特徴マップ及び少なくとも一つの学習用グローバル特徴ベクトルを生成するようにし、（２）前記学習装置が、（ｉ）前記学習用ローカル特徴マップと、（ｉｉ）前記学習用グローバル特徴ベクトルと、（ｉｉｉ）前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対応する第１学習用クラス情報ないし第Ｎ学習用クラス情報に対する情報を含む少なくとも一つの学習用クラスマトリックスとを統合して生成された少なくとも一つの学習用統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対する情報が前記学習用ＨＤマップのアップデートに利用される確率それぞれを示す第１学習用予測適合度スコアないし第Ｎ学習用予測適合度スコアを生成するようにし、（３）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１学習用予測適合度スコアないし前記第Ｎ学習用予測適合度スコアと、（ｉｉ）第１ＧＴ適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、テスト用ターゲット領域内で検出された第１テスト用クラウドポイントないし第Ｎテスト用クラウドポイントに対応する第１テスト用座標ないし第Ｎテスト用座標に対する情報を含む少なくとも一つのテスト用座標マトリックスが取得されると、前記座標ニューラルネットワークをもって、前記テスト用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つのテスト用ローカル特徴マップ及び少なくとも一つのテスト用グローバル特徴ベクトルを生成するようにする段階；及び
    （ｂ）前記テスティング装置が、（ｉ）前記テスト用ローカル特徴マップと、（ｉｉ）前記テスト用グローバル特徴ベクトルと、（ｉｉｉ）前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対応する第１テスト用クラス情報ないし第Ｎテスト用クラス情報に対する情報を含む少なくとも一つのテスト用クラスマトリックスとを統合して生成された少なくとも一つのテスト用統合特徴マップが取得されると、前記判断ニューラルネットワークをもって、前記テスト用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対する情報が前記テスト用ＨＤマップのアップデートに利用される確率それぞれを示す第１テスト用予測適合度スコアないし第Ｎテスト用予測適合度スコアを生成するようにする段階；
    を含むことを特徴とするテスティング方法。
  13. （ｃ）前記テスティング装置が、アップデートモジュールをもって、前記第１テスト用予測適合度スコアないし前記第Ｎテスト用予測適合度スコアそれぞれが閾値以上であるか否かを判断するようにし、前記閾値以上の特定予測適合度スコアを有する一つ以上の特定クラウドポイントに対する特定情報を利用して前記テスト用ＨＤマップをアップデートするようにする段階；
    をさらに含むことを特徴とする請求項１２に記載のテスティング方法。
  14. 一つ以上のテスト用データ取得車両と連動するテスト用サーバが、（ｉ）それぞれの前記テスト用データ取得車両によって取得されたテスト用地図データそれぞれを、前記テスト用地図データが取得されたそれぞれの位置に対するそれぞれのテスト用位置情報を参照にして分類し、（ｉｉ）分類された前記テスト用地図データに含まれた、前記テスト用ターゲット領域に対するテスト用ターゲット情報を利用して前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを生成し、（ｉｉｉ）前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを前記テスト用学習装置に伝達することを特徴とする請求項１２に記載のテスティング方法。
  15. 前記テスト用サーバは、（ｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラウドポイント情報を用いて前記テスト用座標マトリックスを生成するプロセス、及び（ｉｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラス情報を用いて前記テスト用クラスマトリックスを生成するプロセスを遂行することを特徴とする請求項１２に記載のテスティング方法。
  16. 多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択する学習装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）ターゲット領域内で検出された第１クラウドポイントないし第Ｎクラウドポイントに対応する第１座標ないし第Ｎ座標に対する情報を含む少なくとも一つの座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つのローカル特徴マップ及び少なくとも一つのグローバル特徴ベクトルを生成するようにするプロセス、（ＩＩ）（ｉ）前記ローカル特徴マップと、（ｉｉ）前記グローバル特徴ベクトルと、（ｉｉｉ）前記第１クラウドポイントないし前記第Ｎクラウドポイントに対応する第１クラス情報ないし第Ｎクラス情報に対する情報を含む少なくとも一つのクラスマトリックスとを統合して生成された少なくとも一つの統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１クラウドポイントないし前記第Ｎクラウドポイントに対する情報が前記ＨＤマップのアップデートに利用される確率それぞれを示す第１予測適合度スコアないし第Ｎ予測適合度スコアを生成するようにするプロセス、及び（ＩＩＩ）ロスレイヤをもって、（ｉ）前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアと（ｉｉ）第１ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする学習装置。
  17. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記座標ニューラルネットワークの少なくとも一つの座標コンボリューションレイヤに含まれている一つ以上の座標コンボリューションニューロンそれぞれをもって、前記座標ニューラルネットワークのパラメータを用いて少なくとも一つの座標コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の座標コンボリューションニューロンに伝達させることにより、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの座標コンボリューション演算を前記座標マトリックスに適用することにより、前記ローカル特徴マップを生成するようにすることを特徴とする請求項１６に記載の学習装置。
  18. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記座標ニューラルネットワークのグローバル特徴レイヤをもって、前記座標ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つのグローバル特徴演算を前記ローカル特徴マップに適用して前記グローバル特徴ベクトルを生成するようにすることを特徴とする請求項１７に記載の学習装置。
  19. 前記（ＩＩ）プロセスで、
    前記統合特徴マップは、（ｉ）特定の順序で整列された前記第１クラス情報ないし前記第Ｎクラス情報を成分として含む前記クラスマトリックス、（ｉｉ）前記特定の順序で整列された、前記第１クラウドポイントないし前記第Ｎクラウドポイントそれぞれに対応するそれぞれの特徴値を成分として含む前記ローカル特徴マップ、及び（ｉｉｉ）前記グローバル特徴ベクトルをＮ回複製して生成されたグローバル特徴マップを、チャネル方向にコンカチネーティングして生成されることを特徴とする請求項１６に記載の学習装置。
  20. 前記（ＩＩ）プロセスで、
    前記プロセッサが、（ｉ）前記判断ニューラルネットワークの少なくとも一つの判断コンボリューションレイヤに含まれた一つ以上の判断コンボリューションニューロンそれぞれをもって、前記判断ニューラルネットワークのパラメータを用いて、少なくとも一つの判断コンボリューションニューロン演算を入力された値に適用した後、出力された値をそれぞれ次の判断コンボリューションニューロンに伝達させることにより、前記判断ニューラルネットワーク演算のうちの少なくとも一部である少なくとも一つの判断コンボリューション演算を前記判断マトリックスに適用するようにし、判断特徴マップを生成するようにし、（ｉｉ）前記判断ニューラルネットワークの判断出力レイヤをもって、前記判断特徴マップを参照して前記第１クラウドポイントないし前記第Ｎクラウドポイントに前記判断ニューラルネットワーク演算の一部である分類演算を適用して、前記第１予測適合度スコアないし前記第Ｎ予測適合度スコアを生成するようにすることを特徴とする請求項１６に記載の学習装置。
  21. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ロスレイヤをもって、次の数式に従って前記ロスを生成するようにし、
    Figure 0006892157
     Ｎは、前記第１クラウドポイントないし第Ｎクラウドポイントの個数を意味し、ｙiは、第ｉ予測適合度スコアを意味し、
    Figure 0006892157
     は、第ｉＧＴ適合度スコアを意味することを特徴とする請求項１６に記載の学習装置。
  22. 前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ロスレイヤをもって、最急下降法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を利用して、前記バックプロパゲーションを遂行することにより、前記バックプロパゲーションによって調整された前記パラメータを利用して生成される後続第１予測適合度スコアないし後続第Ｎ予測適合度スコアが前記後続第１予測適合度スコアないし前記後続第Ｎ予測適合度スコアそれぞれに対応する後続第１ＧＴ適合度スコアないし後続第ＮのＧＴ適合度スコアと相対的にさらに類似するようにさせることを特徴とする請求項１６に記載の学習装置。
  23. 一つ以上のデータ取得車両と連動するサーバが、（ｉ）それぞれの前記データ取得車両によって取得した地図データを、それぞれの前記地図データが取得された位置に対するそれぞれの位置情報を参照にして分類し、（ｉｉ）前記分類された地図データ内の前記ターゲット領域に対するターゲット情報を利用して前記座標マトリックス及び前記クラスマトリックスを生成し、（ｉｉｉ）前記座標マトリックス及び前記クラスマトリックスを前記学習装置に伝達することを特徴とする請求項１６に記載の学習装置。
  24. 前記地図データのうちの、第１特定地図データ及び第２特定地図データが同一の特定領域に対応する場合、前記サーバが、前記第１特定地図データ及び前記第２特定地図データに少なくとも一つの統合演算を適用して前記第１特定地図データ及び前記第２特定地図データを統合することを特徴とする請求項２３に記載の学習装置。
  25. 前記データ取得車両それぞれは、（ｉ）少なくとも一つのカメラ及び少なくとも一つの深さセンサのうちの少なくとも一部と、（ｉｉ）前記少なくとも一つのカメラ及び前記少なくとも一つの深さセンサのうちの少なくとも一部に対応する演算モジュールとを利用して、前記データ取得車両それぞれから距離閾値以下に位置する一つ以上の物体に対するクラウドポイント情報及びクラス情報を取得することにより、前記地図データのうち少なくとも一部を取得し、前記地図データのうち少なくとも一部を前記サーバに伝達することを特徴とする請求項２３に記載の学習装置。
  26. 前記サーバは、（ｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラウドポイント情報を用いて前記座標マトリックスを生成するプロセス、及び（ｉｉ）前記地図データに含まれている、前記ターゲット領域に対応する特定クラス情報を用いて前記クラスマトリックスを生成するプロセスを遂行することを特徴とする請求項２５に記載の学習装置。
  27. 多数の車両によって取得された情報のうち、ＨＤマップをアップデートするために利用される特定情報を選択するテスティング装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）（１）学習装置が、学習用ターゲット領域内で検出された第１学習用クラウドポイントないし第Ｎ学習用クラウドポイントに対応する第１学習用座標ないし第Ｎ学習用座標に対する情報を含む少なくとも一つの学習用座標マトリックスが取得されると、座標ニューラルネットワークをもって、前記学習用座標マトリックスに少なくとも一つの座標ニューラルネットワーク演算を適用して、少なくとも一つの学習用ローカル特徴マップ及び少なくとも一つの学習用グローバル特徴ベクトルを生成するようにし、（２）前記学習装置が、（ｉ）前記学習用ローカル特徴マップと、（ｉｉ）前記学習用グローバル特徴ベクトルと、（ｉｉｉ）前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対応する第１学習用クラス情報ないし第Ｎ学習用クラス情報に対する情報を含む少なくとも一つの学習用クラスマトリックスとを統合して生成された少なくとも一つの学習用統合特徴マップが取得されると、判断ニューラルネットワークをもって、前記学習用統合特徴マップに少なくとも一つの判断ニューラルネットワーク演算を適用して、それぞれの前記第１学習用クラウドポイントないし前記第Ｎ学習用クラウドポイントに対する情報が前記学習用ＨＤマップのアップデートに利用される確率それぞれを示す第１学習用予測適合度スコアないし第Ｎ学習用予測適合度スコアを生成するようにし、（３）前記学習装置が、ロスレイヤをもって、（ｉ）前記第１学習用予測適合度スコアないし前記第Ｎ学習用予測適合度スコアと、（ｉｉ）第１ＧＴ適合度スコアないし第ＮのＧＴ適合度スコアとを参照してロスを生成するようにし、前記ロスを利用したバックプロパゲーションを遂行することにより、前記判断ニューラルネットワーク及び前記座標ニューラルネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスト用ターゲット領域内で検出された第１テスト用クラウドポイントないし第Ｎテスト用クラウドポイントに対応する第１テスト用座標ないし第Ｎテスト用座標に対する情報を含む少なくとも一つのテスト用座標マトリックスが取得されると、前記座標ニューラルネットワークをもって、前記テスト用座標マトリックスに前記座標ニューラルネットワーク演算を適用して、少なくとも一つのテスト用ローカル特徴マップ及び少なくとも一つのテスト用グローバル特徴ベクトルを生成するようにするプロセス、及び（ＩＩ）（ｉ）前記テスト用ローカル特徴マップと、（ｉｉ）前記テスト用グローバル特徴ベクトルと、（ｉｉｉ）前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対応する第１テスト用クラス情報ないし第Ｎテスト用クラス情報に対する情報を含む少なくとも一つのテスト用クラスマトリックスとを統合して生成された少なくとも一つのテスト用統合特徴マップが取得されると、前記判断ニューラルネットワークをもって、前記テスト用統合特徴マップに前記判断ニューラルネットワーク演算を適用して、それぞれの前記第１テスト用クラウドポイントないし前記第Ｎテスト用クラウドポイントに対する情報が前記テスト用ＨＤマップのアップデートに利用される確率それぞれを示す第１テスト用予測適合度スコアないし第Ｎテスト用予測適合度スコアを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスティング装置。
  28. 前記プロセッサが、（ＩＩＩ）アップデートモジュールをもって、前記第１テスト用予測適合度スコアないし前記第Ｎテスト用予測適合度スコアそれぞれが閾値以上であるか否かを判断するようにし、前記閾値以上の特定予測適合度スコアを有する一つ以上の特定クラウドポイントに対する特定情報を利用して前記テスト用ＨＤマップをアップデートするようにするプロセスをさらに遂行することを特徴とする請求項２７に記載のテスティング装置。
  29. 一つ以上のテスト用データ取得車両と連動するテスト用サーバが、（ｉ）それぞれの前記テスト用データ取得車両によって取得されたテスト用地図データそれぞれを、前記テスト用地図データが取得されたそれぞれの位置に対するそれぞれのテスト用位置情報を参照にして分類し、（ｉｉ）分類された前記テスト用地図データに含まれた、前記テスト用ターゲット領域に対するテスト用ターゲット情報を利用して前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを生成し、（ｉｉｉ）前記テスト用座標マトリックス及び前記テスト用クラスマトリックスを前記テスティング装置に伝達することを特徴とする請求項２７に記載のテスティング装置。
  30. 前記テスト用サーバは、（ｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラウドポイント情報を用いて前記テスト用座標マトリックスを生成するプロセス、及び（ｉｉ）前記テスト用地図データに含まれている、前記テスト用ターゲット領域に対応するテスト用特定クラス情報を用いて前記テスト用クラスマトリックスを生成するプロセスを遂行することを特徴とする請求項２７に記載のテスティング装置。
JP2020009527A 2019-01-30 2020-01-23 Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 Active JP6892157B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798656P 2019-01-30 2019-01-30
US62/798,656 2019-01-30
US16/724,994 US10733511B1 (en) 2019-01-30 2019-12-23 Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
US16/724,994 2019-12-23

Publications (2)

Publication Number Publication Date
JP2020123348A JP2020123348A (ja) 2020-08-13
JP6892157B2 true JP6892157B2 (ja) 2021-06-23

Family

ID=69190630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009527A Active JP6892157B2 (ja) 2019-01-30 2020-01-23 Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置

Country Status (5)

Country Link
US (1) US10733511B1 (ja)
EP (1) EP3690756B1 (ja)
JP (1) JP6892157B2 (ja)
KR (1) KR102373493B1 (ja)
CN (1) CN111508252B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146277A1 (en) * 2020-11-09 2022-05-12 Argo AI, LLC Architecture for map change detection in autonomous vehicles
CN113064193B (zh) * 2021-03-25 2022-12-16 上海智能新能源汽车科创功能平台有限公司 一种基于车路云协同的组合定位系统
WO2023085702A1 (ko) * 2021-11-09 2023-05-19 엘지전자 주식회사 무선 통신 시스템에서 제1 장치가 제1 메시지를 전송하는 방법 및 이를 위한 장치
CN115762199B (zh) * 2022-09-20 2023-09-29 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2014002197A (es) * 2011-09-02 2014-05-30 Koninkl Philips Nv Formacion de imagenes de nubes de puntos densas rapidas que usan mapas voxel probabilisticos.
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
US10075656B2 (en) * 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9292961B1 (en) * 2014-08-26 2016-03-22 The Boeing Company System and method for detecting a structural opening in a three dimensional point cloud
WO2016183074A1 (en) * 2015-05-10 2016-11-17 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US10482196B2 (en) * 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
CN106023210B (zh) * 2016-05-24 2017-12-12 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和系统
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和系统
US10838426B2 (en) * 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN106776996B (zh) * 2016-12-02 2018-09-07 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
US10670416B2 (en) 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术（北京）有限公司 车辆定位方法和装置
US10467756B2 (en) * 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
US11263526B2 (en) 2017-05-31 2022-03-01 Intel Corporation Gradient-based training engine for quaternion-based machine-learning systems
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10488521B2 (en) * 2017-06-13 2019-11-26 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
US10481267B2 (en) * 2017-06-13 2019-11-19 TuSimple Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10859682B2 (en) * 2017-12-07 2020-12-08 Ouster, Inc. Telematics using a light ranging system
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
US10528867B1 (en) * 2018-10-08 2020-01-07 StradVision, Inc. Learning method and learning device for neural network at adaptive learning rate, and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same

Also Published As

Publication number Publication date
KR102373493B1 (ko) 2022-03-14
EP3690756A1 (en) 2020-08-05
US20200242478A1 (en) 2020-07-30
EP3690756B1 (en) 2023-09-27
CN111508252B (zh) 2022-12-30
CN111508252A (zh) 2020-08-07
JP2020123348A (ja) 2020-08-13
EP3690756C0 (en) 2023-09-27
US10733511B1 (en) 2020-08-04
KR20200094644A (ko) 2020-08-07

Similar Documents

Publication Publication Date Title
JP6892157B2 (ja) Ｖ２ｘ情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して３ｄ空間を再構築することによりｈｄマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
JP6847463B2 (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP6849898B2 (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
CN110084304B (zh) 一种基于合成数据集的目标检测方法
JP2020123343A (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
CN110378483A (zh) 部署在模拟平台上的用于训练机器学习模型的系统和方法
JP6908944B2 (ja) 多重カメラまたはサラウンドビューモニタリングに利用されるために、ターゲット物体統合ネットワーク及びターゲット物体予測ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に適用可能なｃｎｎ基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
JP6979228B2 (ja) Ｖ２ｖ通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｎｔｅｇｒａｔｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｖ２ｖ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｆｒｏｍ ｏｔｈｅｒ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｗｉｔｈ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｅｄ ｂｙ ｐｒｅｓｅｎｔ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
EP3686776B1 (en) Method for detecting pseudo-3d bounding box to be used for military purpose, smart phone or virtual driving based on cnn capable of converting modes according to conditions of objects
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
EP4050510A1 (en) Object information calculation method and system
Vasić et al. Deep semantic image segmentation for UAV-UGV cooperative path planning: A car park use case

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210520

R150 Certificate of patent or registration of utility model

Ref document number: 6892157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250